Genz ©Created by JThemes.com
Vous voulez apprendre l’IA ?
Alors , tu veux apprendre l’IA ? Mais vous ne savez pas comment ni par où commencer ?
Dans cet article je vous déroule le roadmap complet pour apprendre l’intelligence artificielle efficacement.
Il y’a des tonnes de MOOC gratuits sur la science des données, le ML et l’IA sur Internet. Mais j’ai réalisé que suivre de nombreux cours n’est pas la solution.
Pour échapper à l’enfer des tutoriels et vraiment apprendre, vous devez vous mettre en pratique, écrire des algorithmes à partir de zéro, mettre en œuvre des articles et réaliser des projets parallèles amusants en utilisant l’IA pour résoudre des problèmes.
Cet article tente d’élaborer un programme gratuit qui suit cette philosophie.
Contactez-nous sur Twitter ou Linkedin si vous souhaitez y travailler ensemble !
Aussi, laissez un commentaire si vous pensez qu’il manque quelque chose !
Mais d’abord, quelques notes sur le programme et quelques conseils pour l’apprentissage.
Ce programme suit une approche descendante : le code d’abord, la théorie ensuite .
J’aime apprendre par nécessité . Ainsi, si je dois trouver quelque chose, un problème à résoudre ou un prototype à réaliser, je vais chercher partout les informations dont j’ai besoin, les étudier, leur donner un sens, puis agir en conséquence.
Par exemple, mon objectif est d’être un ingénieur en IA qui comprend les LLM (Large Language Model) à un niveau fondamental, ce qui implique d’avoir les compétences nécessaires pour coder des transformateurs à partir de zéro et affiner les LLM sur les GPU, etc. Je ne peux pas le faire maintenant car il y a des lacunes dans mes connaissances, et j’ai pour objectif de combler ces lacunes.
Il est également axé sur la PNL ; si vous recherchez d’autres spécialisations en IA comme la Computer Vision ou l’apprentissage par renforcement (Reinforcement Learning), commentez ci-dessous ou envoyez-moi un message privé sur Twitter ou Linkedin . Je vais vous transmettre quelques recommandations.
Avant de vous jeter un tas de liens, j’aurais aimé que quelqu’un me dise deux choses importantes avant de commencer à apprendre quoi que ce soit.
Il y a beaucoup à apprendre, et vous n’aurez jamais fini d’apprendre, surtout avec l’IA, lorsque de nouveaux articles et idées révolutionnaires sont publiés chaque semaine.
La plus grosse erreur que vous puissiez commettre est d’apprendre en privé. Vous ne vous créez aucune opportunité si vous faites cela. Vous n’avez rien à montrer à part pouvoir dire que vous avez terminé quelque chose. Ce qui compte le plus, c’est ce que vous avez fait de la #Data, comment vous l’avez transformée en connaissances à partager avec le public et quelles idées et solutions nouvelles sont issues de ces informations.
Donc, vous devriez apprendre en public .
Cela signifie avoir l’ habitude de créer .
Cela peut signifier :
- rédiger des blogs et des tutoriels
- rejoignez des hackathons et collaborez avec d’autres
- poser et répondre à des questions dans les communautés Discord
- travaillez sur des projets parallèles qui vous passionnent
- tweeter à propos de quelque chose d’intéressant que vous avez découvert
Et en parlant de Twitter,
Si vous suivez les bonnes personnes et l’utilisez correctement, Twitter est la plateforme sociale la plus rentable sur laquelle on puisse accéder aujourd’hui.
Qui suivre ? Voir cette liste AI de Suhail .
Comment utiliser Twitter ? Lisez Near sur Comment Twitter avec succès .
DM aux gens sur Twitter. Soyez sincère, soyez bref et posez une demande précise. Ce guide sur Comment rédiger un e-mail froid de Sriram Krishnan peut également s’appliquer aux DM.
Comment tweeter ? Lisez Anatomy of a Tweet de Jason , créateur d’ Instructor , qui est passé de 0 → 14 000 abonnés en quelques mois.
Si vous lisez ceci, suivez-moi sur Twitter !
DM-moi pour savoir ce que tu fais ! Je suis toujours prêt à collaborer sur des projets sympas.
Maintenant, allons-y.
Table des matières
Mathématiques
Outils
∘ Python
∘ PyTorch
Machine Learning
∘ Écrire à partir de zéro
∘ Rivaliser
∘ Réaliser des projets parallèles
∘ Déployer
∘ Supplémentaire
Deep Learning
∘ Fast.ai
∘ Faire plus de compétitions
∘ Mettre en œuvre des articles
∘ Computer Vision
∘ PNL
Grands modèles de langage
∘ Regardez Neural Networks: Zero to Hero
∘ Camp d’entraînement LLM gratuit
∘ Construisez avec des LLM
∘ Participez à des hackathons
∘ Lisez des articles
∘ Écrivez des Transformers à partir de zéro.
∘ Quelques bons blogs
∘ Regardez Umar Jamil
∘ Apprenez à exécuter des modèles open source.
∘ Ingénierie rapide
∘ Mise au point des LLM
∘ RAG
Comment rester à jour
Autres programmes/listicules qui pourraient vous être utiles
Mathématiques
Machine Learning ou apprentissage automatique s’appuie fortement sur trois piliers des mathématiques : l’algèbre linéaire, le calcul (calculus), les probabilités et les statistiques. Chacun joue un rôle unique dans le fonctionnement efficace des algorithmes.
- Algèbre linéaire : la boîte à outils mathématique pour la représentation et la manipulation des données, où les matrices et les vecteurs forment le langage permettant aux algorithmes d’interpréter et de traiter les informations.
- Calcul : le moteur d’optimisation de l’apprentissage automatique, permettant aux algorithmes d’apprendre et de s’améliorer en comprenant les gradients et les taux de changement.
- Probabilités et statistiques : fondement de la prise de décision dans des conditions d’incertitude, permettant aux algorithmes de prédire les résultats et d’apprendre des données grâce à des modèles de caractère aléatoire et de variabilité.
Voici une excellente série sur les mathématiques pour le ML du point de vue d’un programmeur : Les mathématiques pour l’apprentissage automatique par poids et biais ( code )
Si vous souhaitez une approche de l’algèbre linéaire axée d’abord sur le code, faites l’algèbre linéaire computationnelle ( vidéo , code ) par les créateurs de fast.ai.
Lisez Introduction à l’algèbre linéaire pour l’apprentissage automatique appliqué avec Python en parallèle du cours.
Si vous voulez quelque chose de plus traditionnel, consultez les cours de l’Imperial College de Londres — Algèbre linéaire et calcul multivarié .
Regardez l’Essence de l’algèbre linéaire et l’Essence du calcul de 3Blue1Brown .
Regardez les principes fondamentaux des statistiques par StatQuest pour les statistiques
Supplémentaire
- Livre : Mathématiques pour l’apprentissage automatique
- Article : Le calcul matriciel dont vous avez besoin pour l’apprentissage en profondeur
Outils
Python
Les débutants commencent ici : Programmation Python pratique .
Si vous êtes déjà à l’aise avec Python, faites cette maîtrise avancée de Python
Ce sont deux excellents cours de David Beazley, auteur de Python Cookbook.
Après cela, regardez quelques-unes des conférences de James Powell
Lisez les modèles de conception Python .
Supplémentaire
- Livre : Fluent Python, 2e édition ( code )
- Podcasts : Vrai Python et Parlez Python
PyTorch
Vidéos
Officiel
Pratique
Supplémentaire
Machine Learning
Lisez le livre ML de 100 pages .
Écrire à partir de zéro
Pendant que vous lisez, écrivez les algorithmes from scratch ; C’est le seul moyen de comprendre réellement.
Regardez les référentiels ci-dessous
Si vous voulez relever un défi, écrivez PyTorch à partir de zéro en suivant ce cours.
Rivaliser
Appliquez ce que vous apprenez lors des compétitions.
- Rejoignez des compétitions ML sur des plateformes comme bitgrit et Kaggle ; en savoir plus dans cet article .
- Examinez les solutions gagnantes du passé et étudiez-les
Faire des projets parallèles (Side projects)
Lire Passer l’apprentissage automatique à la production par Vicki Boykis
Elle a également écrit sur ce qu’elle a appris en créant Viberary , une recherche sémantique de livres.
Obtenez un ensemble de données et créez un modèle (ex, utilisez earthaccess pour obtenir des données NASA Earth).
Créez une interface utilisateur avec Streamlit et partagez-la sur Twitter.
Déployez-les
Mettres vos modèles en production. Apprenez à surveiller les modèles. Vivre l’expérience directe de la dérive des données et des modèles (data and model drift).
Voici quelques excellentes ressources
- Made With ML
- DataTalksClub/mlops-zoomcamp: Free MLOps course
- chiphuyen/machine-learning-systems-design
- Evidently AI — ML system design: 300 case studies
- stas00/ml-engineering: Machine Learning Engineering Online Book
Supplémentaire
- Machine Learning with PyTorch and Scikit-Learn (code)
- [1811.12808] Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning
- Introduction to Machine Learning Interviews Book · MLIB
Deep Learning
Si vous voulez une approche descendante (top-down), commencez par fast.ai.
Fast.ai
- fast.ai ( part1 , part2 ) + Groupe d’étude W&B
Vous avez aimé fast.ai ? Découvrez Full Stack Deep Learning .
Si vous souhaitez un cours plus complet et traditionnel, consultez UNIGE 14×050 — Deep Learning de François Fleuret .
Si vous avez besoin d’aborder la théorie à un moment donné, voici d’excellents livres.
- Plongez dans le Deep Learning (contient des exemples de code dans PyTorch, NumPy/MXNet, JAX et TensorFlow)
- Apprentissage profond par Ian Goodfellow, Yoshua Bengio et Aaron Courville
- Réseaux de neurones et apprentissage profond
- Comprendre le Deep Learning (avec des cahiers pratiques )
Lisez Le Petit Livre du Deep Learning sur votre téléphone au lieu de faire défiler Twitter.
Lisez-les pendant que vos réseaux de neurones convergent 🙂
Faire plus de compétitions
- PlantTraits2024 — FGVC11 | Kaggle (computer vision)
Implémenter des papers
Découvrez labml.ai Annotated PyTorch Paper Implementations
Papers with Code est une excellente ressource ; voici BERT expliqué sur leur site Web.
Vous trouverez ci-dessous quelques ressources pour les spécialisations du Deep Learning
Computer Vision
Beaucoup de gens recommandent CS231n : Deep Learning for Computer Vision . C’est un défi mais cela en vaut la peine si vous y parvenez.
Reinforcement Learning
Pour le RL, ces deux ressources sont top:
PNL
Un autre excellent cours de Stanford, CS 224N | Traitement du langage naturel avec apprentissage profond
Learn Hugging Face: Hugging Face NLP Course
Bons articles et pannes
- Recherche BERT — Ép. 1 — Concepts et sources clés · Chris McCormick
- Le Word2vec illustré — Jay Alammar
- Le BERT illustré, ELMo et co. (Comment la PNL a piraté l’apprentissage par transfert
- Comprendre les réseaux LSTM — le blog de Colah
- PyTorch RNN à partir de zéro — Jake Tae
Supplémentaire
Large Language Models (LLMs)
Tout d’abord, regardez [ 1 heure de discussion] Intro to Large Language Models par Andrej.
Puis Large Language Models in Five Formulas, par Alexander Rush — Cornell Tech
Regarder Réseaux de neurones : Zero to Hero
Cela commence par expliquer et coder la rétropropagation à partir de zéro et se termine par l’écriture du modèle GPT à partir de zéro.
Réseaux de neurones : Zero To Hero par Andrej Karpathy
Vous pouvez également consulter GPT dans 60 lignes de NumPy | Jay Mody pendant que vous y êtes.
LLM boot camp gratuit
Un Bootcamp LLM payant publié gratuitement par Full Stack Deep Learning.
Il enseigne l’ingénierie rapide, le LLMOps, l’UX pour les LLM et comment lancer une application LLM en une heure.
Maintenant que vous avez hâte de construire après ce camp d’entraînement,
Build avec les LLM
Vous souhaitez créer des applications avec des LLM ?
Regardez le développement d’applications à l’aide de grands modèles de langage par Andrew Ng
Lire Création d’applications LLM pour la production par Huyen Chip
Reportez-vous au livre de recettes OpenAI pour les recettes.
Utilisez les modèles Vercel AI pour commencer.
Participer à des hackathons
lablab.ai organise de nouveaux hackathons IA chaque semaine.
Si vous souhaitez approfondir la théorie et comprendre comment tout fonctionne :
Lire des articles
Un excellent article de Sebastian Raschka sur Understanding Large Language Models , où il répertorie quelques articles que vous devriez lire.
Il a également récemment publié un autre article contenant des articles que vous devriez lire en 2024 , concernant les modèles mistral.
Suivez son sous-stack En avance sur l’IA .
Écrivez des Transformers from scratch
Lire la famille Transformer version 2.0 | Lil’Log pour un aperçu.
Choisissez le format qui vous convient le mieux et implémentez-le à partir de zéro.
Papers
- Attention Is All You Need
- The Illustrated Transformer
- The Annotated Transformer by Harvard
- Thinking like Transformer
Blogs
- Creating a Transformer From Scratch — Part One: The Attention Mechanism (part 2) (code)
- Understanding and Coding the Self-Attention Mechanism of Large Language Models From Scratch by Sebastian Raschka, PhD
- Transformers from scratch
Vidéos
- Coding a Transformer from scratch on PyTorch, with full explanation, training and inference
- NLP: Implementing BERT and Transformers from Scratch
Quelques bons blogs
- Gradient Descent into Madness — Building an LLM from scratch
- The Illustrated Transformer — Jay Alammar
- Some Intuition on Attention and the Transformer by Eugene Yan
- Speeding up the GPT — KV cache | Becoming The Unbeatable
- Beyond Self-Attention: How a Small Language Model Predicts the Next Token
- Llama from scratch (or how to implement a paper without crying) | Brian Kitano
- Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch
Regarder Umar Jamil
Il propose de fantastiques vidéos détaillées expliquant les articles. Il vous montre également le code.
- LoRA: Low-Rank Adaptation of Large Language Models — Explained visually + PyTorch code from scratch
- Mistral / Mixtral Explained: Sliding Window Attention, Sparse Mixture of Experts, Rolling Buffer
- Attention is all you need (Transformer) — Model explanation (including math), Inference and Training
- LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU
- Retrieval Augmented Generation (RAG) Explained: Embedding, Sentence BERT, Vector Database (HNSW)
Découvrez comment exécuter des modèles open source.
Ils ont récemment publié des bibliothèques Python et JavaScript
Prompt Engineering
Lire l’ingénierie d’invite | Lil’Log
Ingénierie d’invite ChatGPT pour les développeurs par Ise Fulford (OpenAI) et Andrew Ng
DeepLearning.ai propose également d’autres cours de courte durée auxquels vous pouvez vous inscrire gratuitement.
Fine tune les LLM
Lisez le guide de réglage fin de Hugging Face .
Un bon guide : Fine-Tuning — Le guide GenAI
Découvrez l’axolotl .
C’est un bon article : Affiner un modèle Mistral-7b avec l’optimisation des préférences directes | par Maxime Labonne
RAG (Retreival Augmented Generation)
Un excellent article d’Anyscale : Création d’applications LLM basées sur RAG pour la production
Un aperçu complet du Retrieval Augmented Generation par Aman Chadha
Comment rester à jour
Combinaison de newsletters + podcasts + Twitter
Pour les articles, vous pouvez suivre AK (@_akhaliq)
Pour les podcasts, le meilleur que j’ai trouvé est Latent Space de Swyx & Alessio
Rejoignez leur Discord .
Ils ont également cette newsletter, Smol Talk , qui résume tous les gros désaccords sur l’IA.
Voici d’autres newsletters que j’aime :
- The Batch | DeepLearning.AI | AI News & Insights
- Deep Learning Weekly
- Interconnects | Nathan Lambert
- AI Tidbits | Sahar Mor
Autres programmes/listicules qui pourraient vous être utiles.
Ma liste ne se voulait pas exhaustive, mais si vous souhaitez quand même en savoir plus, en voici quelques-unes.
- openai/syllabus.md
- AI Canon | Andreessen Horowitz
- AI Learning Curation — LLM Utils
- Threshold to the AI Multiverse | Open DeepLearning
- louisfb01/start-llms: A complete guide to start and improve your LLM skills in 2023
J’espère que cela vous aidera dans votre voyage vers l’IA !
Si vous avez lu jusqu’ici, n’oubliez pas de me contacter ou de laisser un commentaire 🙂
Published by
Software Delivery Manager | Public Speaker | Mentor | Blockchain | AI | SRE | Oracle DBASoftware Delivery Manager | Public Speaker | Mentor | Blockchain | AI | SRE | Oracle DBA
Published • 1mo
🚀🧠💡 Découvrez la roadmap ultime pour apprendre l’IA en 2024 ! 🎓✨
Vous cherchez à plonger dans le monde passionnant de l’intelligence artificielle mais ne savez pas par où commencer ? Mon nouvel article “Roadmap pour apprendre l’IA en 2024” est là pour vous guider pas à pas dans votre parcours d’apprentissage.
Cher réseau ,
J’ai rassemblé une multitude de ressources gratuites et pratiques, axées sur la pratique et la mise en œuvre, pour vous aider à passer de novice à expert en IA. De l’algèbre linéaire au deep learning, en passant par la programmation Python et l’utilisation de PyTorch, vous trouverez tout ce dont vous avez besoin pour maîtriser les fondamentaux et vous lancer dans des projets parallèles passionnants.
Mais l’apprentissage ne s’arrête pas là ! Je partage également des conseils précieux sur la manière de rester à jour dans ce domaine en constante évolution et sur l’importance de partager vos connaissances avec la communauté.
Rejoignez-moi dans cette aventure et découvrez comment transformer votre passion pour l’IA en compétences concrètes et en opportunités infinies. Lisez l’article dès maintenant et laissez un commentaire pour partager vos impressions et vos idées !
hashtag#MachineLearning hashtag#DeepLearning hashtag#NeuralNetworks hashtag#ComputerVision
hashtag#LargeLanguageModels