Glossaire des termes de l'IA : comprendre GPT, les réseaux de neurones, etc.

Êtes-vous intrigué par les possibilités de l'IA mais avez-vous du mal à maîtriser tout le jargon technique ? Notre glossaire IA vous aidera à comprendre les termes et concepts clés.

L'IA est en constante évolution et expansion, avec de nouveaux développements et applications émergeant chaque semaine - et on dirait que la quantité de jargon à suivre se développe tout aussi rapidement.

Dans l'ensemble, cela peut être un peu écrasant, nous avons donc compilé une liste de concepts et de termes pour vous aider à mieux comprendre le nouveau monde courageux de l'intelligence artificielle.

Si vous souhaitez recevoir plus de notre contenu sur l'IA et l'automatisation dans votre boîte de réception, assurez-vous de vous abonner à notre newsletter régulière.

Intelligence artificielle (IA)

L'IA fait référence à la création de machines intelligentes capables d'effectuer des tâches complexes qui nécessitent généralement une intelligence de niveau humain, telles que la perception visuelle, la reconnaissance vocale, la prise de décision et la traduction linguistique. Les systèmes d'IA peuvent être formés pour apprendre et améliorer leurs performances au fil du temps, ce qui leur permet d'accomplir des tâches plus complexes avec plus d'efficacité et de précision.

L'apprentissage en profondeur

L'apprentissage en profondeur fait référence à des méthodes de formation de réseaux de neurones à plusieurs couches, chaque couche représentant différents niveaux d'abstraction. Généralement, ces réseaux profonds sont formés sur de grands ensembles de données pour faire des prédictions ou prendre des décisions sur les données.

Un réseau de neurones avec une seule couche peut être en mesure de faire des prédictions approximatives, mais des couches supplémentaires peuvent aider à améliorer la précision - chacune s'appuyant sur la couche précédente pour optimiser et affiner les prédictions.

Les algorithmes d'apprentissage en profondeur sont très efficaces pour traiter des données complexes et non structurées, telles que des images, de l'audio et du texte, et ont permis des avancées significatives dans un large éventail d'applications telles que le traitement du langage naturel, la reconnaissance vocale et les systèmes de reconnaissance d'images qui incluent la reconnaissance faciale. , voitures autonomes, etc.

Intégration

Une incorporation dans le contexte du traitement du langage naturel (TLN) est une recette pour transformer un texte de longueur variable en un ensemble de nombres de longueur fixe. Habituellement, cet ensemble de nombres conservera une signification sémantique dans un certain sens - par exemple, l'ensemble de nombres pour "chien" et "animal" sera proche l'un de l'autre au sens mathématique. Cela permet au texte d'être traité efficacement par les algorithmes NLP.

Réseaux codeurs et décodeurs

Ce sont des types d'architectures de réseaux de neurones profonds dont le travail consiste à convertir une entrée donnée, par exemple du texte, en une représentation numérique, telle qu'un ensemble de nombres de longueur fixe (encodeur), et également à reconvertir ces nombres en une sortie souhaitée (décodeur ).

Ils sont très couramment utilisés dans les tâches de traitement du langage naturel telles que la traduction automatique.

Réglage fin

Processus d'adaptation d'un modèle pré-entraîné à une tâche spécifique en l'entraînant sur un nouvel ensemble de données. Ce modèle est d'abord formé sur un grand ensemble de données générales, puis sur un ensemble de données plus petit et plus spécifique lié à la tâche - de cette façon, le modèle peut apprendre à reconnaître des modèles plus nuancés dans les données spécifiques à la tâche, conduisant à de meilleures performances.

Le réglage fin peut économiser du temps et des ressources en utilisant des modèles généraux au lieu d'en former de nouveaux à partir de zéro, et il peut également réduire le risque de surajustement, où le modèle a extrêmement bien appris les fonctionnalités d'un petit ensemble de formation, mais il est incapable généraliser à d'autres données.

Réseaux antagonistes génératifs (GAN)

Une classe d'algorithmes d'IA utilisés dans l'apprentissage automatique non supervisé dans lequel deux réseaux de neurones se font concurrence. Les GAN comportent deux parties : un modèle générateur qui est formé pour générer de nouveaux exemples de données plausibles, et un modèle discriminateur qui tente de classer les exemples en tant que données réelles ou fausses données (générées). Les deux modèles s'affrontent ensuite jusqu'à ce que le discriminateur devienne moins efficace pour faire la différence entre le vrai et le faux et commence à classer les fausses données comme réelles.

IA générative

Un type d'intelligence artificielle qui peut créer une grande variété de contenus - y compris du texte, des images, des vidéos et du code informatique - en identifiant des modèles dans de grandes quantités de données de formation et en générant des sorties uniques qui ressemblent aux données d'origine. Contrairement à d'autres formes d'IA basées sur des règles, les algorithmes d'IA générative utilisent des modèles d'apprentissage en profondeur pour générer de nouvelles sorties qui ne sont pas explicitement programmées ou prédéfinies.

L'IA générative est capable de produire un contenu hautement réaliste et complexe qui imite la créativité humaine, ce qui en fait un outil précieux pour un large éventail d'applications, telles que la génération d'images et de vidéos, le traitement du langage naturel et la composition musicale. Les exemples incluent des percées récentes telles que ChatGPT pour le texte et DALL-E et Midjourney pour les images.

Transformateur pré-formé génératif (GPT)

Les transformateurs génératifs pré-formés, ou GPT, sont une famille de modèles de réseaux neuronaux formés avec des centaines de milliards de paramètres sur des ensembles de données massifs pour générer du texte de type humain. Ils sont basés sur l'architecture du transformateur, introduite par les chercheurs de Google en 2017, qui permet aux modèles de mieux comprendre et appliquer le contexte dans lequel les mots et les expressions sont utilisés et de s'occuper de manière sélective des différentes parties de l'entrée - en se concentrant sur les mots ou les phrases pertinents qui il perçoit comme plus important pour le résultat. Ils sont capables de générer de longues réponses, pas seulement le mot suivant dans une séquence.

La famille de modèles GPT est considérée comme les modèles de langage les plus vastes et les plus complexes à ce jour. Ils sont généralement utilisés pour répondre à des questions, résumer du texte, générer du code, des conversations, des histoires et de nombreuses autres tâches de traitement du langage naturel, ce qui les rend bien adaptés à des produits tels que les chatbots et les assistants virtuels.

En novembre 2022, OpenAI a publié ChatGPT, un chatbot construit au-dessus de GPT-3.5, qui a pris d'assaut le monde, tout le monde affluant pour l'essayer. Et le battage médiatique est réel : les avancées les plus récentes en matière de GPT ont même rendu la technologie non seulement réalisable pour les environnements commerciaux tels que le service client, mais en réalité transformationnelle.

Hallucinations

Un phénomène malheureux mais bien connu dans les grands modèles de langage, où le système d'IA fournit une réponse plausible qui est factuellement incorrecte, inexacte ou absurde en raison des limites de ses données de formation et de son architecture.

Un exemple courant serait lorsqu'un modèle se voit poser une question factuelle sur quelque chose sur lequel il n'a pas été formé et qu'au lieu de dire « je ne sais pas », il invente quelque chose. L'atténuation du problème des hallucinations est un domaine de recherche actif et quelque chose que nous devons toujours garder à l'esprit lors de l'évaluation de la réponse de tout grand modèle de langage (LLM).

Grand modèle de langue (LLM)

Les LLM sont un type de réseau neuronal capable de générer un texte en langage naturel similaire au texte écrit par les humains. Ces modèles sont généralement formés sur des ensembles de données massifs de centaines de milliards de mots provenant de livres, d'articles, de pages Web, etc., et utilisent l'apprentissage en profondeur pour comprendre les modèles complexes et les relations entre les mots afin de générer ou de prédire de nouveaux contenus.

Alors que les algorithmes NLP traditionnels ne regardent généralement que le contexte immédiat des mots, les LLM considèrent de larges pans de texte pour mieux comprendre le contexte. Il existe différents types de LLM, y compris des modèles comme le GPT d'OpenAI.

Agents LLM (par exemple, AutoGPT, LangChain)

À eux seuls, les LLM prennent du texte en entrée et fournissent plus de texte en sortie. Les agents sont des systèmes construits au-dessus d'un LLM qui leur permettent de prendre des décisions, d'opérer de manière autonome, de planifier et d'exécuter des tâches sans intervention humaine. Les agents travaillent en utilisant la puissance des LLM pour traduire des instructions de langage de haut niveau en actions ou en code spécifiques requis pour les exécuter.

Il y a actuellement une explosion d'intérêt et de développement pour les agents. Des outils tels qu'AutoGPT permettent des applications passionnantes telles que les "listes de tâches" qui prendront une liste de tâches en entrée et essaieront de faire les tâches pour vous.

Apprentissage automatique (ML)

Un sous-domaine de l'IA qui implique le développement d'algorithmes et de modèles statistiques qui permettent aux machines d'améliorer progressivement leurs performances dans une tâche spécifique sans être explicitement programmées pour le faire. En d'autres termes, la machine "apprend" à partir des données, et au fur et à mesure qu'elle traite plus de données, elle devient meilleure pour faire des prédictions ou effectuer des tâches spécifiques.

Il existe trois principaux types d'apprentissage automatique : l'apprentissage supervisé, l'apprentissage non supervisé et l'apprentissage par renforcement.

• L'apprentissage supervisé est une approche d'apprentissage automatique qui utilise des ensembles de données étiquetés conçus pour entraîner des algorithmes à classer les données ou à prédire les résultats avec précision. Par exemple, si vous fournissez un ensemble d'images étiquetées de chats et de chiens, un modèle pourra prédire de nouvelles images non étiquetées de chats et de chiens ;
• L'apprentissage non supervisé recherche des modèles non détectés dans un ensemble de données sans étiquettes préexistantes ni programmation spécifique et avec une supervision humaine minimale ;
• L'apprentissage par renforcement consiste à entraîner un modèle à prendre des décisions en fonction des retours de son environnement. Il apprend à prendre des mesures qui maximisent un signal de récompense, comme gagner un jeu ou accomplir une tâche.

Traitement du langage naturel (TAL)

La PNL est une branche de l'IA qui se concentre sur l'interaction entre le langage humain et les ordinateurs. Il combine la modélisation basée sur des règles du langage humain avec des modèles statistiques, d'apprentissage automatique et d'apprentissage en profondeur, généralement formés à l'aide de grandes quantités de données, qui permettent aux ordinateurs de traiter, de comprendre et de générer le langage humain.

Ses applications sont conçues pour analyser, comprendre et générer le langage humain, y compris le texte et la parole. Certaines tâches NLP courantes incluent la traduction linguistique, l'analyse des sentiments, la reconnaissance vocale, la classification de texte, la reconnaissance d'entités nommées et la synthèse de texte.

Les réseaux de neurones

Les réseaux de neurones sont un sous-domaine de l'apprentissage automatique proposé en 1944 par deux chercheurs de Chicago, Warren McCullough et Walter Pitts, qui s'inspire de la structure du cerveau humain. Il se compose de couches de nœuds interconnectés, ou neurones, qui traitent et analysent les données pour faire des prédictions ou des décisions : chaque couche reçoit des entrées des nœuds de la couche précédente et produit des sorties qui sont transmises aux nœuds de la couche suivante. La dernière couche affiche alors les résultats.

Ils ont été utilisés pour un large éventail d'applications, notamment la reconnaissance d'images et de la parole, le traitement du langage naturel et la modélisation prédictive.

Ingénierie rapide

Une invite est un ensemble d'instructions écrites sous forme de texte ou de code que vous fournissez en tant qu'entrée à un LLM pour aboutir à des sorties significatives, et peut être aussi simple qu'une question. L'ingénierie rapide est la compétence (ou l'art, diront certains) de créer des invites efficaces qui produiront le meilleur résultat possible pour une tâche donnée. Cela nécessite une compréhension du fonctionnement des grands modèles de langage (LLM), des données sur lesquelles ils sont formés, ainsi que de leurs forces et limites.

Apprentissage par renforcement à partir de la rétroaction humaine (RLHF)

RLHF fait référence au processus d'utilisation de la rétroaction humaine explicite pour former le modèle de récompense d'un système d'apprentissage par renforcement. Dans le contexte d'un LLM, il peut s'agir d'humains classant les résultats du LLM et choisissant les réponses qu'ils préfèrent - cela est ensuite utilisé pour former un autre réseau de neurones, appelé modèle de récompense, qui peut prédire si une réponse donnée sera souhaitable pour humains. Le modèle de récompense est ensuite utilisé pour affiner le LMM afin de produire une sortie mieux alignée sur les préférences humaines.

Ces techniques sont considérées comme une étape très percutante dans le développement de LLM comme ChatGPT, qui ont connu des avancées révolutionnaires dans leurs capacités.

Transformateur

Un transformateur est un type d'architecture de réseau neuronal profond composé de plusieurs composants d'encodeur et de décodeur qui sont combinés de manière à permettre le traitement de données séquentielles telles que le langage naturel et les séries chronologiques.

Ce ne sont là que quelques-uns des termes les plus courants en IA que vous êtes susceptible de rencontrer. Sans aucun doute, des glossaires comme ceux-ci seront toujours un projet en cours - à mesure que la technologie continue d'évoluer, de nouveaux termes et idées continueront d'émerger. Mais pour l'instant, en comprenant ces concepts, vous pouvez construire une base solide qui vous aidera à suivre les derniers développements.