Formulaire de contact
Votre demande a bien été envoyée.
Veuillez saisir votre nom
Merci de saisir une adresse e-mail
Le format de l’e-mail est incorrect
Veuillez saisir le nom de votre société
Veuillez saisir un message

10 ans de NLP : que se cache-t-il derrière ChatGPT ?

← Toutes les ressources
10 ans de NLP : que se cache-t-il derrière ChatGPT ?

Si l'on demandait aux gens de citer l'une des principales innovations produites par l'IA, ils mentionneraient sans doute l'agent conversationnel ChatGPT - créé par OpenAI - tant il a déchaîné (et déchaîne encore) les passions. Mais peu de gens savent vraiment - et comprennent - ce qui se cache derrière.

Et vous, le savez-vous ?

 

De la méthode Word2Vec à la naissance des Large Language Models (LLM)

En tant qu'agent conversationnel, ChatGPT est basé sur le modèle GPT3, un modèle de traitement du langage naturel (NLP) qui permet aux machines de copier la façon dont les humains écrivent (et pensent ?), afin de générer des textes plus vrais que nature grâce à des algorithmes d'IA. Mais ce modèle est passé par différentes étapes avant de pouvoir réagir comme un humain et créer le contenu que nous connaissons aujourd'hui.

Flashback : 2013, 1er moment clé pour le NLP moderne avec le lancement de Word2Vec - une méthode d'apprentissage des représentations significatives des mots. C'est le début d'une révolution, avec des modèles et des jeux de données de plus en plus grands. 5 ans plus tard, deuxième moment clé avec la naissance des Large Language Models (LLM), une nouvelle catégorie de modèles capables de résoudre presque tous les problèmes de NLP. GPT est l'un d'entre eux.

Comment cela fonctionne-t-il exactement ? GPT - qui signifie Generative Pre-Training - est composé d'une armée de couches de “Transformers”, et a reçu un corpus massif avec une mission simple : apprendre à prédire quel mot vient après un autre. Cette tâche faussement simple couplée à une session d'entraînement intensive, corrigeant drastiquement le modèle à chaque erreur, vous donne des résultats fous : un perroquet de génie capable de générer n'importe quel type de texte !

 

Tout est une question d'échelle !

Dans cette première étape, GPT a inclus environ 4 Go de données et 120 millions de paramètres. Ensuite, tout n’est qu’une question de mise à l’échelle. Le modèle GPT a évolué au fil des ans, mais pas avec des innovations ou de nouvelles fonctionnalités comme on pourrait l'imaginer. Pour atteindre ses 2ème et 3ème versions, il a "juste" fallu multiplier la taille des données et la taille du modèle lui-même : par 10 pour GPT2 puis par 1000 pour GPT3, pour atteindre 570 GB de données et 175 milliards de paramètres !

Des chiffres intéressants, n'est-ce pas ?

Mais comment sommes-nous passés de GPT3 à ChatGPT ? C’est plutôt simple en fait : en s'appuyant sur l'énorme quantité de données intégrées dans le modèle et en ajoutant une étape spéciale de réglage fin, appelée "alignement du modèle" : l'IA est nourrie de conversations humaines et entraînée à imiter notre façon de parler.

Et voilà comment ce petit génie de l'IA utilise ses armées de transformers pour générer le contenu "humain" que nous connaissons tous aujourd'hui, et devenir LE nouvel outil hyper tendance !

 

Et maintenant, quel avenir pour ChatGPT?

Pour certaines personnes, l’effet ChatGPT risque de retomber comme un soufflé. Après tout, les modèles GPT n'ont aucune intelligence au sens humain, aucun libre arbitre, ce sont seulement des algorithmes qui ont intégré des tonnes de données, et qui demanderont de plus en plus de puissance de calcul pour évoluer. Mais pour d'autres, cela symbolise un énorme progrès pour la création de textes grâce à l'IA. La recherche est en plein essor, de nombreuses entreprises travaillent sur l'IA pour concurrencer OpenAI. Par ailleurs, il reste beaucoup de défis à relever pour appliquer ces modèles de type GPT à des problèmes de mots réels. Sa magie n'a pas encore livré tous ses secrets!

 

 

Related articles