De quoi ChatGPT est-il VRAIMENT capable ? | Ft. Science4All
Le fonctionnement de ChatGPT, un chatbot impressionnant mais pas si intuitif
ChatGPT, un chatbot capable d’écrire à peu près tout n’importe quoi a fait beaucoup de buzz sur Twitter ces derniers temps. Au-delà de son côté drôle et impressionnant, c’est surtout un aperçu de la technologie qui a suscité l’intérêt de nombreux utilisateurs. Dans cette vidéo, nous allons essayer de comprendre le fonctionnement de ChatGPT et de dévoiler quelques-uns des mécanismes qui le rendent si efficace.
Comment ChatGPT génère-t-il du texte ?
ChatGPT est un chatbot qui fonctionne sur la base de modèles de langage. Les modèles de langage sont entraînés pour réaliser une tâche très précise : prédire le prochain mot d’un texte. Les modèles de ChatGPT sont entraînés sur des quantités astronomiques de données récupérées sur internet, notamment Wikipedia et des millions d’autres pages plus ou moins filtrées. Pour l’entraînement du modèle GPT-3.5, on parle d’au moins 175 milliards de paramètres. Le modèle de ChatGPT est affiné pour coller aux feedbacks humains, et générer une suite crédible à un texte donné.
Comment génère-t-on des textes à partir du modèle de ChatGPT ?
Les textes générés par le modèle de langage vont ressembler aux textes qu’il y avait dans les données d’entraînement, c’est le principe même du modèle. En partant d’un début de texte entré par l’utilisateur, le modèle va prédire le prochain mot. Puis, le programme va choisir l’un des mots parmi les plus probables, et ainsi de suite, pour générer du texte. Les textes générés par ChatGPT vont refléter les données d’entraînement, qui sont une sorte de miroir de l’humanité sur Internet, et qui ne vont pas toujours présenter de très jolis reflets.
Conclusion
Au-delà de la couverture médiatique relativement discrète dans la presse généraliste, ChatGPT mérite l’attention pour son impressionnante capacité à générer du texte de manière crédible. Ce qui est intéressant, c’est de comprendre les ingrédients qui permettent de tels résultats : des quantités astronomiques de données, des algorithmes d’entraînement sophistiqués et des modèles de langage spécifiques. ChatGPT est un chatbot unique en son genre, qui nous donne un aperçu de ce que la technologie de langage naturel est en mesure de faire.
Source : Monsieur Phi | Date : 2023-01-08 18:01:07 | Durée : 00:37:23