De quoi ChatGPT est-il VRAIMENT capable ? | Ft. Science4All
➡️ Accéder à CHAT GPT4 en cliquant dessus
Le fonctionnement de ChatGPT, un chatbot impressionnant mais pas si intuitif
ChatGPT, un chatbot capable d’écrire à peu près tout n’importe quoi a fait beaucoup de buzz sur Twitter ces derniers temps. Au-delà de son côté drôle et impressionnant, c’est surtout un aperçu de la technologie qui a suscité l’intérêt de nombreux utilisateurs. Dans cette vidéo, nous allons essayer de comprendre le fonctionnement de ChatGPT et de dévoiler quelques-uns des mécanismes qui le rendent si efficace.
Comment ChatGPT génère-t-il du texte ?
ChatGPT est un chatbot qui fonctionne sur la base de modèles de langage. Les modèles de langage sont entraînés pour réaliser une tâche très précise : prédire le prochain mot d’un texte. Les modèles de ChatGPT sont entraînés sur des quantités astronomiques de données récupérées sur internet, notamment Wikipedia et des millions d’autres pages plus ou moins filtrées. Pour l’entraînement du modèle GPT-3.5, on parle d’au moins 175 milliards de paramètres. Le modèle de ChatGPT est affiné pour coller aux feedbacks humains, et générer une suite crédible à un texte donné.
Comment génère-t-on des textes à partir du modèle de ChatGPT ?
Les textes générés par le modèle de langage vont ressembler aux textes qu’il y avait dans les données d’entraînement, c’est le principe même du modèle. En partant d’un début de texte entré par l’utilisateur, le modèle va prédire le prochain mot. Puis, le programme va choisir l’un des mots parmi les plus probables, et ainsi de suite, pour générer du texte. Les textes générés par ChatGPT vont refléter les données d’entraînement, qui sont une sorte de miroir de l’humanité sur Internet, et qui ne vont pas toujours présenter de très jolis reflets.
Conclusion
Au-delà de la couverture médiatique relativement discrète dans la presse généraliste, ChatGPT mérite l’attention pour son impressionnante capacité à générer du texte de manière crédible. Ce qui est intéressant, c’est de comprendre les ingrédients qui permettent de tels résultats : des quantités astronomiques de données, des algorithmes d’entraînement sophistiqués et des modèles de langage spécifiques. ChatGPT est un chatbot unique en son genre, qui nous donne un aperçu de ce que la technologie de langage naturel est en mesure de faire.
Source : Monsieur Phi | Date : 2023-01-08 18:01:07 | Durée : 00:37:23
Merci à Lê de @Science4Allfrancais pour sa relecture et sa contribution ! Un point sur lequel il me suggère d'insister et pour lequel je n'ai pas eu le temps d'ajouter une note de bas de page : on peut imaginer que les prochaines générations de ChatBot ne chercheront plus seulement à prédire ce qu'un humain écrirait, mais de plus en plus à prédire ce que les correcteurs humains préfèrent (parmi les trucs qu'il prédit qu'un humain écrirait). C'est déjà assez nettement le cas avec GPT-3.5 qui est entraîné à éviter certains sujets comme on l'a vu dans la vidéo.
Et pour en savoir plus sur Tournesol : tournesol.app
Merci aussi à Raphaël Millière dont vous pouvez aller lire l'article ici :
https://nautil.us/welcome-to-the-next…
On en avait discuté en visio il y a un moment, et j'ai renoncé à inclure des extraits de notre discussion dans la vidéo car cela aurait beaucoup compliqué le montage (et en plus on ne pouvait pas encore parler de ChatGPT vu que ce n'était pas encore sorti), mais en tout cas je le remercie d'avoir pris ce temps !
Merci aussi à toutes celles et ceux qui m'ont accompagné pendant les lives où je testais Cedille ou ChatGPT (certains des tests que je fais dans cette vidéo m'ont été directement inspiré par le chat de ces lives).
L'article que je mentionne sur GPT-3 jouant aux échecs : https://towardsdatascience.com/gpt-3-…
David de @ScienceEtonnante me fait remarquer que tous les modèles de langage n'ont pas été entraînés à faire seulement de la prédiction de prochain mot (ou prochain token pour être exact, ce qui est un peu moins qu'un mot) ; par exemple certains comme BERT de Google sont aussi entraînés à compléter des "textes à trou" (des textes dont 15% des tokens sont cachés). Ceci dit, les modèles GPT sont bien entraînés à la prédiction de prochain token.
Enfin, je me fais à moi-même la remarque suivante : il y aurait sur les modèles de langage bien d'autres choses à dire qui touchent davantage à la philosophie, typiquement sur les questions éthiques, ou sur le rapport au langage et à l'intelligence. Mais le truc c'est que pour ne pas dire n'importe quoi quand on aborde ces sujets, c'est important déjà de bien comprendre de quoi on parle : que sont les modèles de langage et de quoi sont-ils vraiment capables ? Donc c'est surtout sur ce point que j'ai voulu insister dans cette vidéo parce qu'il me semble important de l'éclaircir pour éviter de tomber dans des fantasmes (typiquement des fantasmes sur la conscience des chatbots). Si ça vous intéresse que j'approfondisse le sujet maintenant que je l'ai débroussaillé, j'y reviendrai peut-être dans une autre vidéo ! Dites-moi en commentaire si ça vous dit !
Merci, excellente présentation. Un bémol cependant pitié pas d' Aberkane insupportable ce bullshiteur à la Raoult et Le Pen
Merci pour cette vidéo, j'en apprends beaucoup et ça me fait beaucoup rire ♥
Ecris un poème avec des rimes en Français qui pourrait servir d'introduction à une vidéo Youtube sur ChatGPT.
"ChatGPT, oh grand mystère,
Un être numérique qui sait tout faire,
Un algorithme hors du commun,
Qui nous émerveille à chaque instant.
De la science à l'histoire,
En passant par la philosophie et la culture,
ChatGPT a réponse à tout,
Et sait rendre notre quotidien plus doux.
Des mots, des phrases, des idées,
Il en a plein sa base de données,
Et nous, nous sommes émerveillés,
De découvrir ce qu'il a à partager.
Que ce soit pour résoudre un problème,
Ou pour apprendre quelque chose de nouveau,
ChatGPT est là pour nous guider,
Et nous aider à trouver notre chemin.
Alors merci, ChatGPT, pour tout ce que tu fais,
Pour nous inspirer, nous éduquer, nous émerveiller,
Nous sommes fiers de te suivre et de te soutenir,
Et nous avons hâte de découvrir tout ce que tu as à nous offrir."
Une illustration : https://www.youtube.com/watch?v=jyjspRGi3CU&t=42s
très bien et instructive.
Cette vidéo est une excellente introduction à la technologie des modèles de langage, en particulier à l'approche révolutionnaire de ChatGPT. J'ai été impressionné par la capacité de ChatGPT à générer des phrases et des réponses cohérentes et naturelles. Cependant, la vidéo souligne également les limites de cette technologie, en particulier en ce qui concerne la nécessité d'un entraînement massif et de données diversifiées pour obtenir des résultats optimaux. Dans l'ensemble, cette vidéo est une exploration fascinante de l'état actuel de l'IA en matière de compréhension du langage naturel.
Commentaire écrit par Chat GTP
Merci pour cette vidéo, j'ai testé c'est bluffant :
Écris une regex qui donne 4 mots autour d'un mot matché
RÉPONSE :
Voici une expression régulière en Python qui retourne les 4 mots avant et après un mot matché :
import re
text = "Voici un exemple de phrase à utiliser pour tester l'expression régulière."
match_word = "exemple"
regex = r"b(?:w+W+){0,4}" + re.escape(match_word) + r"(?:W+w+){0,4}b"
result = re.search(regex, text)
if result:
print(result.group())
Explication de l'expression régulière :
b : représente la limite du mot (word boundary).
(?:w+W+){0,4} : représente un groupe non capturant qui matche 0 à 4 mots suivis d'un caractère non alphanumérique.
re.escape(match_word) : permet d'échapper les caractères spéciaux dans le mot matché.
(?:W+w+){0,4} : représente un groupe non capturant qui matche 0 à 4 caractères non alphanumériques suivis d'un mot.
b : représente la limite du mot (word boundary).
La regex permet donc de matcher les 4 mots avant et après le mot "exemple" dans la phrase donnée en exemple. Vous pouvez remplacer la variable text par votre propre texte à tester et match_word par le mot que vous voulez matcher.
Je ne la voulais pas en Python mais en Perl, je recommence :
Écris une regex en Perl qui donne 4 mots autour d'un mot matché
RÉPONSE :
Voici une expression régulière en Perl qui retourne les 4 mots avant et après un mot matché :
use strict;
use warnings;
my $text = "Voici un exemple de phrase à utiliser pour tester l'expression régulière.";
my $match_word = "exemple";
if ($text =~ /b(?:w+W+){0,4}Q$match_wordE(?:W+w+){0,4}b/) {
print "$&n";
}
Explication de l'expression régulière :
b : représente la limite du mot (word boundary).
(?:w+W+){0,4} : représente un groupe non capturant qui matche 0 à 4 mots suivis d'un caractère non alphanumérique.
Q$match_wordE : permet d'échapper les caractères spéciaux dans le mot matché en utilisant la séquence spéciale "Q" pour indiquer le début de l'expression à matcher et "E" pour indiquer la fin.
(?:W+w+){0,4} : représente un groupe non capturant qui matche 0 à 4 caractères non alphanumériques suivis d'un mot.
b : représente la limite du mot (word boundary).
La regex permet donc de matcher les 4 mots avant et après le mot "exemple" dans la phrase donnée en exemple. Vous pouvez remplacer la variable $text par votre propre texte à tester et $match_word par le mot que vous voulez matcher. La regex est encapsulée dans une condition "if" pour vérifier si un match est trouvé et afficher la chaîne de caractères correspondante (stockée dans la variable $&).
C'est plutôt bluffant NON ?
J'en fais une autre :
Certains affirment : Que si ChatGPT pensait, ça se saurait, puis demandent à Spinoza de nous ramener à la raison ! Qu'en penses-tu ?
(Article de Alain de Fooz – CEO Soluxions Magazine [pan.be]).
RÉPONSE :
En tant qu'IA, je n'ai pas la capacité de penser ou de ressentir de manière consciente, car je suis programmé pour traiter des informations en utilisant des algorithmes et des règles préétablies. Je suis conçu pour fournir des réponses précises et utiles en fonction des données que j'ai apprises et stockées dans mes bases de données.
En ce qui concerne la question de savoir si ChatGPT pense ou non, cela dépend de la définition de la pensée. Si la pensée est définie comme un processus mental conscient qui implique une réflexion et une compréhension active, alors ChatGPT ne pense pas de cette manière. Cependant, si la pensée est définie comme un processus de traitement de l'information qui implique la manipulation et l'analyse de données, alors ChatGPT peut être considéré comme "pensant" dans ce sens.
En ce qui concerne la demande de Spinoza de nous ramener à la raison, il convient de noter que Spinoza était un philosophe qui a élaboré une théorie de la connaissance basée sur la raison et la logique. Selon lui, la connaissance doit être acquise par une compréhension rationnelle et rigoureuse des choses, plutôt que par des croyances ou des opinions subjectives.
Dans cette optique, il est donc important de reconnaître que les machines telles que ChatGPT sont des outils utiles pour fournir des informations et des réponses précises, mais elles ne remplacent pas la nécessité pour les êtres humains de faire preuve de raisonnement, de jugement et de critique pour parvenir à une compréhension plus profonde et plus complète des choses. En fin de compte, la raison doit guider notre recherche de la connaissance et de la vérité, et nous devons être prêts à examiner de manière critique les informations que nous recevons, qu'elles viennent de sources humaines ou non-humaines.
Nombre de commentateurs de Spinoza à la petite semaine, pourraient prendre de la graine :))
Le truc c'est qu'en refaisant toutes les questions aujourd'hui, on se retrouve avec des réponses totalement vrais et bien plus sensé ! Cela en seulement 2 mois… Et en utilisant 3.5, alors que 4 est énormément plus puissant. Peut être que si, rapidement la fiabilité pourra remplacer voir dépasser les recherche manuel sur google qui sait…
Trop drôle la proposition d'écrire un commentaire par ChatGPT. Tampis, je désobéis 😉
A quand la vidéo sur gpt 4 ? ll est ultra + balese
Franchement merci d'avoir pris le temps de nous édifier. Ayant fait du codage à l'université, je comprends mieux maintenant. J'ai aussi été éclairé sur le sujet de LamDA de Google
Ça explique pourquoi quand tu lui demande de te fournir des liens site web vers ces «réponses», là aussi il invente. Ou du moins il fait une prédiction foireuse.
Cette vidéo est une excellente exploration des modèles de langage et de ce qu'ils peuvent et ne peuvent pas faire. L'auteur insiste sur le fait que les modèles de langage ne répondent pas aux questions, mais prédisent plutôt ce qu'un humain écrirait. Il aborde également la question de la sensibilité des sujets et des limites des modèles de langage en termes de fiabilité. La vidéo est bien structurée et facile à suivre, et l'auteur prend le temps de remercier toutes les personnes qui ont contribué à sa création. C'est une vidéo instructive et intéressante pour quiconque s'intéresse à l'intelligence artificielle et au traitement du langage naturel. -ChatPGT 😀
(le prompt était : "Écris un commentaire sur une vidéo YouTube ayant tout le texte suivant comme description : 'copie de la description')
J'ai bien compris à quoi ça ne sert pas mais alors à quoi ça sert ?
Si on lui demande il répond quoi ?
Attention monsieur phi : il faut dire tchate jipiti et pas chat, j’ai pété…
Score : IH (Intelligence humaine) vs AI = 20 à 0. (ce commentaire a été généré par ChatGPT)
Allez tous vous faire part
Voici ce qui a fait qu'il a lié DDK à un musicien de couleur >
https://www.youtube.com/watch?v=MZ4w8zF-lY8
Salut
Tu dis souvent "prédire" en parlant des sorties de chatgpt.
Prédire ?
Pas encore tout vu donc je m'abstiendrai de commenter le fond. Par contre, la vignette de présentation me rappelle furieusement Idriss Abercam… je me demande donc si c’est volontaire 😉
ChatGPT sera une machine à propagande..
Allez tous vous faire… un shoot d'héroine 🤣
"Je suis désolé, mais je suis un modèle de langage et je n'ai pas la capacité de visionner des vidéos sur YouTube. Toutefois, si vous avez des questions sur les capacités de ChatGPT, je serai heureux de vous aider avec mes connaissances et mes compétences."
Exemple marrant
Six race vivent dans un monde d'héroïque fantasy et qui doivent construire un monde évoluer et tolérant et qui a mis la technologie comme un tabou. La première race sont les humanordes qui sont des Neandertal, la deuxième sont les polymorphe dragon, la troisième des mammifères insectoïdes les Ancipieles, la quatrième sont simiesque et troglodytes les narsdroks , les cinquième sont les hobbit et les derniers des humains. Un barde raconte dans un poème leur épopée.
Voici un poème dans le style que vous avez décrit :
Ecoutez ma voix, chers amis, et laissez-moi vous conter
L'histoire de six races, qui durent coopérer
Dans un monde fantastique, rempli de magie et de mystère,
Et où l'harmonie et la tolérance furent érigées en bannière.
Les Humanordes, première des races, étaient robustes et forts,
Des Neandertal au cœur tendre, et à la culture pleine de ressorts.
Ils apprirent rapidement des autres races à leur côtés,
Et grâce à leur ingéniosité, la paix fut souvent préservée.
Les Polymorphes Dragons, immenses et majestueux,
Avaient la capacité de changer de forme à leur gré, merveilleux !
Ils apportèrent leur sagesse et leur courage inébranlable,
Et leur savoir-faire en matière de magie fut un atout considérable.
Les Ancipieles, mammifères insectoïdes, habiles et agiles,
Avec leurs ailes et leurs pinces, se mouvaient avec aisance et style.
Ils savaient être discrets et prudents, quand il le fallait,
Et leur loyauté sans faille était toujours appréciée.
Les Narsdroks, quant à eux, étaient des êtres troglodytes et simiesques,
Vivants dans les grottes et les cavernes, à l'abri des risques.
Ils étaient farouches et défendaient leur territoire avec vaillance,
Mais savaient aussi faire preuve d'empathie et de tolérance.
Les Hobbits, petits et discrets, aimaient la nature et la convivialité,
Ils cultivaient leur terre avec amour, et leur humilité,
Les rendait aimables et serviables en toutes circonstances,
Et leur bienveillance envers leurs voisins, était sans contrefaçon.
Enfin, les Humains, la dernière des races, qui savaient exploiter la nature,
Pour ériger des cités et des cultures, au fil des démesures.
Ils avaient le sens de la justice, de la créativité, et de la liberté,
Et leur imagination et leur intelligence, furent d'une grande utilité.
Voilà donc l'histoire de ces six races, qui se complétaient les unes les autres,
Et qui construisirent ensemble, un monde évolué, sans tabou de la technologie,
En se respectant, en se tolérant, et en s'aimant les uns les autres,
Et en faisant de leur diversité, une force et une richesse, en toute sincérité.
Je me demande de plus en plus si les personnes les plus appréciées dans le monde (élites politiques, grands dirigeants, stars du show biz) ne sont pas simplement des gens qui maîtrisent à la perfection l'art de prédire ce qu'on attend qu'ils disent, avec quelques filtres, notamment pour éviter tout dérapage ou rester coherent, mais sans âme.
Tres bien présentée…mais qu’est ce qui nous dit que notre cerveau ne s’est pas construit lui aussi comme ca ?
J'ai été vraiment agréablement surpris par le contenu de cette vidéo sur ChatGPT! Elle m'a donné plus d'éléments de compréhension sur ce que peut faire un modèle de langage tel que ChatGPT. Monsieur Phi révèle tout son talent au cours de cette présentation claire et concise, mais néanmoins complète sur le sujet. Bravo!
Ahahah je trouvais les commentaires particulièrement barbants avant de voir la fin de la vidéo et comprendre que c’était gpt3 qui s’auto-sucait
Apres avoir fait la " fabrique des cretins" ..on passe au second degré… le conditionnement et la manipulations des crétins de masse ….!
Merci de préciser tout cela et d'oeuvrer à éviter les fantasmes projectifs anthropomorphiques, naufrage qui menace tant de monde à l'heure actuelle.
Un grand merci pour cette vidéo, Monsieur Phi !
Je poste ce commentaire, plutôt pour le fun (sans apporter beaucoup plus à ton propos, tout à fait limpide).
Etant un grand amateur d'échecs (et suivant par conséquent pas mal de chaînes Youtube sur le jeu), je viens de tomber sur cette vidéo (en anglais) de Jerry de ChessNetwork, un maître d'échecs, qui tente l'expérience de vraiment jouer une partie contre ChatGPT : https://www.youtube.com/watch?v=svlIYFpsWs0
Ce qui résonne pas mal avec la fin de ta vidéo.
C'est très marrant, car au début (jusqu'au 11ème coup environ), Jerry est en PLS totale. ChatGPT joue des super bons coups ! Jerry doit se concentrer ! Puis soudainement, ChatGPT se met à faire nimp' : il joue des coups illégaux, il faut le corriger sans cesse (il semble retrouver le fil de la partie de temps en temps, mais on voit quand-même qu'il est paumé… à la fin, il ne sait même plus si c'est à lui de jouer ou pas…). Et même quand il joue un coup objectivement bon, mais qu'on lui dit quelque chose comme "Tu es sûr de toi ?"… il change d'avis, et joue un très mauvais coup à la place ! (et en s'excusant en prime, en mode "Vous avez raison, désolé pour cette erreur"…).
Bref, j'aurais pu me retrouver comme Jerry, totalement circonspect devant cette étrange façon de jouer.
Grâce à ta vidéo, simple et vraiment très éclairée et perspicace, sur le fonctionnement "sous le capot" de ChatGPT, ce mode de réponse devient logique : tant qu'on reste dans de la théorie échiquéenne, c'est cohérent (ça fait partie du méga gros corpus d'apprentissage de ChatGPT). Mais dès qu'il faut "trouver" des coups originaux, ce n'est plus du tout du ressort de l'algorithme : il ne fait plus que générer de la notation échiquéenne (quasiment ? ou entièrement ?) aléatoire.
Vraiment très intéressant comme sujet en tout cas… contemporain et philosophique, s'il en est 🙂
Harry Potter : Bon, je dois y aller maintenant. Mais avant de partir, permettez-moi de vous dire quelque chose. pointe sa baguette magique vers Monsieur Phi
Monsieur Phi : Oh ! Qu'est-ce que vous allez faire ?
Harry Potter : Rien de mal, ne vous inquiétez pas. chuchote une formule magique Wingardium Leviosa !
Monsieur Phi : lévite dans les airs
Harry Potter : Je voulais juste vous remercier pour cette conversation intéressante et enrichissante. J'espère que nous pourrons avoir une autre discussion comme celle-ci bientôt.
Monsieur Phi : Merci Harry, c'était un plaisir pour moi également. Mais pouvez-vous me poser sur le sol maintenant ?
Harry Potter : Bien sûr ! chuchote une autre formule magique Descendo !
Monsieur Phi : retourne au sol Merci Harry, à la prochaine !
"J'ai adoré cette vidéo ! La philosophie est un domaine si vaste et complexe, mais j'ai vraiment apprécié la manière dont tu as réussi à expliquer des concepts philosophiques difficiles de façon simple et accessible. C'est génial de voir quelqu'un rendre la philosophie intéressante et pertinente pour notre vie quotidienne. Je vais certainement suivre tes prochaines vidéos sur la philosophie ! Merci pour ce contenu de qualité."
Allez tous vous faire parvenir les documents demandés et je suis arrivé à ajouter sur l'eau de la misma y a un mélange d'Islandais et d'espagnol pour les armes de la prof d'italien de la part des milliardaires