# ChatGPT

En 10 jours on est passé du fail de #Galactica à la hype autour de #chatGPT. Au delà des démos des uns et des autres, il n'est pas facile de comprendre ce qu'est exactement #ChatGPT.

L'article de la MIT Technology Review explique un peu mieux : https://www.technologyreview.com/2022/11/30/1063878/openai-still-fixing-gpt3-ai-large-language-model/

En fait, c'est un modèle de questions réponses entraîné au dessus de GPT-3 avec un algo de Reinforcement learning assez puissant.

Beaucoup de gens sont impressionnés par la pertinence des réponses mais je pense qu'en l'état, il faut rester très méfiant pour plusieurs raisons.

Comme la chercheuse Emily Bender https://mastodon.social/@[e-mail]/109456744841315414, je pense qu'il ne faut pas confondre les modèles de langage avec des modèles de connaissances. Il se trouve que ChatGPT donne souvent de bonnes réponses mais on n'a aucun moyen de le savoir. Donc quand on n'est pas expert d'un domaine, ça ne sert à rien. Le vrai problème du l'appli #ChatGPT c'est qu'on n'a aucune idée de comment le résultat est obtenu. Le projet de #WebGPT qui renverrait vers des documents sources à mi-chemin entre un moteur de recherche et #chatGPT semble beaucoup plus intéressant.

Par ailleurs, il ne faut pas oublier que ChatGPT est une technologie propriétaire. OpenAI n'a d'Open que le nom (voir ce tweet : https://twitter.com/akashmjn/status/1599924982720921600). Bien sûr, c'est intéressant mais si on commence à l'utiliser de manière régulière, on risque de le regretter très fort un jour où l'autre. Il serait bien plus intéressant d'essayer de construire des outils autour de https://huggingface.co/bigscience/bloom plutôt que de s'enfermer dans #ChatGPT.

Perso, je trouverais beaucoup plus intéressant de construire des outils puissants mais plus modestes. Au lieu de construire un modèle de questions réponses universel dont on n'a aucune idée du corpus de questions réponses, on pourrait essayer de construire des modèles de questions réponses qui s'appuient sur des corpus qu'on connaît ou qu'on maîtrise. Par exemple, un algo de questions-réponses sur #Wikipedia ou sur #Wikidata ça aurait du sens. Et si la réponse s'avère fausse inexacte, on sait comment contribuer pour améliorer la base de connaissance initiale.