# Economie des grands modèles de langage - une étude de cas sur chatGPT

# Introduction
Au cours de la dernière décennie, les technologies d'intelligence artificielle (IA) ont évolué rapidement. De nombreuses percées commerciales sont dues à l'apprentissage profond, une méthodologie spécifique pour l'apprentissage automatique dans laquelle des réseaux neuronaux complexes sont formés à l'aide de grandes quantités de données (LeCun et al., 2015). L'apprentissage profond a stimulé l'activité dans différents sous-domaines de l'IA tels que le traitement du langage naturel (TLN) avec des grands modèles de langage (Large Language Model ou LLM en anglais), ce qui a donné lieu à des produits commerciaux sophistiqués pour des applications telles que la génération automatique du langage.

Dans cette partie, nous mettrons en exergue d'une part la définition et les techniques des grands modèles de langage, et d'autre part les acteurs majeurs de ces modèles et quelques exemples de leurs principaux grands modèles de langage developpés.

## Définition et techniques des grands modèles de langage
Techniquement, un modèle de langage est une représentation statistique d'une langue qui nous indique la probabilité qu'une séquence donnée (un mot, une expression ou une phrase) se produise dans cette langue. Grâce à cette capacité, les modèles de langage peuvent être utilisés pour prédire la suite d'une phrase et, par conséquent, pour générer du texte.

Les principales différences entre les grands modèles de langage (GML) et les modèles de langage communs sont que les grands modèles de langage sont entraînés sur des quantités de textes MASSIVEMENT plus importantes avec une puissance de calcul exponentielle.

Les grands modèles de langage, basés sur des réseaux neuronaux, sont très puissants car ils sont capables de reconnaître, de résumer, de traduire, de prédire, de classifier et de générer du texte et d'autres contenus sur la base des connaissances acquises à partir de vastes ensembles de données tels que des corpus de textes de diverses sources, des livres, des articles de presse, des pages Web et des réseaux sociaux. Ce sont des méga-modèles d’IA à plusieurs dizaines de milliards de paramètres, entraînés sur des corpus colossaux de texte. Leurs résultats sont de plus en plus convaincants c'est-à-dire semblables à ceux des humains.

Quelques techniques couramment utilisées pour former les grands modèles de langage sont:

Le **pré-entraînement**: Les grands modèles de langage sont généralement pré-entraînés sur des quantités massives de données textuelles à l'aide de techniques d'apprentissage non supervisées telles que les autoencodeurs ou la modélisation du langage. Cela permet au modèle d'apprendre des modèles et des structures linguistiques généraux qui peuvent ensuite être affinés pour des tâches spécifiques.

Le **peaufinage (fine-tuning**): Après le pré-entraînement, le GML est affiné pour des tâches spécifiques à l'aide de techniques d'apprentissage supervisé. Ce processus de peaufinage aide le modèle à s'adapter à des domaines spécifiques et à produire des résultats plus précis et plus pertinents.

Les **mécanismes d'attention (attention mechanisms)**: Les mécanismes d'attention sont utilisés pour améliorer les performances des GML en leur permettant de se concentrer sur des parties spécifiques de la séquence d'entrée qui sont les plus pertinentes pour le résultat.

L'**architecture de transformateur (transformer architecture)**: L'architecture de transformateur est un type d'architecture de réseau neuronal qui s'est avéré très efficace pour l'entraînement des GML. L'architecture de transformateur s'appuie sur des mécanismes d'auto-attention pour permettre au modèle de capturer les dépendances et les relations à long terme entre les différentes parties de la séquence d'entrée.

Les **objectifs de modélisation linguistique (language modeling objectives)**: Les objectifs de modélisation du langage, tels que l'estimation du maximum de vraisemblance ou la minimisation de la perplexité, sont utilisés pour entraîner les GML à générer des textes réalistes et cohérents.
La perplexité est une mesure statistique du degré de confiance avec lequel un modèle de langage prédit un échantillon de texte. Une perplexité faible indique que le modèle peut bien prédire l'ensemble de test, tandis qu'une perplexité élevée indique que le modèle n'est pas en mesure de bien prédire l'ensemble de test.

L'**augmentation des données (data augmentation)**: Les techniques d'augmentation des données, telles que l'ajout de bruit ou la paraphrase, peuvent être utilisées pour augmenter la quantité de données d'entraînement et améliorer les performances des GML.

La **recherche par faisceau (beam search)**: La recherche par faisceau est un algorithme de recherche utilisé pour générer des sorties à partir de GML. La recherche par faisceau permet au modèle de générer plusieurs sorties possibles et de sélectionner la plus probable sur la base d'un certain critère.

## Acteurs et exemples de grands modèles de langage
Les principaux acteurs du marché des grands modèles de langage (GML) sont des entreprises technologiques telles que OpenAI, Google, Microsoft et Facebook, qui sont à la pointe du développement de la technologie des GML.

En effet, les GML sont à la base de nombreuses activités de traitement du langage naturel (TLN) telles que la synthèse vocale et l'analyse des sentiments et ces entreprises utilisent les GML dans leurs produits et services pour améliorer l'expérience des utilisateurs et renforcer l'engagement des clients.

En outre, les chercheurs et les scientifiques des données jouent un rôle crucial dans le développement de la technologie des grands modèles de langage et l'amélioration des algorithmes sous-jacents.

Il existe plusieurs grands modèles de langage ainsi que les acteurs qui les développent tels que:

**BERT** (Bidirectional Encoder Representations from Transformers) de **Google** : BERT est un modèle de langage pré-entraîné avec 340 millions de paramètres. Il s'est avéré performant dans un large éventail de tâches de TLN, notamment l'analyse des sentiments, l'inférence du langage naturel et la réponse aux questions.

**RoBERTa** (Robustly Optimized BERT Approach) de **Facebook** : RoBERTa est une version modifiée de BERT avec un corpus d'entraînement plus important et des techniques de pré-entraînement supplémentaires. Elle a atteint des performances de pointe sur plusieurs tâches de référence en matière de TLN, notamment l'inférence du langage naturel et la classification des phrases.

**Turing-NLG** (Natural Language Generation) de **Microsoft** : Turing-NLG est un modèle de langage comportant 17 milliards de paramètres. Il a été entraîné sur un large éventail de textes, dont Wikipédia, des livres et des pages web. Turing-NLG a démontré des performances impressionnantes dans plusieurs tâches de référence en matière de TLN, notamment la classification de textes et la réponse à des questions.

La série **GPT** (Generative Pre-trained Transformer) d'**OpenAI** : GPT-3 est le plus grand modèle de langage accessible au public, avec 175 milliards de paramètres. Il a été démontré qu'il générait des textes très cohérents et semblables à ceux des humains dans un large éventail de tâches, notamment la traduction, le code, la réponse à des questions et l'achèvement de textes.

ChatGPT est également un grand modèle de langage développé par OpenAI et basé sur l'architecture de GPT-3.5. Il utilise l'intelligence artificielle et le traitement du langage naturel pour générer des réponses de type humain à des entrées textuelles. Il a été entraîné sur un grand corpus de données textuelles (y compris des articles de journaux, des romans, des scripts de films et de télévision, ainsi que des conversations en ligne) et peut effectuer une variété de tâches de traitement du langage naturel, y compris la traduction, l'analyse des sentiments et le résumé de texte. Il est particulièrement bien adapté à la génération de conversations textuelles, ce qui le rend utile pour les chatbots et d'autres applications d'IA conversationnelle.

Dans la suite, nous apporterons plus d'informations sur le marché pertinent, l'analyse de la concurrence et le business model qui sous-tendent le GML ChatGPT de l'entreprise OpenAI.

# Marché pertinent et analyse de la concurrence

ChatGPT représente une avancée significative dans le domaine du traitement du langage naturel et a de nombreuses applications potentielles dans toute une série d'industries, du service à la clientèle aux soins de santé en passant par l'éducation.
Certains domaines commencent à adopter ChatGPT dans leurs taches quotidiennes. Dans le secteur marketing par exemple avec la création de contenu, l'étude de marché et l'analyse de la concurence.

## - Quels sont les enjeux autour de l'outil conversationnel ChatGPT ?

La déferlante provoquée par l'arrivée du programme ChatGPT a mis un coup de projecteur sur l'intelligence artificielle dite générative et encore renforcé l'appétit des investisseurs qui ne veulent pas rater le train. La plus part des investisseurs aujourd'hui parlent de la façon dont ChatGPT pourrait éliminer des millions d'emploi, transformer des industries et fondamentalement changer la façon dont nous apprenons, nous consommons et nous prenons des décisions.

L'intelligence artificielle (IA) est présente dans nos vies depuis des décennies, mais le lancement en novembre 2022 du robot conversationnel de la start-up OpenAI a marqué un tournant dans sa perception par le grand public. Vedette du moment, l'IA générative dont ChatGPT est un exemple, permet de créer, en s'appuyant sur une importante quantité de données, des contenus originaux. Elle propose une interface à l'utilisateur qui pose des questions ou fait des demandes pour obtenir texte, musique, image ou code.

Dans les domaines où ChatGPT a un impact significatif, nous avons des exemples comme dans le secteur de l'éducation. ChatGPT a envahi la salle de classe et le domicile de l'élève. Un chatbot capable de faire la plupart de ce dont l'étudiant aura besoin dans sa future formation. Le domaine de l'éducation a été pris par surprise lorsque les élèves ont commencé à utiliser ChatGPT pour rédiger des essais et effectuer des devoirs scolaires. Selon le milliardaire Elon Musk, ChatGPT pourrait rendre les devoirs inutiles.

Il faut également noté que ce n'est pas tout le monde qui voit ChatGPT du bon oeil. La réaction des écoles a été de le bannir du processus éducatif, prétextant que cette technologie pourrait soulever de sérieuses questions sur l'avenir de l'écriture et de la pensée critique.
En effet, plusieurs doutes ont surgi, inquiétant les éducateurs tels que:
- Comment cette technologie va-t-elle changer les méthodes d'enseignement?
- Comment enseigner en sachant que l'élève utilise déjà cette technologie?
- Peut-on profiter de cet outil pour enseigner et apprendre?
- Doit-on bloquer les filtres Internet de l'Ecole?...etc
Et ce fut pour ces raisons que:
- ChatGPT a été interdit dans les écoles publiques de New York, Los Angeles et Seattle, en raison de problèmes de plagiat et de tricherie.
- Les juridictions éducatives en Australie ont bloqué l'accès des élèves à ChatGPT sur les réseaux scolaires.

## - En quoi ChatGPT est-il révolutionnaire ?

L’IA est une branche de l’informatique qui existe depuis plusieurs dizaines d’années. Toutefois on peut retenir au moins 2 grands moments de l’IA :
- 1997 : DeepBlue, l’ordinateur d’IBM, a battu le champion d’échecs Kasparov.
- 2023 : ChatGPT compte 100 millions d’utilisateurs actifs mensuels 3 mois après son lancement.
Les étudiants se sont par exemple empressés de l’utiliser pour rédiger leur devoir, les développeurs logiciels pour écrire leur code, les curieux pour se cultiver, les publicitaires pour rédiger des messages marketing...
Contrairement aux précédentes IA, ChatGPT est la première IA à connaître un si grand succès auprès du grand public : il est performant, ludique, et ne coûte que 24$ par mois dans sa version premium.

## - Quel est son implication dans l'économie ?

Un des grands gagnants en bourse de cet engouement pour ChatGPT et les IA à venir est Nvidia, un concepteur de semi-conducteurs. Les puces de ce dernier sont largement utilisées pour entraîner les différentes IA en développement et gérer les requêtes des utilisateurs sur ce nouveau genre de logiciel.
Le cours de Microsoft, actionnaire de référence d’OpenAI, n’a pas beaucoup performé ces derniers mois.
Alphabet qui est pourtant une des références dans le domaine de l’IA, a eu tendance à baisser, malgré l’annonce de BARD, un chatbot similaire à ChatGPT.

L'utilisation de ChatGPT est actuellement gratuite pendant la période d'évaluation d'OpenAI. L'entreprise espère utiliser les feedbacks pour améliorer ChatGPT et proposer par la même occasion une offre payante.

# A- Marché pertinent
En tant que modèle de langage, ChatGPT n'est pas un produit ou un service autonome commercialisable à proprement parler, mais plutôt une technologie qui peut être utilisée pour des applications commerciales. Cependant, les GML sont un composant essentiel de diverses applications de traitement du langage naturel (TLN), notamment les chatbots, les logiciels de traduction linguistique, l'analyse des sentiments et les outils de résumé de texte. Par conséquent, **il est plus pertinent de considérer le marché pour les applications de traitement du langage naturel (TLN) dans son ensemble**.

## Taille du marché
Selon un rapport de Markets and Markets, la taille du marché mondial du traitement du langage naturel, qui comprend les GML, était évaluée à 11,6 milliards USD en 2020 et devrait croître à un taux de croissance annuel composé de 23,2 % entre 2021 et 2026. L'adoption croissante d'applications basées sur le TLN dans divers secteurs, notamment la santé, la vente au détail et la finance, stimule la croissance du marché.

En outre, la demande de GML est également stimulée par:

- l'augmentation des données disponibles;
- l'augmentation de l'utilisation des technologies d'IA et d'apprentissage automatique dans de nombreux secteurs. À mesure que ces technologies continuent de progresser, la demande de GML plus sophistiqués et plus précis est susceptible d'augmenter.

### Marché adjacent
Le marché des GML est étroitement lié à plusieurs marchés adjacents, notamment:
- Le marché de l'analyse de données: Les GML nécessitent une quantité importante de données pour fonctionner efficacement, ce qui a entraîné une croissance du marché de l'analyse de données.
- Le marché de l'automatisation: Les GML sont souvent utilisés pour automatiser des tâches, ce qui a entraîné une croissance du marché de l'automatisation.
- Le marché de l'assistance client: Les GML sont souvent utilisés pour fournir une assistance client, ce qui a entraîné une croissance du marché de l'assistance client.
- Le marché de l'Internet des Objets (IoT): Les GML peuvent être intégrés à des appareils connectés pour fournir des services d'assistance et de commande vocale plus pratiques et plus efficaces.
- Le marché de la sécurité de l'information : Les GML sont souvent utilisés pour détecter les fraudes et les cyberattaques, ce qui a entraîné une croissance du marché de la sécurité de l'information.

Ainsi, ChatGPT peut être pertinent pour divers secteurs, notamment :

Le **service clientèle**: ChatGPT peut être utilisé pour fournir une assistance clientèle rapide et efficace. Les entreprises peuvent intégrer ChatGPT à leur site Web ou à leur application pour répondre aux questions des clients et résoudre les problèmes rapidement.

Le **marketing**: ChatGPT peut aider les entreprises à fournir des recommandations personnalisées, à envoyer des promotions ciblées et à améliorer l'expérience de leurs clients. Les entreprises peuvent également utiliser ChatGPT pour automatiser certaines tâches de marketing, telles que l'envoi d'e-mails.

L'**éducation**: ChatGPT peut être utilisé pour fournir une assistance aux étudiants dans leur apprentissage, répondre aux questions des enseignants et des étudiants, et offrir des suggestions pour améliorer l'apprentissage.

La **santé**: ChatGPT peut être utilisé pour fournir des informations sur les problèmes de santé, répondre aux questions des patients et des médecins, et aider les patients à prendre des décisions éclairées concernant leur santé.

Les **Ressources Humaines**: ChatGPT peut être utilisé pour fournir des informations sur les avantages sociaux, les politiques et les procédures de l'entreprise, répondre aux questions des employés et fournir une assistance en matière de recrutement et de sélection.

Le **Développement informatique**: ChatGPT peut générer du code et développer un programme dans n’importe quel langage de programmation. De plus, non seulement ChatGPT peut détecter les erreurs de code, mais il peut également les réparer et expliquer ses corrections. Cette fonctionnalité est très prometteuse pour aider les développeurs dans les cycles de débogage longs et fastidieux.

# B- Analyse de la concurence
Il existe de nombreux acteurs sur le marché du TLN, tels que Google, Amazon, IBM, Microsoft, Facebook, OpenAI, ainsi que des startups telles que Hugging Face et EleutherAI. Ces entreprises proposent une gamme de produits de TLN, allant des API de traitement de texte aux modèles de langage pré-entraînés.

A peine OpenAI avait-il ouvert une version de son robot conversationnel ChatGPT au grand public avec un succès fracassant (100 millions d'utilisateurs en trois mois) que les concurrents ont commencé à dégainer leurs propres innovations pour se positionner sur le marché mondial de l'intelligence artificielle (ou du TLN).

## a- Microsoft, un chatbot encore à maîtriser

En nouant voici quelques mois un partenariat avec OpenAI, le PDG de Microsoft (la société mère du désormais fameux ChatGPT) a accompli un pas de géant dans le logiciel conversationnel appuyé sur l'intelligence artificielle. Un domaine appelé à devenir la mère des batailles d'Internet dans les années qui viennent. En intégrant cette solution baptisée Prometheus dans son moteur de recherche Bing, aujourd'hui encore lilliputien face à la domination de Google (90 % du « search » dans le monde) et dans son navigateur Web Edge, le groupe espère avoir trouvé la rupture technologique susceptible de le faire remonter la pente. Les nouvelles fonctionnalités sont pour l'instant réservées à un nombre limité d'utilisateurs en guise de test.

## b- Google, se différencier par l'actualité

Répondre à des questions tout en intégrant des éléments d'actualité, telle est l'ambition du robot conversationnel **Bard**, que le groupe Alphabet a déjà mis à disposition de « testeurs de confiance » (des entreprises de l'IA). Un atout clé pour se différencier de ChatGPT d'OpenAI dont les connaissances s'arrêtent en 2021 et intégrer rapidement plus d'intelligence artificielle dans son moteur de recherche. Le grand public devra toutefois patienter « encore plusieurs semaines » pour y accéder, selon le billet de blog du 6 février du PDG de Google et d'Alphabet. Il n'est pas question pour Google de laisser la main à Microsoft dans la bataille de l'intelligence artificielle.

## c- Baidu, afficher sa puissance

Face à l'offensive de Microsoft et Google, le moteur de recherche chinois peaufine le lancement de son chatbot conversationnel bilingue, baptisé **Ernie Bot**. Après l'achèvement des tests internes, l'outil devrait être disponible en mars, en vue de son intégration aux services de recherche. Selon certaines sources chinoises, la dernière version d'Ernie afficherait 260 milliards de paramètres, contre 175 milliards pour GPT-3.

## d- Evolution de ChatGPT

Après plusieurs mois de rumeur, OpenAI a enfin déployé GPT-4. Ce nouveau modèle IA est capable de comprendre le texte, mais aussi les images. Il va permettre à ChatGPT et aux autres applications basées sur GPT de devenir encore plus intelligentes et polyvalentes.

Nous vous présentons ci-dessous l'évolution de la série GPT d'OpenAI.

Avant le premier GPT, la plupart des modèles de Traitement Naturel du Langage (TNL) étaient entraînés pour des tâches spécifiques comme la classification ou la traduction de texte. Ils utilisaient l’apprentissage supervisé.
C’est en 2018 qu’OpenAI a mis un coup de pied dans la fourmilière, en publiant l’article « Improving Language Understanding by Generative Pre-Training » (améliorer la compréhension du langage par le pré-apprentissage génératif) dans la revue Paperswithcode.

À travers cette étude, la startup présente GPT-1 : un modèle génératif de langage à 117 millions de paramètres, entraînés sur des données sans label et fine-tuned (raffiné) pour des tâches spécifiques comme la classification et l’analyse de sentiment.

Un an plus tard, en 2019, l’article « Language Models are Unsupervised Multitask Learners » (les modèles de langage sont des apprenants multi-tâches non-supervisés) présente GPT-2. Ce modèle à 1,5 milliard de paramètres a été entraîné sur un jeu de données bien plus large, afin d’accroître ses performances.

Puis, en 2020, OpenAI introduit GPT-3 et ses 175 milliards de paramètres avec l’article « Language Models are Few-Shot Learners ». Ce nouveau modèle a 100 fois plus de paramètres que GPT-2, et a été entraîné sur un dataset encore plus large pour maximiser ses résultats.

Alors que GPT-3.5 acceptait uniquement les inputs sous forme de texte, GPT-4 peut aussi recevoir des images. C’est une amélioration majeure.

Ainsi, pour rester compétitif avec son chabot ChatGPT, OpenAI devrait continuer à améliorer le modèle GPT (sur lequel est basé ChatGPT) en termes de précision, de temps de réponse et de capacité à répondre à des questions complexes et à des demandes contextuelles.

# Business model et proposition de valeur

## OpenAI (entreprise)
OpenAI, le développeur de ChatGPT, est une organisation de recherche (cofondée en 2015 par Elon Musk et Sam Altman) qui se concentre sur le développement de l'intelligence artificielle d'une manière sûre et bénéfique.

Cofondée en 2015 par Elon Musk et Sam Altman, la société est spécialisée dans le développement de l’intelligence artificielle.

## Produits
Les GML sont le principal produit proposé par OpenAI, les versions les plus populaires étant GPT-1, GPT-2 et GPT-3. ChatGPT est une variante du modèle GPT-3 spécialement conçue pour la conversation.

## Revenu/modèle financier
OpenAI génère des revenus en octroyant des licences d'utilisation de sa technologie de GML ChatGPT à des entreprises et par le biais de partenariats avec des entreprises telles que Microsoft qui a investi 1 milliard de dollars dans l'entreprise. L'investissement de Microsoft dans OpenAI s'inscrit dans le cadre d'un effort plus large visant à développer et intégrer la technologie des GML dans ses produits et services.

## Feuille de route (Roadmap)
Les perspectives pour les GML sont prometteuses et ces quelques tendances témoignent de la positivité du secteur:
- La demande croissante des entreprises pour les solutions d'IA conversationnelle pour améliorer leurs différents services;
- La croissance de l'Internet des Objets (IoT) qui vont développer les interactions Homme-machine;
- Les progrès dans la technologie de reconnaissance vocale;
- La convergence de l'IA conversationnelle avec d'autres technologies telles que la réalité virtuelle;
- Le développement de modèles de langage encore plus sophistiqués.

De ce fait, l'entreprise OpenAI pourrait avoir ces plans pour sa RoadMap concernant son produit ChatGPT:

- Amélioration continue de la performance grâce à l'acquisition de données supplémentaires;
- Développement de nouvelles fonctionnalités;
- Expansion dans de nouveaux domaines tels que l'industrie de la santé ou l'éducation, où les interactions conversationnelles sont de plus en plus importantes;
- Intégration avec d'autres produits d'OpenAI tels que des robots pour créer des solutions plus complètes pour les clients;
- Amélioration de l'accessibilité en améliorant la documentation ou en simplifiant l'API.

## SWOT de ChatGPT
-- **Forces** :
- Est gratuit et facile à utiliser;
- Permet d'établir des liens plus larges grâce à sa vaste base de données;
- Capable de générer des réponses précises et cohérentes aux requêtes des utilisateurs;
- Soutenu par OpenAI, une entreprise de renommée mondiale dans le domaine de l'IA, qui lui offre une expertise technique et une crédibilité supplémentaires;
- Disponible sous forme d'API, ce qui permet aux entreprises de l'intégrer facilement dans leurs applications et services existants.

-- **Faiblesses**
- Connaissance limitée du monde et des événements après 2021;
- Ne peut pas prédire les événements futurs;
- Peut produire des réponses inexactes lorsqu'il est confronté à des requêtes complexes ou mal formulées;
- Aucune source n'est citée pour le contenu fourni.

-- **Opportunités** :
- Utilisation dans de nombreux domaines, tels que le service client, le marketing, l'éducation et la santé, offrant ainsi un potentiel de croissance important;
- Peut être amélioré en continu grâce à des mises à jour et des entraînements réguliers, permettant ainsi d'améliorer sa précision et son efficacité;
- Peut être intégré à des applications et services existants.

-- **Menaces** :
- Peut être utilisé pour tricher et porter atteinte à l'intégrité académique;
- Peut rendre certaines compétences moins pertinentes;
- Peut être utilisé à des fins malveillantes, comme le piratage informatique;
- Peut remplacer certains emplois;
- Est confronté à une concurrence croissante dans le domaine des GML, avec l'arrivée de nouveaux acteurs et de modèles de langage plus performants.

# Analyse des keywords du cours

# Risques liés à l'utilisation des grands modèles de langage tels que ChatGPT
L'utilisation des grands modèles de langage (GML) comporte des risques importants (tant sur le plan éthique que technique) et il convient d'y réfléchir attentivement pour les atténuer et garantir une utilisation responsable et éthique. Nous pouvons citer notamment:

Les **biais, équité et toxicité**: L'un des principaux risques éthiques des GML est la possibilité de biais dans les données utilisées pour former les modèles. Si les données ne sont pas représentatives de la population, le modèle peut prendre des décisions biaisées ou injustes. Par exemple, un modèle formé sur des textes rédigés principalement par des hommes peut être plus susceptible d'associer certains mots ou phrases à des hommes plutôt qu'à des femmes.

Le **mauvais usage**: Un autre risque social des GML est le potentiel d'utilisation abusive. Les GML ont la capacité de générer des textes très convaincants, qui peuvent être utilisés pour créer des fausses nouvelles ou usurper l'identité de personnes en ligne. Cela peut conduire à la diffusion de fausses informations et nuire à la réputation de personnes ou d'organisations.

Les **attaques adverses**: D'un point de vue technique, les grands modèles de langage sont également vulnérables aux attaques adverses, où un attaquant manipule l'entrée du modèle pour produire un résultat souhaité. Cela peut conduire le modèle à prendre des décisions incorrectes ou malveillantes.

Les **fuites de données privées**: Si les données d'apprentissage ne sont pas masquées ou dépersonnalisées, il y a des chances que les GML puissent déduire et divulguer ces informations privées ou sensibles.

L'**impact environnemental**: La formation et l'inférence des GML nécessitent beaucoup d'énergie et peuvent entraîner une empreinte carbone et des coûts environnementaux élevés.

La **responsabilité en cas d'informations erronées**: Comme pour tout autre modèle de Machine Learning, la responsabilité est une question clé. Si le modèle de langage donne des suggestions ou des prédictions incorrectes pour une tâche donnée en aval, qui en sera responsable?

# Recommandations
Malgré les nombreuses opportunités d’aide à la prise de décision que ChatGPT offre, des limites et biais considérables existent. De ces derniers découlent plusieurs recommandations.

## Pour l’analyste
Les limites de ChatGPT peuvent être atténuées en croisant les résultats, issus de méthodes alternatives ou de plusieurs outils d’IA.

## Pour OpenAI
Pour tirer parti des opportunités de croissance sur le marché des GML, OpenAI devrait envisager d'étendre ses partenariats avec d'autres entreprises et organisations. En outre, l'entreprise devrait se concentrer sur l'amélioration de la sécurité et de l'utilisation éthique des GML afin de répondre aux préoccupations concernant l'utilisation potentiellement abusive de la technologie. OpenAI peut également contribuer à l'élaboration de normes industrielles pour l'utilisation responsable des GML.

## Pour la société et les politiques
D'un point de vue sociétal et politique, il est essentiel de répondre aux préoccupations concernant l'utilisation éthique des GML. Alors que la technologie GML continue d'évoluer et de se répandre, il est nécessaire de renforcer la réglementation et la transparence dans le développement et l'utilisation de cette technologie. Les entreprises et les organisations qui utilisent les GML doivent donner la priorité aux considérations éthiques et veiller à ce que la technologie soit utilisée de manière responsable et bénéfique.

# Conclusion
Les GML tels que ChatGPT ont le potentiel de révolutionner le domaine de l'IA, en permettant aux machines de mieux comprendre les humains et d'interagir avec eux dans un contexte de langage naturel.

Avec l'adoption de ChatGPT et d'autres technologies d'IA, des portions croissantes de métiers seront demain automatisées, mais cela pourra d'une part réduire la pénibilité du travail de certains et libérer des énergies pour les nombreux défis que nous devrons relever. Tout ceci induira un impact bénéfique sur l'économie que produisent les gains de productivité, notamment en permettant le transfert de la demande et des emplois vers des tâches à plus forte valeur ajoutée.
Cependant, les besoins en requalification, en formation continue et en accompagnement dans des carrières non-linéaires représentent un enjeu crucial pour les décennies à venir, allant jusqu'à repenser le socle d'apprentissage à l'école.

OpenAI est à l'avant-garde du développement de la technologie des GML et jouit d'une solide réputation au sein de la communauté de l'IA. Le marché des GML devrait croître de manière significative dans les années à venir, offrant ainsi de nombreuses opportunités de croissance. Toutefois, les préoccupations concernant l'utilisation éthique des GML et le risque d'utilisation abusive de la technologie doivent être prises en compte afin de garantir que les avantages des GML se concrétisent.

# Bibliographie :

LeCun Y, Bengio Y, Hinton G (2015) Deep learning. Nature 521: 436–444. Crossref. PubMed. ISI.

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.

Chaturvedi, S., & Rao, D. (2021). A Comprehensive Study of Large Language Models: A Paradigm Shift in NLP. Journal of King Saud University-Computer and Information Sciences, 33(1), 12-20.

Tyna Eloundou,Sam Manning,Pamela Mishkin and Daniel Rock : "GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models", March 27, 2023

Researchmandmarkets, "Global Conversational AI Mark, et Size & Share to 2027",

Researchmandmarkets, "Conversational AI Market by Component (Solutions and Services), Type (Chatbots and IVA), Technology (NLP and ASR), Business Function (Sales and Marketing, and Operations), Mode of Integration, Vertical, and Region - Global Forecast to 2026"

Chaturvedi, S., & Rao, D. (2021). A Comprehensive Study of Large Language Models: A Paradigm Shift in NLP. Journal of King Saud University-Computer and Information Sciences, 33(1), 12-20.

Varshney, K. R., Varshney, K., & Rana, S. K. (2021). Large Language Models: From Transformers to GPT-3. Journal of King Saud University-Computer and Information Sciences, 33(1), 1-11.

Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2019). GLUE: A multi-task benchmark and analysis platform for natural language understanding. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 1-13).

Yoo, J., Kang, D., & Lee, H. (2020). A study on the development trend of large language models. Journal of Intelligence and Information Systems, 26(4), 29-39.

Zoph, B., & Le, Q. V. (2017). Neural architecture search with reinforcement learning. arXiv preprint arXiv:1611.01578.

Strubell, E., Ganesh, A., & McCallum, A. (2019, June 5). “Energy and Policy Considerations for Deep Learning in NLP“. arXiv.org. Retrieved February 10, 2023, from https://arxiv.org/abs/1906.02243