Aller au contenu principal

Qu'est-ce qu'un LLM (Large Language Models)

· 15 minutes de lecture
info

Série d’articles sur l’IA
Voici le deuxième article d’une série de quatre :

  1. Les LLM : comprendre ce qu’ils sont et comment ils fonctionnent (présent article).
  2. Le NLP : exploration du traitement automatique du langage naturel.
  3. Les Agents IA : découverte des intelligences artificielles autonomes.
  4. Comparatif et positionnement de AI Smarttalk : synthèse et mise en perspective.

Imaginez un champ de fleurs sauvages s’étendant à perte de vue, au milieu duquel s’active un essaim d’abeilles d’une taille démesurée. Elles bourdonnent, virevoltent et récoltent le pollen de chaque fleur pour en faire un miel d’une incroyable complexité. Ce miel, c’est le langage. Et ces abeilles, ce sont les LLM (Large Language Models), ces Grands Modèles de Langage qui s’affairent à transformer d’immenses quantités de données textuelles en quelque chose de structuré, de cohérent, et parfois même de très créatif.

Dans cet article, nous allons explorer en profondeur la ruche bourdonnante des LLM : comprendre comment ces abeilles géantes construisent et peaufinent leurs rayons (leur architecture), quels types de pollens elles collectent (les données), comment elles se coordonnent pour fabriquer le miel (la génération de texte), et enfin comment on peut guider et apprivoiser ces essaims pour qu’ils produisent un nectar savoureux plutôt qu’une substance hasardeuse.

Nous aborderons plusieurs points essentiels :

  • Les origines et la définition d’un LLM
  • Les techniques d’entraînement et le rôle de l’attention
  • Les usages concrets et les limitations
  • Les défis éthiques, énergétiques et techniques
  • Le prompt engineering pour obtenir le meilleur d’un LLM
  • Les options de déploiement et la maintenance

Nous irons loin dans la comparaison entre nos amies ailées et ces modèles de langage géants. Vous verrez que, si l’image de l’abeille vous semble douce et inoffensive, un essaim mal géré peut aussi causer son lot de piqûres. Mais avant de prendre la fumée pour calmer tout ce petit monde, plongeons-nous dans la structure même d’un LLM, qui n’aura plus grand-chose de mystérieux à la fin de cet article.

Pour commencer, voici un schéma simplifié (sans commentaire superflu) du trajet que parcourt un texte dans un LLM, depuis l’entrée jusqu’à la sortie, en passant par toutes les étapes clés :

1. Qu’est-ce qu’un LLM ? L’essaim qui bourdonnait plus fort que les autres​

1.1. Origine et concept​

Depuis plusieurs années, la recherche en Intelligence Artificielle s’est intéressée au langage naturel : comment faire en sorte qu’un modèle puisse comprendre et générer du texte de façon pertinente ? On a longtemps utilisé des techniques de NLP (Natural Language Processing) à base de règles ou de statistiques basiques. Puis, est arrivée une étape cruciale : l’avènement du Deep Learning et des réseaux de neurones.

Les Large Language Models sont le fruit de cette révolution. Ils sont appelés “larges” (ou “grands”) parce qu’ils ont des dizaines, voire des centaines de milliards de paramètres. Un paramètre, c’est un peu comme la “position d’une infime parcelle” dans l’organisation complexe de la ruche. Chaque paramètre “apprend” à pondérer, à ajuster un signal pour mieux prédire le token suivant dans une séquence donnée.

1.2. Une ruche construite sur d’immenses quantités de données​

Pour bâtir leur ruche, les LLM ont besoin d’énormément de “pollen” : le texte. Ils ingèrent des quantités phénoménales de contenu, allant des livres numérisés aux articles de presse, en passant par les forums ou les réseaux sociaux. À force d’accumuler toutes ces données, la structure interne du modèle se façonne pour capturer et refléter les régularités du langage.

Ainsi, ces abeilles artificielles finissent par savoir que, dans un contexte donné, certains mots ont plus de chances de survenir que d’autres. Elles ne mémorisent pas ligne par ligne tout le texte qu’elles ont lu, mais elles apprennent à “statistiquement reproduire” les tournures, les syntaxes, les associations d’idées que l’on retrouve dans le langage.

2. Pénétrer dans la ruche : un aperçu du fonctionnement​

2.1. La tokenisation : récolter le pollen, morceau par morceau​

La première étape, c’est la tokenisation. On prend le texte brut et on le découpe en tokens. Imaginez un champ rempli de fleurs : chaque fleur représente un mot, ou un morceau de mot, que l’abeille va prélever. Un “token” peut être un mot entier (“maison”), une partie de mot (“mais-”, “-on”) ou parfois même un signe de ponctuation.

Ce découpage dépend d’un vocabulaire propre au modèle : plus il y a de tokens possibles, plus la segmentation peut être fine. Cette tokenisation est cruciale, car le modèle va ensuite manipuler ces tokens plutôt que du texte brut. C’est comme si l’abeille prélevait précisément le pollen et non la fleur entière.

2.2. Les embeddings : le pollen se transforme en vecteur​

Une fois le pollen récolté, il faut le transformer en un format exploitable par le modèle : c’est l’étape de l’embedding. Chaque token est converti en un vecteur (une liste de nombres) qui encode des informations sémantiques et contextuelles.

Pensez-y comme la “couleur” ou la “saveur” du pollen : deux mots aux sens proches auront des vecteurs proches, de la même façon que deux fleurs apparentées produisent un pollen similaire. C’est un passage indispensable, car le réseau de neurones ne comprend que des nombres.

2.3. Les couches de “Transformers” : la danse des abeilles​

Dans la ruche, les abeilles communiquent via la “danse des abeilles”, un ballet complexe qui indique où se trouve le pollen le plus riche. Dans un LLM, cette coordination se fait via le mécanisme d’attention (le fameux “Attention is all you need” introduit en 2017).

Chaque couche de Transformer va appliquer une Self-Attention : pour chaque token, le modèle évalue son degré de pertinence par rapport aux autres tokens de la séquence. C’est un échange d’informations simultané, un peu comme si chaque abeille disait “Voici le type de pollen que j’ai, de quel pollen as-tu besoin ?”.

En empilant plusieurs couches de Transformers, le modèle devient capable de capturer des relations complexes : il peut apprendre que, dans une phrase, le mot “reine” fait référence à un concept pouvant être relié à “abeilles” ou “ruche”, et non à “monarchie” dans d’autres contextes, par exemple.

2.4. La production du miel : prédire le token suivant​

Enfin, la ruche produit son miel, c’est-à-dire le texte généré. Après avoir analysé le contexte, le modèle doit répondre à une question simple : “Quel est le token suivant le plus probable ?”. Cette prédiction se fait en observant les poids ajustés dans le réseau.

Selon les hyperparamètres (température, top-k, top-p, etc.), ce processus peut être plus ou moins aléatoire ou déterministe. Une température faible équivaut à une abeille très disciplinée, qui produira un miel très prévisible. Une température élevée, c’est une abeille plus excentrique, capable de butiner plus librement et de donner un miel plus créatif, au risque d’être parfois peu cohérent.

3. Le miel dans tous ses états : cas d’usage des LLM​

3.1. Rédaction assistée et génération de contenu​

L’un des usages les plus en vogue est la rédaction automatique. Besoin d’un article de blog ? D’un script de vidéo ? D’une histoire à dormir debout ? Les LLM peuvent générer du texte d’une fluidité parfois bluffante. Cette écriture peut être orientée sur un ton particulier : humoristique, sérieux, poétique, etc.

Cependant, il faut toujours vérifier la qualité du “miel” produit. Parfois, l’essaim peut se tromper et butiner des infos erronées. On appelle ça des “hallucinations” : l’abeille invente des fleurs qui n’existent pas !

3.2. Outils de conversation et chatbots​

Les chatbots basés sur des LLM ont fait sensation, car ils offrent une conversation plus naturelle qu’auparavant. Imaginez un essaim qui, face à chacune de vos requêtes, vole de fleur en fleur (de token en token) pour vous donner une réponse adaptée.

Ces chatbots peuvent être utilisés pour :

  • Le service client
  • L’assistance (textuelle ou vocale)
  • La formation et le tutorat interactif
  • L’enseignement des langues

3.3. Traduction automatique​

Les LLM, ayant ingurgité du texte dans plusieurs langues, savent souvent passer d’une langue à l’autre. En effet, beaucoup de langues partagent des schémas grammaticaux, et l’abeille artificielle peut reconnaître ces schémas pour proposer des traductions. Les résultats ne sont pas toujours parfaits, mais ils dépassent souvent la qualité des systèmes plus anciens basés sur des règles strictes.

3.4. Assistance à la programmation​

Des LLM, tels que ceux derrière certains systèmes de type “copilot” pour codeurs, peuvent proposer du code correct, suggérer des solutions, corriger des erreurs. C’est un usage de plus en plus répandu, qui démontre que le langage “informatique” est juste un langage de plus dans la ruche globale du contenu textuel.

3.5. Analyse et structuration de documents​

En plus de générer du texte, les LLM peuvent le résumer, l’analyser, l’étiqueter (classification), voire en extraire des insights. C’est très pratique pour trier de gros volumes de documents, évaluer des retours clients, analyser des avis, etc.

4. Les piqûres possibles : limites et risques​

4.1. Les hallucinations : lorsque l’abeille invente une fleur​

Comme mentionné, l’abeille (le LLM) peut “halluciner”. Elle n’est pas connectée à un référentiel de vérité : elle se base sur des probabilités. Ainsi, elle peut répondre avec aplomb des choses fausses ou inexistantes.

Il convient de s’en souvenir : un LLM n’est pas un oracle, il prédit le texte, il ne le “comprend” pas au sens humain du terme. Les conséquences peuvent être graves si on s’en sert pour des applications critiques (médicales, juridiques, etc.) sans supervision.

4.2. Biais et contenu inapproprié​

Les abeilles collectent le pollen un peu partout, y compris sur des fleurs douteuses. Les biais présents dans les données (stéréotypes, propos discriminatoires, etc.) se retrouvent dans la ruche. On peut alors obtenir un miel teinté de ces biais.

Il revient aux chercheurs et aux ingénieurs de mettre en place des filtres et des mécanismes de modération. Mais la tâche est complexe, car il faut identifier les biais, les corriger, et éviter de trop brider la créativité du modèle.

4.3. Coût énergétique et empreinte carbone​

Entraîner un LLM, c’est comme entretenir un essaim géant dans une serre chauffée 24/7. Cela requiert des ressources informatiques colossales, donc beaucoup d’énergie. Les questions environnementales sont donc centrales :

  • Peut-on rendre ces entraînements plus éco-responsables ?
  • Faut-il limiter la taille des modèles ?

Le débat est ouvert, et de nombreuses initiatives cherchent à réduire l’empreinte carbone via des optimisations hardware et software.

4.4. Manque de contextualisation “réelle”​

Même si le modèle est impressionnant, il lui manque souvent une compréhension du monde au-delà du texte. Les abeilles artificielles ne connaissent que le “pollen” textuel. Elles ne savent pas qu’un objet pèse un certain poids ou qu’un concept abstrait a des implications légales, par exemple.

Cette lacune se ressent dans des tâches qui exigent un “sens commun” profond, ou un rapport au réel (perception, action, expérience sensorielle). Les LLM peuvent donc échouer sur des questions “faciles” pour un humain, du fait d’une absence de contexte sensoriel.

5. L’art du dressage : le “prompt engineering”​

5.1. Définition​

Le prompt est le texte que vous fournissez en entrée au LLM pour obtenir une réponse. La façon dont vous formulez ce prompt peut faire toute la différence. On parle de prompt engineering pour désigner la pratique d’écrire un prompt optimal (ou quasi-optimal).

C’est un peu comme souffler la fumée dans la ruche pour calmer les abeilles et leur indiquer exactement la tâche à accomplir : “Allez butiner telle zone, dans telle direction, pour rapporter tel type de pollen.”

5.2. Techniques de prompt engineering​

  1. Contexte clair : définissez le rôle du LLM. Par exemple, “Tu es un expert en botanique, explique-moi…”.
  2. Instructions précises : indiquez ce que vous voulez obtenir, le format de la réponse, la longueur, le style.
  3. Exemples : fournissez des Q/R exemplaires pour guider le modèle.
  4. Contraintes : si vous souhaitez limiter le champ de réponses, précisez-le (“Ne mentionne pas tel sujet, réponds seulement sous forme de listes à puces, etc.”).

5.3. Température, top-k, top-p…​

Pour générer le miel, l’abeille peut suivre plus ou moins strictement sa recette. La température est un paramètre crucial :

  • Température faible (~0) : la ruche est très disciplinée. Les réponses sont plus “conservatrices” et cohérentes, mais moins originales.
  • Température élevée (>1) : la ruche est plus inventive, mais peut partir dans tous les sens.

De la même façon, “top-k” limite le modèle à choisir parmi les k tokens les plus probables, et “top-p” impose un seuil de probabilité cumulative (nucléus sampling). L’art du prompt engineering consiste aussi à régler ces paramètres en fonction du résultat souhaité.

6. Mettre en place une ruche : déploiement et intégration​

6.1. Options de déploiement​

  1. API hébergée : S’appuyer sur un fournisseur qui héberge le modèle. Vous n’avez pas besoin d’infrastructure lourde, mais vous payez à l’usage et dépendez d’un tiers.
  2. Modèle open-source : Installer un LLM open-source sur vos serveurs. Vous gardez le contrôle total, mais devez gérer la logistique et le coût énergétique.
  3. Modèle hybride : Utiliser un modèle plus léger en local pour des tâches simples et faire appel à une API externe pour des tâches complexes.

6.2. Sécurité et modération​

Déployer un LLM, c’est accepter la responsabilité de ce qu’il émet. Il faut souvent ajouter :

  • Des filtres pour bloquer les contenus haineux, violents ou discriminatoires.
  • Des mécanismes de blocage d’informations sensibles (ex. données personnelles).
  • Une politique de logging et de monitoring pour suivre les échanges et améliorer le système.

6.3. Suivi et amélioration continue​

Même une ruche bien installée nécessite un suivi :

  • Collecter du feedback des utilisateurs.
  • Ajuster les prompts et les paramètres de génération.
  • Mettre à jour le modèle ou réentraîner une version plus récente, si nécessaire.

C’est un processus continu, qui ressemble à l’entretien d’un véritable essaim : on surveille la santé, on corrige les dérives, on capitalise sur l’expérience acquise.

7. Envol futur : vers des modèles multi-modaux et adaptatifs​

Les LLM n’en sont qu’au début de leur évolution. Dans un futur proche, on parlera de modèles multi-modaux, capables de traiter texte, images, sons et vidéos : un essaim qui butine non seulement des fleurs textuelles, mais aussi des fleurs visuelles ou sonores.

On voit déjà apparaître des systèmes combinant la vision et le langage, ou le raisonnement symbolique et la génération de texte. L’abeille pourrait, par exemple, interpréter une image et décrire son contenu, ou détecter un son et l’analyser dans un contexte.

D’un point de vue sociétal, cette montée en puissance soulève plusieurs questions :

  • Comment garantir une responsabilité et une transparence dans l’usage de ces systèmes ?
  • Quel impact sur les emplois liés à la rédaction, la traduction ou l’analyse de texte ?
  • Comment équilibrer la concurrence entre grands acteurs de l’IA (GAFAM, laboratoires privés, initiatives open-source) ?

8. Notre trajectoire vers la suite : un regard sur le NLP traditionnel​

Dans notre prochain article, nous plongerons dans le NLP (Natural Language Processing) de façon plus générale. Nous verrons comment les techniques traditionnelles, parfois plus légères, continuent à cohabiter avec ces LLM imposants.

Avant les LLM, il y avait la ruche du NLP classique, qui utilisait des approches de classification supervisée, des algorithmes de recherche sémantique, des règles syntaxiques, etc. Nous explorerons :

  • Les méthodes de base (bag-of-words, TF-IDF, n-grammes)
  • Les modèles neuronaux pré-Transformers (RNN, LSTM, etc.)
  • Les pipelines NLP typiques (tokenisation, POS tagging, parsing, etc.)

Ce sera l’occasion de comprendre comment l’essaim des LLM s’est nourri de tout un écosystème de recherches antérieures.

9. Conclusion : l’art de savourer le miel​

Nous avons fait un grand tour d’horizon sur les LLM, ces abeilles géantes capables de transformer du texte brut en réponses élaborées. Voici les points clés à retenir :

  1. Entraînement : Les LLM se forment sur d’immenses quantités de données, apprenant les régularités statistiques du langage.
  2. Architecture : Les couches de Transformers constituent le cœur du modèle, lui permettant de capter des relations contextuelles grâce au mécanisme d’attention.
  3. Usages : De la rédaction à la traduction en passant par les chatbots, la diversité d’applications est impressionnante.
  4. Limites : Hallucinations, biais, coût énergétique… Les LLM ne sont pas infaillibles. Ils doivent être guidés, encadrés et vérifiés.
  5. Prompt engineering : L’art de formuler la bonne requête (et de régler les bons paramètres) pour obtenir la meilleure réponse possible.
  6. Déploiement : Plusieurs stratégies existent, qu’il s’agisse de recourir à une API hébergée, d’installer un modèle open-source ou de combiner les deux.

Les abeilles sont un symbole d’organisation, de collaboration et de production d’un miel délicieux. De même, un LLM bien encadré peut être un formidable allié pour optimiser, créer et assister de multiples tâches liées au langage. Mais, comme tout essaim puissant, il requiert prudence et respect, sous peine de piqûres inattendues.

Dans les articles suivants, nous continuerons à explorer l’univers de l’IA et du NLP : nous verrons comment l’intelligence artificielle s’est développée autour de modules plus spécifiques (traitement de textes, analyse syntaxique, classification), avant d’aborder les Agents IA et la comparaison globale, pour comprendre où se situe AI Smarttalk dans tout cela.

En attendant, rappelez-vous : nul besoin d’être expert pour reconnaître un bon miel, mais prendre le temps de comprendre la ruche et ses abeilles, c’est s’assurer de savourer ce miel en toute sérénité.

À très bientôt pour la suite de nos explorations dans le monde bourdonnant de l’IA !