Comprendre les LLMs : Comment Fonctionne une IA

Ce n'est qu'un "Perroquet Statistique" ?

Les modèles comme GPT-4 ou Claude sont des LLMs (Large Language Models). Fondamentalement, ils ne "savent" rien. Ils jouent à un jeu de devinettes très sophistiqué : prédire le mot suivant.

Le concept de "Token"

L'IA ne lit pas des mots, elle lit des tokens (morceaux de mots).

• Le mot "Chat" = 1 token.
• Le mot "Anticonstitutionnellement" = 5 ou 6 tokens.

La Température : Créativité vs Précision

C'est le paramètre qui contrôle la "folie" du modèle.

• Température 0 : Le modèle choisit toujours le mot le plus probable. (Logique, mathématique, répétitif).
• Température 1 : Le modèle prend des risques. (Créatif, poétique, mais risque d'hallucination).

Le Problème des Hallucinations

Une hallucination, c'est quand l'IA invente des faits avec un aplomb total. Pourquoi ? Parce qu'elle est entraînée à produire du texte plausible, pas forcément vrai. Si elle ne connaît pas la réponse, elle préfère inventer une suite logique grammaticalement plutôt que de dire "je ne sais pas".

🛠️ Micro-Exercice : Le Jeu de la Prédiction

Essayez de deviner le mot suivant comme une IA.

Phrase : "La recette de la tarte aux..."

1. Pommes (Très probable)
2. Fraises (Probable)
3. Boulons (Improbable)

Si vous réglez votre "cerveau" sur Température 1, vous pourriez dire "Boulons", créant une phrase surréaliste. C'est ainsi que les IA génèrent de l'art ou des histoires fantastiques.