Les notions
Token
Aussi appelé : jeton
Définition
Un token est l’unité de texte qu’un modèle de langage lit et produit. Ce peut être un mot entier, un morceau de mot ou un signe de ponctuation.
Comment ça fonctionne
Les modèles ne voient pas les lettres mais des tokens. Un texte en français compte en général un peu plus de tokens que de mots.
Les tokens servent d’unité de mesure partout : la taille maximale d’un document que le modèle peut lire, la longueur d’une réponse et la facturation des usages par API.
En entreprise
Comprendre les tokens aide à dimensionner les usages : un contrat de cinquante pages tient sans difficulté dans un modèle récent, une base documentaire entière non. Dans ce cas, on passe par la recherche documentaire ou le RAG.
Voir aussi
- Fenêtre de contexteLa fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu’un modèle peut prendre en compte en une seule fois : la consigne, les documents joints et l’historique de la conversation.
- Grand modèle de langageUn grand modèle de langage, ou LLM, est un modèle d’IA entraîné sur d’immenses volumes de texte pour prédire la suite la plus probable d’un texte. C’est le moteur de Claude, ChatGPT, Gemini ou Mistral.
- APIL’API d’un modèle d’IA est le point d’accès technique qui permet à un logiciel d’envoyer une consigne au modèle et de recevoir sa réponse, sans passer par l’interface de chat.