Token

Un token (jeton) est le morceau élémentaire de texte qu'un LLM manipule. Ce n'est pas tout à fait un mot : c'est un fragment — une syllabe, une racine, un signe de ponctuation. En anglais, un token vaut environ trois quarts d'un mot ; en français, un peu moins, car la langue se découpe en plus de morceaux. Le modèle lit ton texte en tokens et génère sa réponse token par token. Trois choses concrètes se comptent en tokens : la fenêtre de contexte (combien le modèle peut « avoir sous les yeux » à la fois), la vitesse (les tokens sortent à un certain débit), et le prix des API (facturé au token en entrée et en sortie). Comprendre le token, c'est comprendre pourquoi un document trop long « déborde » du contexte, et pourquoi une réponse verbeuse coûte plus cher qu'une réponse concise.