Essayer un exemple simple
Comment l’IA lit-elle les mots?
Découpez un mot en petits morceaux. Modifiez-le ensuite pour voir ce qui reste pareil.
Découpez ce mot en morceaux.
Le mot que vous lisez
relecture
Vocabulaire inventé. Ces morceaux et ces nombres servent à la démonstration, pas à représenter un vrai modèle.
L’exemple expliqué
Notre vocabulaire inventé contient re, lect, ure, un espace, ! et café. La règle du plus long morceau reconnu découpe lecture en lect + ure, soit deux morceaux. Relecture, avec un r minuscule, devient re + lect + ure, soit trois morceaux. Le signe ! en ajoute un quatrième. Ces nombres sont pédagogiques et ne proviennent pas d’un vrai outil de découpage.
Un mot ne forme pas toujours un seul morceau.
Les modèles de langage traitent le texte sous forme de jetons, aussi appelés tokens. Un jeton peut être un mot entier, une partie de mot ou un signe de ponctuation. Ici, « relecture » devient « re » + « lect » + « ure ».
Choisissez la bonne mesure pour votre tâche
Compter les mots et compter les jetons sont deux choses différentes. Si un outil impose une limite de jetons, utilisez son propre outil de découpage ou de comptage. Cette démonstration ne permet pas d’estimer son utilisation ni son coût.
Aller plus loin
Est-ce un vrai outil de découpage en jetons?
Non. Le vocabulaire est écrit à la main et la règle choisit le plus long morceau reconnu. Les vrais outils ont leurs propres vocabulaires et algorithmes. Par exemple, l’encodage par paires d’octets applique des règles de fusion apprises. Nos nombres ne remplacent pas les leurs.
Pourquoi montrer les espaces et les majuscules?
Le texte exact compte lors du découpage. Cette démonstration conserve les espaces, la ponctuation et la casse. Sa règle de remplacement utilise les points de code Unicode; un émoji ou une lettre accentuée visible peut en contenir plusieurs.
Que se passe-t-il après le découpage?
L’outil associe les morceaux à des identifiants de jetons que le modèle peut utiliser. Nos petites étiquettes v0, v1 et u… identifient uniquement les morceaux de cette démonstration. Elles ne viennent ni de Vinci ni d’un autre modèle.
Explorer les sources originales
Références primaires. Elles expliquent les mécanismes; les exemples ici sont des simulations pédagogiques rédigées.
Qu’aimeriez-vous essayer ensuite?
Choisissez un autre petit exemple, ou revenez à celui-ci quand vous en avez besoin.
Voir tous les exemples