Essayer un exemple simple
De quoi l’IA peut-elle se souvenir?
Ajoutez un message à une petite conversation. Voyez quel détail ne tient plus dans la fenêtre.
Ajoutez un autre message.
L’entrée bleue figure dans le contexte sélectionné.
Inclus dans cette requête
12 blocs illustratifs sur 12Quelle entrée avons-nous choisie?
- Lieu de rencontre2 blocs
Retrouvons-nous à l’entrée bleue.
- Météo2 blocs
Il risque de pleuvoir. Apporte un manteau.
- Une collation2 blocs
J’apporterai des pommes pour la promenade.
Hors de cette requête
Toutes les cartes de l’historique tiennent encore.
Blocs illustratifs, pas des jetons mesurés. Ici, les plus anciennes cartes sortent en premier; les vraies applications suivent différentes règles.
L’exemple expliqué
Une fenêtre de 12 blocs en réserve deux pour les consignes, deux pour la question et deux pour la réponse. Les six autres accueillent trois cartes de deux blocs : l’entrée bleue, la météo et une collation. Ajoutez une quatrième carte de deux blocs sur un livre. Selon notre règle du plus ancien en premier, l’entrée bleue sort de la requête. Répéter ce détail le remet dans une nouvelle carte. Les vraies applications ne suivent pas forcément cette règle.
Visible dans la conversation ne veut pas dire inclus maintenant.
Dans cet exemple, la quatrième carte fait sortir le détail sur l’entrée de la requête. Il reste visible dans la conversation, mais ne figure plus dans le contexte sélectionné.
Remettez les détails importants dans la requête
Répétez les faits et les contraintes qui comptent maintenant. Une longue conversation ne constitue pas, à elle seule, une liste de contrôle fiable pour la prochaine réponse.
Aller plus loin
Qu’est-ce qu’une fenêtre de contexte?
C’est l’ensemble limité d’informations qu’un modèle peut utiliser pour une réponse. L’entrée et la sortie générée partagent des limites définies par le modèle et le système. Nos blocs réservés rendent ces usages visibles; ce ne sont pas des nombres de jetons mesurés.
Les vraies applications retirent-elles toujours le plus ancien message?
Non. C’est la règle explicite de cette démonstration. Une application peut sélectionner des messages, résumer, retrouver des éléments anciens, s’arrêter à une limite ou refuser une requête trop longue. La conversation enregistrée et l’entrée actuelle du modèle sont deux choses différentes.
Si un détail tient dans la fenêtre, sera-t-il bien utilisé?
Pas nécessairement. L’étude Lost in the Middle a observé que les modèles testés utilisaient inégalement les informations de longs contextes selon leur position. Avoir la place d’inclure un détail ne suffit pas pour qu’il soit utilisé de façon fiable.
Explorer les sources originales
Références primaires. Elles expliquent les mécanismes; les exemples ici sont des simulations pédagogiques rédigées.
Qu’aimeriez-vous essayer ensuite?
Choisissez un autre petit exemple, ou revenez à celui-ci quand vous en avez besoin.
Voir tous les exemples