Pour toute personne qui prépare un premier essai
Comment essayer un modèle d’IA sur une petite tâche
Choisissez une tâche dont vous pouvez vérifier les réponses, fixez les règles à l’avance et notez les réussites comme les échecs.
Mis à jour le
Essayer de classer une petite liste
Exemple hypothétique — ce n’est ni un usage Vinci testé ni une affirmation de performance. Créez une liste de 12 achats imaginaires. Demandez à un modèle de les classer selon vos règles. Des achats inventés évitent d’utiliser des données personnelles. Pour Vinci MLE 1.0, aucun test valide sur des tâches d’ingénierie en apprentissage automatique réservées à l’évaluation n’a été mené à terme; cet exemple ne démontre pas ses capacités.
| Partie du plan | Un exemple concret |
|---|---|
| La tâche | Utilisez trois catégories : Alimentation, Transport et Fournitures. Vos règles classent le pain dans Alimentation, le billet d’autobus dans Transport et le cahier dans Fournitures. Donnez quelques exemples, puis demandez une catégorie pour chacun des 12 nouveaux achats. |
| Le corrigé | Écrivez vous-même les catégories attendues avant l’essai et ne les donnez pas au modèle. Choisissez des achats ayant une seule bonne réponse selon vos règles pour vérifier équitablement le résultat. |
| La réussite | Pour cet exemple, exigez que les 12 catégories correspondent au corrigé, que chaque achat apparaisse une seule fois et que les descriptions originales restent intactes. Fixez une limite de temps avant de commencer. |
| L’échec | Une mauvaise catégorie, un achat manquant ou répété, une description modifiée ou une limite de temps dépassée constitue un échec pour ce test. Conservez la réponse et notez la règle qui n’a pas été respectée. |
| La conclusion possible | Rapportez le nombre de bonnes réponses sur 12 et le respect de toutes les règles. Un bon résultat renseigne sur cette petite tâche; il n’établit pas la performance sur des dossiers financiers réels ou tout un projet d’ingénierie. |
Pour aller plus loin, avec une fiche pratique
Vous voulez essayer? Ces vérifications supplémentaires et cette fiche vous aideront à noter ce que vous avez utilisé et ce qui s’est passé.
Fixer la question et les règles à l’avance
Écrivez ce que vous voulez recevoir et comment vous le vérifierez. Le même principe s’applique à un modèle d’ingénierie comme Vinci MLE, mais le test doit correspondre au travail d’ingénierie à évaluer.
- Séparez les exemples de pratique des questions finales et du corrigé. N’incluez pas le corrigé dans les données fournies au modèle.
- Conservez les fichiers de départ et définissez la réussite, l’échec et une tentative invalide avant de commencer.
- Vinci MLE 1.0 n’a pas mené à terme de test valide sur des tâches d’ingénierie en apprentissage automatique réservées à l’évaluation. Un petit essai personnel ne comble pas cette lacune et ne prouve pas une capacité d’ingénierie autonome.
Décider ce que le modèle peut faire
Un modèle téléchargé a besoin d’un logiciel pour recevoir les questions et produire les réponses. L’accès aux fichiers ou à d’autres outils dépend de ce logiciel; les poids seuls ne le fournissent pas.
- Utilisez des copies ou du contenu inventé. Gardez le travail original et les mots de passe hors de l’essai.
- Si le logiciel permet au modèle de modifier des fichiers ou d’utiliser des outils, autorisez seulement les actions nécessaires et fixez une limite de temps.
- Conservez le nom du modèle, la version du logiciel, vos instructions exactes et toutes les réponses pour comparer les tentatives.
Vérifier vous-même la réponse
Le modèle qui annonce avoir terminé ne vous donne pas votre note. Comparez sa réponse à vos règles, avec votre corrigé ou un programme de vérification distinct.
- Conservez les échecs comme les réussites. Décidez à l’avance du nombre de tentatives autorisées.
- Notez séparément les bonnes réponses, les éléments manquants, les modifications indésirables et la durée.
- Choisissez le prochain petit test à partir de ce que vous avez appris. Une réussite sur un exemple ne prouve pas la réussite sur toutes les tâches semblables.
Copier un plan de petit essai
Remplissez le plan avant d’interroger le modèle. Ajoutez ensuite le résultat sans changer les règles initiales.
MON PLAN Tâche à essayer : Fichiers d’entrée ou exemples inventés : Ce que le modèle doit retourner : Emplacement du corrigé (non fourni au modèle) : Méthode de vérification : Critères de réussite : Critères d’échec : Ce qui rendrait une tentative invalide, par exemple une interruption du logiciel : Actions autorisées et limite de temps : Nombre de tentatives autorisées : Versions du modèle et du logiciel : Instructions exactes à donner : CHAQUE RÉSULTAT Numéro de tentative : Réponse conservée : Nombre correct / nombre vérifié : Éléments manquants ou modifications indésirables : Réussite / échec / invalide, et pourquoi : Durée : CE QUE J’AI APPRIS Tentatives réussies / ensemble des tentatives : Tentatives invalides et motifs : Questions sans réponse : Prochain petit test ou raison d’arrêter :
Sources et prochaines étapes
La fiche d’un modèle est la page d’information publiée par son créateur. Consultez-la pour les instructions de téléchargement, la licence et les limites connues. Les sources techniques externes sont en anglais.