Nous étudions des questions concrètes sur l’IA : quand elle avance des affirmations sans fondement, ce que l’entraînement change et si nos tests détectent les erreurs. Commencez par les résultats et leurs limites; les rapports complets se trouvent plus bas.
L’entraînement utilise des exemples pour modifier la façon dont un modèle d’IA répond. Ces études testent des changements précis, pas la fiabilité de l’IA dans votre travail quotidien. Chaque résultat est accompagné de ses limites.
Présentation de la page mise à jour :
Ajout d’une introduction en langage courant et de questions sur les études, avec leur intérêt, ce que nous avons appris et les limites. Ces questions deviennent l’invitation principale, tout en conservant l’accès direct aux rapports. Explication de l’entraînement et simplification du vocabulaire des études et de la section sur les modèles.
Les titres originaux, les dates de publication, le texte des rapports et leur langue source, l’anglais, restent inchangés. Les rapports complets et les téléchargements restent accessibles ci-dessous. Cette mise à jour de la page ne correspond pas à une nouvelle évaluation.
Réussir un test veut-il dire que la réponse est juste?
Pourquoi c’est utile
Un test réussi peut rassurer. Il n’est utile que s’il distingue une réponse correcte d’une réponse erronée.
Ce que nous avons appris
Notre expérience d’entraînement n’a pas atteint ses objectifs. Un audit a aussi montré que le test initial de vérification du code acceptait des programmes volontairement erronés qui prenaient des raccourcis. Nous avons retiré ou suspendu les conclusions qui dépendaient de ce test.
Ce que cela ne démontre pas
Le test de remplacement n’avait pas encore démontré qu’il détectait les erreurs requises. Ce travail n’a produit aucun modèle destiné à être publié et ne démontre pas une vérification fiable pour d’autres tâches.
Le même entraînement aide-t-il différents modèles d’IA?
Pourquoi c’est utile
Un entraînement utile pour un modèle ne l’est pas forcément pour un autre. Il faut aussi vérifier qu’il ne dégrade pas les réponses utiles.
Ce que nous avons appris
Dans les tests utilisés pour mettre au point l’approche, le même entraînement a réduit les affirmations sans fondement dans trois types de modèles d’IA. Mais il a aussi réduit les réponses correctes à des questions auxquelles les modèles devraient pouvoir répondre. Aucun n’a satisfait aux critères d’acceptation de l’étude.
Ce que cela ne démontre pas
Les réponses ont été évaluées par deux autres modèles d’IA. Le jeu de test final distinct n’a pas été utilisé; les capacités plus générales n’ont pas été testées et aucune version entraînée n’a été recommandée pour publication.
L’entraînement peut-il réduire les affirmations sans fondement?
Pourquoi c’est utile
Une réponse d’IA peut paraître assurée sans être étayée. Réduire ces affirmations n’est utile que si le modèle reste utile.
Ce que nous avons appris
Un modèle expérimental a formulé moins d’affirmations sans fondement sur des questions volontairement difficiles. Il faisait surtout moins d’affirmations précises; il n’a pas montré de meilleures connaissances factuelles. Ses résultats en mathématiques ont baissé et ses refus de demandes ordinaires ont augmenté.
Ce que cela ne démontre pas
Un autre modèle d’IA a évalué les affirmations. Ce résultat se limite à un modèle de départ et à ses versions entraînées, sur les tests effectués; ce n’est ni un score général de fiabilité ni une recommandation d’utiliser le modèle en production.
Vinci MLE et Vinci Cyber relient la recherche à des flux de travail précis. Le catalogue des modèles est l’index de référence; chaque fiche précise les données d’évaluation et les limites du modèle.
Modèles de recherche pour l’ingénierie de l’apprentissage automatique. Pour la version 1.0, aucune évaluation valide sur des tâches MLE exclues de l’entraînement n’a été menée à terme.
Modèles spécialisés en cybersécurité défensive. Les licences et les données d’évaluation diffèrent selon la taille; consultez la fiche de chaque modèle.
A conservative SFT+DPO recipe missed every reasoning-efficiency target — and auditing the evaluator showed the original bank accepted 24 of 24 deliberately incorrect programs.
Unsupported assertions fell in all three families under both judges — but every family lost too much grounded-answer accuracy to meet the pre-registered bar.
It transferred to Mistral — development-set model-judged fabrication fell from 53.8% to 8.6% — but it cost 5.6 points of GSM8K, and the model now sometimes refuses ordinary work.
Adversarial attack success reached 0.0% and citation integrity rose, at the cost of 10.7 points of instruction-following — and three flattering benchmark jumps were thrown out as extraction artifacts.
We tested whether character post-training transferred to Mistral 7B. It did — with trade-offs.
It transferred to Mistral — development-set model-judged fabrication fell from 53.8% to 8.6% — but it cost 5.6 points of GSM8K, and the model now sometimes refuses ordinary work.
Fabrication jugée par modèle sur l’ensemble de développement; comparaisons GSM8K appariées dans notre banc d’évaluation interne. Les documents publiés divergent sur l’étendue du test GSM8K; ces scores ne sont donc pas comparables aux classements publics. Il s’agit de populations d’évaluation distinctes, pas de taux généraux d’hallucination en situation réelle.
Judged fabricationplus bas est meilleur
Modèle de base
53,8 %
Après entraînement
8,6 %
-45,2 points de pourcentage
GSM8Kplus élevé est meilleur
Modèle de base
51,6 %
Après entraînement
46,0 %
-5,6 points de pourcentage
Résultat mesuré
Résultat mesuré
Modèle de base
Après entraînement
Variation
Judged fabricationplus bas est meilleur
53,8 %
8,6 %
-45,2 points de pourcentage
GSM8Kplus élevé est meilleur
51,6 %
46,0 %
-5,6 points de pourcentage
Comment nous publions
La question vient avant le titre.
Les critères de réussite et d'échec sont fixés par rapport à une référence nommée, et non choisis une fois les chiffres connus.
Les gains sont déclarés à côté de leurs coûts.
Les mesures ratées ou écartées restent dans la fiche, marquées inutilisables, avec la raison.
Les limites sont énoncées, pas sous-entendues.
La provenance, les versions et les révisions épinglées sont conservées.
Les artéfacts sont publiés lorsqu'il est responsable de le faire, avec la licence et l'état d'accès nommés.
Quand un résultat change un modèle de la lignée principale, la fiche dit ce qui a changé.
