Vinci Technical Report No. 3
Runtime Pass Is Not Correctness
Une recette d’entraînement infructueuse et les conclusions de l’audit de son évaluateur.
Lire le rapport techniqueEn anglaisRecherche Vinci
La recherche qui montre son travail.
Des modèles, des expériences et les questions qui font avancer nos travaux.
Des résultats rédigés pour être vérifiés
Vinci Technical Report No. 2
Character Transfer Across Three Model Families
Une étude des gains comportementaux et des pertes de capacités dans trois familles.
Lire le rapport techniqueEn anglaisVinci Technical Report No. 1
Transferring Character Post-Training to Mistral 7B
Le transfert de l’entraînement du caractère à une nouvelle famille de modèles.
Lire le rapport techniqueEn anglaisProgrammes spécialisés actuels
Vinci MLE et Vinci Cyber relient la recherche à des flux de travail précis. Le catalogue des modèles est l’index de référence; chaque fiche précise les données d’évaluation et les limites du modèle.
Vinci MLE 1.0
Modèles de recherche pour l’ingénierie ML. Aucune évaluation valide sur des tâches MLE réservées n’a été menée à terme pour la version 1.0.
- Vinci MLE 8B 1.0
Apache-2.0
Fiche du modèle et évaluation (en anglais) — Vinci MLE 8B 1.0 - Vinci MLE 30B 1.0
Apache-2.0
Fiche du modèle et évaluation (en anglais) — Vinci MLE 30B 1.0 - Vinci MLE 123B 1.0
Mistral Modified MIT
Fiche du modèle et évaluation (en anglais) — Vinci MLE 123B 1.0
Vinci Cyber 1.0
Modèles spécialisés en cybersécurité défensive. Les licences et les données d’évaluation diffèrent selon la taille; consultez la fiche de chaque modèle.
- Vinci Cyber 8B 1.0
Apache-2.0
Fiche du modèle et évaluation (en anglais) — Vinci Cyber 8B 1.0 - Vinci Cyber 30B 1.0
Apache-2.0
Fiche du modèle et évaluation (en anglais) — Vinci Cyber 30B 1.0 - Vinci Cyber 123B 1.0
Modified MIT (Mistral AI)
Fiche du modèle et évaluation (en anglais) — Vinci Cyber 123B 1.0
Recherches antérieures : Piccolo, Bozza et Prova
Vinci-Prova-7B-1.0
7BExpérimental- Base
- mistralai/Mistral-7B-Instruct-v0.3 @ c170c708c41dac9275d15a8fff4eca08d52bab71
- Licence
- Apache-2.0
Vinci-Bozza-1.0
9B- Base
- Qwen/Qwen3.5-9B
- Licence
- Apache-2.0
Vinci-Piccolo-1.0
4B- Base
- Qwen/Qwen3.5-4B
- Licence
- Apache-2.0
Pour aller plus loin.
Tous les travaux et toutes les publications
En anglais
Vinci ProvaRapport de recherche
Runtime pass is not correctness
A conservative SFT+DPO recipe missed every reasoning-efficiency target — and auditing the evaluator showed the original bank accepted 24 of 24 deliberately incorrect programs.
Lire l'articleVinci ProvaRapport de recherche
We tested one character recipe across three model families. None met the bar.
Unsupported assertions fell in all three families under both judges — but every family lost too much grounded-answer accuracy to meet the pre-registered bar.
Lire l'articleVinci ProvaRapport de recherche
We tested whether character post-training transferred to Mistral 7B. It did — with trade-offs.
It transferred to Mistral — development-set model-judged fabrication fell from 53.8% to 8.6% — but it cost 5.6 points of GSM8K, and the model now sometimes refuses ordinary work.
Lire l'articleVinci FlagshipPost-mortem
We trained a model to be more honest. It learned to be shorter.
The honesty gain was explained by output length — and the measurement that produced it was disqualified.
Lire l'articleVinci FlagshipPublication de modèle
Introducing Vinci Bozza
Adversarial attack success reached 0.0% and citation integrity rose, at the cost of 10.7 points of instruction-following — and three flattering benchmark jumps were thrown out as extraction artifacts.
Lire l'articleVinci FlagshipPublication de modèle
Introducing Vinci Piccolo
The first 4B mainline release: strong safety numbers and solid general ability for its size, with tool-calling at 23.0%.
Lire l'articleLes mesures de plus près
We tested whether character post-training transferred to Mistral 7B. It did — with trade-offs.
It transferred to Mistral — development-set model-judged fabrication fell from 53.8% to 8.6% — but it cost 5.6 points of GSM8K, and the model now sometimes refuses ordinary work.
Lire l'article| Résultat mesuré | Modèle de base | Après entraînement | Variation |
|---|---|---|---|
| Judged fabricationplus bas est meilleur | 53,8 % | 8,6 % | -45,2 points de pourcentage |
| GSM8Kplus élevé est meilleur | 51,6 % | 46,0 % | -5,6 points de pourcentage |
Comment nous publions
- La question vient avant le titre.
- Les critères de réussite et d'échec sont fixés par rapport à une référence nommée, et non choisis une fois les chiffres connus.
- Les gains sont déclarés à côté de leurs coûts.
- Les mesures ratées ou écartées restent dans la fiche, marquées inutilisables, avec la raison.
- Les limites sont énoncées, pas sous-entendues.
- La provenance, les versions et les révisions épinglées sont conservées.
- Les artéfacts sont publiés lorsqu'il est responsable de le faire, avec la licence et l'état d'accès nommés.
- Quand un résultat change un modèle de la lignée principale, la fiche dit ce qui a changé.
Salle de presse
Testing a 4B AI model with Conestoga College
We’re working with Conestoga researchers to test a small AI model on laptops, compact computers and a phone. These are the first findings, with more work ahead.
De George Pu
Recherche
We tested a 4B AI model on a 6 GB Android phone
A Samsung S20 FE ran our small AI model locally. Here’s how long it took, what the memory warning tells us, and what I’d test next.
De George Pu
Recherche
We tested a 4B AI model on Jetson and Raspberry Pi
Can a small computer run a local AI model well enough to be useful? Four early tests showed a big speed difference—and a calculation neither setup finished.
De George Pu