Passer au playerPasser au contenu principal
Le Bretzel
Lisez le point 5.

Des chercheurs du MIT ont demandé à GPT-6 Astra, le modèle d'OpenAI, de modifier directement les poids d'un petit modèle d'IA ouvert, c'est-à-dire les nombres qui forment son cerveau. Sans aucun entraînement, son score en maths est passé de 7,9 % à 48,1 %.

📌 L'EXPÉRIENCE
1. Le modèle confié : Qwen3.5-0.8B, avec une consigne simple, le rendre meilleur en maths.
2. Son défaut : il tournait en boucle en réfléchissant, répétait le même texte et arrivait rarement à une réponse.
3. Astra a trouvé d'où venait ce défaut et l'a corrigé en modifiant seulement 0,016 % des poids, environ 131 000 nombres sur 800 millions.
4. Sur MATH-500, un test de 500 problèmes de maths, le score passe de 7,9 % à 48,1 %. En bonus, le modèle suit mieux les consignes : de 21 % à 62,3 % sur un autre test.
5. Une vérification indépendante, sur la page du modèle corrigé, trouve même 51 %.

🔎 LES AUTRES TESTS
En lisant seulement les nombres d'un autre petit modèle, Astra a deviné qu'il avait appris à jouer à Breakout, le casse-briques, et s'en disait sûr à 99 %. Il a même écrit de zéro de petits réseaux qui jouent mieux que d'autres entraînés pendant 100 millions d'étapes. Sa limite : rien qu'en lisant les poids, il n'a pas su dire lequel de deux modèles avait été entraîné à toujours donner la réponse soufflée par l'utilisateur.

❓ QUESTIONS FRÉQUENTES
Que sont les poids d'une IA ?
Les nombres qui forment le modèle : en gros, son cerveau.

Peut-on améliorer une IA sans la réentraîner ?
Sur ce petit modèle, oui : Astra a corrigé un défaut en modifiant directement ses poids.

Qu'est-ce que GPT-6 Astra ?
Le modèle d'OpenAI que les chercheurs du MIT ont utilisé pour cette expérience.

🗓️ Vidéo longue d'actus IA chaque vendredi.

#MIT #OpenAI #RechercheIA

Catégorie

🤖
Technologie
Transcription
00:00Et justement, ces fameux poids, le cerveau des modèles, on a des chercheurs du MIT qui ont demandé à GPT
00:06-6 Astra, le modèle d'OpenAI, de les modifier directement.
00:10Ils lui ont confié un petit modèle d'IA ouvert, QN 3.5-08B, avec une consigne toute simple, le
00:16rendre meilleur en maths.
00:18Et sans entraînement, donc sans lui faire réviser des milliers d'exercices.
00:22Et Astra a directement modifié les nombres qui forment le modèle, donc ses poids, un peu comme un chirurgien qui
00:28opérerait le cerveau d'une IA.
00:30Le problème de ce petit modèle, c'est qu'il tourne en boucle quand il réfléchit.
00:33Il répète le même texte et il arrive rarement à une réponse.
00:37Et Astra a trouvé d'où venait ce défaut, puis il l'a corrigé en modifiant seulement 0,016%
00:43des poids, donc environ 131 000 nombres sur les 800 millions.
00:47Et le résultat est assez impressionnant, sur MAT500, un test de 500 problèmes de maths, son score passe de 7
00:54,9% à 48,1%.
00:57Et en bonus, il suit aussi beaucoup mieux les consignes, de 21% à 62,3% sur un autre
01:03test, alors que c'était même pas demandé.
01:06Et ce n'est pas que la parole des chercheurs, sur la page du modèle corrigé, on a une vérification
01:10indépendante qui refait le test complet et qui trouve même 51%, donc encore mieux que ce que les chercheurs avaient
01:16trouvé.

Recommandations