Le classement des IA cache ses questions 🤫

Fini les tests révisés.

Artificial Analysis, le classement d'IA que citent des patrons de la tech comme Jensen Huang, Elon Musk ou Sam Altman, passe à la version 5 de son indice d'intelligence. Pour la première fois, la majorité de la note repose sur des tests privés : 60 %, avec des questions ou des réponses gardées secrètes.

Pourquoi des tests secrets
Quand les questions d'un test sont publiques, un labo d'IA peut entraîner son modèle à réussir ce test-là plutôt qu'à vraiment progresser. Avec des tests privés, les labos ont plus de mal à jouer avec les évaluations.

Artificial Analysis, c'est qui ?
• une entreprise qui se présente comme la société indépendante d'évaluation de l'IA
• elle fait passer les mêmes tests à plus de 500 modèles
• elle a été fondée à San Francisco par Micah Hill-Smith et George Cameron
• son classement est en accès libre : elle gagne sa vie en vendant ses données détaillées et ses analyses, par exemple 417 dollars par mois pour une personne
• elle promet que les labos ne peuvent payer ni pour leurs résultats, ni pour un changement de méthode, ni même pour apparaître sur le site

Le nouveau classement
Avant l'arrivée de Gemini 4 Carbon de Google, Claude Opus 5.5 en réglage max menait avec 58 points, devant GPT-6 Astra (57) et GPT-6.1 Sol (55). Les cinq premiers étaient tous chez Anthropic et OpenAI.

Ses limites
• ce sont surtout des tests en texte et en anglais : le premier n'est pas forcément le meilleur pour écrire en français
• le réglage compte : Claude Opus 5.5 fait 35 points en réglage bas et 58 en max, pour 10 fois le prix par tâche
• il a changé ses règles plusieurs fois en deux mois, et un de ses investisseurs, Adam D'Angelo, siège au conseil de la fondation qui contrôle OpenAI. Son patron assure qu'il n'a eu aucune influence

Questions fréquentes
Qu'est-ce qu'Artificial Analysis ?
Une entreprise de San Francisco qui teste plus de 500 modèles d'IA et publie un classement en accès libre.

Pourquoi des tests secrets ?
Pour empêcher les labos d'entraîner leur IA juste à réussir les tests.

#IA #ArtificialAnalysis #ClassementIA