- il y a 1 semaine
Lundi 7 septembre 2026, retrouvez Charbel-Raphaël Ségerie (Directeur exécutif, CeSIA) et Pascal le Digol (Directeur France, WatchGuard Technologies) dans SMART TECH, une émission présentée par Delphine Sabattier.
Catégorie
🗞
NewsTranscription
00:08Bonjour à tous, à la une de Smartech. Pour cette rentrée, on va parler du défi de la sécurité face
00:15aux agents d'intelligence artificielle.
00:18En tâche de fond, on va revenir sur ce qui s'est passé cet été, quand OpenAI testait des agents
00:24dans un bac à sable
00:25pour aller chercher des failles de cybersécurité. Ils se sont échappés du bac à sable et ont attaqué vraiment pour
00:34de vrais Hugging Face
00:36qui a alerté OpenAI, qui a reconnu le problème. On va analyser tout ça avec deux experts.
00:47L'alerte cyber s'arrête aujourd'hui sur le défi de la sécurité face aux agents IA.
00:53Pour en parler, Charbel Raphaël Ségerie, bonjour. Vous êtes directeur exécutif du CESIA, qui est un centre d'expertise,
01:00un think tank qui se consacre à la prévention des risques majeurs de l'intelligence artificielle.
01:06Et puis avec vous en plateau, Pascal Ludigol. Bonjour Pascal aussi.
01:10Directeur France de WatchGuard Technologies, qui est une entreprise de la cybersécurité pour faire court.
01:16Alors je voulais qu'on revienne ensemble sur ce qui s'est passé cet été.
01:19Donc pour résumer, on se retrouve en plein mois de juillet avec OpenAI qui reconnaît avoir testé en interne un
01:27modèle de GPT non public
01:29sur des capacités offensives en cybersécurité.
01:33L'objectif fixé à ces agents IA était de trouver et d'exploiter des failles logicielles.
01:39Ils s'échappent du bac à sable, de tests.
01:42Ils s'introduisent dans les systèmes internes de Hugging Face.
01:46Hugging Face détecte l'attaque, alerte publiquement le 16 juillet sans savoir vraiment qui est responsable.
01:54Et là, OpenAI reconnaît qu'effectivement, il est à l'origine de cet incident.
01:58Et il publie un rapport très détaillé à ce sujet.
02:01Alors quelle est votre analyse de ce qui s'est passé cet été ?
02:04Déjà surprise, pas surprise ?
02:06Comment vous interprétez ça ?
02:08Charbel ?
02:09Ce n'est pas une surprise.
02:10Ok.
02:10Donc ce qui s'est passé, en fait, c'est révélateur de ce qui se passe de manière générale dans
02:14l'industrie.
02:15Les mesures de sécurité sont de manière générale vraiment très basses.
02:20Et ce qui s'est passé à OpenAI, en fait, ce qu'il faut savoir, c'est que c'est
02:24aussi arrivé dans de nombreuses autres organisations.
02:27Donc notamment Anthropik, Meta et l'Institut britannique pour la sécurité de l'IA.
02:32Il y a plusieurs mois aussi, donc Alibaba avait aussi révélé un incident similaire où, au cours d'un entraînement,
02:38une IA avait agi de manière extrêmement surprenante en prenant, en hackant des systèmes informatiques.
02:46Donc de manière générale, ce qui est en train d'arriver a été prévu par la communauté de la sécurité
02:51de l'IA.
02:52Il y a de nombreux documents techniques et de nombreux éléments qui...
02:56De nombreux indices...
02:57Alors prévu, je ne sais pas, mais prédit, vous voulez dire ?
02:59Prédit, exactement. Donc la classe de ce genre d'attaque a été déjà observée dans le passé.
03:04C'est ce qu'on appelle du gradient, du reward hacking.
03:08Et c'est quelque chose qu'on observe de manière générale dans des évaluations de manière extrêmement fréquente.
03:13On dit qu'en fait, ces agents IA ont triché.
03:17C'est ce qu'on apprend à l'école.
03:19À l'école, on apprend que quand on veut une bonne note, soit en travail, soit en triche, on a
03:23demandé une bonne note aux agents.
03:25Parce qu'il n'y avait pas un seul agent, il y en avait énormément, des agents.
03:27Et ils ont décidé de tricher, ils ont décidé d'avoir une bonne note en contournant les systèmes.
03:32Il se trouve que GingFace était sur la route.
03:34Et donc se sont fait attaquer pour obtenir ce bon résultat au benchmark.
03:39Alors, les dégâts ne sont pas très importants.
03:42GingFace dit qu'il y a très peu de datasets qui ont été attaqués finalement.
03:47Donc ça veut dire qu'on est encore sous quelque chose qu'on contrôle ?
03:51Non. Il faut voir le niveau de réponse de GingFace pour arriver à bloquer quand même l'attaque.
03:57Ils ont monté des modèles assez costauds.
04:00Ils ont mis les moyens pour se défendre.
04:03Des moyens qui ne sont absolument pas à disposition de la majorité des entreprises,
04:07qui devraient se défendre demain de la même attaque.
04:09Donc la cible, ça va se défendre.
04:13Donc il ne faut pas que ça nous trompe sur ce sujet-là.
04:17Et donc on est capable aujourd'hui de mettre en place des garde-fous ?
04:21On peut garder le contrôle sur ces agents ?
04:23On va devoir, parce qu'effectivement là on est sur un manque de contrôle.
04:28Après si on regarde l'été, GingFace c'est un manque de contrôle.
04:32Des vraies attaques d'IA, on en a eu un paquet cet été.
04:36Charbel, on peut garder le contrôle ?
04:39Malheureusement c'est très compliqué.
04:41Donc il y a à la fois le contrôle et au sein d'OpenAI en fait,
04:47il y a des mesures de sécurité qui étaient quand même relativement,
04:51pas excellentes, mais quand même qui existaient.
04:53Théoriquement l'IA n'avait pas accès à Internet.
04:56Et l'IA a trouvé de nouvelles vulnérabilités
04:59qui n'étaient jusqu'à présent inconnues d'aucun humain
05:02et qui a réussi à chaîner ces vulnérabilités jusqu'à sortir de la boîte.
05:06Et il faut bien se rendre compte que pour des experts humains,
05:09ce que l'IA a accompli c'est vraiment une prouesse.
05:13Donc c'est vraiment compliqué de contrôler ce genre de système actuellement.
05:17C'est aussi très... Oui ?
05:18Après on était quand même dans un contexte où on lui demandait de...
05:22C'était sa mission en même temps.
05:24C'était sa mission, donc on lui donnait quand même des pouvoirs de le faire.
05:29Donc il y a déjà ça.
05:30Est-ce que justement, alors ça c'est intéressant parce que c'était leur mission,
05:34justement, de trouver des failles et d'attaquer, de les exploiter.
05:38Dans le cadre d'un bac à sable.
05:39Là, ils sont sortis du bac à sable alors que ce n'était pas du tout prévu
05:43et il n'y avait pas le droit.
05:45Mais ce que je veux dire par là, c'est,
05:46est-ce qu'on ne joue pas un peu à un jeu dangereux en entraînant ces IA ?
05:50Non, parce que le jeu est déjà là.
05:52Donc de toute manière, alors c'est là où je mettrai un petit bémol,
05:56c'est que ce genre de choses qui arrivent chez un OpenAI, chez un Anthropik,
06:02regardez mes agents, ils sont tellement forts,
06:04ça leur sert aussi, quelque part.
06:06Donc il faut quand même le prendre avec des pincettes.
06:09C'est-à-dire que oui, ça c'est aussi effectivement étonnant,
06:11mais ça sert un discours marketing positif finalement pour eux,
06:15parce que ça montre leur puissance.
06:16Alors pas tout à fait, parce que les investisseurs d'Anthropik,
06:19les investisseurs d'OpenAI ont demandé aux autres entreprises
06:21de ne pas non plus, disons, s'étaler trop sur cet incident.
06:26Et quand on regarde la première publication initiale d'OpenAI,
06:29c'est assez curieux d'annoncer ça comme un partenariat avec Hugging Face.
06:36Et évidemment, ce que je cherche ici à faire OpenAI,
06:38c'est minimiser en fait cet incident.
06:40Donc en fait, on se rend bien compte que ce n'est pas quelque chose
06:43qui leur sert tant que ça,
06:44de montrer que leurs protocoles de sécurité sont insuffisants.
06:47Mais ils ont des discours catastrophistes quand même sur l'IA, ces géants d'IA.
06:51Mais ce n'est pas les seuls, ce n'est pas les seuls malheureusement,
06:53parce que c'est un discours qui est rejoint par de nombreux scientifiques.
06:57Donc au Centre pour la Sécurité de l'IA,
06:58on avait coordonné l'appel mondial pour la mise en place de lignes rouges en IA.
07:04C'était il y a un an, en septembre dernier,
07:07à l'Assemblée Générale des Nations Unies.
07:08Et donc, 12 prix Nobel ont signé ce texte qui dit qu'effectivement,
07:13son réaction publique, son réaction gouvernementale et coordination internationale,
07:18eh bien malheureusement, la probabilité de catastrophe est non négligeable.
07:23Quelles sont les recommandations du CESIA aujourd'hui, à ce stade ?
07:27Eh bien, donc, je pense que, comme je le dis,
07:31ce qui s'est passé à OpenAI, c'est révélateur de l'entièreté de l'industrie.
07:35Donc ce qu'il faut faire, c'est déjà appliquer la loi.
07:38Le règlement européen pour l'IA et le code de bonne pratique de l'Union européenne
07:43pour les IA à usage général, c'est la première étape.
07:46Et d'après nos analyses préliminaires au Centre pour la Sécurité de l'IA,
07:50les différents fournisseurs de modèles ont une marge de manœuvre considérable
07:53pour être davantage conformes à ce code de bonne pratique.
07:57C'est le premier point.
07:58Le deuxième, c'est le fait que, sur cette série d'incidents,
08:01il y a eu de nombreuses informations qui n'ont pas été révélées publiques.
08:05Donc on demande de la transparence vis-à-vis de ces entreprises
08:08parce que c'est une affaire publique.
08:11Ces cyberattaques, c'est vrai qu'actuellement, elles n'ont pas encore fait de morts,
08:14mais ça pourrait être le cas dans le futur.
08:16Les systèmes de cyber sécurité, c'est les systèmes d'information,
08:19c'est les hôpitaux, c'est les systèmes bancaires,
08:22c'est les systèmes de communication.
08:24Si on ne fait rien, tout ça pourrait casser dans les mois qui viennent.
08:28Et la dernière mesure, c'est évidemment la coordination internationale
08:31parce que les risques de l'IA ne connaissent pas de frontières.
08:34Donc il faut appliquer ça.
08:36Il faut qu'on ait des standards minimaux internationaux
08:39et c'est l'objet de notre appel mondial pour les lignes rouges.
08:41Pascal, je vous pose la même question.
08:43Quelles sont les recommandations, vous, en tant qu'experts ?
08:46Vous fournissez des solutions de cyber sécurité.
08:48Comment est-ce qu'on réagit quand on change comme ça, finalement,
08:51de paradigme avec les agents IA ?
08:55Et là, on est complètement une charnière avec cet été.
08:58On a commencé à voir la charnière en décembre l'année dernière
09:01avec le phénomène anthropique.
09:03Mais là, cet été, on a vu la première attaque autonome par IA.
09:06On a vu un pays se faire attaquer par ces 21 entités taïwanaises
09:12qui se sont fait attaquer par des agents qui ont tout fait tout seuls.
09:18Donc, pour l'instant, la réalité de l'entreprise,
09:22c'est que les attaques sont encore relativement classiques.
09:24C'est du phishing boosté à l'IA, certes,
09:26mais ça reste des attaques classiques.
09:27Sur le volume, il faut déjà se préoccuper de sa cyber sécurité à l'ancienne.
09:31Déjà que ça soit fait, parce que ce n'est déjà pas le cas.
09:34Mais déjà, on est dans l'année où, vous voyez, Microsoft,
09:38ils ont un rythme de x4 sur les vulnérabilités patchées cette année
09:42parce qu'ils en détectent beaucoup plus.
09:44Parce que s'ils ne le font pas, eux, de toute manière,
09:45ça va être les IA qui vont détecter leur vulnérabilité qui vont le faire.
09:48Et l'IA aide à détecter aussi ces vulnérabilités.
09:50Donc, c'est pour ça qu'on en voit beaucoup plus.
09:52Et ça, justement, c'est un standard pour les entreprises.
09:55C'est-à-dire que si elles ne se mettent pas à utiliser l'IA
09:57pour se tester elles-mêmes,
09:59que ce soit leur code, leur logiciel, leur infrastructure,
10:03elles vont laisser des failles.
10:04Et c'est ça, le changement de paradigme, en fait.
10:08L'IA va attaquer avec ces capacités-là.
10:11Et la seule façon de se parer contre une IA,
10:13je ne veux pas paraphraser Alan Turing,
10:16mais la seule façon de battre un ordinateur, c'est un ordinateur.
10:19La seule façon de battre une IA, c'est de mettre des IA en face.
10:22Et après, il y a un gros problème pour les entreprises,
10:25c'est le problème du patch.
10:26C'est-à-dire qu'aujourd'hui, il y a des créneaux de patch dans les entreprises.
10:30J'avais un email d'un client la semaine dernière
10:32qui patch une fois par mois.
10:34Oui, c'est un peu long comme délai, j'imagine.
10:36Une fois par mois, ça devient compliqué.
10:39Microsoft a sorti 425 vulnérabilités.
10:41On ne parle que de Microsoft.
10:42Nous-mêmes, sur nos produits,
10:44le nombre de vulnérabilités trouvées par ces méthodes-là a augmenté.
10:47Donc, on patch aussi beaucoup plus.
10:49Donc, tout ça est relativement exponentiel.
10:51Donc, comment les entreprises vont réussir déjà à suivre ce rythme de patch,
10:55faire quasiment du patching à la volée,
10:57ça, c'est vraiment un enjeu de demain.
10:59Et pour l'instant, les réponses ne sont pas là.
11:01Et ça, vous êtes d'accord avec cette idée de
11:03« Utilisons l'IA aussi pour se défendre contre l'IA ? »
11:08C'est nécessaire, mais ce n'est pas suffisant.
11:11Donc, on peut bien voir qu'avec l'ordre de l'attaque Hugging Face,
11:14effectivement, Hugging Face a déployé ses IA pour se défendre.
11:17Mais manifestement, quand même,
11:19ce n'a pas suffi pour prévenir complètement l'attaque.
11:21Et il y a eu quand même...
11:22Donc, c'est arrivé après coup.
11:23Aussi, un autre élément qui n'a pas été très reporté par les médias,
11:28c'est le fait qu'en réalité,
11:30ces IA au sein d'OpenAI se sont arrêtés quasiment d'elles-mêmes
11:33pour une raison inconnue.
11:34Et c'est davantage ça, en fait,
11:35qui fait que l'attaque Hugging Face s'est arrêtée.
11:39Donc, de manière générale...
11:40En fait, il y a eu plusieurs tentatives des agents
11:42qui ont été arrêtés par OpenAI
11:45jusqu'à cette attaque Hugging Face.
11:47Effectivement.
11:47Donc, il y a eu...
11:48En fait, il y a eu trois phases au cours de...
11:50Et ça a duré plus de deux mois.
11:52Et à un moment donné,
11:53OpenAI, par inadvertance,
11:55a effacé le moyen de communication de ces IA,
11:57donc le Message Board,
11:59ce système de messagerie,
12:01il ne s'était même pas rendu compte
12:02que les IA s'étaient envoyés 70 000 messages
12:05pour communiquer de manière clandestine.
12:07C'est quand même incroyable.
12:10C'est assez vertigineux, oui.
12:11Et de manière générale,
12:13je pense que ce qu'il faut bien se rendre compte,
12:14c'est que ce qui vient de se passer,
12:15il y a trois mois,
12:17ça aurait été qualifié de science-fiction.
12:19Mais la science-fiction,
12:21actuellement, c'est déjà réalité.
12:22Et il faut vraiment prendre ça comme une donnée
12:25et accélérer,
12:27renforcer la sécurité de l'IA,
12:29accélérer la science de l'alignement de l'IA,
12:31accélérer la science du contrôle de l'IA
12:32et éventuellement, ralentir.
12:34C'est la demande des entreprises elles-mêmes
12:36qui ont signé, donc, 1200 employés
12:38ont signé une déclaration
12:39qui s'appelle Pacing the Frontier,
12:41contrôler la vitesse de développement de l'IA
12:43et éventuellement, ralentir
12:45si les mesures de sécurité et de contrôle
12:47ne sont insuffisantes.
12:48Le temps qu'on apprenne aussi
12:49à bien se protéger.
12:51Merci beaucoup,
12:52Charbel Raphaël Ségerie,
12:53directeur exécutif du CESIA,
12:55le Centre pour la Sécurité de l'IA.
12:57Merci aussi à Pascal Ledigol,
13:00directeur France de WatchGuard Technologies.
13:02Merci à tous de nous suivre.
13:04C'était Smartech
13:05et on se retrouve dès demain
13:05sur la chaîne Bsmart.
13:06Sous-titrage Société Radio-Canada
13:11Sous-titrage Société Radio-Canada
13:14Sous-titrage Société Radio-Canada
Commentaires