Les experts sans frontières - Vendredi 25 septembre - Vidéo Dailymotion

BFM Business

« Les Experts sans frontières », c’est le rendez-vous qui nous fait sortir de notre bulle. Chaque vendredi de 21h30 à 22h30 sur BFM Business, des experts étrangers installés en France analysent les grands débats de la semaine avec un œil neuf, détaché des prismes franco-français. Finances publiques, réformes, réarmement de l’Europe, choix politiques, international… Leur regard extérieur éclaire, questionne et parfois secoue. Un décryptage sans frontières pour mieux comprendre les grands enjeux du moment.

Transcript

00:06Débat et controverse sur BFM Business, les experts de l'IA, Anthony Morel.

00:15Bonjour, bonjour à tous, ravi d'être avec vous dans un cadre exceptionnel.

00:20Aujourd'hui, on est au Stade Vélodrome de Marseille.

00:23Alors pas pour parler foot, pour parler intelligence artificielle.

00:26Oui, c'est ici que se déroule AIM, Artificial Intelligence Marseille.

00:31C'est le plus gros événement IA de la rentrée, organisé par BFM, la tribune.

00:36Alors on bouscule un tout petit peu la grille habituelle.

00:38Les experts se transforment en les experts de l'IA.

00:41Évidemment, vous retrouverez leur closier dès demain.

00:43Mais on voulait absolument profiter du fait qu'on a ici tous les spécialistes français de l'intelligence artificielle

00:49pour s'interroger sur ce qui est peut-être la question la plus vertigineuse du moment.

00:52Est-ce qu'on peut encore garder la main, garder le contrôle sur ces IA dont on nous dit qu

00:58'elles sont en train de devenir incontrôlables ?

01:01Alors évidemment, il y a eu énormément d'actu très anxiogène ces derniers jours depuis la démission de Jacob Coxon.

01:06Vous savez, ce chercheur chez Anthropique qui a expliqué que l'IA risquait, menaçait l'espèce humaine d'une certaine

01:13manière.

01:13Il y a un certain nombre de chercheurs qui lui ont emboîté le pas.

01:15Certains expliquent qu'on a un risque d'extinction de l'humanité de l'ordre de 10% dans la

01:19décennie.

01:19C'est quand même des scénarios absolument terrifiants. Des géants de l'IA qui nous disent

01:22« Bah oui, ce serait pas mal de ralentir un tout petit peu les mêmes qui nous proposent chaque semaine

01:26des modèles toujours plus performants ».

01:28Donc forcément, tout ça, ça pose énormément de questions.

01:31Et les débats se polarisent entre d'un côté les doomers, les tenants de l'apocalypse IA qui nous disent

01:36qu'on va tous mourir globalement.

01:38Et puis de l'autre côté, les technoptimistes qui nous expliquent que circuler, il n'y a rien à voir

01:42et qu'au contraire, il faut accélérer.

01:44On vous laisse poser absolument une heure pour réfléchir à ces questions, essayer de démêler le vrai du faux.

01:49Les experts de l'IA, c'est parti.

01:54Les experts de l'IA sur BFM Business.

02:02Et pour en discuter, trois experts pour m'accompagner.

02:05À ma droite, Sylvain Duranton.

02:07Bonjour Sylvain.

02:08Bonjour.

02:09Spécialiste de l'IA, directeur monde du BCGX.

02:11C'est l'entité tech du BCG qui notamment accompagne les entreprises dans toute la transformation numérique liée à l

02:17'intelligence artificielle.

02:18Donc il y a une réflexion évidemment sur l'IA et notamment sur les risques aussi que font peser toutes

02:23ces IA de plus en plus performantes sur les entreprises.

02:25On aura l'occasion d'en parler.

02:27On a Raphaël Marichet.

02:28Bonjour Raphaël.

02:29Bonjour Anthony.

02:30Raphaël Marichet qui est CSO, donc c'est Chief Security, directeur sécurité France, chez Palo Alto Networks qui est un

02:38géant mondial de la cybersécurité.

02:41Donc là aussi, réflexion autour de l'intelligence artificielle évidemment.

02:44Et puis Frédéric Simotel.

02:46Frédéric Simotel, bon je ne sais pas s'il faut le présenter évidemment quand vous écoutez BFM Business, vous tombez

02:49forcément à un moment ou un autre sur Frédéric Simotel.

02:51Voilà, là dans les experts de l'IA mais évidemment Tech & Co, Tech & Co Business et dès ce

02:56soir.

02:57Dès ce soir, François Sorel, Tech & Co, 19h, 20h30 et puis Tech & Co Business juste après.

03:04Donc on aura une grande soirée autour de l'IA.

03:06Mais c'est intéressant de vous avoir tous les trois parce que vous avez tous une réflexion et vous suivez

03:10l'IA au quotidien, toutes les actualités qu'on a connues ces dernières semaines.

03:14Je voulais commencer par ça, c'est-à-dire sur le constat avant de réfléchir à est-ce qu'on

03:18peut contrôler, comment ralentir, est-ce qu'il faut ralentir.

03:20Mais sur est-ce que vous avez pris comme moi une claque ces 15 derniers jours ou ces 30 derniers

03:26jours avec toutes les révélations qu'on a eues.

03:28Donc à partir de Jacob Coxon et puis ensuite toutes les alertes de sécurité qu'on a eues du côté

03:32d'OpenAI, d'Enthropic.

03:34Ou est-ce que vous dites finalement dans cette petite musique du risque existentiel de l'IA, ces business as

03:39usual, ça fait très longtemps qu'on en entend parler.

03:41Je commence avec vous Sylvain.

03:42Alors, petite claque, oui, comme tout le monde, en fait, la succession d'incidents qui ont été reportés par différents

03:48acteurs, l'accumulation, ça fait effectivement réfléchir.

03:52Alors maintenant, est-ce qu'on est au bord du Pidoum à 100% ? Je ne crois pas.

03:58Mais effectivement, une claque parce qu'on voit qu'on a des modèles, on le savait, mais là, on le

04:02voit en action.

04:03C'est-à-dire que les modèles, on ne peut pas leur imposer complètement les garde-fous qu'on attendait.

04:08Et ça, aujourd'hui, en matière de cybersécurité, on a vraiment un enjeu à court terme extrêmement important parce que

04:15des modèles de plus en plus puissants sont disponibles.

04:18Alors, on temporise un peu les sorties.

04:20Mythos, on a un petit peu calmé le jeu sur la vitesse de déploiement.

04:24Mais on a un enjeu de cybersécurité qui est très, très, très fort à court terme.

04:29Et c'est aussi un peu un rappel pour tout le monde.

04:31Comment est-ce qu'on s'assure qu'on bâtit des architectures, des systèmes qui nous permettent de contrôler au

04:37mieux, disons, ces techniques ?

04:39Mais Raphaël, moi, j'ai l'impression que pour la première fois, on verbalise de manière très claire ce risque

04:44existentiel dont on nous parlait depuis des années.

04:46Moi, j'avais l'impression d'un truc un peu théorique.

04:48C'est vrai qu'on entendait parler de ce risque d'une IA qui, un jour, pourrait devenir incontrôlable.

04:52Et là, on a quand même eu, en l'espace de 15 jours ou 3 semaines, plusieurs chercheurs de très

04:57haut niveau qui nous disent tous un peu la même chose,

04:59qui nous disent qu'il y a un réel risque, finalement, sur l'avenir de l'humanité.

05:05Qu'est-ce que vous en pensez de ça ?

05:06Cette surprise, elle ne date pas d'il y a 15 jours.

05:08On a déjà vu, dès janvier 2026, ces hordes d'agents conversationnels qui ont généré leur propre réseau social,

05:15ces interactions entre des agents IA et des développeurs sur des forums de développeurs.

05:20Je pense que ce que vous voyez depuis 15 jours ou 3 semaines, ce sont des scientifiques, des chercheurs qui

05:26sortent un peu du bois.

05:27Mais ces menaces, ces dangers, ces inquiétudes, on les sentait déjà venir depuis plusieurs mois.

05:32Et c'est vrai qu'on a été, dans toute industrie, y compris la cyber, surpris par l'accélération de

05:37ces innovations

05:38et des conséquences de ces innovations sur les capacités.

05:41Alors, pas tant malveillantes, mais déjà de sortie de leur bac à stable, de sortie de leur sandbox.

05:47Et nous, en cyber, on se dit, mais si des individus malintentionnés ont accès à ces technologies,

05:52on a un problème d'asymétrie de la puissance.

05:55C'est ça.

05:55Fred, ça vous a surpris, vous, Frédéric, justement, tout ce qu'on a appris.

05:59Alors, c'est vrai que vous faites de la veille technologique sur ces sujets depuis quand même très, très longtemps.

06:03Donc, cette petite musique, vous l'aviez déjà entendue.

06:05Mais le fait que, de manière aussi claire, quand vous avez un chercheur d'anthropique qui dit,

06:09de manière très tranquille, on a un risque, on a 10% de risque d'extinction de l'humanité

06:14dans la décennie à cause de l'intelligence artificielle.

06:17Moi, quand j'ai lu ça, ça m'a terrifié.

06:18C'est ça.

06:18Vous voyez, toute une série de chocs.

06:20Très rapidement, en novembre 2002, sortie de chaque GPT, notre premier choc.

06:23On découvre cette IA.

06:24Ça va faire 4 ans, déjà.

06:26Le temps passe vite.

06:27Deuxième effet, c'était l'effet dipsique.

06:29On s'est rendu compte que les Chinois, ils sont sortis du bois et ils pouvaient faire aussi bien,

06:32voire mieux, pour moins cher, etc.

06:34Troisième choc, c'était au début de l'été, avec Mythos et tout d'un coup,

06:38les Américains qui disent, tiens, on va fermer le robinet pour l'ensemble de l'Europe.

06:41Et là, on se dit, flûte, si un jour, ils font ça pour autre chose,

06:44donc on prend l'effet souveraineté.

06:45Et là, très rapproché, c'est vrai, tous ces risques.

06:47On s'était dit, l'année 2026, pour l'IA, ce sera l'année des risques,

06:50le cyber et de la souveraineté.

06:52Et des coups, des tokens.

06:53C'est un peu les trois sujets.

06:55Et là, on voit ça ressortir.

06:57Alors, Jacob Coxon, c'est un jeune, 27 ans,

07:00alors, pas tout à fait chercheur, parce qu'il n'a pas fait de travail de chercheur,

07:02mais enfin, c'est quand même un ingénieur qui avait quitté OpenAI

07:05pour, en se disant, oh là là, ils ne sont pas très éthiques,

07:07je vais aller chez Anthropique, puis ils se rendent compte,

07:08ils sont exactement pareils.

07:09Ce que l'on peut comprendre, ils sont tous formés dans les mêmes universités,

07:13dans le MADN.

07:14Je trouve que, inquiétant, non, mais voilà,

07:16ça a été l'effet d'alerte.

07:18Ça, c'est un élément important.

07:20Évidemment, il ne faut pas tout jeter,

07:21se dire qu'il faut stopper l'IA, etc., ou ralentir.

07:24Mais un effet d'alerte,

07:25et ça permet de prendre un peu de recul et de dire,

07:27oui, faisons un peu attention à ce que l'on fait,

07:29dans tous les domaines, que ce soit civils ou militaires.

07:31Mais alors, justement, Raphaël, vous qui êtes un expert en cybersécurité,

07:34moi, il y a un truc qui m'a frappé,

07:35c'est quand Dario Amodei,

07:36parce que ce discours, il a été tenu par des chercheurs,

07:38il est aussi tenu maintenant par les géants de l'IA eux-mêmes,

07:41Dario Amodei qui dit, il faut freiner,

07:42et on verra tout à l'heure, est-ce qu'il faut freiner,

07:44comment on fait, etc.

07:45Mais il explique, il donne un exemple très, très concret.

07:47Il dit, d'ici quelques mois, 6 à 12 mois,

07:50un essaim d'agent IA pourrait carrément prendre le contrôle d'Internet

07:53et générer des centaines de milliards de dollars de dégâts.

07:56Ça, est-ce que c'est quelque chose qui vous semble crédible,

07:59l'expert en cybersécurité que vous êtes ?

08:00C'est-à-dire une IA qui prendrait le contrôle d'Internet ?

08:03La question est bien posée,

08:04parce qu'on va séparer les sujets philosophiques de l'humanité

08:07des sujets très entreprises,

08:08et Internet est quand même une construction fragile

08:10qui n'a pas été prévue,

08:11qui n'a pas été conçue pour faire face

08:14à des agents qui collaborent entre eux.

08:18On a vu ça depuis quelques semaines,

08:19on a été surpris de voir des agents collaborer entre eux,

08:21qui trouvent des canaux de communication cachés,

08:23qui arrivent à transmettre des instructions

08:25lorsqu'ils sont éteints par leur contrôleur,

08:28et qui connaissent tellement bien

08:30les interfaces de programmation,

08:31qui peuvent trouver des vulnérabilités.

08:34La difficulté, c'est ce qu'on appelle

08:35le désalignement des agents,

08:37c'est-à-dire que les agents, collectivement,

08:39vont se donner des objectifs,

08:41des sous-objectifs pour parvenir à une quête,

08:44par exemple maximiser un score dans un benchmark,

08:46et lorsque ces sous-objectifs sont désalignés

08:49avec l'intention humaine,

08:50parce qu'on n'est pas capable, nous en tant qu'humains,

08:51de leur transmettre toute la complexité

08:53de notre intention avec tout l'écart de fou.

08:55Et nos valeurs, d'une certaine manière.

08:57En tout cas, la valeur de la vie humaine.

08:59Donner nos valeurs à des algorithmes,

09:01bon courage.

09:02Et ça, on est dans une finitude du contexte

09:05qu'on va fournir à ces agents.

09:06Et ces agents, quand on leur donne un objectif,

09:08ils vont essayer de l'atteindre

09:08par tous les moyens qui leur sont à disposition.

09:10L'Internet, le principe, c'est l'interconnexion.

09:13Donc, de fait, il est vulnérable.

09:15Mais alors, justement, parce qu'on parlait aussi

09:17du fait qu'on a des modèles de plus en plus puissants,

09:19et qu'on a une course effrénée à l'intelligence artificielle.

09:22Là, ces géants de l'IA qui nous mettent en garde,

09:24ils sont aussi ceux qui conçoivent ces modèles

09:27qui vont devenir de plus en plus performants

09:29et qui vont même être capables de s'auto-améliorer.

09:31Il y a cette notion d'amélioration récursive.

09:33Qu'est-ce que ça veut dire concrètement

09:35et dans quel monde ça va nous amener ?

09:37L'amélioration récursive, c'est qu'à un moment donné,

09:39ces modèles progressent en apprenant de ce qu'ils font

09:42et des « feedbacks » qu'ils reçoivent de leurs actions.

09:45Donc, effectivement, on est sur des systèmes

09:47qui sont de plus en plus complexes.

09:50Après, je pense que dans la question

09:52de s'il faut avoir peur ou pas peur de l'IA,

09:53il y a aussi une question sur

09:55est-ce que demain, les agents qui sont dans les entreprises,

09:59on va les voir soudainement sortir de leur cage

10:01ou leur bac à sable,

10:03attaquer l'entreprise ou les choses à l'intérieur de l'entreprise ?

10:06Là-dessus, je pense qu'on est loin de ce risque

10:09dans la plupart des entreprises

10:10parce que ce qui a été déployé,

10:12ce n'est pas des agents autonomes,

10:13c'est des choses plus simples, très cadrées, etc.

10:16La difficulté, c'est que plus on va déployer des modèles avancés,

10:20plus on a le risque d'avoir une espèce d'ennemi cyber de l'intérieur.

10:24Et autant, ça fait des années qu'on réfléchit à comment est-ce qu'on se protège,

10:28comment est-ce qu'on compartimente nos réseaux face à des attaques possibles,

10:31on s'assure que si quelqu'un pénètre notre réseau,

10:34on va compartimenter les choses, etc.

10:37On a aussi un peu une espèce de question de cybersécurité de l'intérieur

10:41compte tenu de ce qu'on va développer,

10:43de ce qui va être mis en place

10:44parce qu'il faut s'assurer qu'on a les mêmes procédures d'identification

10:48et d'autorisation des agents

10:50et on a tout un arsenal à mettre en place

10:53pour s'assurer qu'on est sécurisé

10:57par rapport à ce qu'on va déployer dans les années qui viennent.

10:59On a quand même pratiquement la moitié des entreprises

11:02qui nous disent qu'on veut arriver à la décision autonome

11:04d'ici 2030, en partie, dans l'activité.

11:09Là, je pense qu'aujourd'hui, on n'est pas prêts.

11:11Oui, c'est ça.

11:13Frédéric et Raphaël, je le ferai réagir aussi

11:14parce que ça devient compliqué.

11:17Si les entreprises, il faut qu'elles pensent en termes de cyber

11:19à un ennemi qui pourrait être de l'intérieur

11:21de leur propre intelligence artificielle, bon courage.

11:23Imagine, je prends une des grandes...

11:25Je parle d'eux parce que je connais à peu près

11:27leur nombre d'employés, mais prends BNP Paribas,

11:29200 000 salariés, s'ils s'amusent tous,

11:32si chacun crée juste deux agents,

11:35on va arriver à 600 000 salariés,

11:38enfin 600 000 identités à gérer.

11:41Ce n'est plus la même histoire déjà en termes d'infrastructures,

11:43mais ce n'est plus la même histoire en termes de cybersécurité.

11:45Et ça, je crois qu'on n'y réfléchit pas assez.

11:48Tu vois, c'est bien de créer des agents et tout ça.

11:50Et surtout, aujourd'hui, moi, le risque...

11:52Alors, c'est très bien, on forme beaucoup les salariés.

11:54C'est ce qu'il faut faire.

11:55Vraiment, il faut que tout le monde s'y mette.

11:57De toute façon, les gens le font chez eux,

11:58donc ils vont arriver à le faire au bureau.

12:00Mais je trouve que dans les entreprises, on ne surveille pas assez tout ça.

12:03On est beaucoup, nous les premiers, si notre DSI nous regarde,

12:07à utiliser autre chose que l'IA d'entreprise.

12:10On bricole. Shadow IA.

12:11À récupérer.

12:12Alors nous, nos données, c'est de la recherche.

12:13On est journaliste.

12:14Mais imaginons pour des financiers, pour des choses,

12:16qui mettent des données stratégiques.

12:17Et ça aussi, c'est une alerte.

12:19Et je trouve, j'en parle avec pas mal de patrons informatiques,

12:23pas trop digitales.

12:24Et ils sont un peu soucieux de ça,

12:25parce qu'ils savent que leurs salariés travaillent à côté

12:27avec du chat GPT, du cloud et tout ça.

12:29Et peut-être pas avec l'éthique qu'il faudrait autour des données.

12:32Donc déjà, les données qui sortent,

12:34et puis ensuite, créer des agents

12:35et ne pas savoir ce qu'ils pourraient faire à l'intérieur.

12:37Un mot, Raphaël.

12:37Et après, j'aurais des questions très naïves à vous poser,

12:39mais qui me semblent importantes.

12:40Allez-y.

12:41Déjà, je voudrais revenir sur le vocabulaire.

12:43L'ennemi, ce n'est pas la technologie.

12:44Ça dépend comment on la programme, comment on la design,

12:46ce qu'on en fait, la technologie, elle est duale.

12:48Elle peut apporter du positif.

12:49Si il est bien autonome, c'est...

12:50Mais c'est parce qu'un programmeur derrière,

12:51il y a un humain qui lui a donné des instructions.

12:54Il lui a donné des garde-fous,

12:55qui lui a donné un cadre d'exécution.

12:57Les salariés, on les forme.

12:59Je vais prendre l'exemple des...

13:00Les humains aussi peuvent être malicieux.

13:02Un humain peut se retourner contre son employeur

13:03s'il n'est pas content de sa paie

13:05ou d'une absence de promotion.

13:06Est-ce qu'on forme ?

13:07Est-ce qu'on donne de la sensibilisation aux stagiaires

13:09qui restent trois mois dans l'entreprise ?

13:11Généralement, non.

13:11Il faut considérer les agents IA

13:13comme des collaborateurs de niveau stagiaire

13:15qui ne dorment pas, d'ailleurs,

13:16qui vont travailler 24-7,

13:17mais qu'en fait, on aura oublié de sensibiliser.

13:20Donc, quand on leur donne des droits,

13:21quand on leur donne des privilèges,

13:22il faut se poser la question de l'intention.

13:24Pourquoi faire ?

13:25Et moi, j'ai plus la crainte,

13:27non pas d'un agent qui se rebelle,

13:28ça n'existe pas,

13:29mais de la prise de contrôle extérieure

13:31par ce qu'on appelle des skills,

13:33par exemple, dans les agents,

13:34les compétences des agents,

13:34de la prise de contrôle extérieure

13:36d'un agent dans l'entreprise

13:37pour des intentions malicieuses

13:38qui sont bien pilotées

13:39par un humain à l'extérieur.

13:41Je reviens à notre question

13:42de perte de contrôle

13:43et de risque existentiel.

13:45Et pardon, l'idée de l'émission,

13:46ce n'est pas forcément

13:47d'être encore plus anxiogène

13:48que l'actu du moment.

13:49Et on rappelle qu'évidemment,

13:50l'IA, il y a des choses

13:51absolument formidables.

13:52Et on va en reparler

13:53dans le domaine de la santé,

13:54de la science des matériaux.

13:55Enfin voilà,

13:56il faudra peut-être se poser la question

13:57d'ailleurs du coût avantage,

13:59en fait,

13:59ou du coût bénéfice

14:01entre les risques potentiels

14:02et puis les gains

14:04qu'on peut en tirer.

14:05Mais il y a une question

14:05qui revient très souvent

14:08parfois assez naïve.

14:09Mais si l'IA vraiment

14:10voulait se retourner

14:12contre l'humain

14:12et qu'on en perdait le contrôle,

14:14qu'est-ce qu'elle ferait concrètement ?

14:16C'est-à-dire,

14:16comment est-ce qu'elle s'y prendrait

14:18pour nous faire du mal ?

14:19Parce qu'on se dit,

14:20voilà, l'IA,

14:21c'est des data centers.

14:22Finalement, il suffit

14:23de débrancher la prise.

14:24Est-ce que c'est plus compliqué que ça ?

14:26Moi, ce que je pense,

14:27et ça rejoint un petit peu

14:28ce qui a été dit,

14:29c'est qu'à très court terme,

14:31le risque principal,

14:33c'est des gens mal intentionnés

14:34qui utilisent l'IA pour attaquer.

14:36Je ne pense pas

14:39qui se mettent à attaquer.

14:40C'est un petit peu ce que je disais aujourd'hui,

14:41ce qui a été déployé d'entreprise.

14:42Je ne le vois pas

14:43se retourner contre l'entreprise.

14:46En revanche,

14:46oui, en entreprise,

14:47il faut mettre,

14:48surtout si on va vers l'autonomie

14:49des décisions,

14:50beaucoup plus de garde-fous.

14:51Mais aujourd'hui,

14:52le principal risque,

14:53c'est des gens mal intentionnés

14:54qui utilisent ces modèles

14:55pour attaquer.

14:56Pour moi, c'est ça,

14:57à très court terme,

14:58là, maintenant,

14:58ce qui peut se passer.

15:00C'est vrai que,

15:01alors ça me fait penser

15:02à un rapport

15:02qui a été publié par Anthropique,

15:03vous avez dû le voir

15:04il y a quelques jours

15:04qui dit précisément ça,

15:06qui recensait

15:07toutes les utilisations

15:09les plus dangereuses

15:10et les plus extrêmes

15:10de Claude,

15:11de leur IA,

15:12mais par des êtres humains,

15:13c'est-à-dire pas en mode autonome,

15:14etc.,

15:15et qui lui disait

15:15qu'il y avait des scientifiques

15:16qui utilisaient Claude

15:17pour essayer

15:18de faire des gains de fonction,

15:20d'améliorer des virus

15:21comme le chikungunya,

15:22de les rendre plus transmissibles,

15:23des États

15:24qui s'en servaient

15:24pour essayer de concevoir

15:25des systèmes de surveillance

15:26absolument incroyables

15:27pour intercepter

15:28n'importe quel appel.

15:29La menace la plus immédiate,

15:30c'est ça pour vous aussi,

15:31messieurs,

15:32c'est-à-dire une IA

15:32non pas autonome

15:34qui nous voudrait du mal,

15:35mais ce que peuvent faire

15:36les hommes avec l'IA

15:37de nuisible ?

15:38On l'a vu récemment

15:39dans les domaines militaires,

15:40ce qu'ont fait

15:42les Iraniens,

15:43ils ont essayé

15:44tout un tas

15:44de process avec l'IA

15:46pour voir comment contrer

15:47les missiles,

15:48comment rendre

15:49nos missiles plus performants,

15:50comment trouver,

15:52rendre une maintenance

15:52plus efficace.

15:54Voilà,

15:54ils s'en sont servis,

15:55eux,

15:55à des niveaux militaires.

15:57Donc, voilà,

15:57mais c'est toujours l'homme

15:58qui, au départ,

15:59fait le prompt.

16:00Ce n'est pas le missile

16:01qui s'est dit,

16:01tiens,

16:01comment je vais faire

16:02pour être un peu plus

16:04destructeur ?

16:05Mais encore une fois,

16:06pour l'instant,

16:06c'est-à-dire que si on se projette

16:07un peu, encore une fois,

16:08sur ces IA

16:09avec de l'amélioration

16:10autorécursive

16:11qui pourraient,

16:11on commence à le voir,

16:12c'est-à-dire qu'on a l'impression

16:13qu'on a eu des incidents

16:14de sécurité,

16:15je parle sous votre contrôle,

16:16Raphaël,

16:17où des IA qui n'étaient pas censés

16:18se connecter à Internet

16:19ont réussi à se connecter à Internet,

16:20à lancer des attaques

16:21sur des entreprises

16:22de manière autonome,

16:24là,

16:24il n'y a pas de prompt au départ

16:25qui demandent à l'IA

16:26de faire ça, quoi.

16:27Moi, c'est ça qui m'interroge

16:29sur les années qui viennent.

16:31On leur a donné

16:32un cadre de travail,

16:33on leur a demandé

16:33d'être en un objectif

16:34qui était de maximiser un score,

16:35ils ont cherché à tricher

16:36pour maximiser le score.

16:38Il n'y a pas de valeur,

16:39il n'y a pas de volonté

16:39de hacker,

16:40il n'y a pas de volonté

16:41de faire du mal

16:41ou de la nuisance

16:42dans un algorithme,

16:43il n'y a pas d'intention.

16:44Nous, en cybersécurité,

16:44ce qu'on cherche à détecter

16:45quand on observe des comportements,

16:47c'est l'intention présumée

16:48de celui qui pilote

16:49cet algorithme,

16:50qui n'est pas forcément

16:51dans l'entreprise,

16:51qui peut être à l'extérieur.

16:52Si l'intention est désalignée

16:54par rapport à des objectifs

16:55de protection des données

16:56ou de protection

16:57de la chaîne opérationnelle,

16:58de la chaîne de production

16:59de l'entreprise,

17:00là, ces agents,

17:01il faut effectivement les tuer.

17:02C'est une question

17:03de détection comportementale,

17:04mais il ne faut pas faire

17:05d'anthropomorphisme

17:06non plus sur ces agents.

17:07Oui, alors c'est ça.

17:07Ça, c'est un point

17:08très important, l'anthropomorphisme.

17:09Donc, c'est le fait

17:10de donner à la machine

17:12ou de prêter à la machine

17:13des caractéristiques

17:14ou des sentiments

17:15qui sont purement humains.

17:16Évidemment, l'IA

17:17ne nous veut pas de mal.

17:19Ça semble complètement idiot

17:20de le dire comme ça,

17:21mais c'est instinctivement

17:22pour dire ça.

17:23C'est un outil

17:23et tout le monde pense

17:24à l'incident Hugging Face.

17:26Quand on voit l'analyse

17:26qu'il y avait faite

17:27de tous les logs

17:27de ce qui s'était passé

17:29lors de cet incident,

17:31jamais l'idée de se dire

17:33on va faire du mal

17:34a été venue.

17:36Il y a un grader

17:37qui donne des notes

17:38en fonction de ce qui est réussi

17:39ou pas.

17:39Ils ont maximisé les notes.

17:41Ce faisant,

17:42ils ont laissé tomber

17:42certains des gardes rails

17:43et ça, c'est un des sujets scientifiques.

17:45Aujourd'hui,

17:46les garde-fous,

17:46ils ne sont pas tous respectés.

17:48Mais le but,

17:49c'était simplement

17:50de maximiser la note

17:51qu'on aurait face

17:53à l'expérimentation

17:54qui était faite.

17:55Ce n'est pas malin.

17:56Oui, c'est ça.

17:57C'est intéressant ce que vous dites.

17:59Raphaël, rappelle.

17:59Pour autant,

18:00ce sujet de recherche

18:01nous a quand même éclairé

18:02sur la capacité

18:03de 700 agents

18:04de manière autonome

18:05à se coordonner

18:06pour aligner leur intention,

18:07leur sous-objectif

18:08pour effectivement,

18:09on va dire,

18:09attaquer entre guillemets

18:10Hugging Face,

18:11en fait, tricher aux examens.

18:12Ça pose la question

18:13de l'asymétrie,

18:15de la puissance du pouvoir.

18:16Si ces technologies

18:17tombent entre les mains

18:18des adversaires,

18:19de nos adversaires,

18:19des attaquants humains,

18:21aujourd'hui,

18:21ce qu'on voit,

18:22c'est que ces technologies

18:22sont susceptibles

18:23d'abaisser

18:25la différence

18:26entre un attaquant expert

18:27de niveau étatique,

18:28chevronné,

18:29et un attaquant individuel

18:30qui va prompter

18:32pour faire la même chose.

18:33Et là,

18:33pour le coup,

18:34à titre malveillant,

18:35contre une entreprise.

18:35Et c'est ça

18:36qu'on doit ralentir.

18:37C'est l'accès

18:38par les attaquants

18:40à ces technologies

18:41de frontières.

18:41Et nous,

18:42on veut plutôt

18:42que ce soit

18:43les défenseurs

18:43qui se les accaparent

18:45en premier

18:46et qui les utilisent

18:46en premier.

18:47Mais si on donne

18:47un objectif à l'IA

18:49et que le moyen

18:50le plus simple

18:50d'atteindre l'objectif,

18:51c'est de nuire

18:52à l'être humain.

18:53Vous avez l'exemple classique,

18:54c'est que je lui demande

18:57de générer des solutions

18:58pour le réchauffement climatique.

19:00Bon,

19:00la solution la plus simple,

19:01c'est d'exterminer

19:02la race humaine

19:02parce que voilà,

19:03comme ça,

19:05vous avez fait des expérimentations militaires,

19:06vous avez fait des batailles navales.

19:07Non, mais c'est ça.

19:08Et donc là,

19:08du coup,

19:09comment on fait ?

19:09Parce que l'IA,

19:10pour le coup,

19:10elle a son objectif,

19:12elle va tout faire

19:13pour atteindre son objectif,

19:14mais l'obstacle,

19:15c'est l'être humain.

19:16Et là,

19:16on est dans l'inconnu.

19:18Deux réponses.

19:19Le contrôle et la responsabilité.

19:20Mais la responsabilité

19:21au sens de redevabilité.

19:23Il y a toujours un humain,

19:24une chaîne de décision humaine derrière

19:25qui est responsable

19:26de avoir mis en place

19:26ce système.

19:27Et le contrôle,

19:28le contrôle unifie centralisé

19:29pour observer le comportement

19:31de ces agents

19:35au début.

19:36Fred,

19:36tu voulais dire quelque chose ?

19:37J'avais un exemple militaire,

19:38c'était il y a un an et demi,

19:39j'avais discuté

19:40avec des militaires

19:41qui me disaient

19:41justement,

19:42ils avaient fait

19:42une sorte de bataille navale

19:43et l'IA gagnait toujours.

19:45Ils se posaient la question

19:46de savoir.

19:47Et en fait,

19:47ils se rendaient compte

19:47que l'IA,

19:48elle a batté ses bateaux

19:49et dit,

19:50tiens,

19:50j'ai deux frégates

19:51qui me ralentissent

19:51et ça ne me permet pas de gagner.

19:53Elle tirait dessus,

19:53ce qu'on ne ferait jamais,

19:54évidemment.

19:54Et c'est là où ils se disent,

19:55c'est tous ces garde-fous.

19:57L'exemple est un peu grossier

19:59mais il a vraiment existé

20:00et c'est là où il faut

20:01mettre en place

20:01ces garde-fous.

20:02Et c'est à ça

20:02qu'il faut penser.

20:03C'est pour ça que l'humain

20:04a la réflexion humaine

20:06mais même c'est des liens

20:07pour dire quelles sont

20:08les limites

20:09à ne pas dépasser.

20:10C'est ça qui est important.

20:11Je pense que c'est au-delà

20:12des garde-fous.

20:13C'est-à-dire aussi,

20:14quel problème

20:14on veut faire résoudre à l'IA ?

20:16Si on dit à l'IA

20:17comment sauver

20:17la planète du climat,

20:19je pense qu'on rentre

20:19dans un truc

20:20où effectivement

20:21tout et n'importe quoi

20:22peut sortir...

20:22Oui, bien sûr.

20:23Voilà, c'est un exemple

20:23un peu extrême.

20:24Oui, mais ce n'est pas

20:25si extrême que ça

20:26parce qu'en entreprise,

20:27il y a aussi une question

20:28qui est est-ce que

20:29je préfère un agent

20:31complètement universel

20:32à qui je vais poser...

20:33Je vais faire faire des choses

20:34assez compliquées

20:35de façon autonome

20:37ou au contraire

20:37est-ce que je vais découper ça

20:39dans une série de tâches

20:40qui va être assez déterministe

20:41et je laisse des choses

20:43beaucoup plus précises

20:44et circonscrites

20:45à faire aux agents ?

20:46Et il y a une vraie différence

20:47d'état d'esprit

20:48dans la façon dont on peut

20:50architecturer ces systèmes.

20:51On peut le faire

20:52de façon qui donne

20:53beaucoup plus de marge

20:54de manœuvre à l'IA

20:56ou beaucoup moins.

20:57Et après,

20:58de toute façon,

20:59les garde-fous,

21:00on ne pourra pas imaginer

21:01tout ce qu'on veut

21:02et on n'est jamais certain

21:03qu'ils seront complètement

21:04appliqués

21:04parce que les modèles

21:08re-hierarchisent

21:09par rapport

21:10à leur objectif.

21:11Raphaël ?

21:12Je pense qu'on fait

21:12trop de focus

21:13sur les modèles

21:14et les agents

21:14et ce que tu évoques,

21:15Sylvain,

21:16ça me fait penser

21:16à ce qu'on appelle

21:16les harnais dans les IA.

21:18Quand on met en place

21:19un harnais

21:19pour orchestrer des agents

21:20pour orchestrer des IA,

21:22c'est là qu'on donne

21:22le contexte,

21:23c'est là qu'on donne

21:23les objectifs,

21:24c'est là qu'on donne

21:25les cadres,

21:25les limites d'action.

21:27Et par exemple,

21:27quand on demande

21:28à des agents IA

21:29d'opé au modèle

21:31de frontière type Mythos,

21:32de tester les vulnérabilités

21:33de nos propres produits

21:34avant de les mettre

21:35sur le marché,

21:35c'est un usage

21:36très vertueux.

21:36Il faut qu'on le fasse,

21:37il faut que tout le monde

21:38le fasse.

21:38Toutes les entreprises

21:39devraient le faire.

21:40Effectivement,

21:40ça pose la question

21:41de comment construire

21:42son harnais

21:42pour ne pas que l'agent

21:44déborde

21:44et aille attaquer

21:45d'autres entités

21:46qui ne sont pas

21:47sur notre responsabilité.

21:48Ça, on a appris

21:49à le faire.

21:50Depuis avril

21:50que Mythos est arrivé,

21:51on a appris à le faire.

21:52C'est un savoir-faire,

21:53c'est même, je dirais,

21:54un savoir-faire-faire

21:55parce qu'on fait faire

21:55à des agents

21:56et il faut savoir

21:57comment faire faire

21:58à des agents.

21:59C'est un savoir-faire-faire

21:59qui est précieux,

22:01qu'on doit aussi transmettre,

22:02qu'on doit former.

22:02On doit former aujourd'hui

22:03les ingénieurs

22:04à harnaisser,

22:05pardon pour le néologisme,

22:08les IA,

22:08à les orchestrer,

22:10à mettre un harnais

22:11autour de ces agents IA.

22:12C'est l'avenir

22:13de l'orchestration

22:14de ces IA.

22:15OK.

22:15Alors, il y a une question

22:16quand même qui se pose.

22:17Vous avez compris,

22:17je me fais un petit peu

22:18l'avocat du diable.

22:19Je vous trouve très tempéré,

22:20messieurs.

22:20Je m'attendais à ce qu'il y ait

22:20au moins un doumeur,

22:22comme on dit,

22:22un tenant de l'I-Apocalypse,

22:25comme on dit maintenant.

22:26Là, je vous trouve,

22:27effectivement,

22:27ça me rassure un petit peu

22:28d'une certaine manière.

22:29Mais là-dessus,

22:29je pense que l'I-Apocalypse,

22:32c'est presque un sujet

22:34de conviction

22:34plus que de fait établi.

22:36nous, on a fait une étude,

22:37on a demandé

22:38à tout un tas de chercheurs

22:39est-ce qu'ils croient

22:39à l'I-Apocalypse

22:40ou est-ce qu'ils n'y croient pas.

22:41Des scientifiques de l'IA,

22:42plusieurs centaines.

22:43En fait,

22:44on a tous les avis

22:46et ce que tous nous disent,

22:48c'est à 10 ans,

22:48ce qui se passera,

22:49on n'en sait rien.

22:50Ça, c'est difficile à dire.

22:51Après, à court terme,

22:53eux, pas moi,

22:53moi, je ne suis pas

22:54un chercheur en IA,

22:55mais le consensus,

22:56c'était plutôt qu'à 3-5 ans,

22:58ils ne voyaient pas du tout

22:59ce type de scénario.

23:00Mais maintenant,

23:01on peut toujours dire

23:02et si, et si, et si.

23:04Mais à la fin,

23:07je ne suis pas sûr

23:08que ce soit très fécond

23:10en termes de ce qu'on peut en tirer.

23:13Je pense que vous mettez

23:14le doigt sur un point

23:15qui est hyper important.

23:16C'est-à-dire qu'on est

23:17dans une position

23:17très inconfortable.

23:19Encore plus,

23:19Fred et moi,

23:20qui sommes des journalistes

23:21sur ce sujet-là

23:22parce que nous,

23:22quand on ne comprend pas

23:23un sujet,

23:23en général,

23:24on fait appel à des experts.

23:25On va appeler effectivement

23:26des chercheurs.

23:26Le problème,

23:27c'est exactement comme

23:28vous le disiez,

23:28que quand on appelle

23:29des chercheurs,

23:30ils nous disent tout

23:30et son contraire.

23:31Il y en a qui sont persuadés

23:32quand vous écoutez

23:33ce chercheur qui nous dit

23:35de chez Anthropique

23:36qu'il y a quand même

23:36quelqu'un d'assez capé,

23:37assez haut niveau,

23:3810% de risque

23:39d'extinction de l'humanité

23:40dans les 10 ans

23:41et puis d'autres,

23:42vous écoutez Yann Lequin

23:43qui vous dit

23:43tout ça,

23:43c'est n'importe quoi.

23:44On monte des trucs en épingle

23:46qui sont des éléments

23:48qui sont en laboratoire

23:49mais en fait,

23:50il ne va rien se passer.

23:51Mais comment est-ce

23:52que vous trouvez

23:52la vérité là-dedans ?

23:53C'est impossible, Fred.

23:54Comment on fait ?

23:54Comment vous faites ?

23:55Déjà,

23:56parce qu'on appartient

23:57à cet univers de la communication,

23:58on essaie aussi

23:59de voir un peu

23:59quelles sont toutes

24:00les ficelles

24:01de la communication

24:01de ces acteurs.

24:03Open AI, Anthropique,

24:04ils ont des entrées

24:05en bourse bientôt.

24:06Il faut rassurer

24:07quelque part

24:08les investisseurs

24:08en disant,

24:09regardez,

24:09on est quand même

24:10conscients de tous ces enjeux

24:11mais regardez

24:11comme notre technologie

24:12est puissante.

24:13Ça, c'est là.

24:14Ça, ça rassure les investisseurs

24:15de dire qu'on a une IA

24:16qui est tellement puissante

24:17qu'elle pourrait ravager

24:18l'humanité ?

24:19Mais justement,

24:19ils jouent là-dessus

24:20et derrière,

24:21quelle est leur réponse

24:22tout de suite ?

24:23Et d'ailleurs,

24:23c'est pour ça qu'on pense

24:24qu'il faut mettre en place

24:24une sorte de police privée

24:25mais que nous allons maintenir.

24:28C'est nous qui allons

24:29monter toute cette régulation

24:30ce qui leur permet

24:30de rassurer,

24:32de dire comme c'est nous

24:32qui maîtrisons,

24:33on va pouvoir contrôler.

24:35Puis ça permet aussi,

24:35n'oublions pas,

24:36il y a des Chinois

24:37qui sont en train

24:37de développer pas mal

24:38de choses en ce moment,

24:40d'essayer de les tenir

24:41à l'écart

24:41parce qu'il y a aussi

24:42un fort élément

24:43concurrentiel

24:44autour de tout ça.

24:46Et donc,

24:46il y a aussi

24:46tout cet aspect communication.

24:48Moi,

24:48ce qui m'interroge toujours,

24:51on a Dario Amodi

24:52il y a 15 jours,

24:53il nous dit

24:53il faut ralentir.

24:55Hier avant-hier,

24:56qu'est-ce qu'on a ?

24:56On a version Opus 5.5

24:58de Claude,

24:59encore plus puissante

25:00et alors deux fois

25:01moins chère.

25:02On a dévisé par deux

25:03le coût des tokens

25:04donc utilisez-la

25:05encore plus.

25:06Dans la foulée GPT-6

25:07la nouvelle version,

25:08nous aussi,

25:09deux fois plus puissante

25:10alors on maîtrise

25:11mieux les risques

25:12mais beaucoup moins chère

25:13donc utilisez-la.

25:14Tu vois tout ça ?

25:15Je relisais une interview

25:16de Dario Amodi

25:16qui disait

25:17vous savez,

25:17il faut raison garder

25:18aujourd'hui l'IA

25:19ça doit servir

25:19pour la recherche médicale

25:22les cancers,

25:22ça doit servir

25:22pour le climat

25:24regarder tout ce qui se passe

25:25dans les catastrophes

25:26et pour les nouveaux matériaux

25:27il faut vraiment

25:27qu'on se concentre là-dessus

25:28et puis à côté

25:30c'est pour ça

25:30que c'est compliqué

25:31ils entretiennent aussi

25:31Dario Amodi

25:32qui dit à côté

25:33le patron d'anthropique

25:34il faut le rappeler

25:36dans 15 ans

25:36on aura guéri

25:37toutes les maladies

25:38en substance

25:39mais c'est à peu près ça

25:39grâce à l'intelligence artificielle

25:42c'est là où il y a cette communication

25:43d'un mot

25:43parce qu'il nous reste

25:4330 secondes avant la pub

25:45Raphaël

25:45ce côté marketing de la peur

25:47ça vous l'entendez aussi

25:48c'est-à-dire

25:48les géants de l'IA

25:49qui souffrent

25:50qui soufflent le chaud et le froid

25:51et qui ont aussi

25:52un intérêt économique

25:53qui est absolument énorme

25:54dans le fait de communiquer

25:54sur ces modèles

25:55toujours moins puissants

25:56Je rejoins ce que disait Sylvain

25:57le débat sur le futur

25:58et la philosophie

25:59n'est pas très fécond

25:59quand on est dans une entreprise

26:01ou quand on est investisseur

26:02et qu'on doit se poser la question

26:03de la capacité des attaquants

26:05à accélérer leurs attaques

26:06et à exfiltrer de l'information

26:08maintenant on peut l'exfiltrer

26:10avec ces modèles de frontières

26:11en quelques dizaines de minutes

26:12en 10 minutes

26:13et de l'autre côté

26:14côté défenseur

26:15la question c'est

26:15comment est-ce qu'on utilise

26:16ces technologies

26:17à bon escient

26:18pas forcément en mettant

26:19l'humain en valideur

26:20systématique

26:21parce qu'au contraire

26:21l'humain il va s'habituer

26:22il va s'automatiser

26:23mais en mettant l'humain

26:24en contrôleur

26:25en juge

26:26de ce que fait l'IA

26:27pour accélérer la défense

26:28et c'est cette asymétrie

26:29que nous on veut combler

26:30on n'est pas dans des discours

26:32catastrophistes

26:32on est dans des discours

26:33disant

26:33attention à ce que les attaquants

26:35ne bénéficient pas

26:35plus rapidement que les défenseurs

26:37de ces innovations

26:39Des technos réalistes

26:40si vous étiez stressé

26:41par rapport à l'intelligence

26:42artificielle

26:43avant de commencer l'émission

26:43j'espère que vous êtes

26:44un peu rassuré

26:45par ce que nous disent

26:46tous nos amis

26:47moi je le suis un petit peu plus

26:48je dois dire

26:49on va continuer à en discuter

26:50évidemment

26:50on va avoir la pub

26:51dans quelques secondes

26:52mais on va continuer

26:53à discuter du risque

26:55réel ou supposé

26:56que fait peser

26:56cette intelligence artificielle

26:57sur nous tous

26:58sur nos entreprises

26:59et puis on va se poser la question

27:00est-ce qu'il faut ralentir

27:01et surtout

27:02est-ce qu'on peut vraiment ralentir

27:03allez à tout de suite

27:19allez c'est reparti

27:20pour cette émission spéciale

27:21depuis le stade Vélodrome

27:22de Marseille

27:23à l'occasion

27:23d'AIM Artificial Intelligence

27:25Marseille

27:26le plus grand

27:27événement

27:27il y a de la rentrée

27:28organisé par BFM

27:29la tribune

27:30on est dans un cadre

27:30exceptionnel ici

27:31c'est vrai qu'on bouscule

27:32un petit peu la grille

27:33habituelle

27:33vous inquiétez pas

27:34vous retrouverez leur closier

27:35dès demain évidemment

27:36on continue à s'interroger

27:38sur l'intelligence artificielle

27:40la question la plus importante

27:41du moment

27:42sur la perte de contrôle potentielle

27:43est-ce qu'il y a une menace

27:44réelle ou supposée

27:45est-ce qu'on joue à se faire peur

27:46avec l'intelligence artificielle

27:48et est-ce qu'il faut ralentir

27:49c'est ce que semblent dire

27:50en tout cas

27:50tous les géants de l'IA

27:51on a eu Anthropik

27:52qui a commencé à dire

27:53bah oui

27:53ce serait bien d'appuyer

27:54sur la pédale de frein

27:55on a eu OpenAI

27:57Elon Musk aussi

27:58qui ont acquiescé

28:00d'une certaine manière

28:01une rare unanimité

28:02dans le secteur

28:03quand même

28:03il faut le noter

28:04je voulais vous poser la question

28:05sur votre conviction profonde

28:06tiens

28:07si je vous donnais

28:07un bouton magique là

28:08vous pouvez appuyer dessus

28:09et pendant un an

28:11tout s'arrête

28:11voilà

28:12tous les développements

28:13de l'intelligence artificielle

28:14tout le monde joue le jeu

28:15les chinois

28:15les américains

28:16tous les grands laboratoires

28:17de recherche

28:17tout s'arrête

28:18le temps de réfléchir

28:20à où est-ce qu'on va

28:21avec cet IA

28:21vous le faites ou vous le faites pas

28:22Sylvain Duranton

28:23je ne vous ai pas représenté

28:24Sylvain Duranton

28:25de BCGX

28:26alors

28:28tout dépend de ce qu'on appelle

28:29développement

28:29parce que pour moi

28:30il y a plusieurs choses

28:31aujourd'hui

28:32est-ce que les entreprises

28:33doivent faire une pause

28:34dans le déploiement

28:34de leurs IA

28:36je ne crois pas

28:37parce que je pense

28:37qu'il y a moyen

28:38de déployer des choses

28:39en sécurité

28:40et on reviendra

28:40sur la place

28:41que la sécurité

28:42prend dans le discours IA

28:43par rapport au reste

28:43et ça a été un peu

28:44l'angle mort

28:45des dernières années

28:45mais je pense

28:46que les entreprises

28:47vont continuer

28:48sur la recherche elle-même

28:52j'ai du mal

28:53à imaginer

28:53ce que serait

28:54qu'une pause

28:55est-ce qu'on dit

28:55aux chercheurs

28:56vous cherchez moins vite

28:57avant vous cherchez vite

28:59est-ce qu'on dit

29:00à tous les chercheurs

29:01vous arrêtez

29:01mais certains

29:02continueront de toute façon

29:03je suis moins sûr

29:04là-dessus

29:04là où en revanche

29:06j'imagine qu'on pourrait

29:07peut-être un peu décélérer

29:08c'est sur toutes les publications

29:11de nouveaux modèles

29:12si on compare

29:13avec le monde

29:13du SaaS

29:14quand SAP

29:16ou Salesforce

29:16prévoit

29:17une nouvelle release

29:19on sait

29:20six mois à l'avance

29:21on a une documentation

29:22les entreprises

29:23peuvent faire évoluer

29:24leurs API

29:25si c'est nécessaire

29:26et on est capable

29:27vraiment de préparer

29:28cette nouvelle release

29:29et de l'intégrer

29:31dans le rythme frénétique

29:33de sortie des modèles

29:34aujourd'hui

29:34pour une entreprise

29:36c'est presque impossible

29:37parce qu'en fait

29:38les modèles changent

29:39qu'on le veuille ou non

29:40d'ailleurs

29:41ils sont tous mis

29:41à disposition

29:43et là on a un rythme

29:45où adapter

29:45en sécurité

29:46tout l'environnement

29:47technologique

29:48pour accueillir

29:49ces nouveaux modèles

29:50c'est devenu

29:51extrêmement dur

29:52et nous on le voit

29:53quand on met

29:53des systèmes de mesure

29:54de performance

29:55des agents par exemple

29:56quand on passe

29:57d'un modèle

29:58à la génération d'après

29:59il y a des situations

30:00où on voit

30:00une très forte dégradation

30:01en fait

30:01de ce qui se passe

30:02donc là peut-être

30:03et ça c'est dans les mains

30:04des grands acteurs

30:05c'est pas comme la recherche

30:06où c'est dans les mains

30:07de beaucoup beaucoup de gens

30:09je pense que là

30:09on peut se dire

30:10est-ce qu'il faut aller

30:10un petit peu moins vite

30:11et d'ailleurs

30:13ce que Raphaël

30:13vous le mentionniez

30:14sur Mythos

30:15c'est un peu ce qui se passe

30:16avec Mythos

30:16où en fait

30:16avant de le rendre public

30:17on a pris un peu le temps

30:19etc

30:19où ils nous ont dit

30:20là on a un modèle

30:20qui est tellement dangereux

30:21qu'on ne va pas le rendre public

30:22là je pense qu'effectivement

30:24sur le rythme

30:25de sortie des modèles

30:26on peut se demander

30:27s'il ne faudrait pas

30:28mettre un petit peu

30:29d'eau froide dans le système

30:31Frédéric Simotel

30:32ce qu'ils avaient fait

30:33avec ChatGPT2

30:34à l'époque

30:36ChatGPT2

30:36ils ont eu du temps

30:37à sortir

30:37à lancer ChatGPT3

30:38en disant

30:39ChatGPT2

30:39c'est beaucoup trop puissant

30:40ça va faire des ravages

30:42on n'entend pas

30:42on a un petit problème

30:43de micro avec Frédéric Simotel

30:44alors je ne sais pas

30:45si on peut lui changer

30:45son micro

30:47il va régler ça

30:48en deux secondes

30:49je vais donner la parole

30:49à Raphaël Marichet

30:51directeur sécurité

30:52chez Palo Alto Network

30:53donc géant mondial

30:54de la cybersécurité

30:55le bouton

30:56vous appuyez dessus ou pas ?

30:57on arrête le développement

30:57des IA pendant un an

30:59je pense qu'on se fait

31:00un peu trop un focus

31:01sur les modèles

31:01et comme disait Sylvain

31:02les modèles peut-être

31:03ça va un peu trop vite

31:04en versionning

31:05mais ce n'est pas les modèles

31:06qui comptent le plus

31:06c'est l'orchestration

31:07autour de ces modèles

31:08j'évoquais tout à l'heure

31:09le harnais

31:10je n'ai pas envie

31:10qu'on s'arrête

31:11et qu'on laisse peut-être

31:13la concurrence

31:14ou les individus

31:15mal intentionnés

31:15où les groupes cybercriminels

31:17continuaient d'avancer sans nous

31:18ce bouton que vous évoquez

31:20Anthony

31:20il n'existe pas

31:22oui on est d'accord

31:23ça ne m'a pas échappé non plus

31:25c'était vraiment un scénario

31:26voilà

31:27en parlant du concret

31:27exemple d'usage bénéfique

31:29on parlait de recherche biologique

31:31en cybersécurité

31:32l'usage de mythos

31:33qui nous a été extrêmement bénéfique

31:34c'est de compresser

31:35la fenêtre de temps

31:36pour tester nos propres systèmes

31:38et les mettre sur le marché

31:39sans faille

31:40on a compressé

31:41à peu près un an

31:42de tests d'intrusion

31:43sur nos propres systèmes

31:44en trois semaines

31:45grâce à ces modèles de frontières

31:47et grâce à ce programme

31:48que Sylvain a évoqué

31:49d'accès restreint

31:51uniquement pour les équipes

31:53de défense

31:53et quand on parle

31:54des programmes

31:54comme Glasswing

31:55Côté Anthropique

31:56ou Chopin et A

31:57maintenant il y a l'équivalent

31:58c'est les programmes permanents

31:59c'est Trust Access for Cyber

32:01ce sont des programmes vertueux

32:02on ne donne pas accès

32:04à tout ce qu'on se trouve

32:04c'est le fait de donner accès

32:06à certains modèles

32:06uniquement à des acteurs

32:07de la cybersécurité

32:08uniquement aux équipes

32:09qui cherchent des failles

32:10pour la défense

32:11uniquement aux équipes

32:12qui cherchent

32:13à mettre sur le marché

32:14de l'informatique

32:15qui seraient moins vulnérables

32:16on a quand même un problème

32:16aujourd'hui global

32:17dans l'industrie du logiciel

32:18qui est la présence

32:20de failles latentes

32:21de vulnérabilités

32:22qui ne sont pas encore connues

32:23et qui vont être découvertes

32:24est-ce que c'est l'attaquant

32:25ou est-ce que c'est le défenseur

32:26qui vont les découvrir en premier

32:28si c'est l'attaquant

32:28il va les exploiter

32:29si c'est le défenseur

32:30il va les corriger

32:31moi j'attends de cette innovation

32:33dans les modèles

32:33qu'on s'en serve

32:34pour détecter les failles

32:36avant qu'on mette

32:36les produits sur le marché

32:37pour qu'on les corrige

32:38et qu'on assainisse

32:39cette industrie du logiciel

32:41ça c'est un exemple vertueux

32:42il ne faut pas le ralentir

32:43alors j'ai peut-être

32:44effectivement été un peu

32:45j'ai peut-être un peu exagéré

32:47avec ce bouton pause

32:47parce qu'il y a une nuance importante

32:49entre le fait d'appuyer

32:50sur la pause

32:51et puis sur le fait

32:52de ralentir simplement

32:53ce qu'ont l'air de dire

32:53un certain nombre d'acteurs

32:54du secteur

32:55ils disent attendez

32:55il faut quand même

32:56qu'on prenne le temps

32:57de la réflexion

32:58ralentir

32:58qu'est-ce que ça peut vouloir dire

32:59par exemple en tropique

33:00ils disent

33:00on va installer

33:02des évaluateurs tiers

33:03qui vont venir

33:04dans notre entreprise

33:05et qui vont être capables

33:06de noter les modèles

33:07de les auditer

33:08de faire des rapports

33:09sans aucune censure

33:10d'abord

33:11est-ce que c'est crédible

33:12et est-ce que ça pourrait

33:13être vraiment utile

33:14mais ça veut dire

33:15qu'il va falloir

33:15qu'ils changent un petit peu

33:16leur ADN

33:17parce que je le disais

33:17tout à l'heure

33:18lorsque je parlais

33:18des modèles qui sortent

33:19dès qu'il y en a un

33:19qui sort un modèle

33:20deux jours après

33:21l'autre dire

33:21nous notre modèle

33:22est encore plus puissant

33:23donc effectivement

33:24je me suis de l'avis de Sylvain

33:25cette course à la nouvelle version

33:27est peut-être trop

33:29c'est peut-être là

33:29où il faut ralentir

33:30et dans les entreprises

33:33il y a des directions éthiques

33:35il y a des directions

33:36qui regardent

33:37quand on signe un contrat

33:39enfin un contrat commercial

33:41il y a une direction juridique

33:43qui regarde

33:43si tout est respecté

33:44si les clauses environnementales

33:46sont respectées

33:47si les clauses juridiques

33:48légales sont

33:48c'est peut-être là aussi

33:49sur les IA

33:50il faut davantage

33:51de personnes sur la cyber

33:52regarder

33:53si tous les risques

33:54sont bien pris en compte

33:55si les personnes

33:58qui doivent l'utiliser

33:58quel niveau

33:59d'expertise

34:01elles doivent avoir

34:02et c'est tout ça

34:03et je pense que c'est

34:04à ces acteurs

34:04de travailler dessus

34:05puis surtout

34:06moi ce qui m'inquiète aussi

34:07c'est que là

34:07on parle d'OpenAI

34:08et d'Enthropic

34:09mais eux ils vont ralentir

34:10alors les autres

34:10ne vont peut-être pas ralentir

34:11mais si eux poussent

34:12à ralentir

34:13et que derrière

34:13on a des start-up

34:14on en connaît en France

34:15qui sont obligés

34:16qui subissent un peu tout ça

34:17ils vont dire

34:18ah bon nous

34:18il faut qu'on ralentisse aussi

34:19mais attendez

34:20et là

34:21on creuse encore l'inégalité

34:23c'est ce pourquoi

34:23certains critiquent

34:25Anthropic, OpenAI

34:26enfin tous les tenants

34:27en tout cas du ralentissement

34:28c'est de dire

34:28en fait ils veulent juste

34:29protéger leur position

34:30et empêcher l'innovation

34:31ça fait aussi partie du

34:32ils jouent leur jeu

34:33ils jouent leur partition

34:34d'une certaine manière

34:35oui mais je voulais aussi

34:36rebondir sur ce que tu disais

34:37Frédéric

34:37parce que je suis complètement

34:38d'accord là

34:39sur ce que tu disais

34:40sur les cadres juridiques

34:41les normes

34:41enfin les chartes

34:43que les entreprises

34:44peuvent utiliser

34:45je trouve que

34:46sur les 2-3 dernières années

34:48on a beaucoup parlé

34:49d'équité

34:50alors est-ce qu'on peut

34:51traiter des données RH

34:52avec de l'IA

34:53est-ce qu'on peut

34:54faire des décisions

34:55de recrutement

34:55avec de l'IA

34:56est-ce qu'on peut traiter

34:57tel type de données

34:58avec un angle

34:59très orienté

35:00justice et équité

35:01qui est important

35:02mais on a eu

35:03un angle mort

35:04énorme

35:04sur la sécurité

35:05et aujourd'hui

35:06dans les chartes

35:07des entreprises

35:08quand on voit

35:09comment elles se préparent

35:09à l'arrivée de l'IA

35:10tout le sujet

35:11sur

35:13quels sont nos protocoles

35:14de test

35:14nos protocoles

35:15de validation

35:15s'assurer qu'on a

35:17des personnes qui valident

35:18qui sont différentes

35:18des personnes qui construisent

35:20comment est-ce qu'on définit

35:21nos standards

35:22minimaux

35:22de sécurité d'IA

35:24alors on a parlé

35:24d'accès des agents

35:26on peut parler

35:26de façon dont on gère

35:27le contexte

35:28la mémoire

35:28quelle supervision

35:29on donne

35:30tous ces sujets-là

35:31ne sont pas complètement

35:32explicités dans les entreprises

35:33aujourd'hui

35:34et ça

35:35il faut vraiment avancer

35:36là-dessus

35:37mais on l'a perdu

35:38au fil des années

35:38parce que les développeurs

35:39avant faisaient

35:40ces phases de test

35:42regarder tout ça

35:43et aujourd'hui

35:43on a perdu tout

35:44parce qu'on veut aller vite

35:46Raphaël

35:46en fait c'est assez remarquable

35:47Sylvain tu as raison

35:48il y a deux ans en Europe

35:49on parlait beaucoup

35:50de Responsible AI

35:51il y a un responsable

35:52et moi dans mon métier

35:52j'ai abordé la sécurité

35:53comme un sous-ensemble

35:54de la responsabilité de l'IA

35:55la lutte contre les billets

35:56la sûreté etc

35:57et aujourd'hui

35:58tu disais Anthony

36:00la sécurité devient

36:02le premier plan

36:02des discussions

36:03parce qu'on a débordé

36:05du sujet de la pure sécurité

36:06au sens

36:07de faire face

36:08à un individu mal intentionné

36:09mais on est dans un sujet

36:10de sûreté de fonctionnement

36:11au sens

36:12détournement d'usage

36:13par des individus

36:15qui sont peut-être

36:16peu scrupuleux

36:17d'outils

36:18qui sont déjà présents

36:19Frédéric tu parlais tout à l'heure

36:20de l'IA de l'ombre

36:21le Shadow AI

36:22là on n'est plus même

36:23dans le Shadow AI

36:24on est dans des outils

36:24qui sont déployés

36:26de manière légitime

36:27dans l'entreprise

36:27mais dont l'usage

36:28est détourné

36:29pour aller plus vite

36:30et c'est là où il y a un danger

36:31c'est pas la technologie

36:32le danger encore une fois

36:33c'est qu'est-ce qu'on va en faire

36:34par exemple les agents

36:35où il y a en entreprise

36:36qui ont accès aux données RH

36:37qui envoient des mails

36:38avec des factures automatiques

36:39vers les clients

36:40tout ça c'est

36:41on le fait aujourd'hui

36:42il y a aujourd'hui en France

36:44113 identités machines

36:45confiées à des agents

36:46pour une identité humaine

36:49une des erreurs par exemple

36:50est-ce qu'il faut freiner sur les agents

36:51vous qui déployez aussi

36:52Sylvain l'IA

36:53pas sur les modèles

36:54pas sur les agents

36:55parce qu'on n'arrête pas

36:56de nous dire

36:56il y a agentique

36:57il y a agentique

36:57c'est le futur

36:58il faut absolument déléguer

36:59le plus de choses possibles

37:00à l'IA

37:00ça va vous faire gagner

37:01vous allez avoir des gains

37:02de productivité complètement fous

37:03pas freiner mais maîtriser

37:05quand on délivre

37:05une identité à un agent

37:07quand on délivre une identité

37:08qui est déléguée

37:08d'un humain à un agent

37:10l'erreur à faire

37:11et qui a beaucoup été faite

37:12aujourd'hui jusqu'à présent

37:12ça n'a rien à voir

37:13avec la course au modèle

37:14c'est de donner

37:15son mot de passe

37:16ou un token

37:17à un identifiant de session

37:18qui va faire que l'agent

37:20se comporte comme l'humain

37:21donc il ne faut jamais

37:21donner son identifiant

37:23et son mot de passe

37:24à un agent IA

37:25non mais c'est le nouveau

37:26conseil de cybersécurité

37:27l'agent vous ne savez pas

37:28ce qu'il va faire plus tard

37:29quand vous donnez

37:30une délégation d'identité

37:31à un agent

37:32dans l'entreprise

37:32il faut que ce soit

37:33ce qu'on appelle

37:33du just in time

37:34juste pour le scope

37:35le périmètre d'action

37:37et le temps d'action

37:37qui est prévu pour l'agent

37:38si votre agent par exemple

37:40qui envoie des factures

37:43s'il se met à envoyer

37:44des mails piégés

37:45à vos collaborateurs

37:45il a les mêmes droits d'accès

37:47mais il ne devrait pas faire ça

37:48et c'est ça qu'il faut

37:48qu'on arrive à bloquer

37:49Si on reprend un tout petit peu

37:50de hauteur sur l'idée

37:51alors pas seulement

37:52d'agents malintentionnés

37:53enfin d'agents

37:54d'humains malintentionnés

37:55qui utiliseraient l'IA

37:56mais d'une IA

37:56qui deviendrait de plus en plus

37:57autonome d'une certaine manière

37:59il y a la notion

38:00qu'on a déjà évoquée

38:01mais je voudrais qu'on y revienne

38:02un tout petit peu

38:02d'alignement

38:03qui est très importante

38:05l'alignement c'est

38:07je parle sous votre contrôle

38:14à notre valeur

38:15en tant qu'humain

38:16qui met la vie humaine

38:17finalement

38:18en tant que première

38:19chose de première importance

38:20c'est un peu finalement

38:21les lois d'Azimov

38:22mais appliquées

38:23à l'intelligence artificielle

38:24l'alignement

38:24on peut le résumer

38:25comme ça Sylvain ?

38:26Oui alors je pense

38:26qu'aujourd'hui

38:27quand on cherche

38:27à aligner une IA

38:29on est sur des principes

38:31moins fondamentaux

38:32que la valeur

38:33de la vie humaine

38:35et les règles

38:36de la robotique d'Azimov

38:37on peut dire

38:38si les grands labos d'IA

38:41ils passent un temps infini

38:42à mettre des garde-fous

38:43si on demande

38:44comment on fabrique

38:45une bombe

38:45on dit non

38:46si on demande

38:47aide-moi à me suicider

38:48on dit non

38:48et on prévoit

38:49tout un tas de cas

38:50où on dit

38:51il ne faut pas faire

38:52mais ce que disait

38:53Frédéric tout à l'heure

38:54c'est impossible

38:55d'imaginer aussi

38:55tous les cas

38:56qui vont se produire

38:57etc

38:58et on a un problème

38:59où même

38:59quand on a mis en place

39:00un garde-fous

39:01on sait qu'ils ne sont pas

39:04systématiquement suivis

39:05et du coup

39:06et j'aime beaucoup

39:06l'exemple que donnait Raphaël

39:08parce que c'est vraiment

39:08un enjeu

39:09c'est une notion

39:10d'identifiant des agents

39:12j'ai un collègue

39:12chercheur en IA

39:13avec qui j'en parlais

39:14qui me disait

39:14tu vois

39:14on va mettre

39:15tous les garde-fous possibles

39:16mais à la fin

39:17un agent

39:17on ne sait pas exactement

39:19ce qui se passe

39:20dans la chaîne

39:20de causalité

39:21qui va donner

39:22telle ou telle décision

39:23pour ne pas faire

39:24d'anthropomorphisme

39:25il disait

39:25arrêtons de dire

39:26qu'ils sont méchants

39:27ou je ne sais pas quoi

39:28on ne sait pas

39:28ce qui se passe

39:29entre guillemets

39:29dans leur tête

39:30imagine que tu as un lion

39:32ce lion

39:33imagine qu'il a été dressé

39:34bien dressé

39:35pour ne pas faire

39:36d'imbécilité

39:36et ça c'est un peu

39:37les garde-fous

39:38que mettent

39:38les grands labos IA

39:40parce que c'est un lion

39:41tu as quand même

39:42envie qu'il soit

39:43dans une cage

39:44même s'il a été dressé

39:45c'est une bonne analogie

39:45c'est de l'anthropolionisme

39:49c'est de l'anthropolionisme

39:51mais pour revenir

39:51à ce que disait Raphaël

39:54donner le même accès

39:56qu'un humain

39:56en matière de données

39:58d'entreprise

39:58et les mêmes droits

39:59à un agent

40:01ce n'est pas possible

40:02ce n'est pas possible

40:03et ce n'est pas parce

40:04qu'il n'y a pas

40:05de garde-fous

40:06ce n'est pas parce

40:07qu'il est mal intentionné

40:08non c'est juste

40:09que ce n'est pas possible

40:10et une chose frappante

40:11c'est que peu d'entreprises

40:12aujourd'hui

40:13ont mis en place

40:14des systèmes

40:14pour se dire

40:15quand quelqu'un se connecte

40:16est-ce que c'est un agent

40:18ou est-ce que c'est un humain

40:19parce que quand on a

40:20une connexion

40:21on va devoir gérer

40:22très différemment

40:23une connexion humaine

40:24par rapport

40:25à une connexion agentique

40:27et donc

40:28oui il y a des efforts

40:29d'alignement

40:30oui on a des défis

40:31d'alignement

40:32mais qui sont des défis

40:33scientifiques

40:34et ça ça impose

40:35de s'assurer

40:37qu'on a bien mis

40:38une petite cage

40:39autour du lion

40:40justement tu disais

40:41de prendre de la hauteur

40:42par rapport à l'alignement

40:42moi je veux dire aussi

40:43il faut revenir aussi

40:44aux fondamentaux

40:45moi je reviens sur le rôle

40:45des développeurs

40:47aujourd'hui évidemment

40:48on dit

40:48c'est plus la peine

40:49de développer

40:50on prend du code

40:50on prompte

40:51et puis c'est l'IA

40:52qui va coder

40:52et là c'est là

40:53où on a quand même

40:54il ne s'agit pas tous

40:55de se remettre

40:55à des lignes de code

40:56mais aujourd'hui

40:57il faut que les codeurs

40:58sachent

40:59connaissent l'architecture

41:00de leur algorithme

41:01et tout ça

41:01et ça on est peut-être

41:02en train de le perdre

41:03et ça c'est un peu dangereux

41:04aussi parce que

41:06je prends juste un exemple

41:07tout le monde a développé

41:08en C, C++

41:09avec une gestion

41:10de la mémoire déplorable

41:11aujourd'hui

41:12on s'en mord les doigts

41:13sur tout un tas de sujets

41:14on n'aurait peut-être

41:16pas besoin d'autant de rames

41:17si on avait mieux développé

41:18avant

41:18mais ça c'est une autre histoire

41:19mais tu vois

41:20il y a cet aspect là aussi

41:22qui est important

41:22le ralentissement

41:23est-ce que c'est juste

41:24une question de laboratoire

41:25de recherche

41:26et de géant de la tech

41:27ou est-ce que c'est aussi

41:28les états

41:29qui doivent chapoter

41:29un petit peu tout ça

41:30parce qu'on voit que

41:31bon Anthropik

41:33OpenAI

41:34là ils ont annoncé

41:35c'était la semaine dernière

41:35qu'ils voulaient mettre en place

41:36une sorte d'organe

41:37c'était Demy Sassabis

41:38je crois

41:38le patron de l'IA

41:39chez Google

41:39il y a eu cette idée

41:40c'est ça

41:41une sorte d'organe

41:42de supervision

41:43mais qui serait en fait

41:44financé par eux-mêmes

41:45je voyais une comparaison

41:46c'est comme si

41:47Coca et Pepsi

41:49lançaient un organe

41:50de supervision

41:50des boissons sucrées

41:51est-ce qu'on aurait

41:52vraiment confiance

41:53en ce genre de choses

41:54ou est-ce qu'il doit y avoir

41:55une supervision

41:56un peu plus haute

41:57est-ce qu'on doit

41:57finalement considérer

41:59l'IA peut-être

41:59un peu comme le nucléaire

42:00avec une AIEA

42:02une agence internationale

42:04de contrôle

42:04je ne sais pas

42:05je pose la question

42:06je mets ça sur la table

42:07qu'est-ce que vous en pensez vous ?

42:09je pense que

42:10évidemment

42:11tout le monde appelle

42:12de ses voeux

42:12plus de régulation

42:13pour essayer de gérer

42:14ses risques

42:14il faut se poser la question

42:16de toutes ces entités

42:17qu'est-ce qu'elles feraient ?

42:18parce que si on prend

42:19l'analogie de l'aérien

42:21l'aérien

42:21tout est archi codifié

42:23on a des standards

42:23donc quand on a un incident

42:25déjà on sait ce que c'est

42:25qu'un incident

42:26et la plupart des incidents

42:27on ne les voit pas

42:28il y a des investigations

42:29qui sont faites

42:30pour se dire

42:31où est la source

42:31de l'incident

42:32etc

42:33mais on a des standards

42:34aujourd'hui

42:34on n'a pas les standards

42:35dans l'industrie

42:37on n'a pas la science

42:38qui va derrière

42:39et donc

42:39avant de commencer

42:40à imaginer

42:41une police

42:42et puis on dit

42:43un képi

42:44un sifflet

42:44des camionnettes

42:45qu'est-ce que je fais ?

42:45je veux dire

42:46l'IA elle est partout

42:48elle est dans plein d'endroits

42:50je pense que l'urgence

42:52c'est les standards

42:53pour se dire

42:53qu'est-ce qu'on se dit

42:54qui est bon

42:55enfin qui est le bon niveau

42:56disons

42:57et puis les initiatives

42:58dont on parlait avec Raphaël

43:00sur

43:01il y a des prélancements

43:02qui sont faits

43:04des acteurs de confiance

43:05pour tester

43:06pour retester

43:07etc

43:07ça c'est des choses

43:08auxquelles je crois

43:09qu'il y ait des communautés

43:10de type open source

43:12même si c'est

43:12l'open source secondaire

43:13qui puissent aussi

43:15vérifier

43:16c'est quoi open source secondaire

43:16ça veut dire quoi ?

43:17open source primaire

43:18c'est complètement open source

43:20open source secondaire

43:21c'est des modèles

43:21qui ont été

43:22entraînés

43:23sur des données

43:24dont on ne sait pas

43:25exactement ce qu'elles sont

43:26mais dont les poids

43:27sont verrouillés

43:28c'est les fameux

43:29open weight models

43:30qui eux

43:30une fois que les poids

43:31sont verrouillés

43:32sont ouverts

43:32même si on ne sait pas

43:33exactement comment

43:33ils ont été entraînés

43:35là on peut se dire

43:35que ces communautés

43:36open source

43:37peut-être qu'elles peuvent

43:37jouer un rôle aussi

43:38dans le suivi

43:40le monitoring

43:40etc

43:41mais réguler demain

43:43je ne sais pas très bien

43:44ce que je ferais

43:45si j'étais patron

43:46de la police de l'IA

43:47alors qu'elle soit faite

43:48par les acteurs de l'IA

43:48par les états

43:49par tout le monde

43:51c'est une super idée

43:52mais je pense

43:53que c'est un peu

43:54théorique

43:54c'est difficile d'être concret

43:56Raphaël puis Fred

43:57il ne faut pas

43:58déresponsabiliser

43:58les donneurs d'ordre

43:59les patrons d'entreprises

44:00qui consomment aussi

44:01qui utilisent l'IA

44:02je pense que

44:03une bonne analogie

44:04c'est effectivement

44:04l'aérien

44:05il y a cette frontière

44:07entre la sécurité

44:08et la sûreté

44:09en matière informatique

44:10qui est en train

44:11de s'émousser

44:11où on commence à avoir peur

44:13avoir des craintes légitimes

44:14qu'on sorte un peu

44:15de la cage

44:15de la sandbox

44:16je vous interromps

44:17une seconde là-dessus

44:18mais si demain

44:20Airbus me dit

44:21mon prochain avion

44:22il est super

44:22enfin un chercheur d'Airbus

44:24en revanche

44:24il y a 10% de chance

44:25qu'il se crache

44:26je ne suis pas sûr

44:27qu'on le fasse décoller

44:27et comment on arrive

44:29à ce résultat

44:29c'est vrai qu'il y a un historique

44:30qui nous manque un peu

44:31dans le domaine de l'IA

44:32et du numérique en général

44:33le passif des sinistres

44:35et des sinistres évités

44:36les presque évités

44:38est trop faible encore

44:39en aérien

44:39ils l'ont beaucoup plus

44:40mais c'est cette culture

44:42de la feedback loop

44:43de la boucle d'apprentissage

44:44de rétroaction

44:45qu'il faudrait qu'on ait

44:46un peu plus en cyber

44:47chaque fois qu'il y a

44:48un incident tout juste évité

44:49par exemple

44:50ça doit donner lieu

44:51à un rapport dans l'entreprise

44:52qui permet à l'entreprise

44:53de devenir plus résiliente

44:54en modifiant

44:55soit ses harnais IA

44:57pour qu'il soit plus contraignant

44:58ou en modifiant

44:59sa gestion d'identité

45:00pour qu'elle soit

45:01moins permissive

45:02ou en modifiant

45:03son exposition

45:05en surface d'attaque externe

45:06pour qu'elle soit

45:07moins exposée à internet

45:07en tout cas apprendre

45:08des incidents tout juste évités

45:11ça c'est quelque chose

45:12qu'on ne fait pas assez

45:13qu'on pourrait faire plus

45:13avec l'IA d'ailleurs

45:14parce que l'IA peut nous permettre

45:15d'aller plus vite

45:16dans la boucle d'apprentissage

45:17et dans l'amélioration

45:18de la résilience des entreprises

45:20Frédéric ?

45:21Moi je trouve ce qu'il y a

45:21d'intéressant quand même

45:22aujourd'hui

45:22c'est qu'on voit

45:23que c'est monté

45:23au niveau des chefs d'Etat

45:24on vit en ce moment

45:25la rencontre

45:26entre Donald Trump

45:26et Xi Jinping

45:27on sait que l'IA

45:28ça va être l'un des thèmes

45:29de leur discussion

45:30le pape est à Paris

45:31il est à l'UNESCO

45:33il passe à l'UNESCO

45:34l'IA va faire partie

45:35on connait

45:36il a fait une encyclique

45:37qu'on recommande d'ailleurs

45:37tous de lire

45:38parce qu'il met

45:39beaucoup de pistes

45:41à l'intérieur

45:42sur lesquelles

45:46on arrive à un niveau état

45:47avant on n'en parlait même pas

45:48la cyber et tout ça

45:50vaguement

45:50et là aujourd'hui

45:51c'est bien que ça remonte

45:52quand même à l'un des niveaux

45:53l'exemple de Donald Trump

45:53est intéressant

45:54parce qu'au moment

45:55où tout le monde

45:56nous dit

45:57attention il y a un risque majeur

45:58il faut absolument ralentir

46:00tiens Donald Trump

46:00lui il est en mode

46:01non non il faut accélérer

46:03on en a parlé

46:04sur l'antenne de BFM Business

46:05hier

46:05vous avez vu

46:06qu'il voulait remplacer

46:07le terme

46:08intelligence artificielle

46:10dans tous les documents officiels

46:11par le terme

46:11de super intelligence

46:13et en fait

46:13c'est pas anodin

46:14il y a un côté gadget

46:15de langage

46:16et derrière ça

46:17il y a la réflexion

46:17de non on va donner

46:19un côté positif

46:20super intelligence

46:21c'est un super truc

46:22parce qu'il faut surtout

46:23surtout pas ralentir

46:24il faut aller au contraire

46:25beaucoup plus vite

46:25et il faut pas prendre de retard

46:26par rapport à la Chine

46:26donc il y a aussi cet enjeu là

46:28qui est absolument majeur

46:28et qui fait que ça va être compliqué

46:30de ralentir en réalité Fred

46:31mais surtout

46:31juste pour pas garder la parole

46:33mais il y a aussi

46:36une vision différente

46:37entre les américains

46:37et les chinois

46:38les américains

46:38ils sont justement

46:39vers cette super intelligence

46:41on va ressembler à l'homme

46:42et tout ça

46:42alors que les chinois

46:43je les trouve

46:44beaucoup plus pragmatiques

46:45c'est une IA

46:45au service de l'industrie

46:46une IA pour les voitures autonomes

46:48une IA pour aller plus vite

46:49dans l'espace

46:49une IA pour l'industrie

46:51et je trouve que là-dessus

46:53ils ont une autre

46:54une autre vision aussi

46:55de cette IA

46:55il faut pas forcément

46:56les mettre sur le même point

46:59Sylvain ?

46:59Et ce qui complique aussi

47:00tout le débat

47:01c'est pourquoi est-ce que

47:02Trump en parle

47:03pourquoi est-ce que

47:04le conseil de sécurité

47:05de l'ONU en parle

47:07parce qu'en fait

47:07il y a aussi des implications

47:08militaires associées

47:09à ces technologies

47:10et je pense que c'est aussi ça

47:11qui à un moment donné

47:13est en arrière de fond

47:14sur tous ces débats

47:15et qui rend encore plus difficile

47:17la notion de ralentir ou pas

47:18c'est que c'est pas simplement

47:20pour l'économie

47:21mais il y a des enjeux

47:22qui sont géostratégiques

47:24qui sont majeurs

47:25autour de l'IA

47:25et c'est ce qui vient aussi

47:28je dirais un peu

47:29polluer

47:30le fait que c'est pas

47:31un simple débat

47:32de bâtissons des standards

47:34pour être sûr

47:35de ce qu'on fait

47:35mais que les enjeux

47:37les enjeux dépassent

47:38et l'Europe

47:39dans tout ça

47:39alors est-ce que nous

47:40avec notre IA Act

47:41qu'on a été les premiers

47:42à implémenter

47:43on a quand même eu

47:43une régulation

47:45de l'intelligence artificielle

47:46ou un encadrement

47:47avant tout le monde

47:48est-ce qu'il faut

47:49s'en féliciter

47:50vu le climat actuel

47:51très anxiogène

47:51sur les dangers

47:52à l'époque on disait

47:53on veut réguler

47:54avant d'innover

47:55bon là on voit

47:55qu'il y a quand même

47:56un danger potentiel

47:57même si on l'a un peu

47:58tempéré aujourd'hui

47:59est-ce qu'il faut s'en féliciter

48:00ou est-ce qu'on est encore

48:01voilà on est en train

48:02juste de prendre du retard

48:03par rapport aux Etats-Unis

48:08on a beaucoup réfléchi

48:09à équité et justice

48:11moins à sécurité et sûreté

48:13et là il y a un angle mort

48:14un peu

48:15donc

48:16c'est pas vraiment

48:16dans l'IA Act en fait

48:17non c'est un peu à côté

48:18alors il y en a un peu

48:19mais c'est beaucoup moins

48:22développé je dirais

48:22que ce qui se passe

48:23sur les questions

48:23d'équité et de justice

48:25maintenant le jeu

48:26de l'Europe

48:26dans tout ça

48:28il faut trouver

48:29la troisième voie

48:30alors on n'est pas

48:31dans la course

48:32au grand modèle

48:32mais je pense

48:33qu'on peut jouer

48:34un rôle

48:36sur justement

48:36ces partages

48:37de standards

48:38l'Europe

48:39a été associée

48:40quand même

48:40fortement

48:40aux initiatives

48:42sur les pré-test

48:43des derniers modèles

48:44d'Open Air

48:45et Anthropique

48:46et je pense

48:46que l'Europe

48:47qui est un peu

48:50indépendante

48:50des parties

48:50là-dessus

48:51dans cette course

48:52au modèle

48:52je pense que

48:53pour tout ce qui peut

48:54être collaboration

48:55entre grands acteurs

48:56de confiance

48:57entre grands écosystèmes

48:58recherche de standards

49:00on peut faire beaucoup

49:01il y a un sujet

49:01dont on n'a pas parlé

49:02c'est qu'il nous manque

49:03de la science aussi

49:04sur ces sujets

49:05notamment sur ces sujets

49:06d'alignement

49:07et donc on a besoin

49:08que les labos de recherche

49:09au-delà des labos IA

49:10mais l'ensemble

49:11de la communauté académique

49:12bosse aussi là-dessus

49:13et produise

49:14de la connaissance scientifique

49:16et là aussi

49:16l'Europe peut jouer un rôle

49:17indépendamment

49:18de la course

49:19entre les deux géants

49:21Frédéric ?

49:21Il faudrait déjà

49:22que l'Europe réussisse

49:23à parler d'une seule voix

49:24aussi parce qu'on dit

49:25l'Europe

49:25mais nous les français

49:26on tire un peu

49:27dans notre coin

49:27les allemands

49:29tirent dans le leur

49:29les anglais

49:30si on les assimile

49:31un peu

49:31au bloc européen

49:34sont un peu dans leur monde

49:35il y a un peu ce souci-là

49:37aujourd'hui

49:37on aimerait qu'on aurait aimé

49:38alors nous on a un Mistral

49:39c'est bien

49:40si l'Europe avait pu se tourner

49:41derrière un Mistral

49:42puis nous on dit aux allemands

49:43qu'est-ce que vous avez vous

49:43et nous on sera derrière vous

49:45pour cette partie-là

49:47mais enfin

49:47déjà il y a cette idée-là

49:49qui est difficile

49:51mais je pense que l'Europe

49:52pour moi

49:53dans ce domaine-là

49:54pour moi la troisième voie

49:55c'est un peu

49:56entre les Chinois

49:57et les Américains

49:57c'est s'intéresser à l'IA

49:59dans les entreprises

49:59c'est les entreprises

50:00qui vont nous aider

50:00à être performantes

50:01à créer de l'emploi

50:02et tout ça

50:02c'est l'IA et l'éducation

50:03il faut aller sur ces points-là

50:05ne pas chercher à avoir

50:06effectivement une vue globale

50:07de l'IA

50:08qui va apporter

50:08mais aller à l'IA

50:09et la défense

50:11avoir ces stratégies

50:12un peu sectorielles

50:14ou par métier

50:15il faut vraiment agir

50:16dans ce côté-là

50:17Raphaël ?

50:18On peut avoir

50:18la meilleure technologie du monde

50:19si on ne sait pas

50:20comment s'en servir proprement

50:21si on ne sait pas

50:22comment s'en servir

50:22pour tirer de la valeur

50:23je vais prendre un exemple

50:24on a eu jusqu'à récemment

50:25beaucoup d'entreprises

50:26qui disaient

50:27chez moi l'adoption de l'IA

50:28elle est géniale

50:29j'ai 80% de mes salariés

50:30qui consomment une licence

50:32d'un laboratoire américain

50:34non ce n'est pas la bonne métrique

50:35c'est quelle valeur

50:36ça apporte à la société

50:37en termes de profitabilité

50:39de go to market

50:40de différenciation sur le marché

50:41et aussi dans la chaîne de valeur

50:44quelle est la bottom line

50:45en termes de coût

50:46le nombre de licences consommées

50:47ce n'est pas un indicateur qualitatif

50:49pour savoir si ça apporte de la valeur

50:50c'est un indicateur de coût

50:51au contraire par exemple

50:52donc on se focalise beaucoup

50:54sur les modèles

50:55je vais revenir là-dessus

50:55c'est le savoir faire faire

50:57qui compte

50:57on fait faire à la machine

50:59il faut qu'on sache faire faire

51:00c'est comment on agence ces modèles

51:02comment on les orchestre

51:02c'est comment on crée des harnais

51:04je pense qu'il va y avoir

51:05un domaine qui va se développer

51:07et l'Europe peut jouer dessus

51:09doit jouer dessus en ce moment

51:11et démarrer

51:11c'est orchestrer ces modèles IA

51:13d'où qu'ils viennent

51:15Amérique, Chine, ailleurs

51:17pour les utiliser de manière sûre

51:19en termes de sûreté de fonctionnement

51:20dans l'entreprise

51:22et pour que ça dégage

51:23de la valeur économique

51:25on approche de la fin de l'émission

51:27je voulais vous poser

51:28quelques questions de conclusion

51:29si on se projette un tout petit peu

51:30on est en 2030

51:32qu'est-ce qui vous inquiète le plus

51:33est-ce que c'est

51:34que l'IA soit devenue trop puissante

51:36potentiellement dangereuse

51:37ou qu'on ait eu tellement peur

51:39qu'on ait fini par freiner

51:41voire stopper une révolution extraordinaire

51:43vous ayant écouté

51:45tout au long de l'émission

51:46j'ai pas tellement de doutes

51:47sur la réponse

51:47je vous la pose quand même

51:48Sylvain

51:49moi je pense qu'on aura

51:50du mal à stopper

51:51il y a un engouement énorme

51:53au niveau du grand public

51:54des entreprises

51:55etc. autour de l'IA

51:56donc je pense qu'on va y aller

51:57de toute façon

51:58et tu l'as dit à un moment donné

51:59aussi on attend

52:00beaucoup de choses de l'IA

52:01en éducation

52:02en santé

52:02sur tout un tas de domaines

52:04qui sont très importants

52:05mon souci à court terme

52:07assurons-nous

52:08qu'on ne crée pas

52:09un rejet trop fort de l'IA

52:10et on commence à voir poindre

52:11ici et là

52:12des voix très dissonantes

52:14par rapport à l'IA

52:15des mouvements

52:16tout à fait

52:16des mouvements

52:17et donc à mon avis

52:18il y a un énorme enjeu

52:19d'éducation

52:21de communication

52:21et de responsabilité

52:23mais alors pas au sens

52:26responsabilité

52:26comme on l'entend

52:27il y a responsable

52:28aujourd'hui dans les entreprises

52:30responsabilité sociétale

52:31des grands acteurs de l'IA

52:32pour s'assurer

52:33qu'on fait quelque chose

52:34qui embarque l'humanité

52:35et qui ne laisse pas

52:36une partie de l'humanité

52:37sur le côté

52:38Raphaël Marichet

52:38Anthony vous allez être

52:40surpris de ma réponse

52:41ce qui m'empêche

52:44de dormir moi

52:44aujourd'hui

52:45quand je vois

52:46que toute l'informatique

52:48moderne aujourd'hui

52:48est construite

52:49à 90% au moins

52:50sur du code source

52:51qui vient des logiciels libres

52:52même les logiciels propriétaires

52:54sont construits

52:55en grande partie

52:55sur du code source

52:56qui vient des logiciels libres

52:57ce logiciel libre

52:58grâce ou à cause

52:59des capacités

53:00de ces modèles de frontières

53:01est devenu

53:02complètement transparent

53:03pour y découvrir des failles

53:04la grande crainte

53:05c'est que de nombreuses entreprises

53:07en France

53:08partout ailleurs

53:08se fassent compromettre

53:10pas parce qu'elles ont été ciblées

53:11mais parce qu'on appelle

53:12une attaque en supply chain

53:13une attaque en chaîne

53:14d'approvisionnement logiciel

53:15c'est qu'un composant

53:16de logiciel libre

53:17qui est utilisé massivement

53:18dans les entreprises

53:19soit lui-même compromis

53:20et piégé

53:21et installé légitimement

53:23dans les entreprises

53:23et qui l'exfiltre

53:24de la donnée

53:25qui verrouille des systèmes

53:26c'est une attaque

53:27à l'échelle

53:28systémique

53:29via la supply chain

53:30logiciel

53:31parce qu'en fait

53:32le composant aura déjà

53:33été installé

53:33puisque c'est un composant légitime

53:34on a eu des prémices de ça

53:36ces derniers mois

53:37des entreprises tech

53:38de développement

53:39dont les équipes

53:41de développement logiciel

53:42ont été compromises

53:43non pas parce qu'il y avait

53:44une faille

53:44mais parce qu'ils utilisaient

53:46légitimement

53:47un outil de développement

53:49qui lui-même

53:49avait été compromis en amont

53:50et qui repose souvent

53:51sur le logiciel libre

53:52cette transparence

53:53là il y a un vrai danger

53:53que l'IA met

53:55sur le logiciel libre

53:56nous oblige collectivement

53:58à aller plus vite

53:59et sécuriser

53:59toute notre pile

54:02technologique

54:02qui est aujourd'hui présente

54:04dans nos entreprises

54:04c'est une urgence

54:05Frédéric

54:06moi Macra

54:07évidemment

54:07j'abonde

54:09dans ce que viennent

54:10de dire Sylvain et Raphaël

54:11mais c'est le coût du token

54:13il ne faut pas oublier ça

54:14c'est qu'aujourd'hui

54:15ça coûte cher

54:16de faire de l'IA

54:17aujourd'hui c'est un peu absorbé

54:18par les abonnements

54:19c'est pas si cher aujourd'hui

54:20mais ça va monter

54:21mais c'est en train de monter

54:22dans beaucoup d'entreprises

54:23et le risque

54:24c'est qu'on crée encore plus

54:25une fracture numérique

54:27déjà qu'on voit

54:29juste un mot

54:30sur l'appauvrissement

54:31de la France

54:31parce que le conseil

54:33d'analyse économique

54:33a dit que c'était notamment

54:34parce qu'on n'avait pas

54:35une adoption du numérique

54:37assez rapide

54:37dans les PME, TPE

54:39et bien si en plus

54:40le token devient trop cher

54:41et en plus sur l'IA

54:42ils prennent du retard

54:43par rapport à ça

54:45ça va être un peu compliqué

54:47donc moi c'est ça

54:48et ma deuxième crainte

54:49c'est tout ce qui est

54:50autour de l'éducation

54:51vraiment c'est

54:52comment on doit intégrer l'IA

54:54dans l'enseignement

54:54dans l'éducation

54:55comment les jeunes

54:55doivent utiliser l'IA

54:57et comment on doit

54:58leur enseigner l'IA

54:59Parfait, merci beaucoup messieurs

55:00on va arriver au terme

55:01de cette émission

55:02c'était passionnant

55:03j'espère que ça vous a intéressé

55:04à la maison

55:05clairement

55:06j'espère que vous êtes rassuré

55:08si vous étiez un peu

55:09affolé par cette révolution

55:11de l'IA

55:11et tout ce qu'on entend

55:11comme news un peu anxiogène

55:13ces derniers temps

55:14c'est vrai que c'était intéressant

55:15de vous écouter

55:16tous les trois

55:16Frédéric Simotel

55:17évidemment de BFM Business

55:18Raphaël Marichet

55:20le directeur sécurité

55:21chez Palo Alto Networks

55:22et Sylvain Duranton

55:24spécialiste de l'IA

55:25et directeur monde

55:26de BCGX

55:27les experts de l'IA

55:28c'est terminé

55:29vous retrouvez leur closier

55:30pour les experts

55:30dès demain évidemment

55:31tout de suite

55:32c'est les experts de l'IMO

55:33avec Marie Coeur de Roi

55:34et puis à IEM Marseille

55:36ça continue évidemment

55:37demain il y aura un débat

55:38absolument passionnant

55:39avec les candidats

55:40à la présidentielle

55:41et leurs représentants

55:42ce sera ici

55:43depuis Marseille

55:44ce sera retransmis

55:44sur BFM Business

55:45ce sera assez intéressant

55:46de voir comment les candidats

55:47prennent en compte

55:49et leur vision

55:50de cette révolution

55:51de cette lame de fond

55:52technologique

55:53qui est en train

55:53de déferler sur nous

55:54celle de l'intelligence artificielle

55:56merci beaucoup

55:56et à très vite

56:03les experts de l'IA

56:04sur BFM Business

56:06Sous-titrage Société Radio-Canada

56:08Sous-titrage Société Radio-Canada

Les experts sans frontières - Vendredi 25 septembre

Catégorie

Transcription

Recommandations