- il y a 11 minutes
BFM BUSINESS PARTENAIRE - Ce samedi 19 septembre, dans le cours n°375, Jean-François Bobier, partner et directeur au BCG, s'est penché sur la course contre la montre en cybersécurité dans l'émission BFM Stratégie présentée par Frédéric Simottel sur BFM Business. Cette émission a été réalisée en partenariat avec Boston Consulting Group.
Catégorie
📺
TVTranscription
00:03BFM Stratégie, avec Frédéric Simotel, sur BFM Business.
00:12Bienvenue dans ce nouvel épisode BFM Stratégie avec notre partenaire le Boston Consulting Group, le BCG.
00:17On va parler cybersécurité, c'est quand même l'un des gros sujets de l'été, on ne va pas
00:21vous refaire tout le flot des attaques.
00:23Mais quand même une qui nous a un peu surpris, c'est ces agents IA autonomes d'OpenAI qui, on
00:31les avait entraînés à aller chercher des failles de sécurité.
00:34Puis ils sont sortis de ce qu'on appelle leur bac à sable, ils sont allés loin, ils sont allés
00:39sur le site carrément de GingFace,
00:41qui est un hub qui ressource plus de 3 millions de modèles d'IA, et ils sont allés pirater carrément
00:47ce modèle.
00:48Ce n'était pas du tout prévu, ils l'ont fait de façon totalement autonome.
00:50Donc ça c'est des menaces qui commencent à arriver, on le voit aussi, les attaques sont de mieux en
00:55mieux faites grâce à cette IA.
00:58En contrepartie, si on utilise l'IA pour attaquer, on utilise aussi l'IA pour se défendre, pour anticiper.
01:03Et là aussi, il y a pas mal de choses qui sont en train de se mettre en place.
01:07On va parler de tous ces sujets avec notre expert Jean-François Bobier, bonjour.
01:11Bonjour Frédéric.
01:11Jean-François, merci d'être avec nous, partenaire et directeur au BCG, spécialiste des questions de cyber et co-auteur
01:16d'une nouvelle enquête du BCG consacrée au sujet.
01:199 entreprises sur 10 ont subi des cyberattaques s'appuyant sur l'IA au cours de cette dernière année.
01:25Concrètement, oui, c'est plus dense, il y en a de plus en plus.
01:29Et puis elles sont de plus en plus, pas forcément plus sophistiquées, mais elles sont très bien faites aujourd'hui.
01:34Tout à fait.
01:35Je pense au fichier notamment avec ses courriers.
01:37Tout à fait. Donc ce qui se passe avec l'IA, c'est qu'elle permet à des acteurs qui
01:43étaient, on va dire, des individus,
01:46qui faisaient ce qu'on appelait des scripts qui disent, derrière leur clavier qui avait 17 ans, qui faisaient des
01:51trucs simples.
01:52Maintenant, avec ses agents en IA, ils peuvent faire des attaques très sophistiquées.
01:55Certains de nos clients nous disent, parfois, difficile à distinguer d'un acteur.
01:59Beaucoup plus puissant.
02:00Beaucoup plus sophistiquées, parce qu'ils ont toute l'automatisation à disposition, les meilleurs outils.
02:05Et donc ça, c'est devenu un problème en forte croissance.
02:10Et parallèlement à ça, il y a un autre problème, c'est l'adoption d'ol'IA par elle-même,
02:14par nos clients.
02:15Donc ils s'en servent pour générer leurs codes.
02:18Ils s'en servent pour indexer leurs documents, pour les rendre facilement trouvables.
02:23Ils font des chatbots qu'ils mettent à disposition de leurs clients.
02:26Et donc aussi, ça ouvre un nouveau voteur d'attaque, par ce côté-là.
02:29C'est-à-dire, en fait, par l'utilisation interne de l'IA par l'entreprise.
02:32Par exemple, comme les données de l'entreprise sont dans le chatbot mis à disposition du client,
02:37il peut peut-être essayer d'extraire les informations à travers des prompts bien trouvés.
02:42Ou comme le code a été généré par l'IA, il peut y avoir des erreurs ou des clés qui
02:47ont été mises dans le code.
02:48Donc il faut être très prudent aussi dans la manière dont on utilise l'IA en interne.
02:51Et donc ces deux choses-là se rencontrent en même temps.
02:54et font que c'est venu un gros challenge pour nos clients.
02:57Concrètement, si on se penche un petit peu, quelques minutes, enfin une ou deux minutes,
03:01sur ce qui s'est passé pour Hugging Face, en quoi ça change des attaques, entre guillemets, plus traditionnelles ?
03:07Alors d'abord, c'est une attaque complètement autonome, comme vous l'avez très bien dit.
03:11Elle est tellement autonome que les créateurs ne leur avaient même pas demandé de le faire.
03:15C'est-à-dire qu'en fait, qu'est-ce qui s'est passé ?
03:16Donc ils avaient un agent de cybersécurité et il lui donnait un test.
03:21Et en fait, par erreur, il lui avait donné un test impossible.
03:24C'était impossible de résoudre la question qui avait été donnée à l'agent.
03:28Mais par contre, il savait à travers la demande qui lui avait été faite que la réponse était dans Hugging
03:34Face.
03:35Donc il s'est dit, ok, je n'arrive pas à trouver la solution.
03:37Je vais aller directement chez Hugging Face.
03:38Je vais tout simplement, pour répondre à la question qu'on m'a donnée, je vais aller chez Hugging Face.
03:42Je vais trouver la réponse et comme ça, je vais pouvoir répondre à la tâche qu'on m'a donnée.
03:47Et donc ensuite, il s'est rendu compte qu'il était dans un bac à sable, comme vous l'avez
03:49bien dit.
03:50Donc un bac à sable, vous n'avez pas accès à Internet, par définition.
03:53Donc il a travaillé pendant des mois pour trouver des failles.
03:57Il a fini par sortir du bac à sable d'OpenAI.
03:59Oui, parce qu'on le rappelle, c'était lancé en avril-mai.
04:03Et puis bon, ça a été annoncé là cet été.
04:05Mais en fait, ils ont fait un très beau post-mortem OpenAI à Conférence Black Hat.
04:09Et ils ont expliqué que l'attaque, évidemment, elle a commencé en fait des mois avant.
04:14Avant l'attaque proprement dite, parce qu'il y a eu de la préparation.
04:18L'agent a cherché les failles.
04:19Donc il a contourné des garde-fous.
04:21Il n'a pas été vu par OpenAI.
04:23Ils n'ont pas vu ce qui s'était passé.
04:24Ils ont vu qu'il y avait un truc anormal.
04:25Ils ont patché, mais ni plus ni moins.
04:29Et ensuite, il a attaqué Hugging Face.
04:30Et c'est à ce moment-là qu'ils ont commencé à prendre compte qu'il y avait un problème.
04:33C'est-à-dire qu'il n'était pas particulièrement malveillant, mais il avait un objectif à suivre.
04:36Et il s'est dit, tiens, je suis tout seul.
04:38Personne ne peut m'aider.
04:39Je vais me débrouiller pour atteindre mon objectif.
04:40Voilà, il a fait.
04:41Finalement, il a un comportement très humain.
04:43Il s'est dit, si la solution est disponible directement, je vais la prendre.
04:47Alors, on voit dans l'étude du BCG, en moyenne, les entreprises interrogées dans l'étude.
04:51On subit 25 incidents de données sensibles au cours de...
04:55Ça vous paraît peu, 25, mais c'est des incidents de données vraiment sensibles.
04:59Puis c'est ce qui est publié.
05:00Tout n'est pas toujours...
05:02Au cours de l'année.
05:03Alors, qu'est-ce qu'elles mettent en place pour faire face, justement, à ce nouveau type de menace cyber
05:09?
05:09Alors, il y a deux choses.
05:10La première chose, c'est quand même d'être bon sur ses fondamentaux.
05:13C'est-à-dire, tout ce qui était vrai avant et dans l'ancien monde est encore valable aujourd'hui.
05:19Il faut surveiller sa surface d'attaque.
05:21Il faut avoir un socle, donc un socle opérationnel qui vérifie bien ce qui se passe.
05:28Il faut avoir des sondes dans le système d'information.
05:30Il faut former les collaborateurs contre le phishing parce qu'ils sont devenus plus sophistiqués.
05:34Il y a un guide de l'ANSI, d'ailleurs, qui est référent, il y a des 40, un peu,
05:38mesures.
05:39De base, c'est pas...
05:40Donc, ça reste plus que d'actualité et au contraire, il faut vraiment bien les maîtriser.
05:47Et puis après, évidemment, comme les attaques se sont sophistiquées,
05:51nos clients doivent se sophistiquer.
05:53Donc, on les encourage à utiliser eux-mêmes, des agents contre eux-mêmes.
05:56C'est ce qu'on appelle du raid teaming.
05:57On peut utiliser les armes des hackers contre eux-mêmes pour trouver les failles
06:02et pour avoir un coup d'avance, en fait.
06:04Mais globalement, ce que vous dites dans l'étude, c'est que les entreprises...
06:09Globalement, pourtant, sous-équipées.
06:11Moins de la moitié...
06:11Alors, 41% d'entraides disposent de politiques formelles de gouvernance de l'IA.
06:15On parle encore de cyber avec cette histoire, la course contre la montre avec l'IA.
06:19Moins d'un quart surveille réellement ce que font les agents IA au quotidien.
06:22C'est ça ?
06:22Oui.
06:23Il y a du retard.
06:24Alors, il y a du retard, mais encore une fois, qui s'explique par le fait que
06:28si vous faites bien votre travail fondamental,
06:31enfin, encore une fois, si vous avez votre SOC, les 40 mesures que vous avez mentionnées,
06:35vous êtes quand même plutôt bien protégé.
06:37D'accord.
06:38Il y a des choses supplémentaires à faire.
06:40Ce que notre rapport montre, c'est qu'il y a encore insuffisamment de travail sur les menaces
06:45venant de l'intérieur, ce que je vous ai dit.
06:47Les modèles qu'on met à disposition de clients, les chatbots,
06:52ça, c'est encore insuffisamment gouverné.
06:54Et donc, les bêtises que ça pourrait faire,
06:56parce que là, on a vu ce que PNR a fait comme bêtise.
07:00Enfin, vous pouvez faire les propres bêtises vous-même aussi.
07:03Donc, ça veut dire que pour les RSSI, les responsables de sécurité et de scènes d'information,
07:07il faut qu'ils continuent à surveiller, évidemment,
07:10et à maîtriser et sécuriser les réseaux, enfin, tout ça.
07:13Mais aussi, il y a cette partie des agents IA aujourd'hui.
07:15Ce sont ces nouveaux collaborateurs à surveiller de près.
07:19Voilà. Alors, il faut qu'eux-mêmes s'arment, comme on a dit tout à l'heure,
07:23et donc qu'ils aient des agents IA qui aident le SOC,
07:26qui aident à analyser les logs, etc., en permanence,
07:29qui aussi tentent des attaques contre l'entreprise,
07:33de la même manière que dans ce qu'on appelle des pen-tests dans l'ancien temps
07:39avec des hackers normaux, là, on le fait augmenter avec l'IA.
07:43Donc, ça, c'est important.
07:45Après, il y a des défenses spécifiques contre les agents IA.
07:49Par exemple, les agents IA, ils fonctionnent avec de l'énergie,
07:52qui s'appelle du token.
07:54Donc, ce qu'il faut essayer de faire, quand on a quelqu'un qui vous attaque,
07:57c'est essayer de lui balancer plein de textes.
08:01Dans l'ancien temps, on appelait ça des honeypots, dans l'ancien temps classique.
08:03Là, il faut faire des honeypots IA pour lui créer du contexte,
08:06pour l'alourdir, pour le retarder, en fait.
08:09Plus ils consomment du token, plus économiquement,
08:11c'est moins rentable de vous attaquer, vous.
08:14Oui, parce qu'on rappelle, les pirates, ils ont aussi un ROI.
08:17Dans l'étude du BCG, il y a un marché de la cyber,
08:20donc qui est en pleine évolution.
08:22Je voyais les budgets, plus 12% sur l'année 2025.
08:26Ça paraît énorme, mais...
08:28Non, mais plutôt, c'est quoi ?
08:29C'est la fourchette haute des grandes entreprises ?
08:31C'est nos clients, donc c'est plutôt, on va dire,
08:35pour la France, c'est plutôt le CAC 40.
08:37On s'attendait à une augmentation de 7, et ils ont fait 12.
08:41Sachant que les augmentations des budgets informatiques,
08:43elles sont plutôt dans une fourchette de 3 à 5,
08:45donc c'est énorme.
08:46Oui, ça fait beaucoup.
08:48Parce qu'il y a beaucoup de rattrapage.
08:51On a certains de nos clients qui ont quand même tout juste les fondamentaux.
08:54C'est très différent selon les industries.
08:58Dans la grande consommation, en général,
09:00quand même, on est plus faible, globalement,
09:02que par exemple dans la finance.
09:04C'est quand même une forteresse.
09:05C'est quand même plus dur d'attaquer une banque.
09:09Mais donc, il y a un phénomène de rattrapage aussi.
09:11Et donc, oui, il y a une augmentation importante.
09:14Et du coup, ce budget, il est investi dans les nouvelles parades
09:16aussi à trouver par rapport à ces outils.
09:18Parce que j'imagine, voilà, qui dit IA dit nouvelles menaces.
09:21C'est forcément nouvelles parades.
09:22Grâce à l'IA aussi, je le rappelle.
09:24C'est un élément protecteur.
09:26Donc en fait, ce que font nos clients,
09:28encore une fois, ils investissent dans les fondamentaux
09:30dont on avait parlé tout à l'heure.
09:31Certains étaient quand même moyens, on va dire.
09:34Donc déjà, il faut atteindre le bon niveau.
09:36Et effectivement, ils investissent dans ces nouveaux objets.
09:39Donc par exemple, ils vont automatiser la recherche
09:41de ce qu'ils appellent la surface d'attaque.
09:42Donc ils vont mettre des agents pour regarder
09:46par où on peut les attaquer.
09:48Où est-ce qu'ils ont des bases de données ?
09:49Des fois, sur Internet, sur Amazon,
09:52ils achètent des bases de données qu'ils oublient, etc.
09:53Donc ils vont utiliser des agents pour répertorier
09:55tout ce qu'ils ont.
09:57Et donc, il y a vraiment plein d'idées
10:00pour dépenser cet argent.
10:02Donc c'est ça, cette course contre la montre
10:04avec ses budgets en hausse.
10:05Concrètement, qu'est-ce que les entreprises
10:06doivent mettre en place aujourd'hui
10:07pour se prémunir contre ces nouvelles menaces ?
10:09Donc, comme on disait, premièrement,
10:12les fondamentaux, on ne revient pas à ça,
10:14mais une entreprise qui a vraiment bien
10:16travaillé sur ces fondamentaux,
10:17l'hygiène numérique de base,
10:19déjà, elle peut dormir tranquille.
10:21Il ne faut pas paniquer,
10:22il faut investir dans les fondamentaux.
10:24Deux, effectivement, il faut utiliser
10:25les mêmes armes que vos attaquants.
10:28Il faut faire des pen-tests, il y a.
10:30Il faut vérifier votre vraie surface d'attaque
10:33parce qu'il faut se mettre au courant
10:35de quels sont les toolkis qu'ils utilisent, etc.
10:38pour trouver des failles avant
10:39qu'eux les trouvent.
10:41Et aussi important, les patcher.
10:43Parce qu'on a des clients qui trouvent des failles,
10:47ils ont des pen-tests, ils trouvent des failles,
10:48des fois, ils savent qu'ils en ont 10, 20, 30, 50,
10:51et puis ils mettent du temps à les patcher
10:53parce que c'est une chaîne,
10:54il faut que ce soit d'autres équipes
10:55qui vont patcher.
10:56Ça, c'est important de ce que vous dites
10:57parce qu'on en avait parlé
10:58dans une mission Tech & Co-Business
10:59en disant qu'avant,
11:00entre le moment où on parlait de la faille,
11:03le moment du patch,
11:05les pirates ne s'en saisissaient pas non plus
11:07tout de suite.
11:08Or, là, aujourd'hui,
11:10dès qu'il y a une faille,
11:11on peut se dire,
11:11dans les 48 heures,
11:12elle a été exploitée.
11:13Traditionnellement,
11:13on pouvait attendre 6 mois,
11:15voire 9 mois,
11:16un patch.
11:17Traditionnellement.
11:18Maintenant, c'est 48 heures.
11:20Maintenant, la demande,
11:21et donc, du coup,
11:22ça a des impacts importants
11:23sur la gouvernance
11:23parce que ce n'est pas la cyber.
11:25La cyber, elle,
11:26elle gère les portes d'entrée,
11:29les accès, etc.
11:30Mais c'est les équipes informatiques
11:32qui gèrent les applications.
11:33Donc, c'est d'autres équipes
11:34qui vont mettre en place
11:35les patches.
11:37Et donc, on voit que ça,
11:38c'est une nouvelle tension
11:38qui commence à se mettre en place.
11:40Nous, on a des clients
11:40dans la banque, notamment,
11:41qui ont dû poser des développements
11:43juste pour mettre
11:45de la capacité de côté
11:46pour traiter les patches.
11:47Donc, il y a aussi de l'impact,
11:48pas que dans le budget cyber,
11:50mais dans le budget informatique.
11:51Et pour vous,
11:52vous avez deux termes forts,
11:53c'est il faut élargir
11:54et formaliser.
11:57Oui, alors, bon,
12:00élargir,
12:00c'est avoir une gouvernance
12:01beaucoup plus large.
12:01et notamment,
12:03on en parlait tout à l'heure,
12:05prendre en compte
12:06l'utilisation de l'IA
12:07dans l'entreprise
12:08et pas que ce soit
12:10du shadow IT
12:10ou des gens
12:11qui bricolent un truc
12:12et ne pas négliger les risques.
12:14On a vu ce qui s'est passé
12:15avec l'agenda OpenEye.
12:16Ça pourrait tout arriver
12:17demain chez un client.
12:19Donc, ça,
12:19c'est élargir
12:21le périmètre
12:22de responsabilité
12:23de la cyber
12:23jusqu'à l'IA en interne.
12:26Et deux,
12:28formaliser une gouvernance.
12:29Oui, parce que,
12:30par exemple,
12:31on le voit aussi même
12:32sur les développements logiciels,
12:33il y a ce qu'on appelle
12:34de l'observabilité.
12:35Donc, on va prendre des logs
12:36de ce que font les agents,
12:37on va observer,
12:38on va utiliser un autre agent
12:39pour vérifier ce que fait
12:40le premier agent
12:41avec un contexte différent.
12:42Donc, on sépare bien
12:44pour ne pas avoir jugé
12:45et parti.
12:47Donc, il faut garder
12:50des traces de ce qui se passe.
12:51Il faut formaliser.
12:53Il faut s'assurer
12:54de qui est responsable de quoi
12:55parce qu'aussi,
12:55le problème de l'IA,
12:56c'est qu'elles vont très vite.
12:58Donc, la tentation
12:59quand on a un agent,
13:00c'est de le laisser
13:02faire plein de choses
13:02parce qu'il est beaucoup
13:03plus rapide qu'un humain.
13:04Et donc, c'est un équilibre difficile
13:05entre à quel moment
13:06l'agent s'arrête
13:07et demande à un être humain
13:08« Stop, là,
13:08il faut validation.
13:10Dis-moi si je peux continuer ou pas. »
13:12Et nos clients
13:13passent pas mal de temps
13:14à regarder
13:14quelle est la bonne frontière.
13:15Quel est le bon équilibre.
13:16On met trop de stop.
13:17L'agent ne fait rien.
13:18On met trop d'autonomie.
13:20C'est dangereux.
13:21Eh bien, merci
13:21d'être venu parler tout ça.
13:23Jean-François Bobier,
13:23je rappelle,
13:23vous êtes partenaire
13:24et directeur au BCG
13:25en charge justement
13:26de ces questions
13:27de cybersécurité
13:28avec une nouvelle étude
13:29qui a été sortie par le BCG.
13:30Merci d'avoir été avec nous.
13:31À très bientôt
13:32pour un nouvel épisode
13:33BFM Stratégie.
13:40BFM Stratégie
13:40sur BFM Business
Commentaires