- il y a 16 heures
Une IA qui trie et dresse des profils de chômeurs pour repérer et contrôler ceux qui ne rempliraient pas leurs obligations : voilà ce que vient de mettre en place France Travail. C'est l'association La Quadrature du Net, qui défend les libertés fondamentales dans l'environnement numérique, qui le révèle.
Pour en parler, Pierric Marissal, journaliste à l’Humanité, reçoit Bastien Le Querrec, juriste à la Quadrature du Net.
Disponible en podcast https://www.humanite.fr/les-podcasts-de-lhumanite
Soutenir l'Humanité avec un don https://www.humanite.fr/don
Accéder aux contenus exclusifs https://abonnement.humanite.fr/
Instagram https://instagram.com/lhumanitefr
Twitch https://twitch.tv/lhumanitefr
TikTok https://tiktok.com/@lhumanitefr
Twitter https://x.com/humanite_fr
Bluesky : https://bsky.app/profile/humanite.fr
Threads https://www.threads.net/@lhumanitefr
Facebook https://www.facebook.com/humanite.fr
00:00 Introduction
00:00:47 Comment fonctionne l'algorithme de ciblage ?
00:09:01 Une IA au service d'une politique de chasse aux pauvres ?
00:22:13 Le mythe de l'IA "objective" sans biais
00:27:26 Conclusion
Pour en parler, Pierric Marissal, journaliste à l’Humanité, reçoit Bastien Le Querrec, juriste à la Quadrature du Net.
Disponible en podcast https://www.humanite.fr/les-podcasts-de-lhumanite
Soutenir l'Humanité avec un don https://www.humanite.fr/don
Accéder aux contenus exclusifs https://abonnement.humanite.fr/
Instagram https://instagram.com/lhumanitefr
Twitch https://twitch.tv/lhumanitefr
TikTok https://tiktok.com/@lhumanitefr
Twitter https://x.com/humanite_fr
Bluesky : https://bsky.app/profile/humanite.fr
Threads https://www.threads.net/@lhumanitefr
Facebook https://www.facebook.com/humanite.fr
00:00 Introduction
00:00:47 Comment fonctionne l'algorithme de ciblage ?
00:09:01 Une IA au service d'une politique de chasse aux pauvres ?
00:22:13 Le mythe de l'IA "objective" sans biais
00:27:26 Conclusion
Catégorie
🗞
NewsTranscription
00:01Une IA qui dresse des profils des chômeurs pour repérer, contrôler ceux qui ne rempliraient pas leurs obligations.
00:07Voilà ce que vient de mettre en place France Travail.
00:10C'est l'association La Quadrature du Net qui défend les libertés fondamentales dans l'environnement numérique,
00:17qui a révélé ce document, c'est fait.
00:20Et du coup, nous sommes justement avec toi, Bastien Le Querec, tu es juriste et porte-parole de La Quadrature
00:26du Net.
00:27Ouais, ça te va ?
00:28On n'a pas de porte-parole, tout le monde à La Quadrature a la légitimité pour prendre la parole.
00:33Mais je suis juriste, effectivement.
00:35Et bien, on va en parler avec toi.
00:37D'abord, est-ce qu'on peut commencer par présenter cet algorithme ?
00:42Quel est son but ? Et en fait, est-ce qu'il sert à trier les bons et les mauvais
00:46chômeurs ?
00:47C'est un petit peu ça.
00:48Cet algorithme, concrètement, c'est ce qu'on appelle un arbre de décision.
00:51C'est-à-dire que c'est différents critères qui vont être utilisés pour guider une décision.
00:59Les résultats de cet algorithme sont de trois types.
01:03Vert, orange et rouge.
01:04Vert, c'est, a priori, tout va bien.
01:08Le chômeur ou la chômeuse recherche activement, ou a une probabilité, puisqu'on parle à chaque fois de probabilité,
01:13de rechercher activement du travail.
01:16Orange, c'est qu'il y a un risque qu'il faille la remobiliser ou il faille le remobiliser.
01:21Et rouge, c'est risque de recherche insuffisante, donc avec possibilité de sanctions disciplinaires.
01:27Cet algorithme, il va faire une préanalyse.
01:29C'est-à-dire qu'il ne fait pas directement un contrôle.
01:32Il va guider, il va cibler les contrôles.
01:34C'est ce que l'on peut appeler, même si c'est un peu euphémisant, un algorithme d'aide à
01:39la prise de décision.
01:40C'est-à-dire qu'ensuite, il va y avoir une personne humaine qui va contrôler ces dossiers orange ou
01:46rouge.
01:46A priori, les verts vont être mis de côté, parce que l'objectif de cet algorithme, c'est de faire
01:50un premier tri
01:51pour se concentrer sur les dossiers qui auraient un potentiel pour l'administration de retour sur investissement, en quelque sorte.
02:02C'est-à-dire éventuellement couper des allocations, menacer le demandeur ou la demandeuse d'emploi de couper des allocations.
02:11Voilà, c'est ça l'objectif.
02:13D'accord.
02:13Et donc ça fait un peu aussi un effet, le conseiller, du coup, il se retrouve, comment dire, pris dans
02:18un moment où il doit faire plus que contrôler
02:21et ça lui enlève un peu son rôle de conseiller, quoi.
02:25On peut le craindre.
02:27On peut le craindre, mais surtout, il y a un biais d'automatisation très fort.
02:32Parce que quand l'algorithme a dit, je pense que ce dossier, il a une probabilité d'être orange ou
02:39rouge.
02:40Probabilité que si on le contrôle, on s'aperçoive que la personne ne cherche pas assez de travail, a besoin
02:46d'être mobilisée, voire n'en cherche quasiment pas et il faut la sanctionner.
02:50Quand l'algorithme a fait cette première analyse et que derrière, la personne humaine regarde le dossier, elle va être
02:55nécessairement influencée par le résultat de la machine.
02:58C'est ce qu'on appelle le biais d'automatisation.
03:00Donc en plus, on fait un ciblage des personnes, mais ce ciblage, il oriente la direction que peuvent prendre les
03:07contrôles.
03:08Et il retire, qu'on le veuille ou non, une marge de manœuvre de la personne qui va contrôler.
03:14Parce que derrière, l'algorithme a dit, il y a quelque chose.
03:17Moi, j'estime qu'il y a quelque chose.
03:19Donc le risque, c'est que le contrôleur ou la contrôleuse cherchent jusqu'à ce qu'il ou elle trouve
03:24quelque chose, effectivement.
03:25Ouais.
03:26Alors, on va jeter un œil aussi, justement, à ces critères dont tu parlais.
03:32Alors, on les voit là à l'écran, il y a une liste de 26 critères.
03:37Alors là, ils ne sont pas hiérarchisés.
03:40Donc ça veut dire qu'on ne sait pas lequel aura le plus ou moins d'importance là-dedans.
03:44C'est ça ?
03:45C'est ça. La seule chose que l'on sait aujourd'hui avec le document qu'on a obtenu à
03:48la quadrature, c'est cette liste de 26 critères.
03:51On ne sait pas concrètement comment ils sont utilisés.
03:54On ne sait pas si ces critères vont améliorer ou dégrader la situation du demandeur ou de la demandeuse d
04:01'emploi.
04:02En revanche, ce que l'on sait, c'est que ces critères sont vraiment utilisés et montrent les éléments qui
04:08intéressent France Travail.
04:09Par exemple, le fait de ne pas avoir mis son CV en ligne sur le site de France Travail, c
04:13'est utilisé.
04:13On ne sait pas si c'est en faveur ou en défaveur.
04:15On peut supposer, par contre, que pour le CV, en tout cas, c'est utilisé en défaveur si le CV
04:20n'est pas en ligne.
04:21Donc, on voit un peu mieux quelles sont les critères.
04:23C'est ça, visibilité du profil ?
04:25Alors, c'est le...
04:27Il y a la présence d'un CV visible.
04:28Voilà, c'est la présence d'un CV visible. C'est un critère qui est utilisé.
04:31Mais il y a aussi le critère de est-ce que le métier est en tension ?
04:35Est-ce que la personne a reporté des rendez-vous ?
04:39C'est les critères. On ne sait pas s'ils sont utilisés en faveur ou en défaveur.
04:43Mais certains, on peut quand même tirer des hypothèses assez probables.
04:48De toute façon, il ne faut pas s'arrêter à cette liste de critères.
04:51Parce que, pris isolément, ces critères ne peuvent pas forcément être tous, en tout cas, bons ou mauvais.
04:58C'est la combinaison de ces critères qui va poser problème.
05:02Parce que l'objectif de cet algorithme, c'est de faire un premier tri.
05:05C'est de repérer ces dossiers qui auraient un mérite, d'un point de vue économique, de contrôler.
05:11Et c'est cet objectif uniquement qui est important.
05:14La manière dont on le fait, les critères qui sont utilisés pour accéder à cet objectif, finalement, sont secondaires.
05:20C'est ce qui s'est passé avec un précédent, celui de la CNAF.
05:23Effectivement.
05:23La CNAF, la Caisse Nationale d'Allocations Familiales, utilise un algorithme.
05:27Ce n'est pas un arbre de décision, c'est ce qu'on appelle un algorithme de scoring.
05:30C'est-à-dire que c'est un algorithme qui attribue une note à chaque allocataire tous les mois, entre
05:350 et 1.
05:36Plus la note est proche de 1, plus l'algorithme estime que, si on contrôlait l'allocataire,
05:41il y aurait un risque de trouver ce qui s'appelle un indus, c'est-à-dire un trop perçu,
05:45des allocations qui n'auraient pas dû légalement être touchées par les personnes.
05:49Et ce que l'on a observé, c'est qu'il y a un risque de discrimination.
05:53Enfin, cet algorithme discrimine, mais surtout, il utilise des critères qui, pris isolément,
05:59en tout cas dans la dernière version de l'algorithme, pris isolément, pourraient être relativement neutres,
06:04ne montrent pas forcément à eux seuls une discrimination,
06:07mais quand on les combine, quand on les utilise, il y a des effets discriminatoires.
06:12Donc, nous, ce que l'on dit...
06:13Est-ce qu'on peut être plus concret ? Parce que c'est vrai que c'est super intéressant,
06:15parce que là, c'est le premier usage connu, en tout cas, de ces algorithmes en France
06:23pour, on va dire, c'est un peu dans la lutte contre la fraude sociale, c'est ça,
06:30c'était politiquement dans la lutte contre la fraude sociale que ça avait été utilisé.
06:33Et le but, c'était déjà de trier les bons et les mauvais allocataires,
06:37et de cibler ceux qui percevaient, ceux qui étaient censément... qui percevaient trop...
06:44Mais alors, comment... qu'est-ce que...
06:47On sait qu'il a quoi, deux ans, cet algorithme, maintenant, déjà ?
06:50L'algorithme de France Travail ?
06:52Non, non, non, de la CNAF.
06:54Il est utilisé depuis 2010.
06:56Ah oui, et du coup, on en sait maintenant les effets, on sait ce qui...
07:00On a du recul sur l'algorithme de la CNAF, c'est pour ça que nous, à la quadrature,
07:03on dit aujourd'hui, cet algorithme de France Travail, il va faire exactement la même chose.
07:07On sait déjà ce qui va se passer, parce qu'on sait déjà dans quel contexte
07:11ces algorithmes sont utilisés, dans un contexte de chasse aux pauvres,
07:14il faut le dire, dans un contexte de lutte contre le fantasme de l'assistanat.
07:18Il y a des enjeux politiques derrière ces algorithmes, c'est le résultat de politiques particulières
07:23qui sont mises en place depuis des années.
07:25Et donc, avec la CNAF, on a du recul.
07:26Depuis 2010, cette administration utilise un algorithme de scoring.
07:30En 2010, c'est le moment où elle obtient une autorisation de la CNIL,
07:33parce qu'à l'époque, légalement, il fallait obtenir une autorisation de la CNIL.
07:37Et cet algorithme, il a évolué d'année en année.
07:40A priori, il y a eu une version 2010-2011, une version en 2015, 2018,
07:48et ensuite, 2026.
07:51Et aujourd'hui, on a accès à cet algorithme,
07:54parce qu'à la quadrature, on essaie de documenter depuis 2022,
07:57et on s'est battus, y compris devant la justice, pour avoir accès à cet algorithme.
08:01Et ce que l'on voit, c'est que cet algorithme, il pose des problèmes,
08:05parce qu'il crée des situations de discrimination,
08:08ce qu'on appelle de la discrimination basée sur la vulnérabilité économique,
08:12c'est-à-dire que les personnes les plus précaires,
08:13les personnes qui ont des parcours de vie un peu chaotiques,
08:16qui vont avoir des revenus irréguliers,
08:18vont être sur-ciblés, parce que leur score derrière est plus important.
08:22Et donc, le risque avec France Travail, c'est que les personnes qui sont précaires,
08:25les personnes qui sont dans des emplois qui ne sont pas vraiment de qualité,
08:32qui sont des sources d'abus, qui sont précaires,
08:36qui ne sont pas forcément désirables,
08:38vont se retrouver sur-ciblées par cet algorithme,
08:42vont se retrouver avec plus de contrôle,
08:44avec plus de pression de la part de l'administration,
08:46pour les pousser à accepter encore plus d'emplois précaires,
08:49encore plus de dégradation de leurs conditions de travail,
08:52et avec des effets discriminatoires qui vont cibler les personnes
08:55qui sont déjà en difficulté,
08:57qui ont déjà des problèmes à avoir un travail stable,
08:59à avoir un travail correct.
09:01Alors, je vais te poser un peu la question,
09:03est-ce que c'est une forme de solutionnisme technologique de bonne foi,
09:06ou alors est-ce que c'est une volonté politique,
09:09un outil pensé conçu pour exclure ?
09:11On tient un peu répondu, déjà, du coup.
09:14Oui, c'est ça, ces algorithmes-là,
09:16que ce soit celui de la CNAF, celui de France Travail,
09:19ce sont des algorithmes qui répondent à un impératif politique.
09:23Celui de la lutte contre le soi-disant assistanat,
09:26celui de la chasse aux pauvres.
09:27C'est aussi une manière de déguiser ces politiques,
09:30parce que, désormais, à la CNAF,
09:34le fait que cet algorithme soit utilisé
09:36et aille cibler les personnes les plus précaires,
09:38ça permet aussi aux contrôleurs et aux contrôleuses
09:41de se dédouaner, et à leur direction de se dédouaner,
09:43en disant, ça n'est plus une politique de l'administration,
09:46enfin, ça n'est pas une politique de l'administration
09:47que de cibler les personnes les plus précaires,
09:50notamment celle au RSA,
09:52c'est pas nous, c'est l'algorithme.
09:54Vincent Dubois, c'est un sociologue
09:56qui a longtemps étudié l'algorithme de la CNAF,
09:58et ses travaux ont été très utiles à la quadrature,
10:01on s'est basé sur ses travaux pour commencer notre enquête.
10:04Au milieu des années 2010,
10:06il observe, il travaille sur les données
10:09que fournisse la CNAF à propos de son algorithme,
10:13et déjà en 2016,
10:15il met en évidence des discriminations.
10:18Dans son enquête,
10:19ensuite il a écrit un livre dans les années 2020,
10:22dans son enquête,
10:23il prend un extrait d'une interview
10:27qu'il a eue avec un contrôleur
10:28qui est très content
10:29que désormais il n'ait plus à justifier
10:32le fait qu'il cible en particulier
10:35des personnes au RSA.
10:37Parce que l'algorithme lui permet
10:38de ne plus être comptable.
10:40Et avec cet algorithme de France Travail,
10:42c'est exactement ce qui va se passer.
10:44Quand on va avoir,
10:45parce que c'est inévitable,
10:46ça va arriver,
10:47des personnes plus précaires
10:48qui sont contrôlées
10:50parce qu'elles sont précaires,
10:51l'administration France Travail,
10:53la direction de France Travail,
10:54pourra dire,
10:55c'est pas nous, c'est l'algorithme,
10:56on va essayer de l'améliorer
10:57et ne rendra plus de compte
10:59sur une politique antisociale
11:01qui est mise en œuvre
11:01et cette idéologie
11:04de la lutte contre la cistana.
11:06Ça objectifie une discrimination, quoi, un peu.
11:09C'est pas que ça objectifie,
11:10c'est que ça déresponsabilise
11:12par la déshumanisation.
11:14On transforme des situations humaines
11:16qui sont complexes.
11:17Chaque personne a une situation différente,
11:20a un vécu différent,
11:21a un parcours professionnel,
11:24familial, différent,
11:25qui peut expliquer plein de choses,
11:27mais sans prendre en compte
11:29ces particularités,
11:30on met en chiffre les personnes.
11:32Avec ces algorithmes-là,
11:33on déshumanise
11:34parce qu'on essaie de faire entrer
11:36dans des cases préfabriquées
11:37des situations humaines
11:38toutes différentes.
11:39Et le résultat,
11:40c'est ce type de contrôle,
11:42c'est cette violence administrative,
11:44c'est le fait que désormais,
11:46on ne pourra plus dire
11:48« je suis ciblé
11:50parce que je suis une personne précaire,
11:53parce que l'algorithme m'a ciblé ».
11:55On sera limité à dire
11:57« je suis contrôlé
11:59parce que ma situation individuelle
12:02a été dégradée ».
12:02Il y a une individualisation
12:04et un phénomène
12:06qui rend les personnes
12:12plus isolées les unes des autres,
12:14les chômeurs et chômeuses
12:15plus isolées les unes des autres,
12:17les uns des autres aussi,
12:18parce que c'est la situation individuelle.
12:21Les personnes ne vont plus
12:22être contrôlées
12:23parce qu'il y aurait une politique
12:24de la part de l'administration,
12:25mais parce que leur score
12:27ou leur situation individuelle
12:29aura été dégradée,
12:30mais uniquement eux.
12:31Et c'est cette individualisation,
12:34qui permet aussi
12:35de déresponsabiliser l'administration.
12:38Ok.
12:38Alors justement,
12:39autre question importante là-dessus,
12:41c'est comment vous...
12:43Est-ce que vous avez pu
12:44mettre la main sur cet algorithme ?
12:47Est-ce que vous avez pu
12:47regarder l'intérieur ?
12:49Alors celui de la CNAF
12:50et celui de France Travail.
12:53Et votre question,
12:55qui les conçoit ?
12:56Qui les fabrique, ces algos ?
12:58Alors pour la CNAF,
12:59on a commencé notre travail en 2022.
13:02On a eu énormément de difficultés
13:04à obtenir le code source,
13:06comment fonctionne concrètement
13:07cet algorithme,
13:08également les livrables,
13:10la documentation, etc.
13:11On a eu énormément de difficultés
13:12parce qu'en 2022,
13:14la CNAF nous a dit
13:15« Je ne peux pas vous donner
13:17le code source,
13:18ça permettrait aux personnes
13:19qui voudraient frauder
13:20de le faire plus facilement. »
13:22Alors même que l'objectif
13:23affiché de cet algorithme
13:25de la CNAF,
13:25c'était de repérer,
13:26non pas les fraudeurs,
13:27parce qu'il y a une dimension
13:28d'intention qui est difficile
13:30dans un algorithme comme ça
13:32à matérialiser,
13:33mais cet algorithme,
13:34il va rechercher les induces,
13:35c'est-à-dire les erreurs
13:36de déclaration
13:37sans aucune intention
13:38de le faire.
13:39Des personnes totalement
13:40de bonne foi
13:40peuvent se retrouver
13:42et se retrouvent
13:42quand elles sont précaires
13:44sur-ciblées par cet algorithme.
13:45Donc déjà,
13:47le discours pour essayer
13:48de ne pas faire la transparence
13:49sur cet algorithme
13:51de la part de la CNAF,
13:52il était particulier,
13:53mais ensuite,
13:55il a fallu
13:56plusieurs années
13:57de combats juridiques
13:58pour obtenir
13:59la version actuelle
14:01de cet algorithme
14:02parce qu'on a contesté,
14:04on a dit,
14:05c'est pas normal,
14:06vous ne pouvez pas
14:06faire la totale opacité
14:08sur votre algorithme
14:09et la CADA,
14:11la Commission d'accès
14:12aux documents administratifs,
14:13qui est une administration
14:15indépendante,
14:15enfin une autorité
14:16administrative indépendante
14:17qui est chargée
14:18de dire si un refus
14:19d'une administration
14:20de faire la transparence
14:21sur ces documents,
14:23puisque là,
14:23on parle de documents
14:24administratifs illégals ou pas,
14:25la CADA nous avait donné
14:27partiellement raison,
14:28elle avait dit,
14:28pour la CNAF,
14:30les anciennes versions
14:30de l'algorithme
14:31doivent nous être communiquées,
14:32mais pas la version actuelle.
14:34Donc on savait comment
14:34l'algorithme fonctionnait
14:35par le passé,
14:36mais comme je le disais
14:37tout à l'heure,
14:37il a évolué
14:38et on ne savait pas
14:39comment il fonctionnait
14:41aujourd'hui.
14:41Au début de l'année 2026,
14:43parce que,
14:44entre temps,
14:44on a contesté en justice
14:45la légalité de cet algorithme,
14:47parce que le défenseur
14:48des droits
14:48nous a donné raison
14:49sur les aspects
14:50de discrimination,
14:52la CNAF a essayé
14:53de nettoyer son algorithme
14:55et au début de l'année 2026,
14:57elle s'est lancée
14:57dans une opération
14:58de communication
14:58en disant,
14:59j'ai changé d'algorithme,
15:01il est réparé,
15:02il est beaucoup mieux
15:02et je fais la transparence dessus.
15:04Parce que la CNAF
15:05était dos au mur,
15:06elle n'avait vraiment
15:07plus le choix
15:07que de faire la transparence
15:09sur cet algorithme,
15:10mais donc c'est après
15:12de nombreuses années
15:13de combats
15:13qu'on a enfin pu avoir
15:15accès au fonctionnement
15:16précis de cet algorithme.
15:17Pour France Travail,
15:18c'est un petit peu différent,
15:19parce que la stratégie
15:21aujourd'hui de France Travail,
15:22c'est de faire l'autruche,
15:23c'est de ne plus répondre.
15:25Aujourd'hui,
15:25France Travail,
15:26quand on lui demande
15:27un document administratif,
15:28c'est un droit
15:29pour n'importe quelle personne
15:30en France
15:30de demander des comptes
15:32à l'administration,
15:32de demander des documents
15:33administratifs.
15:34Le code source
15:35d'un algorithme,
15:35c'est un document administratif,
15:37tu peux le demander,
15:38je peux le demander,
15:39la quadrature peut le demander,
15:40n'importe quelle personne
15:41en France peut le demander.
15:43France Travail,
15:44aujourd'hui,
15:44ne répond même plus
15:45aux demandes.
15:47La stratégie aujourd'hui
15:48de cette administration,
15:49c'est je n'ai rien entendu,
15:50je n'ai rien vu,
15:51et donc je ne réponds pas.
15:53Quand on a saisi la CADA,
15:55donc la commission d'accès
15:55aux documents administratifs,
15:56qui est chargée de dire
15:57si le refus est légal ou pas,
15:59habituellement,
16:00les administrations,
16:01elles donnent une copie
16:02de ce document à la CADA
16:03pour montrer,
16:04regardez,
16:05le contenu de ce document
16:07fait qu'il rentre
16:08dans les exceptions légales
16:09qui me permettent
16:10de ne pas le communiquer
16:11à une personne
16:11qui m'en fait la demande.
16:12France Travail,
16:13aujourd'hui,
16:13ne répond même plus à la CADA.
16:14C'est-à-dire que
16:15cette autorité administrative indépendante
16:16qui est chargée quand même
16:17de dire si, oui ou non,
16:18ces refus sont légaux,
16:20elle est également maintenue
16:21dans le noir
16:21par France Travail.
16:22La stratégie de l'administration,
16:25c'est de ne communiquer
16:26que ce qui l'arrange,
16:27parce qu'à côté,
16:28France Travail fait un énorme travail
16:29de communication
16:30pour dire
16:30je suis une entreprise,
16:32enfin,
16:32je ne suis pas une entreprise,
16:33je suis une administration
16:36transparente,
16:36je rends des comptes,
16:38etc.
16:38Mais en fait,
16:39elle le fait à ses règles
16:41quand ça l'arrange.
16:42Mais dès qu'on commence
16:43à enquêter sur ce qui plaît
16:44un peu moins,
16:45sur ce qui pourrait déranger,
16:47sur ce qui pourrait lui coûter
16:48politiquement,
16:49là,
16:49elle ne répond plus
16:50et elle ne veut surtout pas
16:51être transparente.
16:52Donc pour cet algorithme-là,
16:54en réalité,
16:54ce document,
16:55je ne dirai pas comment on l'a eu,
16:56mais ça n'est pas France Travail
16:58qui nous l'a donné
16:58de son plein gré.
17:00C'est un document
17:01qui a été présenté
17:02à son comité d'éthique
17:03sur l'IA,
17:04c'est-à-dire
17:05un organisme
17:06qui n'a pas de pouvoir décisionnaire
17:08dans France Travail,
17:08mais qui est chargé
17:09de donner des avis
17:10sur des utilisations d'IA
17:12dans l'administration.
17:15Mais on n'a pas plus
17:16d'informations
17:17que ce que France Travail
17:19a voulu communiquer
17:19à son comité d'éthique
17:20sur l'IA.
17:21Donc c'est pour ça
17:21qu'on a seulement
17:22la liste des variables
17:23et on ne sait pas
17:24comment elles sont
17:25utilisées concrètement.
17:26Donc on ne sait pas
17:27comment ils fonctionnent,
17:28on ne sait pas
17:28quelles sont ses conséquences
17:30concrètes sur les personnes.
17:32Voilà,
17:32on n'a que ce document-là.
17:34C'est assez peu probable
17:35que de son plein gré,
17:36France Travail
17:37fasse la transparence.
17:38On le regrette,
17:39mais on essaie
17:40du mieux qu'on peut
17:41de continuer
17:42à documenter
17:43ces algorithmes-là.
17:44Ok.
17:44Et c'est la même opacité
17:46parce qu'il y a
17:46plusieurs outils d'IA
17:49chez France Travail.
17:51Je ne sais pas si on peut dire
17:52IA,
17:52mais des automatisations.
17:53Il y a un chatbot,
17:54il y a des outils comme ça.
17:56Est-ce que c'est la même
17:57opacité pour tout ?
17:59Et puis,
17:59est-ce que c'est assez particulier
18:00cette déshumanisation ?
18:04C'est vrai sur absolument
18:08tout ce que France Travail produit.
18:10C'est-à-dire que dans notre article,
18:12on mentionnait,
18:13on rappelait qu'il y a d'autres outils
18:15qui sont utilisés,
18:16notamment ChatFT,
18:18MatchFT,
18:19qui sont des chatbots,
18:21des algorithmes qui vont aider,
18:24automatiser parfois
18:25la recherche d'emploi.
18:27MatchFT,
18:28c'est un algorithme
18:29qui va envoyer
18:30des offres d'emploi
18:31par SMS
18:31et de manière automatisée
18:32faire le suivi
18:33de la demande,
18:35enfin de l'offre d'emploi
18:36auprès du demandeur
18:37ou de la demandeuse.
18:38On a demandé, nous,
18:39le code source
18:39de ces algorithmes.
18:41Refus total,
18:42silence total
18:43de l'administration.
18:44Et France Travail,
18:46c'est une administration
18:46qui utilise
18:47beaucoup d'algorithmes,
18:49qui développe
18:50énormément d'algorithmes.
18:51En 2024,
18:52on avait documenté
18:54des algorithmes
18:55de profilage psychologique.
18:57C'est-à-dire que là,
18:57on n'était pas
18:58dans le contrôle,
18:59on n'était pas
19:00dans la recherche
19:01de personnes
19:02qui ne chercheraient
19:03pas suffisamment d'emploi,
19:04on était ce qu'on a appelé
19:05dans du contrôle soft,
19:07c'est-à-dire que
19:07ce profilage psychologique,
19:09il avait comme objectif
19:10de détecter
19:11un peu en amont
19:12les personnes
19:13qui décrocheraient,
19:14les personnes
19:14qui perdraient espoir
19:15dans la recherche
19:17d'emploi.
19:17On est dans le fantasme
19:19technosolutionniste
19:19de les algorithmes
19:21vont nous permettre
19:22de connaître
19:22la psyché des personnes.
19:24Mais voilà,
19:25on a documenté
19:26ce type d'algorithme.
19:26Nous, on disait
19:27c'est du contrôle soft
19:28parce que quand l'algorithme
19:29estime que la personne
19:31est en train de décrocher,
19:33ça ne va pas en soi
19:33déclencher un contrôle
19:35au sens disciplinaire
19:36du terme,
19:37mais ça va déclencher
19:38un renforcement
19:39de l'accompagnement.
19:40Donc, on va avoir
19:40un contrôleur
19:41ou une contrôleuse
19:42derrière son épaule
19:43qui va dire
19:43bon alors,
19:44est-ce que je peux
19:44vous aider
19:45pour chercher un travail ?
19:46Est-ce que vous ne voudriez
19:47pas répondre
19:48à telle offre ?
19:48Et ça peut déclencher
19:50derrière un contrôle
19:51quand ce suivi renforcé,
19:54la personne humaine
19:55qui le fait
19:56estime que
19:57parce qu'on lui a demandé
19:57de mettre plus d'attention
19:59sur ce demandeur
20:01ou cette demandeuse d'emploi,
20:02quand le contrôleur
20:03ou la contrôleuse
20:03estiment qu'il n'y a pas
20:04une recherche suffisamment active.
20:06Ok.
20:07Et dernier bout
20:08de document
20:08que tu voulais montrer aussi,
20:10c'est celui-là ?
20:11C'est-à-dire que du coup,
20:13donc ce nouvel algo,
20:15il est actuellement
20:16en cours de test,
20:17c'est ça ?
20:18C'est ça.
20:19Donc, dans ce document
20:20qu'on a obtenu,
20:22cet algorithme-là,
20:23on sait qu'il est expérimenté.
20:25C'est-à-dire que
20:26le document,
20:26il date de décembre,
20:27il date de mi-décembre 2025.
20:30À cette époque,
20:31on ne sait pas
20:31ce qui s'est passé après,
20:32mais à cette époque,
20:33un premier test
20:34de 7000 personnes
20:35avait été fait
20:37et une deuxième campagne
20:39de tests
20:40était prévue.
20:41C'est-à-dire que
20:417000 personnes
20:42a priori
20:43piochées au hasard.
20:44Dans la population,
20:45par contre,
20:46des personnes
20:47qui ont eu
20:47une rupture conventionnelle
20:48parce que c'est
20:49des situations
20:51que, apparemment,
20:52France Travail
20:52veut contrôler
20:54particulièrement.
20:55Le patronat aussi,
20:56c'est complètement
20:58dans le...
20:58C'est totalement aligné.
21:00À nouveau,
21:01parce qu'il y a
21:01des enjeux économiques,
21:02l'objectif,
21:03c'est de récupérer
21:04le plus d'argent possible.
21:06Donc, il y a eu
21:07une première campagne
21:07de 7000 dossiers.
21:08On voit qu'on est
21:09sur la stratégie
21:10des petits pas.
21:11C'est-à-dire que là,
21:11pour l'instant,
21:12France Travail
21:13ne communique pas
21:13publiquement
21:14sur son algorithme,
21:15communique à son
21:15comité d'éthique,
21:17lui donne pas
21:17toutes les informations,
21:19a déjà commencé
21:20à l'utiliser,
21:20parce que 7000 personnes
21:23testées de manière
21:24expérimentale,
21:24ça veut quand même dire
21:257000 personnes contrôlées,
21:27dont leurs données
21:28personnelles ont été
21:29analysées par un algorithme,
21:30sans être informées,
21:31à priori.
21:33Et surtout,
21:34France Travail affiche
21:35dans ce document
21:36que l'administration
21:37est en train de continuer,
21:38va continuer.
21:39Et l'objectif,
21:39c'est d'être généralisé.
21:40L'objectif de cet algorithme,
21:42c'est d'être généralisé.
21:43Nous, on a fait le calcul,
21:44c'est jusqu'à 6 millions
21:45de personnes à terme
21:46qui pourraient être contrôlées.
21:47Non pas parce qu'il y a
21:486 millions de personnes
21:49demandeuses d'emploi en France,
21:50mais parce que,
21:51à France Travail,
21:52depuis la loi plein emploi,
21:54l'administration s'occupe
21:55également des personnes au RSA.
21:57Et donc,
21:58ces personnes au RSA,
21:59plus les personnes
22:00qui recherchent un emploi,
22:01pourraient possiblement
22:02être contrôlées,
22:03ce qui fait 6 millions de personnes
22:04possiblement
22:05par ce type d'algorithme.
22:07Ok.
22:07Et on voit
22:09qu'ils assurent
22:10que le gain d'efficacité
22:12est démontré.
22:13Mais sans...
22:14Ce qui est aussi intéressant
22:16sur cette page,
22:18c'est la partie à droite.
22:19C'est pourquoi recourir à l'IA.
22:22Pourquoi recourir à l'IA ?
22:23C'est vraiment
22:24l'exemple même
22:25de ce discours techno-solutionniste
22:27où on nous affirme
22:28que l'algorithme
22:29serait mieux
22:30qu'une personne humaine,
22:31n'aurait plus aucun biais,
22:33n'aurait plus de risque
22:34de discrimination.
22:35C'est un discours
22:35qu'on pensait
22:36ne plus être vraiment sérieux
22:38en 2026.
22:39Force est de constater
22:40qu'il est encore utilisé.
22:42C'est caricatural
22:45d'avoir ce type de discours.
22:46Enfin, vraiment,
22:46c'est écrit
22:47qu'on supprime
22:49les a priori.
22:50L'IA propose
22:51des dossiers à contrôler
22:51sur la base de critères objectifs
22:53afin d'atténuer
22:54les choix métiers
22:54par nature plus subjectifs.
22:56C'est absurde.
22:58Une IA,
22:59un algorithme,
23:00il est construit
23:01par des ingénieurs,
23:02des ingénieuses,
23:03souvent des ingénieurs,
23:04qui ont des a priori,
23:06qui contrôlent des personnes,
23:08qui fabriquent
23:09un algorithme
23:10qui va contrôler des personnes
23:11alors qu'on est
23:12dans une société
23:13qui elle-même
23:14a des biais,
23:15classiste, raciste.
23:16Donc, évidemment
23:17que ces algorithmes
23:18reproduisent ces biais.
23:19le défenseur des droits,
23:20il y a déjà
23:21plusieurs années,
23:22de mémoire,
23:22c'était en 2017,
23:23avait produit
23:25un rapport
23:26qui rappelait
23:26que ces algorithmes-là
23:28d'automatisation
23:28sont des sources
23:30de biais.
23:30Aujourd'hui,
23:31on a France Travail
23:31qui,
23:33fin d'ignorer
23:35cette réalité,
23:35parce que je ne veux pas croire
23:36que l'administration
23:37ne saurait pas
23:38que ce type d'algorithme
23:39crée des biais
23:40et pose énormément
23:41de problèmes en soi,
23:43mais c'est un discours.
23:45Ici,
23:46c'est une affirmation
23:47à son comité d'éthique
23:49sur l'IA,
23:50peut-être pour essayer
23:50de faire passer la pilule,
23:51pour avoir un avis
23:53derrière de ce comité
23:54qui soit pas trop
23:56regardant
23:57sur cet algorithme.
23:58Je ne sais pas,
23:59ce sont des hypothèses,
23:59mais en tout cas,
24:00on a un discours
24:02très technosolutionniste
24:03qui est inquiétant
24:04parce que ça montre
24:05que cette administration
24:06est déconnectée
24:08des réalités
24:09ou en tout cas,
24:10montre,
24:10donne l'impression
24:11d'être déconnectée
24:12des réalités sociales
24:14que va créer
24:15son algorithme.
24:16Et presque,
24:17si on pousse un peu
24:18plus loin,
24:19c'est-à-dire aussi
24:19qu'il y a des biais,
24:21mais quelque part,
24:22comme l'algo lui-même
24:23est fait pour discriminer,
24:26est-ce que finalement,
24:27ce n'est pas
24:28bien,
24:31ce n'est pas logique
24:32dans la pensée
24:32des concepteurs
24:33qu'il y ait des biais ?
24:34C'est presque fait pour,
24:35c'est des biais
24:36by design.
24:37Je ne suis honnêtement
24:38pas certain
24:39que les ingénieurs
24:40qui conçoivent
24:40ce type d'algorithme
24:41se disent qu'on va...
24:42Tu sais qui c'est d'ailleurs,
24:43on sait qui c'est ?
24:44Alors sur cet algorithme,
24:45non.
24:46Sur d'autres,
24:47comme on n'a pas trop
24:48d'informations,
24:49non.
24:49J'avais lu dans la presse
24:50que ChatFT et MatchFT
24:53avaient été conçus
24:54en partenariat
24:55avec Mistral.
24:56OK.
24:58La CNAF, par exemple,
24:59développe en interne
25:00son algorithme.
25:01Cet algorithme-là,
25:03on ne sait pas trop,
25:04mais a priori,
25:04il semble être développé
25:06en interne.
25:06Mais finalement,
25:07ce n'est pas si intéressant
25:10pour comprendre
25:10les enjeux politiques
25:11qu'il y a derrière
25:12l'utilisation
25:12de ces algorithmes-là.
25:14Mais je ne suis pas sûr
25:15que les ingénieurs
25:16qui travaillent sur ça
25:18se disent
25:20on va faire un outil
25:21pour faire de la chasse
25:22aux pauvres.
25:22Je pense qu'ils sont
25:24sincèrement convaincus
25:25que ça va permettre
25:26de mieux fonctionner,
25:28que l'administration
25:29va mieux fonctionner,
25:30tout simplement
25:30parce qu'on a,
25:32de manière chronique,
25:33dans le milieu
25:34des ingénieurs,
25:35une absence de recul,
25:36une absence d'éducation
25:37sur les aspects sociaux
25:39de leurs outils.
25:41Nous, à La Quadrature,
25:42on essaie de temps en temps,
25:43mais on a des ressources
25:44très limitées,
25:44de faire des interventions
25:45dans des écoles d'ingénieurs.
25:47Mais très souvent,
25:48on a ce discours
25:52du technosolutionnisme
25:53comme quoi
25:53on pourrait résoudre
25:55tous les maux
25:55de la planète
25:56avec des outils
25:57sans se poser la question
25:58des conséquences humaines
26:00qu'il y a
26:01à utiliser ces outils.
26:02C'est le discours
26:02de la technologie est neutre,
26:04ça dépend comment on l'utilise.
26:05Non, une technologie
26:06n'est pas neutre,
26:07on développe un outil
26:08dans un objectif politique
26:10déterminé.
26:11En revanche,
26:12au niveau de la direction
26:13de France Travail,
26:14évidemment qu'il y a
26:15en tête,
26:15depuis le début,
26:17cette politique
26:18de lutte contre la fraude
26:20qui est un euphémisme,
26:24un doux mot
26:24pour cacher une lutte
26:26contre cet assistanat
26:27propre à la droite
26:28et à l'extrême droite.
26:29Ça, au niveau
26:30de la direction
26:30de France Travail,
26:31je suis par contre
26:32certain que
26:33c'est voulu penser
26:37dès le début.
26:37Pas en termes
26:38de discrimination,
26:39à nouveau,
26:39mais avec cet objectif
26:41très fort
26:42qu'on va permettre
26:44de remettre
26:45les gens au travail
26:46avec ce type d'algorithme
26:48parce qu'on va
26:48les contrôler.
26:49Il faut avoir en tête
26:50qu'en 2017,
26:52France Travail
26:53avait un objectif
26:54de contrôle
26:54de 200 000 dossiers
26:55par an.
26:56En 2027,
26:57en 10 ans,
26:58on passe à 1,5 million.
26:59On ne peut pas
27:01le faire
27:01uniquement avec
27:02un renforcement
27:03des moyens humains.
27:04Il y a eu
27:04à France Travail
27:05quelques renforcements
27:06sur les équipes
27:07de contrôleurs
27:08et de contrôleuses,
27:09mais même avec ça,
27:11on ne peut pas
27:11humainement passer
27:12de 200 000
27:13à 1,5 million
27:14en 10 ans.
27:15Il est nécessaire
27:16d'utiliser des outils.
27:17Des outils
27:18qui vont déshumaniser
27:19les personnes,
27:19qui vont transformer
27:20des situations humaines
27:21en chiffres
27:22qu'on va pouvoir comparer,
27:23qu'on va pouvoir cibler
27:24et on se retrouve
27:25avec ce type d'algorithme.
27:26Ok.
27:27Merci pour ça,
27:29mais pour cette conclusion.
27:30Est-ce que tu veux
27:30ajouter quelque chose ?
27:31Moi, je trouve
27:32que c'est une chouette conclusion.
27:33Je pense qu'on va faire
27:33un bon tour.
27:34C'est ok ?
27:34Triste, mais...
27:35Un peu, j'avoue.
27:36Merci beaucoup à toi,
27:37Bastien.
27:38Merci.
27:38Et puis, à bientôt.
27:40Et puis,
27:40merci de nous avoir suivis
27:42et puis à bientôt aussi.
27:52Sous-titrage Société Radio-Canada
27:53Sous-titrage Société Radio-Canada