Une numérisation du contrôle social discriminatoire

La numérisation à marche forcée des administrations sociales a renforcé les inégalités d’accès aux droits sociaux pour les plus précaires, et notamment pour les personnes étrangères [1]. La malnommée « dématérialisation »** s’est avant tout accompagnée d’une suppression des personnels et des points d’accueil physique pourtant essentiels à l’accompagnement de celles et ceux dont les parcours d’accès aux droits peuvent s’avérer particulièrement difficiles.

À l’accumulation de règles spécifiques visant à limiter les droits des personnes étrangères (les dernières en date ayant été apportées par la « loi immigration [2] ») s’ajoute plus généralement la difficulté d’appréhender le fonctionnement d’une administration complexe, dont les interfaces numériques sont construites pour traiter en bloc les demandes de l’ensemble des administré·es et non pour répondre à des situations particulières, surtout lorsqu’il s’agit d’ouvrir des droits.

Le Défenseur des droits donne un exemple de ces difficultés concernant les personnes étrangères : « Monsieur X. ayant le statut de réfugié en France souhaite demander le revenu de solidarité active sur le site internet de la CAF. Lors de la demande en ligne, il doit indiquer s’il est étranger ou français et, dans le premier cas, la CAF lui demande s’il remplit la condition de résidence depuis plus de 5 ans. Étant réfugié depuis moins d’un an, il répond non. Le formulaire en ligne lui indique par conséquent qu’il n’est pas éligible au RSA car il ne remplit pas la condition d’antériorité de séjour. Or, la loi édicte que les personnes ayant le statut de réfugié, bien que de nationalité étrangère, ne sont pas soumises à cette condition d’antériorité. M. X saisit le Défenseur des droits qui informe la Cnaf [Caisse nationale d’allocations familiales] de l’impossibilité de réaliser cette démarche en ligne pour les personnes réfugiées [3]. » Si, après l’intervention du Défenseur des droits, la Cnaf a ajouté un libellé sur la case « condition de résidence depuis plus de 5 ans » indiquant que « si vous êtes réfugié, cocher oui à cette question », d’autres catégories pour lesquelles cette condition ne doit pas s’appliquer ne sont toujours pas prises en compte par ce formulaire de demande en ligne.

À ces problèmes liés au traitement entièrement numérisé des relations avec les usagères et les usagers s’ajoute un point plus méconnu : le déploiement massif de technologies numériques de contrôle par les administrations sociales, au nom des politiques de « lutte contre la fraude sociale ». Bien que ce déploiement soit encore peu documenté, les travaux réalisés par des collectifs, tels La Quadrature du Net, Changer de cap, Stop contrôles ou Droits sociaux [4], montrent que ces technologies contribuent à un surcontrôle massif des plus précaires. Les logiques à l’œuvre permettant d’expliquer ce phénomène – complexité des règles d’attribution, parcours de vies irréguliers, ignorance des droits – ne laissent aucun doute sur le fait qu’elles produisent un effet similaire sur le public étranger.

Par ailleurs, les personnes étrangères constituent, au sein des plus vulnérables, un groupe sur lequel les « expérimentations » technologiques sont historiquement menées. Tout comme on l’observe pour la surveillance des frontières [5], les administrations sociales multiplient les moyens technologiques de contrôle particulièrement intrusifs les visant.

C’est ainsi que, sous couvert de « rationalisation » et d’« efficacité », la numérisation des politiques de contrôle accentue l’exclusion et le harcèlement des personnes étrangères. Ce processus est facilité par l’opacité entourant les algorithmes, présentés comme étant le fruit de simples « analyses statistiques », offrant ainsi aux responsables institutionnels un alibi technique masquant la réalité discriminatoire de ces politiques.

L’algorithme de la honte…

La Cnaf offre un exemple frappant de la manière dont la numérisation vient renforcer le contrôle des personnes étrangères. Depuis 2011, elle a recours à un algorithme de notation des allocataires visant à sélectionner les personnes devant faire l’objet d’un contrôle. Cet algorithme alloue à chaque allocataire ce qu’il convient de considérer comme un « score de suspicion ». Celles et ceux dont le score augmente trop fortement se voient automatiquement contrôlés. Rappelons ici que les contrôles dans les CAF sont de trois types. Les contrôles automatisés sont des procédures de vérification des déclarations des allocataires (revenus, situation professionnelle, etc.), organisées grâce à l’interconnexion des fichiers administratifs (impôts, Pôle emploi, etc.). Ce sont de loin les plus nombreux. Les contrôles sur pièces consistent en la demande de pièces justificatives supplémentaires à l’allocataire. Enfin, les contrôles sur place sont les moins nombreux mais les plus intrusifs. Réalisés par une ou un contrôleur de la caisse concernée, ils consistent en une vérification approfondie de la situation de l’allocataire. Ce sont ces contrôles qui sont, en très grande majorité, déclenchés par l’algorithme à la suite de la dégradation de la note d’une ou d’un allocataire.

En décembre dernier, La Quadrature du Net a publié le code source [6] – la formule – de cet algorithme. Cette publication apporte la preuve définitive du caractère discriminant des critères retenus par la Cnaf pour estimer le « degré de confiance » que l’institution accorde à chacun·e. Parmi les variables augmentant le « score de suspicion », on trouve notamment : le fait de disposer de revenus faibles, d’être au chômage, de consacrer une partie importante de ses revenus à son loyer, de ne pas avoir de travail ou de revenus stables, ou encore le fait d’être une mère célibataire.

L’analyse détaillée du code de l’algorithme a mis en avant le rôle majeur des critères liés à la précarité dans le calcul du « score de suspicion ». Toutes choses égales par ailleurs, la probabilité d’être contrôlé pour un couple disposant d’un revenu confortable et d’une situation professionnelle stable est quasi nulle alors qu’elle est très élevée pour celles et ceux qui bénéficient des minima sociaux, pour les personnes en situation de handicap ou les mères célibataires. Cela explique que l’introduction de l’algorithme a entraîné une forte concentration des contrôles sur les personnes en situation de précarité, comme l’avait montré Vincent Dubois [7].

… et le ciblage des personnes étrangères

Quant au ciblage des personnes étrangères par l’algorithme, il s’est pour l’instant concentré sur l’inclusion ou non, parmi les critères de calcul du « score de suspicion », de variables visant spécifiquement ces dernières. En 2017, dans un rapport alertant sur le « risque de discrimination » lié à l’usage des techniques de datamining et des algorithmes dans le cadre de ces contrôles [8], le Défenseur des droits dénonçait déjà l’usage de la variable « personne née hors de l’Union européenne » et demandait de « mettre fin au contrôle ciblé sur les personnes nées hors de l’UE » – contrôle préconisé par une circulaire interne de la Cnaf. De plus, dans la délibération de la Cnil autorisant l’algorithme, il est précisé que, parmi « les données traitées pour élaborer l’outil de “datamining” », la Cnaf est autorisée à recourir à un « code nationalité », ce qui montre a minima que la caisse s’est réservé la possibilité d’un ciblage sur des critères de nationalité. Enfin, on note deux références à une variable intitulée « top étranger régularisé » dans le code source de l’algorithme [9], sans que l’on sache comment cette variable est utilisée – si elle l’est – pour le calcul du « score de suspicion ».

La variable « né hors de l’Union européenne » n’apparaît cependant pas dans le code que la Cnaf a transmis à La Quadrature du Net. Cela ne suffit toutefois pas à exclure l’hypothèse du Défenseur des droits, la caisse ayant volontairement masqué plusieurs variables de l’algorithme. De son côté, la Cnaf s’est défendue en expliquant que l’algorithme ne cible pas sur la base du « critère de nationalité ». Cette réponse est ici encore ambiguë. La variable « né hors de l’UE » n’est pas l’équivalent, à strictement parler, d’une variable qui renseignerait la nationalité de la personne considérée.

Cela étant dit, il est fondamental de comprendre qu’il n’est pas nécessaire pour la Cnaf d’inclure une variable visant spécifiquement le public étranger pour que l’algorithme les discrimine. D’abord, parce que les personnes étrangères sont surreprésentées parmi les publics précaires directement ciblés via les critères évoqués ci-dessus [10]1. Ensuite, parce que cet algorithme a été entraîné pour détecter des allocataires ayant bénéficié de trop-perçus. Le choix de détecter des indus, et non des fraudes, a été dicté par des exigences de rentabilité : les indus sont plus nombreux et plus faciles à détecter que des fraudes dont la caractérisation nécessite, en théorie, de prouver une intention de fraude.

Or, ces indus ont pour cause principale des erreurs déclaratives involontaires, dont toutes les études montrent qu’elles s’expliquent majoritairement par deux choses [11] : la complexité des règles d’attribution d’une prestation sociale et l’instabilité professionnelle ou, plus généralement, l’écart aux « normes sociales » (travail à temps partiel, famille monoparentale, perte d’emploi, etc.).

C’est ainsi que, de la même manière que ces deux facteurs expliquent pourquoi les bénéficiaires de minima sociaux sont surreprésentées parmi les personnes contrôlées, l’algorithme ne peut qu’aboutir à une discrimination des personnes immigrées. Premièrement, les règles d’attribution des prestations sociales sont encore plus complexes pour le public étranger que pour les allocataires de nationalité française. Deuxièmement, les personnes étrangères sont souvent dans des situations plus difficiles à appréhender par l’administration (absence de travail, travail discontinu ou à temps partiel, etc.).

Des pratiques en voie de généralisation

L’exemple de la Cnaf est désormais suivi par les principales administrations sociales, sous l’impulsion d’institutions comme la Cour des comptes ou la Mission interministérielle de coordination anti-fraude. Ainsi, la Caisse nationale d’assurance maladie (Cnam) ou la Caisse nationale d’assurance vieillesse (Cnav) utilisent ou développent des algorithmes similaires, pour lesquels la documentation est encore en cours [12], et dont les logiques sous-jacentes sont identiques à celles de l’algorithme de la Cnaf. Ils ne peuvent par conséquent qu’aboutir au ciblage des plus vulnérables et des personnes étrangères.

Ces administrations profitent de l’opacité entourant le fonctionnement de ces algorithmes pour invisibiliser les discriminations au cœur des politiques de contrôle. Les responsables de la Cnaf ont joué de cette opacité pour masquer la violence de leurs pratiques, tout en les légitimant à travers un discours qui se présente comme scientifique. Une dépolitisation des politiques de contrôle s’opère par la présentation de ce type d’outils comme des objets « neutres » résultant d’une prétendue « démarche scientifique » menée par des « experts statistiques [13] ». C’est pourquoi ces algorithmes sont particulièrement dangereux : ils offrent un alibi technique à la généralisation de politiques discriminatoires dont les personnes étrangères sont parmi les premières victimes.

Concernant la Cnaf, il aura fallu publier le code source de l’algorithme pour que le discours de ses dirigeant·es soit enfin largement remis en question [14]. Ce travail a cependant pris plus d’un an de bataille administrative, processus qu’il faut désormais reprendre pour chacun des organismes sociaux… En effet, pour obtenir le code source, nous avons dû faire plusieurs demandes de communication des documents, toutes rejetées par la Cnaf, avant de faire intervenir la Commission d’accès aux documents administratifs (Cada). Celle-ci a partiellement validé nos demandes, et nous avons obtenu les informations concernant les anciennes formules du code source de l’algorithme de la Cnaf.

Au-delà du profilage

On l’aura compris, les personnes étrangères sont un public privilégié pour l’expérimentation des technologies numériques les plus intrusives à des fins de contrôle au sein des administrations sociales. Mais les algorithmes de profilage ne constituent qu’une facette de l’arsenal technologique développé à des fins de « lutte contre la fraude » et dont elles sont les premières victimes.

Un exemple récent est celui de l’utilisation de la reconnaissance faciale par la Cnav à des fins de contrôle des retraité·es résidant à l’étranger. Cette mesure a été rendue possible en 2023 [15] et justifiée par le mythe nauséabond des « retraitées et retraités algériens centenaires » qui continueraient de toucher des prestations sociales après leur décès [16]…

À cela s’ajoute l’extension du fichage et de l’exploitation des données des personnes étrangères par les administrations sociales, au nom là encore de la « lutte contre la fraude ». Cette extension est le corollaire direct de la succession de réformes visant à limiter leur accès aux prestations sociales. Aboutissant à une multiplication des critères d’attributions des prestations, ce foisonnement législatif et réglementaire entraîne une demande toujours plus forte de contrôle du public étranger, venant se traduire par l’accroissement de son fichage numérique. En effet, chaque nouvelle conditionnalité mise en place – activité professionnelle, durée de séjour, etc. – aura son pendant numérique de collecte et d’analyse de données personnelles visant à la vérifier.

Ces multiples conditionnalités expliquent aussi que les personnes étrangères soient particulièrement visées par les nouveaux croisements de fichiers autorisés au nom de la « rationalisation » des politiques de contrôle. Notons, par exemple, la récente demande de la Cour des comptes [17] que soient transmises aux organismes sociaux les données des personnes visées par une obligation de quitter le territoire français afin de limiter « le versement indu de prestations sociales » ou l’accès au fichier des transporteurs aériens[[« Gabriel Attal, ministre délégué chargé des comptes publics, annonce un plan de lutte contre la fraude sociale », communiqué de presse du ministère chargé des comptes publics, 30 mai 2023., donné par le ministère des comptes publics, aux caisses de sécurité sociale pour leur permettre de vérifier la condition de résidence en France.

Le développement des outils numériques vient donc matérialiser l’extension des logiques policières à l’œuvre au sein des administrations sociales. Reflet de la multiplication de politiques ouvertement xénophobes et de la mise en place d’une véritable « chasse aux pauvres », le contrôle numérique des personnes étrangères est appelé à s’étendre.

C’est pourquoi un front élargi de lutte contre le contrôle numérique par les administrations sociales est plus que jamais nécessaire. Il ne pourra se faire qu’à travers la coordination des collectifs de lutte contre la numérisation, des associations de lutte contre la précarité ou de défense des droits des personnes étrangères.