IA, droits des usagers et services publics : la Défenseure des droits appelle à la vigilance

Dans son communiqué de presse, la Défenseure des droits appelle à la vigilance quant aux droits des usagers des services publics face aux algorithmes et aux systèmes d'IA.

Les algorithmes et systèmes d’IA transforment profondément les services publics, en automatisant de nombreuses décisions administratives. Si ces outils promettent efficacité et équité, ils posent aussi des défis majeurs en termes de respect des droits fondamentaux, de transparence et d’évitement des discriminations. 

En France, le cadre juridique s’appuie sur plusieurs lois clés, notamment la loi "Informatique et Libertés" de 1978, régulièrement mise à jour pour intégrer les évolutions technologiques et harmonisée avec le Règlement général sur la protection des données (RGPD). Ce dernier, adopté en 2018, impose des obligations strictes pour le traitement des données personnelles, telles que l’information des personnes concernées, la limitation des finalités et la minimisation des données collectées.

En parallèle, la loi pour une République numérique de 2016 a introduit des dispositions spécifiques sur la transparence des algorithmes publics. Codifiées dans le Code des relations entre le public et l’administration (CRPA), elles exigent que les administrations informent les citoyens lorsque des algorithmes sont utilisés pour prendre des décisions administratives individuelles. Elles doivent également rendre publiques les règles essentielles qui sous-tendent ces algorithmes, permettant ainsi une compréhension minimale de leur fonctionnement. Ces obligations visent à réduire l’opacité des systèmes automatisés tout en protégeant les droits des usagers.

Au niveau européen, le règlement sur l’intelligence artificielle, ou AI Act, adopté en 2024, constitue un tournant majeur. Ce texte distingue les systèmes d’IA en fonction de leur niveau de risque et impose des exigences particulièrement strictes pour ceux considérés comme "à haut risque", tels que ceux utilisés dans l’accès à l’éducation, l’emploi ou les services publics essentiels. Ces exigences incluent des obligations de transparence, une supervision humaine renforcée et des garanties robustes contre les discriminations. Ce règlement entrera en application progressive dès 2025, avec une mise en œuvre complète prévue pour 2030. En outre, le Conseil de l’Europe a adopté en 2024 une convention-cadre sur l’intelligence artificielle et les droits de l’Homme, confirmant les engagements des États membres à garantir que l’IA respecte les principes démocratiques et les libertés fondamentales.

Le rapport de la Défenseure des droits souligne l'essor considérable de l’usage des algorithmes et des systèmes d’intelligence artificielle (IA) dans l’administration publique, s’inscrivant dans la continuité de la dématérialisation des services publics. L’objectif principal est d’automatiser certaines tâches pour gagner en efficacité, standardiser les procédures et accélérer les décisions administratives. Ainsi, le calcul des impôts, Parcoursup ou l'attribution des prestations sociales sont automatisés. Dans le cadre de la procédure d’affectation dans l’enseignement supérieur, certains établissements, comme Sciences Po Bordeaux, utilisent des algorithmes "maison". Ces systèmes intègrent des critères tels que l’écart des notes par rapport à la moyenne de la classe ou la promotion des élèves issus de milieux défavorisés. L’algorithme "score cœur", utilisé par l’Agence de la biomédecine, établit des priorités pour les patients en attente de greffe selon des critères d’urgence et d’âge. 

Le développement des IA dites génératives, c'est-à-dire qui produisent des contenus (textes, images, ou musique) à partir d’instructions humaines peuvent être employées à améliorer les relations entre les usagers et l’administration comme le démontre Albert, un assistant conversationnel qui aide les agents administratifs à répondre rapidement aux questions des citoyens, rédiger des documents ou même transcrire des audiences judiciaires.

Le rapport insiste sur la nécessité d’une supervision humaine effective à toutes les étapes du cycle de vie d’un système d’IA. Les règles intégrées dans les algorithmes doivent refléter des objectifs politiques clairs et respecter les lois en vigueur.  Les systèmes doivent être surveillés en continu pour détecter et corriger d’éventuelles erreurs ou discriminations. Pour qu’une décision soit considérée comme "partiellement automatisée", l’intervention humaine doit être significative et non purement symbolique. Ainsi, en France, la loi précise que les décisions administratives individuelles ne peuvent être entièrement automatisées sans possibilité d’intervention humaine. Cette disposition vise à préserver une forme de contrôle et de responsabilité au sein des administrations, même lorsque des systèmes algorithmiques sophistiqués sont utilisés. Le Conseil constitutionnel a validé ces principes en 2018, tout en soulignant que les algorithmes utilisés ne doivent pas réviser eux-mêmes les règles appliquées sans validation humaine. Selon une enquête menée auprès des agents des impôts, les bénéfices liés à l'IA sont mineurs, quand les agents n'expriment pas de plus fortes réserves liées à un manque de formation à l'outil ou aux erreurs relevées.

Si l'usage des algorithmes présente d'indéniables avantages, des risques importants sont soulignés. Par exemple, des biais discriminatoires peuvent être reproduits voire amplifiés ; le rapport prend exemple sur l'Autriche où des femmes et des personnes en situation de handicap étaient systématiquement désavantagées. L'opacité des systèmes est également dénoncée. Les algorithmes, notamment ceux basés sur le machine learning, peuvent devenir des "boîtes noires" dont les mécanismes internes sont difficiles à expliquer, même pour leurs concepteurs. Et enfin, les usagers n'ont pas de possibilité d'expression de choix : ils sont obligés de recourir aux systèmes publics automatisés, ce qui renforce la nécessité de garantir leur équité et leur explicabilité (c'est-à-dire la capacité de mettre en relation et de rendre compréhensible les éléments pris en compte par le système d'IA pour la production d'un résultat). En outre, l’interprétation des notions de "données sensibles" et de "profilage" est en constante évolution, influencée par des décisions jurisprudentielles récentes.