Anastasia Karagianni, de la VUB (Vrije Universiteit Brussel), explore la manière dont les technologies numériques influencent de plus en plus la manière dont les personnes sont jugées et traitées, depuis les images en ligne jusqu’à l’accès à l’emploi et aux services publics. Bien que ces systèmes soient souvent présentés comme neutres, ils peuvent renforcer les inégalités existantes et causer un préjudice réel aux communautés marginalisées, ce qui montre pourquoi la réglementation numérique de l’UE doit aller au-delà de la conformité technique et prendre au sérieux les expériences vécues par les personnes lorsqu’elles luttent contre la discrimination algorithmique.

La discrimination algorithmique désigne les systèmes automatisés produisant des résultats qui désavantagent systématiquement des groupes particuliers, non pas uniquement du fait d’«erreurs» techniques, mais en raison de la manière dont les données, les choix de conception et les schémas historiques d’inégalité façonnent la prise de décision automatique. Ces effets sont particulièrement prégnants lorsque le genre, la race, la classe, le handicap ou d’autres axes identitaires se recoupent, portant atteinte à l’égalité, à la vie privée et à la non-discrimination.

Par exemple, les filtres de beauté portent en eux-mêmes des idéaux d’attractivité normatifs, souvent eurocentriques et sexospécifiques, en «corrigeant» via des algorithmes les visages vers des tons cutanés plus légers ou des caractéristiques féminisées, ce qui affecte de manière disproportionnée les femmes et les personnes de couleur et renforce les hiérarchies existantes de valeur sociale. De même, les technologies portables intelligentes, telles que les lunettes d’IA Ray-Ban Meta, suscitent des inquiétudes quant à la surveillance, à la vie privée et aux abus sexuels fondés sur l’image, étant donné que les systèmes de vision et de parole biaisés peuvent mener à des identifications erronées parmi les groupes marginalisés et exposer les passants à un enregistrement auxquels ils n’ont pas consenti, ce qui renforce les déséquilibres de pouvoir existants dans les espaces publics.

Dans l’UE, où les systèmes numériques déterminent de plus en plus l’accès aux services publics, aux possibilités d’emploi et au soutien social, il est essentiel de remédier à ces préjudices pour protéger les droits fondamentaux et la responsabilité démocratique.

Les cadres de l’UE, tels que le règlement général sur la protection des données (RGPD) et le règlement sur l’intelligence artificielle constituent des étapes importantes vers une approche des données et des systèmes automatisés fondée sur les droits. L’accent placé par le RGPD sur la transparence, le contrôle humain et les mécanismes permettant aux personnes de contester les décisions automatisées donne à la société civile des outils pour contester les pratiques discriminatoires et exiger des acteurs tant privés que publics qu’ils rendent des comptes. Le règlement sur l’IA adopte une approche fondée sur les risques pour réglementer l’IA, avec des obligations explicites pour les systèmes à haut risque et les applications d’IA considérés comme susceptibles d’avoir une incidence significative sur les droits, la sécurité ou l’accès des personnes aux services essentiels, tels que les soins de santé ou l’emploi. Cela crée des possibilités de surveillance et de contrôle structuré des technologies susceptibles de produire des résultats préjudiciables.

Les organisations de la société civile ont joué un rôle clé dans la mise en œuvre de ces cadres. Des forums tels que le CPDP (Computer, Privacy and Data Protection Conference), le Privacy Camp et le FARI associent des militants, des chercheurs et des décideurs politiques à l’évaluation des systèmes algorithmiques et à l’élaboration des bonnes pratiques. Les succès obtenus par le réseau European Digital Rights (EDRi) et le Digital Freedom Fund (DFF) montrent comment un engagement civil durable peut améliorer les obligations de transparence, renforcer l’application de la législation et élargir la compréhension par le public des préjudices numériques. Ces initiatives montrent que la réglementation de l’UE peut donner des moyens d’action à la société civile, en favorisant des approches participatives de la réglementation plutôt qu’en laissant le contrôle aux seuls acteurs étatiques ou institutionnels.

Malgré ces évolutions positives, d’importantes lacunes subsistent, qui limitent la capacité de la réglementation de l’UE à lutter de manière globale contre la discrimination structurelle et les dommages algorithmiques. La nature du système de classification des risques du règlement sur l’IA est au cœur de cette critique. Le fait que ledit règlement s’appuie sur un modèle descendant, dans lequel les régulateurs prédéfinissent des catégories de systèmes à haut risque, laisse peu de place à l’identification ascendante des dommages émergents découverts grâce à l’expérience vécue ou au suivi mené par la société civile. Une fois les systèmes déployés, seuls des mécanismes limités permettent aux communautés touchées de déclencher des réévaluations des risques ou d’exiger des mesures correctives en dehors de catégories prédéfinies.

La proposition de règlement omnibus sur le numérique illustre une autre tendance inquiétante. En permettant aux fournisseurs de systèmes d’IA de s’enregistrer et de déterminer si leur technologie peut être considérée comme étant à haut risque, la proposition risque de déléguer des jugements réglementaires critiques aux acteurs mêmes dont les intérêts commerciaux peuvent entrer en conflit avec la sécurité publique et la protection des droits.

Même lorsque des obligations d’atténuation des biais (efforts visant à réduire la discrimination dans les systèmes d’IA) existent, elles nécessitent souvent le traitement de données sensibles. Pourtant, les caractéristiques liées au genre et aux personnes LGBTQIA+, telles que les identités non binaires, transgenres ou intersexuées, ne sont souvent pas reconnues comme des catégories protégées et restent donc insuffisamment protégées. Cela crée des angles morts dans la compréhension de la manière dont les systèmes d’IA peuvent renforcer les formes de discrimination qui se chevauchent.

Ces lacunes deviennent plus évidentes avec les dommages émergents, tels que les hypertrucages sexualisés. S’il est probable que ces technologies relèvent des pratiques interdites par l’article 5, le texte réglementaire laisse subsister une ambiguïté quant à son application et sa classification connexe. En l’absence d’obligations claires imposant aux plateformes de prévenir les abus fondés sur des images et la diffusion de trucages vidéo ultra-réalistes ou d’y remédier, les victimes peuvent être confrontées à de graves limitations quant à de possibles recours juridiques, malgré des atteintes substantielles à leur vie privée, à leur dignité et à leur sécurité.

Une autre limitation réside dans les obligations de normalisation, qui ne s’appliquent qu’aux systèmes d’IA à haut risque. Il en résulte que de vastes pans de technologies largement déployées, y compris l’IA générative et les applications de modération des contenus, ne sont pas assortis de garanties systématiques en matière de sécurité, d’équité et de discrimination. Pour la société civile, cela signifie que de nombreux systèmes discriminatoires ou préjudiciables ne font jamais l’objet d’évaluations solides en ce qui concerne leur conformité ou leur redevabilité.

Enfin, la manière dont le droit de l’Union traite l’intersectionnalité — l’idée selon laquelle les personnes peuvent être confrontées à des formes de discrimination qui se chevauchent — montre que les réglementations actuelles ne reflètent pas toujours les réalités vécues par les individus. Si la directive sur la lutte contre la violence à l’égard des femmes et la violence domestique (directive sur les violences sexistes) introduit la notion de «discrimination intersectionnelle», son champ d’application pratique reste limité par son texte-même. Elle ne tient pas non plus pleinement compte des préoccupations des communautés LGBTQIA+ quant à l’ensemble de la politique de l’Union en matière d’égalité. L’analyse académique du règlement sur l’IA montre que les références à l’«égalité de genre» sont peu nombreuses et qu’une terminologie inclusive pour les différentes identités de genre fait largement défaut. En conséquence, le cadre réglementaire reste ancré dans des conceptions binaires du genre.

Ces critiques mettent en évidence une question plus large: le simple respect des garanties procédurales ne suffit pas à lutter contre la discrimination algorithmique dans la société. Ce qui est nécessaire, ce sont des approches qui s’inspirent des expériences des citoyens et identifient les préjudices à un stade précoce, des évaluations qui examinent la manière dont les différentes formes de discrimination se chevauchent, et un contrôle participatif qui associe de manière significative la société civile à la prise de décision. Des outils tels que des analyses d’impact tenant compte de la dimension de genre et des cadres d’évaluation communautaires qui impliquent de tester des systèmes de détection des biais et d’écouter les utilisateurs concernés peuvent contribuer à garantir que la réglementation protège effectivement les personnes les plus vulnérables des dommages algorithmiques. En l’absence de tels mécanismes, la réglementation numérique de l’Union risque de consacrer une approche «neutre» qui masque les inégalités auxquelles les personnes sont confrontées dans la vie quotidienne, au lieu de les affronter.

Anastasia Karagianni est doctorante au sein du groupe de recherche «Droit, science, technologie et société» (LSTS) de la faculté de droit et de criminologie de la Vrije Universiteit Brussel (VUB) et une ancienne  chercheuse FARI. Sa thèse porte sur les «divergences de discrimination entre les hommes et les femmes dans le règlement de l’UE sur l’IA, sous l’angle des épistémologies féministes et des controverses épistémiques». Elle a été chercheuse invitée à l’équipe de recherche iCourts de l’université de Copenhague et au Centre commun de recherche de la Commission européenne à Séville, ainsi que professeure invitée à l’Institut ITACA de l’Universitat Politèchnica de València.