Dans deux avis concernant des projets de législation de l’UE sur l’IA, le CESE plaide en faveur d’une interdiction totale de la notation sociale et d’un mécanisme de plainte et de recours pour les personnes qui ont subi un préjudice du fait d’un système d’IA.

Lors de sa session plénière de septembre, le CESE a accueilli favorablement la proposition de législation sur l’intelligence artificielle ainsi que le plan coordonné sur l’IA.

Le CESE estime que la nouvelle législation est réellement centrée sur la santé, la sécurité et les droits fondamentaux, et qu’elle a une portée mondiale dans la mesure où elle fixe une série d’exigences que les développeurs, en Europe et ailleurs, devront respecter s’ils souhaitent vendre leurs produits dans l’Union.

Selon le CESE, les propositions souffrent d’un certain nombre de faiblesses, notamment en ce qui concerne la «notation sociale». Le Comité attire l’attention sur le risque qu’une telle pratique se répande en Europe, comme c’est déjà le cas en Chine, où le gouvernement peut aller jusqu’à empêcher certains citoyens d’accéder aux services publics.

La proposition de législation sur l’intelligence artificielle interdit bel et bien la notation sociale par les pouvoirs publics en Europe, mais le CESE souhaiterait que cette interdiction soit étendue aux organisations privées et semi-privées afin que la notation ne puisse pas être utilisée pour déterminer, par exemple, si une personne peut prétendre à un crédit ou à un prêt hypothécaire.

Le CESE attire également l’attention sur les dangers de la liste d’IA «à haut risque», en signalant que l’approche consistant à dresser une telle liste peut aboutir à normaliser ou généraliser bon nombre de pratiques d’IA qui sont encore fortement critiquées. La reconnaissance biométrique, y compris la reconnaissance des émotions ou des affects, qui consiste à analyser les expressions faciales, le ton de la voix, l’attitude et les gestes d’une personne afin de prédire son comportement futur, de détecter des mensonges et même de déterminer si elle convient pour un emploi, serait autorisée, tout comme l’évaluation, la notation, voire le licenciement de travailleurs sur la base de l’IA, ou l’évaluation des étudiants lors d’examens.

En outre, les exigences qu’il est proposé d’appliquer à l’IA à haut risque ne peuvent pas toujours atténuer les effets néfastes de ces pratiques sur la santé, la sécurité et les droits fondamentaux. Il est donc nécessaire de mettre en place un mécanisme de plainte et de recours afin que les personnes ayant subi un préjudice du fait d’un système d’IA puissent contester les décisions qui sont prises exclusivement par un algorithme.

D’une manière plus générale, du point de vue du CESE, la législation sur l’intelligence artificielle part du principe qu’une fois que les exigences en matière d’IA à moyen et à haut risque sont respectées, l’IA peut, dans une large mesure, remplacer la prise de décision humaine.

«Au CESE, nous avons toujours plaidé en faveur d’une approche de l’humain aux commandes en matière d’IA, car les décisions ne peuvent pas toutes se réduire à des zéros et des uns», souligne Catelijne Muller, auteure de l’avis du CESE sur l’IA. «Nombre d’entre elles ont une composante morale, de lourdes conséquences juridiques et des incidences sociétales majeures, par exemple en ce qui concerne l’application de la loi et le système judiciaire, les services sociaux, le logement, les services financiers, l’éducation et la réglementation du travail. Sommes-nous prêts à autoriser l’IA à remplacer la prise de décision humaine, même dans des processus critiques tels que l’application de la loi et le domaine judiciaire?» (dm)