Guillaume Kasbarian, Minister of Public Service, aims to enhance the integration of artificial intelligence (AI) within state services, particularly in education. However, the rise of algorithm-driven administrative decisions raises concerns about user rights. The report highlights the need for better oversight of AI usage to ensure human involvement and transparency, ultimately protecting the rights of citizens. It underscores that fully automated decisions based on sensitive data are prohibited under GDPR, emphasizing the importance of trust in public services.
Un Avenir IA pour les Services Publics
Le Ministre du Service Public, Guillaume Kasbarian, souhaite donner un véritable “coup de pouce” à l’intelligence artificielle (IA) au sein des services de l’État. Dans un rapport, le Sénat s’intéresse à l’intégration de l’IA dans le domaine éducatif.
Les services publics sont-ils sur le point de faire leur entrée dans l’ère de l’IA ? Le chemin semble encore long, car il existe peu de projets concrets dans ce domaine. Pourtant, la Défenseure des Droits exprime déjà des préoccupations à ce sujet.
Des Décisions Automatiques en Hausse
Dans un rapport récemment publié, elle constate une augmentation des décisions administratives individuelles basées sur les résultats fournis par des algorithmes ou des systèmes d’IA. Cependant, cette tendance à l’algorithmisation des services publics soulève des risques pour les droits des usagers, selon la Défenseure.
Bien que les plaintes adressées à l’institution soient encore rares, elles portent souvent davantage sur les résultats des décisions que sur le processus qui les a engendrés. Elle souligne que certaines plaintes mettent en lumière des difficultés qui semblent potentiellement systémiques, notamment en ce qui concerne la procédure Affelnet, relative aux affectations après la 3ème année.
L’usage croissant des algorithmes doit donc être encadré pour maintenir une “vraie culture des droits” au sein des administrations. Ce rappel est crucial afin d’éviter que les objectifs de réduction des coûts, du personnel et des indicateurs de rentabilité ne prennent le pas sur les droits des usagers.
Au-delà de l’objectif de l’IA dans le secteur public, le rapport s’interroge également sur la place accordée à l’humain dans ces décisions. Beaucoup sont qualifiées de “partiellement automatisées”, mais la Défenseure remet en question la réalité des interventions humaines.
La montée en puissance des décisions algorithmiques soulève des doutes quant à la véritable nature des interventions humaines dans les processus décisionnels individuels.
En effet, les algorithmes et l’IA sont souvent mis en œuvre pour simplifier la prise de décision, alléger les tâches répétitives des agents, ou même réaliser des économies de personnel. Cette automatisation cachée crée un fossé important entre la loi et les pratiques.
La distinction entre décisions “partiellement automatisées” et “totalement automatisées” devient ainsi floue, remettant en cause le cadre légal applicable, qui devrait garantir des droits souvent non respectés.
La Défenseure rappelle que le cadre légal interdit les décisions administratives individuelles entièrement automatisées basées sur des données personnelles sensibles, conformément au RGPD.
Pour remédier à cette situation et garantir le respect des droits des usagers, le rapport recommande d’enrichir les méthodes et critères utilisés pour qualifier l’intervention humaine lorsque la décision est qualifiée de partiellement automatisée. Elle incite également à améliorer la transparence des systèmes et des décisions prises, ce qui nécessitera un retour “essentiel” à l’expertise des administrations et à l’internalisation des compétences.
“À une époque où des systèmes automatisés de plus en plus complexes sont déployés ou sur le point de l’être, il est crucial de répondre à ces questions, car elles constituent en réalité les fondations sur lesquelles la confiance des usagers dans le service public peut être bâtie,” conclut le rapport.