Explicabilite de l’IA : obligations legales et techniques de mise en oeuvre

L’explicabilite de l’intelligence artificielle designe la capacite a rendre comprehensibles les mecanismes par lesquels un systeme d’IA produit ses resultats. Cette notion est devenue un enjeu juridique majeur avec l’adoption du reglement europeen sur l’IA (AI Act), qui impose des obligations de transparence et d’interpretation des resultats pour les systemes d’IA a haut risque, et l’application croissante du RGPD aux traitements algorithmiques.

L’explicabilite se situe a l’intersection du droit et de la technique. D’un cote, le droit impose un niveau de comprehension suffisant pour permettre le controle humain, la contestation des decisions et la verification de la non-discrimination. De l’autre, les techniques d’apprentissage automatique, en particulier les modeles de deep learning et les grands modeles de langage, sont souvent qualifies de “boites noires” en raison de la complexite de leurs mecanismes internes. Concilier ces deux exigences constitue l’un des defis centraux de la conformite IA.

Les obligations legales d’explicabilite

Le AI Act : transparence et interpretation des resultats

Le AI Act impose plusieurs obligations qui se rattachent a l’explicabilite des systemes d’IA. L’article 13 exige que les systemes d’IA a haut risque soient concus et developpes de maniere a ce que leur fonctionnement soit suffisamment transparent pour permettre aux deployeurs d’interpreter les resultats et de les utiliser de maniere appropriee. Les instructions d’utilisation doivent inclure les caracteristiques, capacites et limites du systeme, y compris le niveau de precision et les metriques de performance.

L’article 14, relatif au controle humain, impose que les personnes chargees de la supervision du systeme soient en mesure de comprendre correctement les capacites et les limites pertinentes du systeme et de surveiller dument son fonctionnement. Cette exigence implique une explicabilite suffisante pour permettre aux operateurs humains d’evaluer de maniere critique les resultats du systeme et de decider de les suivre ou de s’en ecarter.

La documentation technique exigee par l’article 11 et l’annexe IV doit inclure une description de la logique generale du systeme, des specifications de conception, des choix algorithmiques et de leurs justifications. Cette documentation constitue un instrument d’explicabilite a destination des evaluateurs et des autorites de controle.

Le RGPD : le droit a l’explication

Le RGPD impose plusieurs obligations qui s’apparentent a un droit a l’explication, bien que le texte n’utilise pas explicitement cette expression. Les articles 13(2)(f) et 14(2)(g) imposent de fournir a la personne concernee des “informations utiles concernant la logique sous-jacente” lorsque le traitement repose sur une prise de decision automatisee, y compris un profilage, ainsi que l’importance et les consequences envisagees de ce traitement pour la personne.

L’article 15(1)(h) consacre le droit d’acces a ces memes informations dans le cadre du droit d’acces de la personne concernee. Le considerant 71 du RGPD precise que les garanties applicables aux decisions automatisees doivent inclure “le droit d’obtenir une explication de la decision prise a l’issue” du traitement.

La CNIL a interprete ces dispositions comme imposant une obligation de fournir une explication comprehensible de la logique algorithmique, adaptee au niveau de comprehension de la personne concernee. Cette explication doit porter non pas sur les details techniques de l’algorithme, mais sur les facteurs principaux ayant influence la decision et les consequences pratiques pour la personne.

Le droit administratif francais

En droit francais, l’article L311-3-1 du Code des relations entre le public et l’administration, consultable sur Legifrance, impose aux administrations d’expliciter les regles et les criteres principaux de tout algorithme utilise pour fonder une decision administrative individuelle. L’administration doit mentionner de maniere explicite l’existence du traitement algorithmique, les parametres de traitement et leur ponderation, et les operations effectuees par le traitement.

Les niveaux d’explicabilite

Explicabilite globale et explicabilite locale

L’explicabilite globale vise a fournir une comprehension d’ensemble du fonctionnement du modele : quels sont les facteurs qui, de maniere generale, influencent les predictions du systeme, comment ces facteurs interagissent et quelles sont les tendances generales du modele. L’explicabilite globale est utile pour l’audit algorithmique, la validation du modele et la communication aux autorites de controle.

L’explicabilite locale vise a expliquer une prediction ou une decision specifique : pourquoi le systeme a-t-il produit ce resultat precis pour cette personne, dans ce contexte particulier. L’explicabilite locale est indispensable pour repondre aux demandes individuelles des personnes concernees et pour permettre le controle humain au cas par cas.

Les obligations legales requierent les deux niveaux d’explicabilite. La documentation technique AI Act et l’AIPD necessitent une explicabilite globale. Le droit a l’explication du RGPD et le controle humain necessitent une explicabilite locale.

Le compromis entre performance et explicabilite

Il existe une tension bien connue entre la performance predictive d’un modele et son explicabilite. Les modeles les plus performants (reseaux de neurones profonds, ensembles de modeles, grands modeles de langage) sont generalement les moins explicables. Les modeles les plus explicables (regression logistique, arbres de decision, systemes a base de regles) offrent souvent des performances inferieures sur des taches complexes.

Ce compromis a des implications juridiques directes. Le AI Act n’exige pas que les systemes d’IA a haut risque soient intrinsequement explicables, mais il exige que leur fonctionnement soit “suffisamment transparent pour permettre aux deployeurs d’interpreter les resultats”. Cette formulation laisse une marge d’appreciation pour le choix des techniques d’explicabilite, en fonction du contexte et des risques.

Pour les systemes de decisions automatisees au sens de l’article 22 du RGPD, le niveau d’explicabilite requis est plus eleve, car la personne concernee doit pouvoir comprendre et contester la decision. Dans les domaines a fort impact comme le recrutement ou le credit, l’explicabilite constitue une exigence quasi absolue.

Les techniques d’explicabilite

Les modeles intrinsequement interpretables

Certains modeles d’IA sont intrinsequement interpretables, c’est-a-dire que leur mecanisme de decision est directement comprehensible. La regression logistique fournit un coefficient pour chaque variable, indiquant son poids dans la prediction. Les arbres de decision representent le processus de decision sous forme de regles si-alors directement lisibles. Les modeles lineaires generalises combinent les variables d’entree de maniere additive et transparente. Les systemes a base de regles appliquent des regles explicites formulees par des experts.

Lorsque la performance de ces modeles est suffisante pour le cas d’usage, leur utilisation est recommandee car ils satisfont nativement les exigences d’explicabilite. La conformite IA-RGPD est considerablement simplifiee avec des modeles intrinsequement interpretables.

Les techniques d’explication post-hoc

Pour les modeles complexes (boites noires), des techniques d’explication post-hoc permettent de generer des explications a posteriori.

SHAP (SHapley Additive exPlanations) : fondee sur la theorie des jeux cooperative, cette methode attribue a chaque variable d’entree une valeur de contribution (valeur de Shapley) pour chaque prediction individuelle. SHAP fournit des explications locales (contribution de chaque variable a une prediction specifique) et globales (importance moyenne de chaque variable).

LIME (Local Interpretable Model-agnostic Explanations) : cette methode genere une explication locale en creant un modele simple (lineaire) qui approxime le comportement du modele complexe dans le voisinage de l’instance a expliquer. LIME est modele-agnostique, c’est-a-dire applicable a tout type de modele.

Arbres de decision surrogate : un arbre de decision est entraine pour reproduire les predictions du modele complexe. L’arbre surrogate fournit une approximation interpretable du comportement global du modele.

Analyse de sensibilite et contre-factuels : ces methodes explorent comment le resultat du modele change lorsque les variables d’entree sont modifiees. Les explications contre-factuelles repondent a la question “que faudrait-il changer pour obtenir un resultat different ?”, une forme d’explication particulierement pertinente pour les personnes affectees par une decision algorithmique.

Cartes d’attention (attention maps) : pour les modeles fondes sur des mecanismes d’attention (transformers, grands modeles de langage), les cartes d’attention montrent quelles parties de l’entree le modele a “regardees” pour produire sa sortie. Toutefois, la fidelite des cartes d’attention comme explication du raisonnement reel du modele est debattue dans la litterature scientifique.

La mise en oeuvre pratique

L’integration de l’explicabilite dans le cycle de developpement

L’explicabilite ne doit pas etre traitee comme un ajout posterieur au developpement du systeme d’IA. Elle doit etre integree des la conception, conformement au principe de privacy by design du RGPD et a l’approche de gestion des risques du AI Act.

La phase de conception doit inclure la definition des exigences d’explicabilite en fonction du contexte d’utilisation et du niveau de risque, le choix du modele en tenant compte du compromis performance-explicabilite et la selection des techniques d’explication post-hoc si un modele complexe est retenu.

La phase de developpement doit inclure l’implementation et le test des mecanismes d’explication, la verification de la fidelite des explications (une explication est fidele si elle reflete reellement le mecanisme de decision du modele) et la validation de la comprehensibilite des explications par les utilisateurs cibles.

La phase de deploiement doit inclure l’integration des mecanismes d’explication dans les interfaces utilisateurs, la formation des operateurs humains a l’interpretation des explications et la mise en place de processus de reponse aux demandes d’explication des personnes concernees.

L’adaptation des explications au public

Les obligations legales requierent des niveaux d’explication differents selon le destinataire. Les autorites de controle et les organismes notifies necessitent une explication technique detaillee, documentee dans la documentation technique et les rapports d’audit. Les deployeurs et operateurs humains necessitent une explication operationnelle, integree dans les instructions d’utilisation et les interfaces du systeme. Les personnes affectees par les decisions du systeme necessitent une explication accessible et comprehensible, adaptee a un public non technique.

Le registre des systemes IA doit documenter les mecanismes d’explicabilite mis en oeuvre pour chaque systeme et leur adequation aux exigences legales.

Les limites de l’explicabilite

Il convient de reconnaitre les limites actuelles de l’explicabilite de l’IA. Certaines techniques d’explication post-hoc ne sont que des approximations du comportement reel du modele. La fidelite et la stabilite des explications ne sont pas toujours garanties. Pour les grands modeles de langage, l’explicabilite au niveau des neurones individuels reste un defi de recherche ouvert.

Ces limites ne dispensent pas de l’obligation de conformite. Le AI Act exige une transparence “suffisante”, ce qui suppose un effort de bonne foi pour atteindre le meilleur niveau d’explicabilite possible compte tenu de l’etat de l’art. Les sanctions ne visent pas l’impossibilite technique absolue, mais le manquement a l’obligation de moyens.

Les normes harmonisees en cours d’elaboration au niveau europeen, coordonnees par le Bureau europeen de l’IA, viendront preciser les exigences techniques en matiere d’explicabilite. Le texte du reglement est consultable sur EUR-Lex.

FAQ

L’explicabilite est-elle obligatoire pour tous les systemes d’IA ?

Le niveau d’obligation d’explicabilite varie selon le type de systeme et son contexte d’utilisation. Pour les systemes d’IA a haut risque au sens du AI Act, l’obligation de transparence et d’interpretation des resultats est explicite (articles 13 et 14). Pour les systemes prenant des decisions automatisees au sens de l’article 22 du RGPD, l’obligation de fournir des informations sur la logique sous-jacente est egalement explicite. Pour les systemes d’IA interagissant directement avec des personnes, l’article 50 du AI Act impose de signaler la nature artificielle de l’interaction. Pour les systemes a risque minimal, aucune obligation specifique d’explicabilite n’est imposee par le AI Act, mais les obligations generales du RGPD s’appliquent si des donnees personnelles sont traitees.

Les grands modeles de langage (LLM) peuvent-ils etre conformes aux exigences d’explicabilite ?

La question de l’explicabilite des LLM est un enjeu de recherche et de conformite en cours de maturation. Les LLM posent des defis specifiques en raison de leur taille, de la complexite de leurs mecanismes internes et de la nature generative de leurs resultats. Neanmoins, plusieurs approches permettent d’ameliorer l’explicabilite : la chain-of-thought prompting (inciter le modele a expliciter son raisonnement), l’analyse des cartes d’attention, les techniques de retrieval-augmented generation (RAG) qui permettent d’identifier les sources utilisees, et les mecanismes de citation et de referenciation. Pour les systemes a haut risque fondes sur des LLM, la documentation technique doit detailler les mesures d’explicabilite mises en oeuvre et leurs limites. Le controle humain est d’autant plus important lorsque l’explicabilite intrinseque du modele est limitee.

Comment repondre a une demande d’explication d’un particulier sur une decision algorithmique ?

La reponse a une demande d’explication doit etre adaptee au public et comprehensible par un non-technicien. Elle doit indiquer les categories de donnees prises en compte pour la decision, les facteurs principaux ayant influence le resultat (en utilisant des explications locales de type SHAP ou LIME), le sens de l’influence de chaque facteur (positif ou negatif) sans necessairement divulguer les poids exacts, les consequences pratiques de la decision et les voies de recours disponibles (droit a l’intervention humaine, droit de contester la decision). L’explication ne doit pas reveler les details techniques de l’algorithme ni les secrets commerciaux du fournisseur, mais elle doit etre suffisamment informative pour permettre a la personne de comprendre la decision et, le cas echeant, de la contester utilement.