Explicabilite de l'IA : obligations et techniques

L’explicabilité de l’intelligence artificielle désigné la capacité a rendre compréhensibles les mécanismes par lesquels un système d’IA produit ses résultats. Cette notion est devenue un enjeu juridique majeur avec l’adoption du règlement européen sur l’IA (AI Act), qui impose des obligations de transparence et d’interprétation des résultats pour les systèmes d’IA à haut risque, et l’application croissante du RGPD aux traitements algorithmiques.

L’explicabilité se situe à l’intersection du droit et de la technique. D’un cote, le droit impose un niveau de compréhension suffisant pour permettre le contrôle humain, la contestation des décisions et la vérification de la non-discrimination. De l’autre, les techniques d’apprentissage automatique, en particulier les modèles de deep learning et les grands modèles de langage, sont souvent qualifiés de “boîtes noires” en raison de la complexité de leurs mécanismes internes. Concilier ces deux exigences constitue l’un des défis centraux de la conformité IA.

Les obligations légales d’explicabilité

Le AI Act : transparence et interprétation des résultats

Le AI Act impose plusieurs obligations qui se rattachent à l’explicabilité des systèmes d’IA. L’article 13 exige que les systèmes d’IA à haut risque soient conçus et développés de manière à ce que leur fonctionnement soit suffisamment transparent pour permettre aux deployeurs d’interpréter les résultats et de les utiliser de manière appropriée. Les instructions d’utilisation doivent inclure les caractéristiques, capacités et limites du système, y compris le niveau de précision et les métriques de performance.

L’article 14, relatif au contrôle humain, impose que les personnes chargées de la supervision du système soient en mesure de comprendre correctement les capacités et les limites pertinentes du système et de surveiller dûment son fonctionnement. Cette exigence implique une explicabilité suffisante pour permettre aux opérateurs humains d’évaluer de manière critique les résultats du système et de décider de les suivre ou de s’en écarter.

La documentation technique exigée par l’article 11 et l’annexe IV doit inclure une description de la logique générale du système, des spécifications de conception, des choix algorithmiques et de leurs justifications. Cette documentation constitue un instrument d’explicabilité a destination des évaluateurs et des autorités de contrôle.

Le RGPD : le droit à l’explication

Le RGPD impose plusieurs obligations qui s’apparentent à un droit à l’explication, bien que le texte n’utilise pas explicitement cette expression. Les articles 13(2)(f) et 14(2)(g) imposent de fournir à la personne concernée des “informations utiles concernant la logique sous-jacente” lorsque le traitement repose sur une prise de décision automatisée, y compris un profilage, ainsi que l’importance et les conséquences envisagées de ce traitement pour la personne.

L’article 15(1)(h) consacré le droit d’accès à ces mêmes informations dans le cadre du droit d’accès de la personne concernée. Le considérant 71 du RGPD précise que les garanties applicables aux décisions automatisées doivent inclure “le droit d’obtenir une explication de la décision prise à l’issue” du traitement.

La CNIL a interprète ces dispositions comme imposant une obligation de fournir une explication compréhensible de la logique algorithmique, adaptée au niveau de compréhension de la personne concernée. Cette explication doit porter non pas sur les détails techniques de l’algorithme, mais sur les facteurs principaux ayant influencé la décision et les conséquences pratiques pour la personne.

Le droit administratif français

En droit français, l’article L311-3-1 du Code des relations entre le public et l’administration, consultable sur Legifrance, impose aux administrations d’expliciter les règles et les critères principaux de tout algorithme utilise pour fonder une décision administrative individuelle. L’administration doit mentionner de manière explicite l’existence du traitement algorithmique, les paramètres de traitement et leur pondération, et les opérations effectuées par le traitement.

Les niveaux d’explicabilité

Explicabilite globale et explicabilité locale

L’explicabilité globale vise à fournir une compréhension d’ensemble du fonctionnement du modèle : quels sont les facteurs qui, de manière générale, influencent les prédictions du système, comment ces facteurs interagissent et quelles sont les tendances générales du modèle. L’explicabilité globale est utile pour l’audit algorithmique, la validation du modèle et la communication aux autorités de contrôle.

L’explicabilité locale vise à expliquer une prédiction ou une décision spécifique : pourquoi le système a-t-il produit ce résultat précis pour cette personne, dans ce contexte particulier. L’explicabilité locale est indispensable pour répondre aux demandes individuelles des personnes concernées et pour permettre le contrôle humain au cas par cas.

Les obligations légales requièrent les deux niveaux d’explicabilité. La documentation technique AI Act et l’AIPD nécessitent une explicabilité globale. Le droit à l’explication du RGPD et le contrôle humain nécessitent une explicabilité locale.

Le compromis entre performance et explicabilité

Il existe une tension bien connue entre la performance prédictive d’un modèle et son explicabilité. Les modèles les plus performants (réseaux de neurones profonds, ensembles de modèles, grands modèles de langage) sont généralement les moins explicables. Les modèles les plus explicables (regression logistique, arbres de décision, systèmes a base de règles) offrent souvent des performances inferieures sur des tâches complexes.

Ce compromis à des implications juridiques directes. Le AI Act n’exigé pas que les systèmes d’IA à haut risque soient intrinsequement explicables, mais il exige que leur fonctionnement soit “suffisamment transparent pour permettre aux deployeurs d’interpréter les résultats”. Cette formulation laissé une marge d’appréciation pour le choix des techniques d’explicabilité, en fonction du contexte et des risques.

Pour les systèmes de décisions automatisées au sens de l’article 22 du RGPD, le niveau d’explicabilité requis est plus élevé, car la personne concernée doit pouvoir comprendre et contester la décision. Dans les domaines à fort impact comme le recrutement ou le crédit, l’explicabilité constitue une exigence quasi absolue.

Les techniques d’explicabilité

Les modèles intrinsequement interpretables

Certains modèles d’IA sont intrinsequement interpretables, c’est-à-dire que leur mécanisme de décision est directement compréhensible. La regression logistique fournit un coefficient pour chaque variable, indiquant son poids dans la prédiction. Les arbres de décision représentent le processus de décision sous forme de règles si-alors directement lisibles. Les modèles lineaires generalises combinent les variables d’entrée de manière additive et transparente. Les systèmes a base de règles appliquent des règles explicites formulées par des experts.

Lorsque la performance de ces modèles est suffisante pour le cas d’usage, leur utilisation est recommandée car ils satisfont nativement les exigences d’explicabilité. La conformité IA-RGPD est considérablement simplifiée avec des modèles intrinsequement interpretables.

Les techniques d’explication post-hoc

Pour les modèles complexes (boîtes noires), des techniques d’explication post-hoc permettent de générer des explications à posteriori.

SHAP (SHapley Additive exPlanations) : fondée sur la théorie des jeux cooperative, cette méthode attribué à chaque variable d’entrée une valeur de contribution (valeur de Shapley) pour chaque prédiction individuelle. SHAP fournit des explications locales (contribution de chaque variable à une prédiction spécifique) et globales (importance moyenne de chaque variable).

LIME (Local Interpretable Model-agnostic Explanations) : cette méthode génère une explication locale en créant un modèle simple (lineaire) qui approxime le comportement du modèle complexe dans le voisinage de l’instance a expliquer. LIME est modèle-agnostique, c’est-à-dire applicable à tout type de modèle.

Arbres de décision surrogate : un arbre de décision est entraîne pour reproduire les prédictions du modèle complexe. L’arbre surrogate fournit une approximation interpretable du comportement global du modèle.

Analyse de sensibilité et contre-factuels : ces méthodes explorent comment le résultat du modèle changé lorsque les variables d’entrée sont modifiées. Les explications contre-factuelles répondent à la question “que faudrait-il changer pour obtenir un résultat différent ?”, une forme d’explication particulièrement pertinente pour les personnes affectées par une décision algorithmique.

Cartes d’attention (attention maps) : pour les modèles fondés sur des mécanismes d’attention (transformers, grands modèles de langage), les cartes d’attention montrent quelles parties de l’entrée le modèle a “regardees” pour produire sa sortie. Toutefois, la fidélité des cartes d’attention comme explication du raisonnement réel du modèle est débattue dans la litterature scientifique.

La mise en oeuvre pratique

L’intégration de l’explicabilité dans le cycle de développement

L’explicabilité ne doit pas être traitée comme un ajout postérieur au développement du système d’IA. Elle doit être intégrée des la conception, conformément au principe de privacy by design du RGPD et à l’approche de gestion des risques du AI Act.

La phase de conception doit inclure la définition des exigences d’explicabilité en fonction du contexte d’utilisation et du niveau de risque, le choix du modèle en tenant compte du compromis performance-explicabilité et la sélection des techniques d’explication post-hoc si un modèle complexe est retenu.

La phase de développement doit inclure l’implémentation et le test des mécanismes d’explication, la vérification de la fidélité des explications (une explication est fidèle si elle reflète réellement le mécanisme de décision du modèle) et la validation de la comprehensibilite des explications par les utilisateurs ciblés.

La phase de déploiement doit inclure l’intégration des mécanismes d’explication dans les interfaces utilisateurs, la formation des opérateurs humains à l’interprétation des explications et la mise en place de processus de réponse aux demandes d’explication des personnes concernées.

L’adaptation des explications au public

Les obligations légales requièrent des niveaux d’explication différents selon le destinataire. Les autorités de contrôle et les organismes notifies nécessitent une explication technique détaillée, documentée dans la documentation technique et les rapports d’audit. Les deployeurs et opérateurs humains nécessitent une explication opérationnelle, intégrée dans les instructions d’utilisation et les interfaces du système. Les personnes affectées par les décisions du système nécessitent une explication accessible et compréhensible, adaptée à un public non technique.

Le registre des systèmes IA doit documenter les mécanismes d’explicabilité mis en oeuvre pour chaque système et leur adéquation aux exigences légales.

Les limites de l’explicabilité

Il convient de reconnaître les limites actuelles de l’explicabilité de l’IA. Certaines techniques d’explication post-hoc ne sont que des approximations du comportement réel du modèle. La fidélité et la stabilité des explications ne sont pas toujours garanties. Pour les grands modèles de langage, l’explicabilité au niveau des neurones individuels reste un défi de recherche ouvert.

Ces limités ne dispensent pas de l’obligation de conformité. Le AI Act exige une transparence “suffisante”, ce qui suppose un effort de bonne foi pour atteindre le meilleur niveau d’explicabilité possible compte tenu de l’état de l’art. Les sanctions ne visent pas l’impossibilité technique absolue, mais le manquement à l’obligation de moyens.

Les normes harmonisees en cours d’élaboration au niveau européen, coordonnées par le Bureau européen de l’IA, viendront préciser les exigences techniques en matière d’explicabilité. Le texte du règlement est consultable sur EUR-Lex.

FAQ

L’explicabilité est-elle obligatoire pour tous les systèmes d’IA ?

Le niveau d’obligation d’explicabilité varie selon le type de système et son contexte d’utilisation. Pour les systèmes d’IA à haut risque au sens du AI Act, l’obligation de transparence et d’interprétation des résultats est explicite (articles 13 et 14). Pour les systèmes prenant des décisions automatisées au sens de l’article 22 du RGPD, l’obligation de fournir des informations sur la logique sous-jacente est également explicite. Pour les systèmes d’IA interagissant directement avec des personnes, l’article 50 du AI Act impose de signaler la nature artificielle de l’interaction. Pour les systèmes à risque minimal, aucune obligation spécifique d’explicabilité n’est imposée par le AI Act, mais les obligations générales du RGPD s’appliquent si des données personnelles sont traitées.

Les grands modèles de langage (LLM) peuvent-ils être conformes aux exigences d’explicabilité ?

La question de l’explicabilité des LLM est un enjeu de recherche et de conformité en cours de maturation. Les LLM posent des défis spécifiques en raison de leur taille, de la complexité de leurs mécanismes internes et de la nature générative de leurs résultats. Néanmoins, plusieurs approches permettent d’améliorer l’explicabilité : la chain-of-thought prompting (inciter le modèle a expliciter son raisonnement), l’analyse des cartes d’attention, les techniques de retrieval-augmented génération (RAG) qui permettent d’identifier les sources utilisées, et les mécanismes de citation et de referenciation. Pour les systèmes à haut risque fondés sur des LLM, la documentation technique doit détailler les mesures d’explicabilité mises en oeuvre et leurs limites. Le contrôle humain est d’autant plus important lorsque l’explicabilité intrinseque du modèle est limitée.

Comment répondre à une demande d’explication d’un particulier sur une décision algorithmique ?

La réponse à une demande d’explication doit être adaptée au public et compréhensible par un non-technicien. Elle doit indiquer les catégories de données prises en compte pour la décision, les facteurs principaux ayant influencé le résultat (en utilisant des explications locales de type SHAP ou LIME), le sens de l’influencé de chaque facteur (positif ou negatif) sans nécessairement divulguer les poids exacts, les conséquences pratiques de la décision et les voies de recours disponibles (droit à l’intervention humaine, droit de contester la décision). L’explication ne doit pas révéler les détails techniques de l’algorithme ni les secrets commerciaux du fournisseur, mais elle doit être suffisamment informative pour permettre à la personne de comprendre la décision et, le cas échéant, de la contester utilement.