IA a haut risque : listé des systèmes et obligations

La catégorie des systèmes d’IA à haut risque constitue le coeur opérationnel du règlement européen sur l’intelligence artificielle (AI Act). C’est pour ces systèmes que le législateur européen a élaboré l’essentiel du dispositif de conformité : obligations techniques, organisationnelles et documentaires qui s’imposent tant aux fournisseurs qu’aux deployeurs. La qualification d’un système d’IA comme système à haut risque emporté des conséquences juridiques majeures et détermine le niveau d’exigence applicable en matière de gestion des risques, de qualité des données, de transparence et de contrôle humain.

L’identification précise des systèmes d’IA relevant de cette catégorie constitue donc la première étape de toute démarche de conformité au AI Act. Cette identification repose sur un mécanisme a double entrée prévu par l’article 6 du règlement : d’une part, les systèmes d’IA intégrés dans des produits soumis à une législation d’harmonisation de l’Union ; d’autre part, les systèmes d’IA autonomes utilisés dans des domaines spécifiquement énumérés à l’annexe III.

Le mécanisme de classification des systèmes à haut risque

Les systèmes d’IA intégrés dans des produits réglementés (article 6, paragraphe 1)

Le premier critère de classification concerne les systèmes d’IA qui constituent eux-mêmes un produit ou qui sont un composant de sécurité d’un produit couvert par la législation d’harmonisation de l’Union listée à l’annexe I du règlement. Cette liste couvre un large éventail de secteurs : machines, jouets, équipements marins, ascenseurs, équipements sous pression, dispositifs médicaux, véhicules, aviation civile, entre autres.

Pour qu’un système d’IA intègre dans ces produits soit qualifié de système à haut risque, deux conditions cumulatives doivent être réunies : le système d’IA doit être destiné a être utilise comme composant de sécurité du produit ou le système d’IA est lui-même un produit couvert par la législation d’harmonisation, et ce produit doit être soumis à une évaluation de conformité par un tiers en application de la législation d’harmonisation applicable.

Les systèmes d’IA autonomes dans les domaines à risque (article 6, paragraphe 2, et annexe III)

Le second critère de classification vise les systèmes d’IA utilisés dans des domaines spécifiquement énumérés à l’annexe III du règlement. Cette annexe identifie huit domaines considérés comme à haut risque en raison de l’impact potentiel des systèmes d’IA sur les droits fondamentaux, la santé ou la sécurité des personnes.

La liste complète des domaines à haut risque (annexe III)

1. Identification biométrique et categorisation des personnes physiques

Ce domaine couvre les systèmes d’identification biométrique à distance, à l’exception des systèmes destinés à la vérification biométrique dont la seule finalité est de confirmer qu’une personne est bien celle qu’elle prétend être. Pour les enjeux spécifiques aux caméras augmentées et à la vidéosurveillance algorithmique, consultez notre guide IA et vidéosurveillance : cadre RGPD et AI Act. Les systèmes de categorisation biométrique qui deduisent des attributs sensibles (race, opinions politiques, appartenance syndicale, convictions religieuses, orientation sexuelle) sont interdits au titre de l’article 5. Les systèmes de reconnaissance des emotions sur le lieu de travail et dans les établissements d’enseignement sont également interdits, sauf pour des raisons médicales ou de sécurité.

2. Gestion et exploitation des infrastructures critiques

Sont visés les systèmes d’IA utilisés comme composants de sécurité dans la gestion et l’exploitation d’infrastructures numériques critiques, du trafic routier, de l’approvisionnement en eau, gaz, chauffage et électricité. L’impact potentiel d’une défaillance de ces systèmes sur la sécurité publique justifié leur classification à haut risque.

3. Éducation et formation professionnelle

Les systèmes d’IA utilisés pour déterminer l’accès à des établissements d’enseignement ou de formation professionnelle, pour évaluer les résultats d’apprentissage, pour déterminer le niveau d’éducation appropriate pour une personne ou pour surveiller et détecter des comportements interdits lors d’examens relèvent de la catégorie haut risque. Ces systèmes influencent de manière significative les parcours éducatifs et professionnels des personnes.

4. Emploi, gestion de la main-d’oeuvre et accès à l’emploi indépendant

Ce domaine, particulièrement critique, couvre les systèmes d’IA utilisés pour le recrutement et la sélection de candidats (publication d’offres, tri de candidatures, évaluation des candidats, conduite d’entretiens), pour la prise de décisions relatives à la promotion, à la cessation de la relation de travail, à l’attribution de tâches sur la base de traits de personnalité ou de comportements individuels, ainsi que pour le suivi et l’évaluation de la performance et du comportement des salariés.

5. Accès aux services essentiels et prestations sociales

Sont visés les systèmes d’IA destinés à évaluer l’eligibilite à des prestations et services d’aidé publique, a octroyer, réduire, révoquer ou récupérer ces prestations, ainsi que les systèmes utilisés pour évaluer la solvabilite des personnes physiques (hors détection de fraude financière). Les systèmes d’IA utilisés pour l’évaluation et la classification des appels d’urgence, ainsi que pour l’évaluation des risques et la tarification en assurance-vie et assurance-santé sont également concernés.

6. Répression

Les systèmes d’IA utilisés par les autorités repressives pour évaluer le risque qu’une personne devienne victime ou auteur d’une infraction, comme polygraphe ou outil d’évaluation de la fiabilité de preuves, pour évaluer le risque de récidive, pour le profilage dans le cadre d’enquêtes, et pour l’analyse criminelle visant à identifier des schémas sont classes à haut risque.

7. Migration, asile et contrôle aux frontières

Ce domaine couvre les systèmes d’IA utilisés comme polygraphes ou pour évaluer des risques liés à la sécurité, à l’immigration irreguliere ou à la santé, pour l’examen de demandes d’asile, de visas ou de titres de séjour, ainsi que pour l’identification de personnes dans le cadre de la migration.

8. Administration de la justice et processus democratiques

Les systèmes d’IA destinés à assister une autorité judiciaire dans la recherche et l’interprétation des faits et du droit et dans l’application de la loi à un ensemble de faits concrets, ainsi que les systèmes susceptibles d’influencer le résultat d’élections ou de referendums, sont classes à haut risque.

Le mécanisme d’exclusion : la clause de non-pertinence

L’article 6, paragraphe 3, du AI Act introduit un mécanisme important : même si un système d’IA relève d’un des domaines de l’annexe III, il n’est pas considéré comme à haut risque s’il ne presente pas de risque significatif de préjudice pour la santé, la sécurité ou les droits fondamentaux des personnes. C’est le cas notamment des systèmes destinés à effectuer une tâche procedurale étroite, à améliorer le résultat d’une activité humaine préalablement réalisée, a détecter des schémas decisionnels sans remplacer l’évaluation humaine ou a effectuer une tâche préparatoire à une évaluation pertinente pour les cas d’utilisation énumérés.

Le fournisseur qui estimé que son système relève de cette exception doit documenter son évaluation avant la mise sur le marché et la transmettre aux autorités nationales compétentes sur demande. Les autorités de surveillance du marché peuvent contester cette évaluation.

Les obligations des fournisseurs de systèmes à haut risque

Le système de gestion des risques (article 9)

Les fournisseurs doivent établir, mettre en oeuvre, documenter et maintenir un système de gestion des risques continu tout au long du cycle de vie du système. Ce système doit identifier et analyser les risques connus et raisonnablement previsibles, estimer et évaluer ces risques, adopter des mesures de gestion appropriées et tester le système pour s’assurer de l’adéquation des mesures.

La qualité des données (article 10)

Les jeux de données d’entraînement, de validation et de test doivent répondre à des critères de qualité stricts : pertinence, representativite, absence d’erreurs dans la mesure du possible, exhaustivité au regard de la finalité prévue. Les fournisseurs doivent prendre en compte les spécificités du contexte d’utilisation et, le cas échéant, traiter des données relatives à des caractéristiques protégées pour détecter et corriger les biais.

La documentation technique (article 11)

La documentation technique doit être établie avant la mise sur le marché et tenue à jour. Elle doit permettre aux autorités nationales compétentes et aux organismes notifies d’évaluer la conformité du système. Le contenu minimal de cette documentation est défini à l’annexe IV du règlement.

L’enregistrement automatique des évènements (article 12)

Les systèmes d’IA à haut risque doivent être conçus de manière a enregistrer automatiquement les évènements pertinents (journaux de bord) pendant la période de fonctionnement. Ces journaux doivent permettre la traçabilité du fonctionnement du système et faciliter la surveillance posterieure à la mise sur le marché.

Les obligations de transparence (article 13)

Les systèmes doivent être conçus de manière à ce que leur fonctionnement soit suffisamment transparent pour permettre aux deployeurs d’interpréter les résultats et de les utiliser de manière appropriée. Les instructions d’utilisation doivent inclure les caractéristiques, capacités et limites du système, les mesures de contrôle humain et les spécifications techniques.

Le contrôle humain (article 14)

Le système doit être conçu pour permettre une supervision humaine effective. Les personnes en charge du contrôle doivent être en mesure de comprendre les capacités et limites du système, de surveiller son fonctionnement, de détecter les anomalies et de décider de ne pas utiliser le système ou d’ignorer ses résultats dans des situations spécifiques.

La précision, la robustesse et la cybersécurité (article 15)

Le système doit atteindre un niveau de précision, de robustesse et de cybersécurité appropriate, déclaré dans la documentation technique et les instructions d’utilisation. Il doit être resilient face aux erreurs, aux défaillances, aux tentatives de manipulation et aux attaques.

Les obligations des deployeurs

Les deployeurs de systèmes d’IA à haut risque, c’est-à-dire les organismes qui utilisent ces systèmes sous leur autorité, ont également des obligations spécifiques. Ils doivent utiliser le système conformément aux instructions d’utilisation, s’assurer que les personnes en charge du contrôle humain disposent des compétences et de l’autorité nécessaires, s’assurer que les données d’entrée sont pertinentes et suffisamment représentatives, surveiller le fonctionnement du système et signaler tout incident ou dysfonctionnement au fournisseur.

Les deployeurs doivent également réaliser une analyse d’impact sur les droits fondamentaux avant de mettre en service un système d’IA à haut risque. Cette obligation s’ajoute à l’obligation d’AIPD prévue par le RGPD lorsque le système traité des données personnelles.

Le registre des systèmes d’IA constitue une autre obligation pour les deployeurs, qui doivent enregistrer leur utilisation de systèmes d’IA à haut risque dans la base de données de l’UE.

L’évaluation de conformité

Avant la mise sur le marché, les systèmes d’IA à haut risque doivent faire l’objet d’une évaluation de conformité. Pour la plupart des systèmes relevant de l’annexe III, cette évaluation est réalisée par le fournisseur lui-même (auto-évaluation) selon les procédures définies à l’annexe VI. Toutefois, pour les systèmes d’identification biométrique à distance, l’évaluation doit être réalisée par un organisme notifie.

Pour les systèmes intégrés dans des produits réglementés, la procédure d’évaluation de conformité est celle prévue par la législation d’harmonisation applicable, adaptée pour intégrer les exigences du AI Act.

Le fournisseur qui estimé que son système est conforme appose le marquage CE et établit une déclaration UE de conformité. Il doit conserver la documentation technique et les résultats de l’évaluation de conformité pendant une durée de dix ans après la mise sur le marché.

Les sanctions en cas de non-conformité peuvent atteindre 15 millions d’euros ou 3 % du chiffre d’affaires annuel mondial pour les violations des obligations applicables aux systèmes à haut risque, un montant dissuasif qui souligne l’importance d’une classification rigoureuse et d’une conformité complète.

La base de données EUR-Lex fournit le texte intégral du règlement, incluant les annexes I, II et III qui sont essentielles à la classification des systèmes.

FAQ

Comment déterminer si mon système d’IA est à haut risque ?

La détermination du caractère à haut risque d’un système d’IA repose sur un examen en deux étapes. Premièrement, vérifiez si le système est intègre dans un produit couvert par la législation d’harmonisation listée à l’annexe I du AI Act et soumis à une évaluation de conformité par un tiers. Deuxièmement, vérifiez si le système relève d’un des huit domaines énumérés à l’annexe III. Si le système relève de l’annexe III, évaluez si la clause de non-pertinence de l’article 6(3) peut s’appliquer. Dans tous les cas, documentez votre analyse de classification et conservez-la dans votre documentation technique. En cas de doute, l’approche la plus prudente consiste à traiter le système comme un système à haut risque.

Quelles sont les conséquences d’une mauvaise classification de mon système d’IA ?

Une sous-classification, c’est-à-dire le fait de traiter un système à haut risque comme un système de moindre risque, exposé l’entreprise à des sanctions financières pouvant atteindre 15 millions d’euros ou 3 % du chiffre d’affaires mondial, à des mesures correctives imposées par les autorités de surveillance du marché (retrait, rappel, interdiction de mise sur le marché) et à des actions en responsabilité civile de la part des personnes affectées. La fourniture d’informations inexactes ou incomplètes aux autorités est elle-même sanctionnée par des amendes pouvant atteindre 7,5 millions d’euros ou 1 % du chiffre d’affaires mondial.

Les PME bénéficient-elles d’amenagements pour les systèmes à haut risque ?

Le AI Act prévoit certains amenagements pour les PME et les startups. Les obligations de documentation technique peuvent être alleger dans leur forme (mais non dans leur substance) pour les petites entreprises. Les organismes notifies doivent tenir compte de la taille de l’entreprise dans la détermination des frais d’évaluation de conformité. Le règlement prévoit également la mise en place de bacs a sable réglementaires (regulatory sandboxes) par les autorités nationales, offrant un cadre d’expérimentation encadré permettant aux petites entreprises de tester leurs systèmes d’IA à haut risque dans un environnement supervise avant leur mise sur le marché.