Service RGPD · AIPD

AIPD d’un système d’IA : évaluer les risques avant de développer ou de déployer

Données d’entraînement, biais, décisions automatisées, attaques propres aux modèles : Datanaos mène l’analyse d’impact de vos systèmes d’intelligence artificielle et la prépare à servir de base à l’analyse d’impact sur les droits fondamentaux exigée par l’AI Act.

Quand l’AIPD d’un système d’IA est-elle obligatoire ?

L’article 35 du RGPD impose une analyse d’impact pour tout traitement susceptible d’engendrer un risque élevé, en particulier en cas d’évaluation systématique et approfondie d’aspects personnels fondée sur un traitement automatisé, y compris le profilage, servant de base à des décisions produisant des effets juridiques (article 35.3.a). Les lignes directrices du CEPD retiennent neuf critères : un traitement qui en remplit deux nécessite, dans la plupart des cas, une AIPD.

Pour le développement d’un système d’IA, la CNIL juge les plus pertinents, dans sa fiche pratique du 8 avril 2024, les données sensibles ou hautement personnelles, la collecte à grande échelle, les personnes vulnérables, le croisement de jeux de données et l’usage innovant. Ce dernier s’apprécie au regard de l’état de l’art : des techniques éprouvées comme la régression ou les forêts aléatoires, dans des cas aux risques connus, n’en relèvent pas systématiquement ; l’apprentissage profond et l’IA générative, au comportement moins bien maîtrisé, en relèvent davantage.

Trois situations ne laissent guère de doute. Lorsque le traitement figure sur la liste de la CNIL (profilage RH, score de crédit, lutte contre la fraude), l’AIPD est toujours requise, que le système repose ou non sur l’IA. Pour les systèmes à haut risque au sens de l’AI Act, la CNIL présume l’AIPD nécessaire dès que leur développement ou leur déploiement implique des données personnelles. Pour les modèles et systèmes à usage général, elle l’estime nécessaire dans la majorité des cas. Enfin, même avec moins de deux critères, une AIPD peut rester nécessaire si des risques importants existent : discrimination, mésusage, violation de données.

Développement ou déploiement : deux traitements à analyser

Entraîner un modèle et l’utiliser au quotidien sont deux traitements distincts, souvent sous la responsabilité d’organismes différents.

Phase de développementPhase de déploiement
DonnéesJeux d’entraînement, de validation et de test, souvent moissonnés ou réutilisés.Données d’entrée des utilisateurs, requêtes, sorties produites, journaux.
Qui mène l’AIPDLe fournisseur ou l’organisme qui développe le système.L’organisme qui utilise le système, appelé déployeur dans l’AI Act.
Risques dominantsMésusage du jeu d’entraînement, mémorisation de données, biais intégrés au modèle, perte de contrôle des personnes moissonnées.Décision automatisée, biais d’automatisation, erreurs sur des personnes réelles, fuite de données par les requêtes.
Documents utilesDocumentation des jeux de données, fiche du modèle, résultats des tests.Notice d’utilisation du fournisseur (article 13 de l’AI Act), contrat, paramétrage.

L’AI Act prévoit expressément que le déployeur d’un système à haut risque s’appuie sur les informations fournies par le fournisseur pour réaliser son AIPD (article 26.9). Un modèle pré-entraîné acquis auprès d’un tiers doit, lui aussi, entrer dans l’analyse.

Les risques propres à l’IA que l’AIPD doit traiter

Au-delà des risques classiques de sécurité, la CNIL demande d’examiner des risques spécifiques aux systèmes d’IA.

Mésusage des données d’entraînement

Réutilisation détournée ou violation d’une base d’apprentissage qui concentre souvent des volumes considérables de données.

Discrimination par biais

Un modèle moins performant pour certaines catégories de personnes produit des décisions inéquitables, parfois sans que personne ne s’en aperçoive.

Contenus erronés sur des personnes

Une IA générative peut produire des informations fausses sur une personne réelle, avec un effet sur sa réputation.

Décision automatisée

Biais d’automatisation ou de confirmation : faute d’explicabilité, l’humain valide la sortie du système sans l’examiner.

Attaques sur le modèle

Empoisonnement des données, porte dérobée, inversion du modèle, extraction de données d’entraînement à partir des réponses.

Moissonnage

Les personnes dont les données publiées en ligne ont été collectées par moissonnage (web scraping) perdent la maîtrise de leur usage.

Décisions automatisées et biais : ce que l’AIPD doit établir

L’article 22 du RGPD donne le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques ou affectant la personne de manière significative. En France, l’article 47 de la loi Informatique et Libertés limite les exceptions et impose de communiquer, sur demande, les règles du traitement et ses principales caractéristiques. La Cour de justice a jugé qu’un score peut constituer en lui-même une telle décision lorsque le tiers qui le reçoit en dépend de manière déterminante (arrêt SCHUFA, C-634/21, 7 décembre 2023). L’AIPD doit donc décrire le rôle réel de l’humain : qui examine la sortie, avec quelles informations, et à quelle fréquence il s’en écarte. Le détail des cas de scoring est traité dans notre page AIPD fraude et scoring.

Sur les biais, le règlement (UE) 2026/1744 a ajouté à l’AI Act un article 4 bis : fournisseurs et déployeurs peuvent, à titre exceptionnel, traiter des catégories particulières de données dans la mesure strictement nécessaire à la détection et à la correction des biais, si des données synthétiques ou anonymisées ne suffisent pas, avec pseudonymisation, accès strictement contrôlés, suppression une fois le biais corrigé et justification consignée au registre. L’AIPD est le bon endroit pour documenter ces conditions.

AIPD et analyse d’impact sur les droits fondamentaux (AI Act)

L’article 27 de l’AI Act impose une analyse d’impact sur les droits fondamentaux avant le déploiement d’un système à haut risque de l’annexe III (hors infrastructures critiques) à deux catégories de déployeurs : les organismes de droit public et les entités privées qui fournissent des services publics, d’une part ; les déployeurs de systèmes d’évaluation de la solvabilité ou de note de crédit, et d’évaluation des risques et de tarification en assurance vie et maladie, d’autre part. Elle décrit les processus, la durée et la fréquence d’utilisation, les personnes concernées, les risques de préjudice, le contrôle humain et les mesures prévues, puis ses résultats sont notifiés à l’autorité de surveillance du marché.

Ces obligations s’appliquent à partir du 2 décembre 2027 pour les systèmes de l’annexe III, date fixée par le règlement (UE) 2026/1744 du 8 juillet 2026 (au lieu du 2 août 2026). L’analyse d’impact sur les droits fondamentaux complète l’AIPD, et le déployeur peut y reprendre les sections pertinentes de son AIPD. Une AIPD bien construite dès aujourd’hui servira donc de socle. Pour classer vos systèmes, voir notre audit IA.

Notre méthode pour l’AIPD d’un système d’IA

Nos consultants sont à la fois spécialistes de la protection des données et des systèmes de données : ils vérifient dans les entrepôts et les chaînes de traitement ce qui entre réellement dans le modèle.

  1. Qualification

    Phase concernée, rôles (fournisseur, déployeur, sous-traitant), classement au regard de l’AI Act, critères de l’AIPD réunis.

  2. Cartographie des données

    Sources d’entraînement, moissonnage, réutilisations, données d’entrée et de sortie, requêtes, journaux, environnements de test.

  3. Nécessité et proportionnalité

    Finalité, minimisation (données synthétiques, pseudonymisation), durées, information des personnes, exercice des droits sur les données et sur le modèle.

  4. Analyse des risques IA

    Tests de biais, risques de mémorisation et d’extraction, attaques, explicabilité, place réelle de l’intervention humaine.

  5. Mesures

    Anonymisation des jeux de données et des requêtes, filtrage des sorties, tests d’attaque (red teaming), journalisation, gouvernance et comité de validation.

  6. Validation et révision

    Avis du DPO, décision du responsable, synthèse publiable si vous le souhaitez, révision à chaque réentraînement ou changement de modèle.

Ce que vous recevez

  • L’AIPD de la phase de développement, de la phase de déploiement, ou des deux.
  • Un registre des risques propres à l’IA, cotés en gravité et en vraisemblance.
  • La cartographie des jeux de données : sources, bases légales, durées, données sensibles.
  • Un plan de mesures techniques et organisationnelles, avec responsables et échéances.
  • Une table de correspondance entre l’AIPD et l’analyse d’impact sur les droits fondamentaux, si vous y êtes soumis.
  • Une synthèse pour la direction et, sur demande, une version publiable.

Combien coûte l’AIPD d’un système d’IA ?

Le coût dépend de la phase analysée, du nombre de sources de données d’entraînement, de la présence de données sensibles, de l’accès à la documentation du fournisseur, du degré d’automatisation des décisions et de l’éventuelle analyse d’impact sur les droits fondamentaux à préparer en parallèle.

Après un premier échange sur votre système et son usage, nous vous adressons une proposition détaillée, avec le nombre de jours et le calendrier.

Questions fréquentes sur l’AIPD des systèmes d’IA

Faut-il une AIPD pour un système d’intelligence artificielle ?

Pas systématiquement, mais très souvent. Elle est obligatoire si le système présente un risque élevé : au moins deux critères du CEPD, un traitement de la liste de la CNIL, ou un système à haut risque au sens de l’AI Act, pour lequel la CNIL présume l’AIPD nécessaire dès que des données personnelles sont traitées.

Faut-il une AIPD pour utiliser une IA générative en entreprise ?

Cela dépend des données et de l’usage. Un assistant de rédaction alimenté sans données personnelles n’en exige pas. Un usage qui traite des données de clients, de patients ou de salariés, ou qui sert à évaluer des personnes, réunit vite deux critères. Anonymiser les requêtes avant leur envoi réduit fortement le risque (voir notre anonymisation des prompts).

Qui doit réaliser l’AIPD : le fournisseur ou l’utilisateur du système ?

Chaque responsable de traitement pour sa propre phase. Le fournisseur analyse le développement ; l’organisme qui déploie le système analyse son usage, en s’appuyant sur les informations du fournisseur, comme le prévoit l’article 26.9 de l’AI Act pour les systèmes à haut risque.

L’AIPD remplace-t-elle l’analyse d’impact sur les droits fondamentaux de l’AI Act ?

Non. L’analyse d’impact sur les droits fondamentaux de l’article 27 complète l’AIPD et ne concerne que certains déployeurs de systèmes à haut risque. Le déployeur peut y reprendre les parties pertinentes de son AIPD. Pour les systèmes de l’annexe III, cette obligation s’applique à partir du 2 décembre 2027.

Faut-il refaire l’AIPD à chaque nouvelle version du modèle ?

L’AIPD doit être réexaminée lorsque le risque change (article 35.11 du RGPD) : nouvelles données d’entraînement, nouveau modèle, nouvelle finalité ou extension à d’autres personnes. Un réentraînement sur les mêmes données et pour le même usage appelle en général une simple mise à jour.

Peut-on utiliser des données sensibles pour corriger les biais d’un modèle ?

Oui, à titre exceptionnel, depuis l’ajout d’un article 4 bis à l’AI Act par le règlement (UE) 2026/1744 : uniquement si c’est strictement nécessaire, si des données synthétiques ou anonymisées ne suffisent pas, et avec des garanties strictes de sécurité, d’accès et de suppression. Ces conditions se documentent dans l’AIPD et le registre.

Parlons de l’AIPD de votre système d’IA

Décrivez le système, sa phase (développement ou déploiement) et les données utilisées : un expert vous recontacte pour cadrer l’analyse et vous adresser une proposition.