• 2. Faire face aux enjeux de l’IA : les potentialités du droit économique

« Maintenant que l’humanité se trouve à l’aube d’une ère où les robots, les algorithmes intelligents, les androïdes et les autres formes d’intelligence artificielle, de plus en plus sophistiqués, semblent être sur le point de déclencher une nouvelle révolution industrielle qui touchera très probablement toutes les couches de la société, il est d’une importance fondamentale pour le législateur d’examiner les conséquences et les effets juridiques et éthiques d’une telle révolution, sans pour autant étouffer l’innovation »^[1]. Cette prophétie n’est autre que celle formulée par le Parlement européen, en janvier 2017, et elle donne le ton de l’importance et de l’urgence de la question. Certains envisagent de bâtir de nouveaux droits fondamentaux, qualifiés de « méta-droits »^[2] : droit à l’oubli, droit à la désobéissance, droit à se rendre compte. Un auteur suggère de réécrire de nouvelles lois de la robotique, à l’âge du big data, mêlant droit public et droit privé et créant des obligations de « redevabilité algorithmique », inspirées des règles d’audit comptable et de la comptabilisation des externalités^[3]. D’autres proposent une déclaration des droits pour les utilisateurs de plateformes de médias sociaux^[4] ou encore l’instauration d’un mécanisme responsability-by-design pour introduire la responsabilité de manière native, au cœur de systèmes d’IA qui ne partagent pas l’expérience humaine de l’intention^[5]. Partageant ces propositions, nous souhaitons en ajouter d’autres, inspirées de la méthode et des acquis de la recherche en droit économique.

Dans cette perspective, il nous semble que le droit économique est une source d’inspiration féconde en ce qu’il permet, par une approche auto-poïétique^[6], de déconstruire et reconstruire le rapport entre les faits et le droit, pour proposer aux juristes une nouvelle grille d’analyse^[7]. Partant de l’origine des difficultés, à savoir les données, le big data doit être repensé pour garantir les droits et les libertés des personnes. Il s’agit donc, dans un premier temps, d’opérer le passage du big data au smart data, en formulant des propositions juridiques permettant sa mise en œuvre (A). Par ailleurs, le respect du droit doit rester une exigence permanente. L’IA génère, à raison, des risques et des craintes multiples : les identifier est une première étape, les dépasser en est une autre. Il s’agit ensuite de renouveler notre approche de l’IA : d’une approche par les risques, nous pouvons ainsi passer à une « approche par les droits » (B).

1. Du big data au smart data
2. Biais et données

Le traitement informatique et automatisé du big data soulève des risques de biais^[8] et de discriminations de toutes sortes^[9] (raciales, genrées, professionnelles, etc.). La qualité de la donnée est donc un sujet essentiel : celle-ci doit être juste, « inclusive » c’est-à-dire représentative de diverses tendances, et fiable dans la durée. En outre, la transparence algorithmique est un leurre car l’algorithme, dans le cadre des processus d’apprentissage supervisés, reste une boîte noire^[10]. La communauté de l’IA travaille depuis peu à des méthodes visant à détecter et à atténuer les biais dans les ensembles de données d’entraînement des systèmes d’apprentissage automatique supervisé. Parce que l’algorithme restera toujours structurellement opaque, il est inutile de le penser en termes de transparence^[11] ; il faut en revanche déplacer la réflexion en amont, sur les conditions de création des algorithmes, de manière à encoder des principes de bonne gouvernance (telles que l’égalité^[12], la possibilité de contester le choix de tel programme, et peut-être même l’aléa en redonnant toute sa place au hasard^[13]).

2. L’éthique et la sécurité natives (by design)

La communauté internationale et tout particulièrement l’Union européenne font la promotion d’une éthique intégrée ab initio dans les dispositifs technologiques et algorithmiques^[14]. L’Europe promeut ainsi un principe fondamental de « conception respectueuse de l’éthique » (ethic by design), dans le cadre de laquelle les principes éthiques et juridiques, sur la base du règlement général sur la protection des données, du respect du droit de la concurrence, de l’absence de biais dans les données, sont mis en application dès le début du processus de conception. Un autre principe fondamental résidera dans la « sécurité dès la conception », dans le cadre duquel la cybersécurité, la protection des victimes et la facilitation des activités répressives devraient être prises en considération dès le début du processus de conception. Penser le smart data implique donc de s’interroger sur les conditions ex ante qui assureront une « compliance by design », dès le stade de l’élaboration des bases de données.

3. De nouvelles références : l’explicabilité et l’interprétabilité

Nous suggérons de remplacer la référence à la transparence des dispositifs algorithmiques de l’IA par deux concepts issus des sciences informatiques : l’explicabilité et l’interprétabilité^[15]. Leurs promoteurs y voient de véritables principes fondamentaux car ils sont une porte d’entrée vers la vérifiabilité des résultats, la progression des connaissances, la conformité au droit et, enfin, la confiance^[16]. Certes, les notions d’interprétabilité et d’explicabilité laissent de nombreuses questions en suspens^[17] ; elles nous paraissent néanmoins plus pertinentes que l’invocation de la transparence. Des auteurs ont notamment montré leur intérêt en matière de credit scoring^[18].

4. Mettre en place un droit d’accès élargi

En nous libérant de la référence à la transparence algorithmique de l’IA, nous proposons d’envisager un principe plus englobant de droit d’accès élargi, applicable au code source et aux bases de données^[19]. Cela permettra de mettre en lumière les liens qu’entretient un algorithme avec d’autres systèmes – technologiques ou humains – qui peuvent être tout aussi opaques (par ex. de quel accord commercial secret dépend un algorithme ?). Les travaux de droit économique sur les abus en matière de dépendance économique^[20] nous incitent à réfléchir dans cette direction. Le véritable défi consiste donc à tracer les chaînes de décisions logiques qui construisent les algorithmes afin de déterminer quelles institutions et quelles personnes en sont substantiellement responsables, par un droit d’accès élargi^[21].

5. Repenser les droits de la donnée

Le traitement des données concernant des personnes physiques tombe dans le champ d’application du RGPD^[22] qui fixe les règles applicables à leur collecte, leur utilisation et leur partage. Si ce dispositif est perçu comme une avancée majeure pour garantir les droits de la personne, il est largement insuffisant pour répondre aux questions que pose l’IA en matière d’utilisation des données^[23]. Nous pensons que l’appréhension actuelle de la donnée, telle qu’elle ressort de l’encadrement juridique issu du RGPD ou de textes nationaux^[24], est source d’ambiguïtés dans la mesure où elle crée une corrélation entre la donnée et la personne. Il en résulte une approche subjective de la notion de donnée, tournée vers l’exercice des droits de la personne dont elle émane. L’effectivité de ces droits – tels que le consentement, le droit de communication, de rectification, d’oubli – nous paraît douteuse^[25]. Il nous semble que l’enjeu est tout autre et que les promesses de l’IA nous exhortent à repenser les droits de la donnée.

6. Les futurs droits de la donnée

La disponibilité des données est essentielle pour soutenir des applications d’IA puissantes. Pour ce faire, elles doivent répondre à des exigences nouvelles qui dépassent le cadre juridique actuel adossé à l’exercice des droits de la personne. La Commission européenne veut créer un espace européen commun des données afin de faciliter la circulation des flux de données transfrontières^[26], dans le respect de la vie privée et du RGPD. C’est le partage des données détenues par les secteurs public et privé qui est en jeu. Pour en accroître les effets, il conviendrait de maximiser l’interopérabilité des données d’un même espace, notamment en prévoyant comme objectif commun d’utiliser des formats de données qui soient ouverts, selon l’acronyme FAIR (faciles à trouver, accessibles, interopérables et réutilisables). Les formats devront être lisibles par une machine, normalisés et documentés, pour les interactions aussi bien entre les secteurs public et privé qu’au sein de chaque secteur et entre les secteurs. Il s’agit là de nouveaux droits de la donnée qui sont indispensables dans des secteurs comme la santé, l’environnement, la mobilité ou encore la sécurité et la finance^[27] mais dont la mise en œuvre suscitera des difficultés sérieuses liées à l’articulation d’intérêts divergents : ceux de la personne, tournés vers l’exclusivité et le secret et ceux des utilisateurs de données qui tendent au contraire au partage et à la circulation. C’est l’articulation classique entre intérêts privés et intérêt général, articulation bien connue en droit économique^[28].

1. D’une « approche par les risques » à une « approche par les droits »

Replacer le droit au centre des préoccupations de l’IA, tel est l’objectif d’une régulation fondée sur une « approche par les droits »^[29]. Cette approche met en évidence les risques que les systèmes d’IA font peser sur les droits fondamentaux, bien au-delà même des atteintes aux données personnelles^[30] ; une fois ces risques identifiés, c’est au système juridique de faire son aggiornamento, afin d’être en adéquation avec les enjeux de l’IA. La question est suffisamment sérieuse pour justifier la proposition de nouveaux droits et de nouvelles méthodes de régulation, permettant de garantir la « contestabilité » de l’algorithme. Cela peut prendre plusieurs formes, que nous développerons succinctement : mettre en place, sous la supervision d’une autorité publique indépendante, des plateformes nationales d’audit permettant de tester le code ; recourir aux outils statistiques qui peuvent permettre une évaluation contrefactuelle ; enfin, généraliser le mécanisme des études impact avant toute mise en circulation de procédé algorithmique.

1. Les stress-tests algorithmiques

En France, la CNIL envisage une régulation de l’IA assise sur deux « principes fondateurs » : la loyauté et la vigilance^[31]. Le premier vise à s’assurer que l’algorithme effectue bien ce qu’il est censé faire, mais aussi qu’il n’entre pas frontalement en opposition avec d’autres grands intérêts collectifs. Le second est censé répondre au fait que les outils de machine learning peuvent évoluer en permanence, en fonction des données qui les alimentent. Développer l’audit des algorithmes est une manière d’assurer le respect de ces deux principes fondateurs. Cela suppose néanmoins de développer la capacité de la puissance publique à effectuer des « stress-tests sur des algorithmes », par le biais d’une plateforme nationale d’audit. Ici, l’audit n’a pas pour objectif « d’ouvrir les codes sources » ; il prend la forme de contrôles ex post des résultats produits par les algorithmes, de tests aux moyens de profils fictifs, en mobilisant des techniques d’audit reposant sur la rétro-ingénierie. Il nous semble essentiel, pour les temps à venir, que les régulateurs et autorités de contrôle et de supervision se dotent d’outils et de compétences technologiques de pointe, de manière à réaliser ces audits algorithmiques, indépendamment de l’expertise que la CNIL pourrait fournir en soutien. L’Autorité des marchés financiers et l’Autorité de concurrence sont tout particulièrement concernées car elles appréhendent des secteurs qui sont très largement ouverts au traitement algorithmique.

La mise en œuvre de ces audits pourrait être assurée par un corps public d’experts des algorithmes qui les contrôlerait et les testerait. Une autre solution consisterait à homologuer des entreprises d’audit privées, sur la base d’un référentiel établi et contrôlé par la puissance publique^[32]. La CNIL encourage les entreprises et les administrations à se tourner vers des solutions de type « label », censées alimenter une dynamique vertueuse^[33]. D’une part, les labels garantiraient la non-discrimination et la loyauté des algorithmes et, d’autre part, ils favoriseraient la visibilité des meilleures pratiques, ce qui opérerait une sorte de régulation par le marché des acteurs privés. À cet égard, les travaux de droit économique sur la normativité privée, par le biais des labels et autres codes de bonne conduite, seront une excellente référence en la matière, notamment pour se garder des risques de « capture normative » et de conflits d’intérêts^[34].

2. L’évaluation contrefactuelle

Certains auteurs proposent une approche alternative pour mesurer les biais et l’équité dans l’apprentissage automatique : l’évaluation contrefactuelle^[35]. Cette méthode ressort du domaine des sciences : dans de nombreux contextes pratiques, il s’avère que l’alternative à un algorithme biaisé n’est pas un biais, mais une autre méthode de décision, telle qu’un autre algorithme ou même la discrétion humaine. Certaines techniques statistiques permettent d’effectuer des comparaisons contrefactuelles qui permettent aux chercheurs de quantifier les biais sans accéder à l’algorithme sous-jacent ou à ses données de formation. Il nous semble intéressant de mentionner cette approche qui, bien que scientifique dans son essence, pourrait être juridicisée dans sa mise en œuvre, au titre des pratiques constitutives d’une bonne gouvernance algorithmique.

3. Des études d’impact contre le risque algorithmique

Sur le modèle des études d’impact réalisées en matière environnementale^[36] ou de protection des données^[37], nous pourrions proposer une évaluation préventive des risques liés à la mise en circulation d’un algorithme. Cette obligation serait mise à la charge, notamment, des institutions publiques, de façon à leur inculquer la culture de l’évaluation et de la prévention. Il pourrait leur être demandé de procéder à une auto-évaluation des systèmes de décision automatisés existants et proposés, en évaluant les impacts potentiels sur l’équité, la justice, les préjugés ou toute autre préoccupation en lien avec l’intérêt général^[38].

[1] Rapport du Parlement du 27 janvier 2017 contenant des recommandations à la Commission concernant des règles de droit civil sur la robotique, (2015/2103(INL)).

[2] A. Rouvroy et T. Berns, « Le nouveau pouvoir statistique. Ou quand le contrôle s’exerce sur un réel normé, docile et sans événement car constitué de corps “numériques… », Multitudes, 2010, n° 40, p. 88. Les possibilités d’oublier et de se faire oublier, de désobéir, de se rendre compte des raisons de nos actions sont perçues aujourd’hui comme essentielles à la possibilité même du droit, c’est-à-dire à son effectivité face à la gouvernementalité algorithmique et aux nouvelles normativités qu’elle ouvre.

[3] J. Balkin, « The Three Laws of Robotics in the Age of Big Data », Ohio St. L.J., 2017, vol. 78, p. 1217.

[4] L. Andrews, I know who you are and I saw what you did: social networks and the death of privacy, Free Press, 2011, p. 189.

[5] F. Pasquale, « Toward a Fourth Law of Robotics: Preserving Attribution, Responsibility, and Explainability in an Algorithmic Society », Ohio St. L.J, 2017, vol. 78, p. 1243.

[6] G. Teubner, « Les multiples aliénations du droit : sur la plus-value sociale du douzième chameau », Droit et société 2001, n° 47, p. 75.

[7] L. Boy, Droit économique, L’Hermès, 2002.

[8] K. Crawford, « The hidden biases in big data », Harvard Business Review, avr. 2013 http://blogs.hbr .org/2013/04/the-hidden-biases-in-big-data.

[9] V. J. Charpenet et C. Lequesne, « Discrimination et biais genrés – Les lacunes juridiques de l’audit algorithmique », D. 2019, n° 33, chron., 1852. Les auteures recensent de nombreux cas de discrimination algorithmique ; au-delà des biais de genre, ils concernent diverses minorités dans le domaine de l’emploi (discrimination des personnes atteintes de troubles mentaux), de la justice (discrimination des personnes de couleurs) ou de la lutte contre la fraude par les administrations (visant distinctement les personnes en situation précaire).

[10] M. Teller, « Éthique et IA : un préambule pour un autre droit », Banque et Droit, hors-série, oct. 2019.

[11] Il existe une relation négative entre la performance d’un algorithme d’apprentissage automatique et son explicabilité. Les méthodes les plus performantes (par exemple, l’apprentissage profond) sont souvent les moins transparentes, et les méthodes les plus transparentes (les arbres de décision, par exemple) sont parfois moins précises. V. G. Bologna et Y. Hayashi, « Characterization of symbolic rules embedded in deep DIMLP networks: A challenge to transparency of deep learning », Journal of Artificial Intelligence and Soft Computing Research, 7(4), p. 265.

[12] J. Buolamwini, T. Gebru, « Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification », Conference on Fairness, Accountability, and Transparency, New York, NY, February 2018. Adde: J. Metcalf, K. Crawford, « Where are the Human Subjects in Big Data Research? The Emerging Ethics Divide », Big Data & Society, 2016.

http://bds.sagepub.com/content/3/1/2053951716650211.full.pdf+htm.

[13] V. A. Grinbaum, Les robots et le mal, éd. Desclée De Brouwer, 23 janv. 2019. Selon l’auteur, seul le recours au hasard, et ceci dès sa conception, peut libérer la machine de la responsabilité qu’on veut lui faire porter.

[14] V. Communication de la Commission, Un plan coordonné dans le domaine de l’intelligence artificielle, Bruxelles, le 7.12.2018 COM(2018) 795 final, annexe, p. 9 V. le projet « ETHICAA – Agents Autonomes et Éthique », de l’Agence nationale de la recherche (ANR). L’objectif du projet ETHICAA est de définir ce que devrait être un système composé d’un ou plusieurs agents et capable de gérer des conflits éthiques, aussi bien au niveau individuel qu’au niveau collectif » : http://www.agence-nationale- recherche.fr/?Projet=ANR-13-CORD-0006.

[15] W. Samek, T. Wiegand, K.-R. Müller, Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models, 2017, arXiv:1708.08296v1.

[16] V. P. Bertail, D. Bounie, S. Clemençon, P. Waelbroeck, « Algorithmes : biais, discrimination et équité », préc., p. 17.

[17] Par exemple, que signifie réellement expliquer et que faut-il interpréter ? Quel type « d’explicabilité » faut-il fournir et pour quels services ? L’explicabilité parfaite existe-t-elle ?

[18] D. Keats Citron et F. Pasquale, « The Scored Society: Due Process for Automated Predictions », Washington Law Review, 2014 : « Les experts en technologie de la FTC pourraient tester les systèmes de notation pour rechercher les biais, l’arbitraire et les erreurs de caractérisation injustes. Pour ce faire, ils auraient besoin non seulement d’afficher les jeux de données extraits par les systèmes de notation, mais également le code source et les notes du programmeur décrivant les variables, les corrélations et les inférences intégrées aux algorithmes des systèmes de notation ».

[19] V. : D. Bourcier et P. de FILIPPI, « Transparence des algorithmes face à l’Open Data : Quel statut pour les données d’apprentissage ? », Revue française d’administration publique, ENA, 2018, hal-02046703.

[20] F. Marty et P. Reis, « Une approche critique du contrôle de l’exercice des pouvoirs privés économiques par l’abus de dépendance économique », RIDE 2013/4, p. 579.

[21] V. M. Ananny et K. Crawford, « Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability », New Media & Society, 2016, 1.

[22] Règl. (UE) 2016/679 du PE et du Cons., 27 avr. 2016, relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données.

[23] Sur cette question, v. M. Teller, « Éthique et IA : un préambule pour un autre droit », Banque et Droit, hors-série, oct. 2019.

[24] V. par ex. la loi n° 78-17, 6 janv. 1978, relative à l’informatique, aux fichiers et aux libertés.

[25] V. Y. Poullet, La vie privée à l’heure de la société du numérique, op.cit., p. 127.

[26] V. communication de la Commission, Un plan coordonné dans le domaine de l’intelligence artificielle, Bruxelles, le 7 déc. 2018, COM(2018) 795 final.

[27] Nous renvoyons notamment aux applications d’IA en matière de reporting financier sous le langage XBRL. https://www.esma.europa.eu/sections/european-single-electronic-format.

[28] Le droit économique entre intérêts privés et intérêt général. Hommage à Laurence Boy, préc.

[29] C. Castets-Renard, « Le Livre blanc de la Commission européenne sur l’intelligence artificielle : vers la confiance ? », D. 2020, n° 15, p. 837.

[30] V. M. Kaminski et G. Malgieri, Algorithmic Impact Assessments under the GDPR: Producing Multi-layered Explanations (September 18, 2019). U of Colorado Law Legal Studies Research Paper, n° 19-28. Disponible sur SSRN : https://ssrn.com/abstract=3456224.

[31] Comment permettre à l’homme de garder la main ? rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle, CNIL, 15 déc. 2017, p. 58.

https://www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_garder_la_main_web.pdf#page=59.

[32] Nous pouvons mentionner la société « Online Risk Consulting & Algorithmic Auditing » dont l’objectif est d’aider les entreprises à identifier et à corriger les préjugés des algorithmes qu’elles utilisent. https://orcaarisk.com.

[33] Comment permettre à l’homme de garder la main ? rapport sur les enjeux éthiques des algorithmes et de l’intelligence artificielle, op. cit.

[34] L. Boy, « Normes techniques et normes juridiques », Cahiers du Conseil constitutionnel n° 21, dossier normativité, janv. 2007.

[35] B. Cowgill et C. Tucker, « Algorithmic Bias: A Counterfactual Perspective », Working Paper: NSF Trustworthy Algorithms, December 2017, Arlington, VA.

[36] S. Borderon, La négociation écologique en droit des études d’impact environnemental, thèse Nice, dir. P. Steichen, 2017.

[37] Cela concerne l’analyse d’impact relative à la protection des données (AIPD) : l’AIPD est un outil qui permet de construire un traitement conforme au RGPD et respectueux de la vie privée, lorsqu’un traitement de données personnelles est susceptible d’engendrer un risque élevé pour les droits et libertés des personnes concernées.

[38] V. D. Reisman, J. Schultz, K. Crawford, M. Whittaker, « Algorithmic impact assessments: a pratical framework for public agency accountability », I.A. Now Institute, April 2018.