Les outils d’intelligence artificielle contre les droits de l’homme : l’affaire NJCM c.s./De Staat der Nederlanden

Par Gregory Lewkowicz, Professeur à l’Université libre de Bruxelles, directeur du programme droit global du Centre Perelman

Le 5 février 2020, le tribunal de district de La Haye a donné un coup d’arrêt à l’utilisation par les pouvoirs publics hollandais du Systeem Risico Indicatie (SyRI), un outil d’intelligence artificielle visant à détecter la fraude sociale et fiscale. Il estime que la législation permettant le déploiement de cet outil est contraire à l’article 8 de le Convention européenne de sauvegarde des droits de l’homme consacrant le droit à la vie privée et familiale[1].

La portée de cette décision dépasse largement les frontières des Pays-Bas. Elle intervient en effet dans le contexte d’un contentieux stratégique à l’échelle globale dont l’enjeu consiste à fixer les limites de la surveillance exercée par les pouvoirs publics sur les individus grâce aux techniques de l’intelligence artificielle appliquées à de grandes masses de données. Plusieurs caractéristiques de l’affaire illustre ce contexte particulier.

Premièrement, celle-ci était portée principalement par la section hollandaise de la Commission Internationale des Juristes dans le cadre de son projet PILP (The Public Interest Litigation Project) visant à utiliser l’arme contentieuse pour faire avancer la cause des droits de l’homme[2]. Parmi les requérants, on comptait également plusieurs associations de la société civile impliquées dans la défense des droits de l’homme et du droit à la vie privée, à savoir, la fondation Platform Bescherming Burgerrechten et la fondation Privacy First, ainsi que des associations représentatives du secteur de l’aide sociale : la fondation Koepel van DBC-vrije Praktijken van Psychotherapeuten en Psychiaters, représentant le secteur de la santé mentale, et la Landelijke Cliëntenraad, représentant les bénéficiaires de l’aide sociale. La Confédération Syndicale des Pays-Bas s’était également jointe, ainsi que deux citoyens concernés, aux requérants contre l’État des Pays-Bas.

Deuxièmement, fait suffisamment rare pour être souligné, le Rapporteur spécial des Nations Unies sur l’extrême pauvreté et les droits de l’homme, le professeur Philip Alston, avait pris l’initiative de communiquer aux juges de La Haye en septembre 2019 une tierce intervention. Celle-ci prenait la forme d’un rapport critique et circonstancié de 12 pages sur le système SyRI[3] s’inscrivant dans la droite ligne du rapport que le Rapporteur spécial allait communiquer le 11 octobre 2019 à l’Assemblée Générale des Nations Unies et que nous avons déjà eu l’occasion d’aborder dans un billet précédent[4].

Il faut dire que le système mis en place sous le nom Systeem Risico Indicatie par l’État des Pays-Bas présentait toutes les caractéristiques du type de surveillance qu’entendent dénoncer les défenseurs des droits de l’homme et des valeurs de l’état de droit. Une simple description du système et de ses modalités de mise en œuvre fait immédiatement percevoir pourquoi celui-ci a été pris pour cible par les requérants.

I. Le Systeem Risico Indicatie : un outil d’intelligence artificielle pour identifier la fraude

SyRI est le nom générique de plusieurs projets développés depuis 2006 par le service « Sociale Inlichtingen- en Opsporingsdienst » (SIOD) du Ministère des affaires sociales et du travail des Pays-Bas. Son objectif consiste à identifier et à mesurer les risques de fraude dans les domaines de l’aide sociale, du droit du travail et du droit fiscal par l’application de techniques de data mining à des données personnelles issues de plusieurs bases de données publiques. Le système a d’abord été utilisé sans aucune base légale. Suite à plusieurs interventions de l’autorité de protection des données des Pays-Bas, le législateur a finalement donné à SyRI une base juridique en 2014 dans les articles 64 et 65 de la loi structuur uitvoeringsorganisatie werk en inkomen (SUWI) et le chapitre 5, litera a, de son décret d’exécution. La loi prévoit que certaines autorités publiques peuvent conclure des partenariats avec le Ministère des affaires sociales et du travail afin d’échanger des données et de les analyser grâce à SyRI. La loi identifie 17 grandes catégories de données qui peuvent faire l’objet d’un traitement depuis les données fiscales, les données de l’administration des pensions ainsi que celles relatives aux aides sociales perçues en passant par les données relatives aux éventuelles sanctions administratives ou aux dettes contractées par une personne physique ou morale.

Sur la base d’indicateurs et de modèles de risque, le système analyse les données, préalablement pseudonymisées, grâce à des techniques de data mining. Il établit ainsi pour chaque individu un indicateur de risque de fraude. Lorsqu’un risque significatif est identifié, SyRI génère un rapport indiquant qu’une personne physique ou morale devrait faire l’objet d’une enquête approfondie. Ce rapport est communiqué aux autorités publiques concernées après examen et validation par une équipe d’inspection. Il peut également être communiqué sous certaines conditions au parquet ou à la police. Pour des raisons d’efficacité, le gouvernement maintient secret la nature des traitements opérés sur les données, la liste des données exactes traitées lors de chaque déploiement de SyRI de même que les modèles de risque et les indicateurs utilisés par le système. En pratique, SyRI est généralement déployé à l’échelle d’un voisinage ou d’un ensemble géographique déterminé. Depuis 2015, SyRI a notamment été déployé pour les projets suivants : GALOP II, Adresfraude Afrikaanderwijk te Rotterdam, WGA Kwetsbare buurten Capelle aan den Ijssel, WGA Rotterdam Bloemhof & Hillesluis et WGA Haarlem Schalkwijk.

II. Un système qui ne passe pas le contrôle de proportionnalité

En l’espèce, les requérants demandaient au Tribunal de district de mettre un terme à l’utilisation de SyRI en raison de sa violation du droit à la vie privée et familiale consacré par le droit international des droits de l’homme, en particulier, par l’article 8 de la Convention de sauvegarde des droits de l’homme, par les articles 7 et 8 de la Charte des droits fondamentaux de l’Union Européenne et par l’article 17 du Pacte des Nations Unies sur les droits civils et politiques. Les requérants invoquaient également les dispositions du droit de la protection des données personnelles mettant en œuvre le droit à la vie privée et familiale, en particulier, les articles 5, 6, 13, 14, 22 et/ou 28 du Règlement Général sur la Protection des Données (RGPD). Les requérants soulevaient également la contravention de SyRI avec le droit à un recours effectif et le droit à un procès équitable tels que garantis par les articles 6 et 13 de la Convention, l’article 47 de la Charte et l’article 14 du Pacte.

Le Tribunal de district de La Haye examine essentiellement la compatibilité du déploiement de SyRI sous l’angle de l’article 8 §2 de la Convention. Il observe tout d’abord que l’ingérence dans la vie privée résultant de l’utilisation de SyRI est prévue par la loi et poursuit un but légitime, à savoir, la lutte contre la fraude sociale et fiscale. Il estime également que le gouvernement peut légitiment exploiter les nouvelles possibilités d’analyse des données, en ce compris les techniques recourant à des algorithmes, dans le cadre de sa politique de lutte contre la fraude.

Le Tribunal estime toutefois que, s’agissant de nouvelles technologies, il convient d’accorder une attention particulière à la protection des données personnelles qui contribue à la confiance accordée par les citoyens aux pouvoirs publics. L’État doit s’assurer de trouver le juste équilibre entre les bénéfices de l’usage de la technologie dans l’identification de la fraude et l’ingérence dans la vie privée que cette technologie suppose. En l’espèce, le Tribunal estime que cet équilibre n’a pas été trouvé :

« (…) De wetgeving moet uit het oogpunt van bescherming van het recht op respect voor het privéleven, waaronder het recht op bescherming van persoonsgegevens valt, een voldoende effectief kader bieden waarmee alle in het geding zijnde belangen inzichtelijk en controleerbaar tegen elkaar kunnen worden afgewogen. Eenieder moet op grond van de wetgeving de redelijke verwachting kunnen hebben dat in het geval van de inzet van SyRI zijn privéleven voldoende wordt gerespecteerd. Hieraan voldoet de SyRI-wetgeving naar het oordeel van de rechtbank niet. »[5]

L’ingérence de SyRI dans la vie privée n’est par proportionnée à l’objectif poursuivi estime le Tribunal, spécialement, s’il est tenu compte lors du contrôle de proportionnalité des principes fondamentaux sur lesquels reposent la protection des données personnelles dans le droit de l’Union Européenne, à savoir, les principes de transparence, de finalité et de minimisation des données.

L’émission par le système d’un rapport de risque sur un individu a un effet significatif sur sa vie privée. Or, souligne le Tribunal, SyRI exploite de très nombreuses données personnelles et, compte tenu du principe de transparence, l’absence de publicité sur la nature exacte du traitement de ces données ou, alternativement, de garanties qui viendraient compenser cette absence de publicité, ne permet pas d’estimer que l’ingérence dans la vie privée résultant de l’usage de SyRI serait toujours proportionnée à l’objectif poursuivi.

Le Tribunal estime également que SyRI ne respecte pas le principe de finalité et de minimisation des données lorsque ces deux principes sont appliqués à chaque déploiement de SyRI. Si la législation prévoit bien 17 catégories de données qui peuvent faire l’objet d’un traitement par SyRI, chaque déploiement du système SyRI conduit à traiter des données différentes selon les choix opérés par les autorités publiques partenaires. Pour le Tribunal, le gouvernement n’apporte aucun argument tangible pour justifier l’absence d’une analyse d’impact relative à la protection des données conduite par un tiers indépendant lors de chaque projet de déploiement de SyRI. Compte tenu de l’ampleur de l’ingérence du système SyRI dans la vie privée, le Tribunal estime par conséquent que la législation constituant le fondement légal de l’utilisation de SyRI ne prévoit pas de garanties suffisantes pour considérer que le prescrit de l’article 8 §2 de la Convention a été rencontré : « de SyRI-wetgeving dan ook onvoldoende waarborgen voor de conclusie dat, gelet op de beginselen van doelbinding en dataminimalisatie, voldaan is aan artikel 8 lid 2 EVRM »[6].

Par conséquent, le Tribunal décide que l’article 65 de la loi structuur uitvoeringsorganisatie werk en inkomen (SUWI) et le chapitre 5, litera a, de son décret d’exécution, ne sont pas opposables aux requérants et à ceux qu’ils représentent. Pour le surplus, le Tribunal estime ne pas être en mesure d’examiner une série de griefs plus précis soulevés par les requérants et déboute les requérants de plusieurs de leurs demandes. Le Tribunal condamne par ailleurs l’État des Pays-Bas aux dépends.

III. L’affaire SyRI : une étape plutôt qu’un aboutissement  

La décision rendue dans l’affaire NJCM et consorts contre l’État des Pays-Bas constitue un précédent important non pas seulement pour les Pays-Bas, mais plus largement à l’échelle européenne et globale. La presse internationale ne s’y est d’ailleurs par trompée en se faisant largement l’écho de cette décision[7]. L’importance de la décision tient toutefois, nous semble-t-il,  plus à la nature du système dévoilé et mis en cause par les requérants – un outil d’intelligence artificielle dont le fonctionnement est gardé essentiellement secret – qu’à une véritable avancée sur le plan du droit.

La décision constitue aussi une étape plutôt qu’un aboutissement. Le recours par les pouvoirs publics à l’intelligence artificielle et à des traitements automatisés de données pour lutter contre la fraude ou automatiser certaines décisions est un mouvement mondial qui s’observe dans un nombre croissant de domaines du droit. Nous avons eu l’occasion de l’analyser et de le commenter dans plusieurs contributions relatives à l’émergence d’un droit SMART (i.e. Scientifique, Mathématique, Algorithmique guidé par le Risque et les Technologies)[8].

Beaucoup considèrent que la solution à l’encadrement juridique de ces pratiques, dont il est illusoire de penser qu’elles vont disparaître, passerait par la construction d’une sorte de droit général des données dont les piliers seraient, d’une part, le droit des données personnelles et, d’autre part, le droit de la propriété intellectuelle.

Il nous semble que cette solution ne suffira pas, à elle-seule, à définir l’ensemble des balises nécessaires pour garantir le respect des droits fondamentaux et des principes de l’état de droit dans la transformation numérique de l’Etat. Nous ne pourrons pas faire l’économie de la création de nouvelles institutions visant à associer les citoyens au développement des outils technologiques qui les gouvernent. Nous ne pourrons pas faire l’économie non plus de l’élaboration de nouvelles formes de recours collectifs permettant de contester les algorithmes utilisés par les pouvoirs publics et non pas simplement les décisions administratives individuelles qui en procèdent. Nous ne pourrons pas faire l’économie, enfin, d’une réglementation des usages licites des systèmes automatisés et d’un encadrement normatif des modèles et méthodes d’apprentissage qu’ils mettent en œuvre.

De ce point de vue, la décision rendue à La Haye le 5 février 2020 n’apporte aucune avancée significative. Elle a certes le mérite d’inscrire fermement son analyse dans le droit européen et international des droits de l’homme qu’elle interprète ingénieusement à la lumière des principes fondamentaux du RGPD. Elle ne répond toutefois pas aux arguments, pourtant soulevés par les requérants, concernant la compatibilité de SyRI avec le droit à un recours effectif ou avec le droit à un procès équitable. Le Tribunal expose par ailleurs clairement que sa décision ne saurait être interprétée comme créant une obligation pour l’État de publier les modèles et les algorithmes qu’il utilise[9].

Cette décision constitue donc seulement une étape dans l’encadrement de l’usage de l’intelligence artificielle par les pouvoirs publics. Elle illustre toutefois bien comment les professionnels du droit, et spécialement les avocats, peuvent contribuer à construire dès aujourd’hui les garanties des droits fondamentaux et des principes de l’état de droit de demain. Nous ne doutons pas que les prochains mois et les prochaines années viendront encore beaucoup enrichir le recueil, à constituer, des grands arrêts du droit SMART.

Il n’y a aucune raison que le monde juridique belge n’y prenne pas une part active comme il l’a d’ailleurs déjà fait à l’occasion du recours en annulation partielle introduit par la Ligue des Droits de l’Homme de la loi du 13 mai 2016 « modifiant la loi- programme (I) du 29 mars 2012 concernant le contrôle de l’abus d’adresses fictives par les bénéficiaires de prestations sociales, en vue d’introduire la transmission systématique de certaines données de consommation de sociétés de distribution et de gestionnaire de réseaux de distribution vers la BCSS améliorant le datamining et le datamatching dans la lutte contre la fraude sociale »[10].

[1] Rechtbank Den Haag, NJCM & c.s. c. De Staat der Nederlanden, C/09/550982/ HA ZA 18/388, 5 février 2020 disponible en ligne à l’adresse : https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:865

[2] Voy. le site internet de l’association accessible à l’adresse : https://pilpnjcm.nl/en/

[3] Voy. Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI) before the District Court of The Hague (case number : C/09/550982/ HA ZA 18/388) disponible en ligne à l’adresse https://www.ohchr.org/Documents/Issues/Poverty/Amicusfinalversionsigned.pdf

[4] Voy. G. Lewkowicz, La transformation numérique à l’assaut de l’État-Providence : le rapport du Professeur Philip Alston, Rapporteur spécial sur l’extrême pauvreté et les droits de l’homme, BeTech Blog, Novembre 2019.

[5] NJCM & c.s. c. De Staat der Nederlanden, 6.6.

[6] NJCM & c.s. c. De Staat der Nederlanden, 6,106.

[7] Voy. inter alia J. Henley et R. Booth, « Welfare surveillance system violates human rights, Dutch court rules », The Guardian, 5 février 2020 disponible en ligne à l’adresse : https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch-court-rules#maincontent ; L. Lema, « Les Pays-Bas contraints de stopper un ‘système de surveillance pour les pauvres’ », Le Temps, 5 février 2020 disponible en ligne à l’adresse : https://www.letemps.ch/monde/paysbas-contraints-stopper-un-systeme-surveillance-pauvres; I. Ferrer, « Países Bajos veta un algoritmo acusado de estigmatizar a los más desfavorecidos », El Pais, 13 février 2020 disponible en ligne à l’adresse : https://elpais.com/tecnologia/2020/02/12/actualidad/1581512850_757564.html.

[8] Voy. inter alia pour le droit fiscal au Royaume Uni : D. Restrepo Amariles et G. Lewkowicz, « De la donnée à la décision: comment réguler par des données et des algorithmes », in E. Godet, R. Mosseri et M. Bouzeghoub (ed.), Les Big Data à Decouvert, Paris, CNRS édition, 2017, pp. 80 et s. ; pour le droit bancaire et financier : G. Lewkowicz et D. Restrepo Amariles, « L’émergence du Smart Law en droit bancaire et financier », Revue internationale des services financiers, vol. 3-4, 2019, pp. 24 et s. ; pour le droit fiscal français : S. Daniel, « L’algorithme de Bercy qui sait tout de vous (et va peut-être trouver vos petits arrangements fiscaux) : entretien avec G. Lewkowicz », Le Nouvel Observateur, 4 octobre 2019 disponible en ligne à l’adresse : https://www.nouvelobs.com/economie/20191004.OBS19300/l-algorithme-de-bercy-qui-sait-tout-de-vous-et-va-peut-etre-trouver-vos-petits-arrangements-fiscaux.html

[9] NJCM & c.s. c. De Staat der Nederlanden, 6,115 : « Uit het oordeel van de rechtbank betreffende de onrechtmatigheid van de SyRI-wetgeving, voor zover deze ziet op de inzet van SyRI, volgt ook niet dat de Staat verplicht is tot openbaarmaking van dat model aan eisers ».

[10] Cour constitutionnelle, Arrêt n° 29/2018 du 15 mars 2018 disponible en ligne à l’adresse : https://www.const-court.be/public/f/2018/2018-029f.pdf

[supsystic-social-sharing id="1"]