En vertu du droit à l’information, prévu par le Règlement Général sur la Protection des Données, un utilisateur peut demander des informations sur une décision prise par un algorithmique à son sujet, mais cette possibilité bien évidemment comporte des avantages et des inconvénients.
Bien que le règlement général sur la protection des données de l’Union européenne (RGPD) soit conçu pour inciter les entreprises à mettre en œuvre une meilleure sécurité des données, il s’accompagne potentiellement de conséquences inattendues.
Comme cela a été le cas avec d’autres règlements en matière de sécurité, le langage utilisé par le règlement général sur la protection des données peut perturber la façon dont les entreprises gèrent leurs activités.
Droit à l’information :
Un exemple est le droit à l’information au sein du RGPD, qui affectera les algorithmes qui prennent des décisions basées sur les comportements des utilisateurs. Selon la disposition, un utilisateur peut demander des informations/explications concernant une décision prise par un algorithmique à son sujet.
A première vue, cela semble être une excellente idée. Qui ne veut pas savoir ce que les entreprises collectent à son sujet et surtout pourquoi ? Qui n’a jamais été agacé, à un moment donné, par les publicités qui arrivent à cibler les centres d’intérêts, parfois de manière plutôt effrayante d’ailleurs ?
Le problème, selon certains, est qu’il est irréaliste, voire impossible, d’expliquer chaque décision prise par des algorithmes, y compris ceux qui sont au cœur de nombreux programmes de sécurité. En d’autres termes, cette demande peut déboucher sur toute une série de problèmes non-éthiques, et peut générer autant de problèmes pour la sécurité que ces algorithmes sont censés résoudre.
Irréalisable et impossible !
Nick Wallace, un senior policy analyst basé à Bruxelles au sein du “data policy think tank Center for Data Innovation”, a expliqué le problème comme il le voyait, dans un article qu’il a écrit en janvier pour TechZone360. Entre autres choses, selon lui, le droit à l’information ne servira guère à aider les consommateurs et entravera plutôt le développement et l’utilisation d’outils d’apprentissage automatique/intelligence artificielle, en soumettant les développeurs à une norme ridiculement perturbatrice :
Ceux qui ont rédigé le RGPD ne semblent pas comprendre qu’il est souvent pas pratique ou même pas possible d’expliquer toutes les décisions prises par des algorithmes. Par exemple, les véhicules autonomes sont contrôlés par une multitude d’algorithmes qui prennent toutes sortes de décisions. Il est possible d’enregistrer toutes ces actions, mais cela prendrait des heures de travail par des data scientists, grassement payés, pour les rendre intelligibles. Souvent, le défi que représente l’explication d’une décision prise par un algorithmique ne vient pas de la complexité de ce dernier, mais de la difficulté à donner du sens aux données qu’il utilise.
Il a écrit que le règlement général sur la protection des données devra être modifié avant que le droit à l’information n’étouffe les programmes d’intelligence artificielle et leurs innombrables avantages sociaux et économiques.
Le cas de PredPol :
Joe Levy, CTO chez Sophos, a déclaré qu’il avait beaucoup réfléchi à ce sujet depuis la lecture de “To Save Everything, Click Here” d’Evgeny Morozov, il y a quelques années maintenant.
Dans ce livre, Morozov décrit le système de prédiction des crimes, connu sous le nom de PredPol, et les problèmes que certains ont vu dans la façon dont il estime “où” et “quand” un crime aura lieu, en utilisant un logiciel muni d’un algorithme similaire à celui que Facebook et Amazon utilisent pour façonner les publicités.
Les défenseurs de la vie privée ont fait part de leurs inquiétudes concernant le fait que les données utilisées pour construire les algorithmes étaient biaisées vis à vis des minorités.
Un article du Washington Post l’année dernière a brossé un tableau concernant ces problèmes de protection de la vie privée :
Certains services de police ont salué PredPol et d’autres systèmes, comme étant des outils pratiques pour réduire la criminalité, focaliser les ressources limitées sur les véritables points chauds et individus dangereux, permettant de remplacer les intuitions des policiers et les autres biais potentiels, par de la “hard data”. Mais les groupes de défense de la vie privée et des thématiques raciales disent qu’il existe peu de preuves que les technologies fonctionnent et notent que les formules qui animent ces systèmes sont en grande partie secrètes. Ces derniers sont préoccupés par le fait que cette pratique pourrait injustement concentrer l’application de la loi sur les communautés des gens de couleur, en s’appuyant sur des données policières biaisées sur le plan racial. Et ils ont peur que les policiers, qui s’attendent à ce qu’un vol ou un cambriolage ait lieu, soient plus susceptibles de traiter les personnes qu’ils rencontrent comme des potentiels criminels.
Dans cet extrait, nous voyons bien les deux aspects du règlement général sur la protection des données vis-à-vis de la disposition concernant le droit à l’information. D’un côté, le droit à l’information concerne la protection de la vie privée.
D’un autre côté, il s’agit d’un règlement qui cible les systèmes d’apprentissage automatique qui s’avèrent efficaces pour élaborer de meilleurs programmes de sécurité et de prévention du crime.
Réécrire la disposition du GDPR ou adopter une vision à long terme ?
Il est raisonnable de considérer que certains algorithmes collectent des données qui peuvent effectivement porter atteinte à la vie privée d’une personne, et ce sans traiter d’ailleurs les problèmes qu’ils étaient censés résoudre.
Il peut même être raisonnable de penser que la disposition sur le droit à l’information dans le règlement général sur la protection des données devrait être réécrite. Un domaine à renforcer est celui offrant de meilleures protections en matière de propriété intellectuelle aux inventeurs des algorithmes, a noté Levy.
Mais il est également juste de dire que le RGPD n’est pas le problème, ni les algorithmes d’ailleurs. Au contraire, le problème est au niveau des individus qui définissent les algorithmes. Le problème ne devrait-il pas être traité à ce niveau-là, pendant la phase de développement ?
Cathy O’Neil, une ancienne employée de Wall Street qui a démissionné après la dernière crise financière, a rejoint le mouvement Occupy Wall Street et publie maintenant sur le blog mathbabe, suggère, dans son livre “Weapons of Math Destruction”, que la réponse à cette question est “oui”. Un article dans le Wall Street Journal sur ce livre résume l’essentiel avec le titre suivant : Algorithms Aren’t Biased, But the People Who Write Them May Be.
A notre image,
Levy croit que nous nous dirigeons vers une situation où, à l’avenir, demander à un algorithme, pourquoi il est arrivé ce type de conclusion, reviendrait à demander aux gens pourquoi ils ont porté tel jugement ou ont tel goût. La réponse pourrait ressembler à “eh bien parce que” dans la mesure où les algorithmes deviennent de plus en plus similaires aux cerveaux qui les ont créés. Il a déclaré :
Alors que nous exigeons des algorithmes qu’ils produisent des classifications et des prédictions toujours plus complexes, nous leur demanderons également de quitter l’univers des vérités objectives pour entrer dans l’univers sombre de la subjectivité. Des questions surgiront inévitablement au sujet de l’impartialité” des échantillons servant à l’entrainement, des tendances sociales et politiques de l’entreprise qui a produit les algorithmes, de l’influence du système de valeurs des programmeurs eux-mêmes.
Comme nous leur permettons d’apprendre dans la vie réelle (plutôt que dans des environnements de développement contrôlés), nous devrons nous préoccuper du fait qu’ils puissent être corrompus par des acteurs malicieux ou malveillants. Levy a dit :
Cela commence à ressembler beaucoup à l’éducation des enfants.
O’Neil déclare qu’une solution à long terme est de créer plus de transparence. Par exemple, écrit-elle, les consommateurs devraient recevoir une alerte à chaque fois que des données personnelles sont utilisées par des profils mathématiques. Les consommateurs ont le droit de comprendre comment les coefficients comme ceux utilisés par les assureurs de voitures sont calculés. Si les informations utilisées pour créer de tels coefficients sont fausses, écrit-elle, les gens ont le droit de pouvoir les signaler et les corriger. Bien sûr, cela engendrera des coûts additionnels pour les entreprises utilisant et créant ces algorithmes, car elles devront séparer les litiges réels des litiges frauduleux. Mais, Levy a souligné avec un sourire que “des algorithmes pourront certainement aider dans cette tâche !”.
Bryce Goodman et Seth Flaxman, tous deux analystes, ont écrit dans leur article, European Union regulations on algorithmic decision-making and a right to explanation, que malgré les problèmes que ce droit à l’information posaient, il existe aussi des possibilités de développer de meilleurs algorithmes. Ils ont écrit avec optimisme :
Bien que cette loi représente de réels défis pour l’industrie, elle met aussi en évidence de réelles opportunités pour les informaticiens afin de concevoir de manière proactive des algorithmes et des frameworks d’évaluation, qui éviteront la discrimination et permettront de fournir des explications.
Comme il nous reste encore un an avant que le règlement général sur la protection des données entre en vigueur, il faudra du temps avant que les gens, de chaque côté du processus de collecte des données, puissent évaluer si leurs inquiétudes actuelles étaient justifiées ou non.
En attendant, nous devons tous continuer à travailler pour nous assurer que les données sont collectées de la manière la plus juste et la plus précise possible.
Billet inspiré de GDPR’s Right to Explanation: the pros and the cons, sur Sophos nakedsecurity.