lundi, octobre 27, 2014

Gouvernement des algorithmes : une contribution au débat

Une controverse fondamentale se noue actuellement sur l'émergence - réelle ou supposée - du "gouvernement des algorithmes." Et sur ses dangers, parmi lesquels, certains annoncent tout simplement "la mort du politique".

Les datasciences entrent concrètement dans nos existences : capacité à nous proposer les livres ou les destinations qui nous intéressent, big data appliqué à la lutte contre la fraude fiscale, optimisation des patrouilles de police par le logiciel Predpol, choix de la meilleure distribution des équipements publics dans une ville, smarts cities, allocation des ressources douanières, assistance informatique à la décision du chirurgien ou du juges des libertés, calcul du prix de notre billet d'avion, recours au A/B testing pour choisir la meilleure manière de nous adresser un courrier de relance. Nous pressentons la force de cette vague qui englobe le développement des datasciences, l'analytique prédictive, le succès des  data-driven strategies, l'augmentation de l'intelligence embarquée dans un nombre croissant d'objets, la personnalisation de plus en plus grande des biens et des services, les bulles algorithmiques de plus en plus adaptées à nos personnalités, un monde de plus en plus serviciel...
Nous sentons aussi qu'il s'agit d'une nouvelle forme de pouvoir, qu'il soit exercé par de grandes entreprises commerciales ou par des gouvernements. Et nous ressentons une sourde inquiétude face à un monde de plus en plus "intelligent", c'est-à-dire en fait de plus en plus capable de nous suivre, de nous connaître, de nous servir mais aussi de nous guider vers le "meilleur choix".

Vers quoi tendent toutes ces évolutions ? Quel avenir nous réservent-elles ? Quel projet inconscient les sous-tendent ? Il n'est pas inutile de se poser ces questions maintenant... Et justement, la polémique a commencé cet été, et de belle manière.

Le gouvernement de la raison ?

Les optimistes voient dans ces nouvelles capacités la promesse d'un monde meilleur. Tim O'Reilly, par exemple, dans Beyond Transparency,  se félicite des promesses d'une "régulation algorithmique" et décrit les principes de nouvelles méthodes de gouvernement, plus douces, plus agiles et plus efficaces, fondées sur la recherche d'effets concrets, mesurables, et itératifs. Dans le monde entier, des services administratifs apprennent aujourd'hui à travailler avec des méthodes probabilistes et analytiques, si bien illustrées  par les travaux de Michaël Flowers qui avait créé la cellule d'analytique prédictive de la ville de New-York (et que nous avions invité à la Conférence de Paris sur l'open data et le gouvernement ouvert), et qui avec une équipe de quelques jeunes statisticiens a pu obtenir des résultats spectaculaires en matière de lutte contre différentes formes de fraude, mais aussi en matière d'optimisation de nombreuses politiques publiques.

Il ne faut pas rejeter trop vite ces pratiques naissantes. Bien sûr elles reposent sur une connaissance de la société qui effrayera les lecteurs de 1984. Bien sûr elles appellent une réflexion éthique et politique sur la vie privée, et surtout sur la manière dont nous devrons organiser le contrôle démocratique de ces pratiques c'est-à-dire la souveraineté du peuple contre les algorithmes et les technocrates.  Mais en même temps, peut-on rejeter sans plus de réflexion l'espoir de politiques publiques plus justes, plus efficaces, et capables, justement, de remplir les objectifs que leur ont assignés les électeurs ?

Surtout, ces pratiques ne doivent pas être jugées seulement en termes d'efficacité directe. Plus important encore, elle introduisent de nouvelles dimensions dans l'action publique : distinction entre règlementation et régulation, possibilité d'introduire des règles dynamiques, revendication d'une vérification permanente et concrète des effets d'une décision... Tous ces apports sont fondateurs et prometteurs. Ils introduisent dans la vie publique des pratiques qui sont bien souvent au coeur de la puissance du numérique, comme par exemple :
- le "lean development", dans sa revendication de pragmatisme, d'attention aux utilisateurs et de retour permanent au réel mesurable ;
- l'efficacité des data-driven stratégies, que Michaël Flowers avait démontrée au cours de la première Strata conference (la grande conférence sur le big data organisée par Tim O'Reilly) dans une intervention au titre évocateur : Moneyball for New-York City, elle-même allusion au célèbre film Moneyball qui relatait l'histoire de Billy Bean, entraîneur des A's d'Oakland qui avait appliqué une méthode statistique à la constitution de son équipe) ;
- et les réflexions issues de l'économie comportementale, comme le nudge, qui consiste à provoquer les "bons choix" des clients ou citoyens grâce à la disposition judicieuse de petits stimulus bien choisis.

La fin du politique ?

D'un autre côté, les dénonciateurs des idéologies du web, de la domination croissante des grandes plateformes et de la négation du libre-arbitre des citoyens voient dans le succès de ces pratiques un grave péril pour la démocratie.
Comme souvent, l'essayiste Evgeny Morozov, dont le dernier ouvrage, "To save everything, click here" a heureusement été traduit en Français par FYP éditions a sonné la charge.
Il résume bien sa thèse centrale dans un grand article du Guardian du 20 juillet dernier  : The rise of data and the death of politics. Article fondateur dont Paul Jorion a publié une traduction intégrale sur son blog, et qui mérite lecture attentive. Sa conclusion est simple :
La réglementation algorithmique, quels que soient ses avantages immédiats, produira un régime politique où les entreprises de technologie et les bureaucrates du gouvernement décident de tout. L’auteur polonais de science-fiction Stanislaw Lem, dans une critique bien vue de la cybernétique, publiée à peu près au même moment que l’État automatisé, écrivait : « La société ne peut pas se débarrasser du fardeau d’avoir à décider de son propre sort en sacrifiant cette liberté au bénéfice du régulateur cybernétique ».
En Europe, Antoinette Rouvroy travaille depuis longtemps ces questions et en propose des analyses plus philosophiques, plus profondes et plus nuancées. Je vous suggère par exemple de visionner le séminaire qu'elle a tenu avec Bernard Stiegler à l'IRI le 7 octobre dernier. Je ne partage pas toutes les inquiétudes des orateurs, mais au moins, ils savent de quoi ils parlent...
En septembre dernier, Internet Actu a proposé une bonne synthèse de ces questions, bien problématisée, dans un grand article d'Hubert Guillaud, "La technologie est-elle un programme politique ?" qui mérite une lecture intégrale et attentive.

Poser le débat démocratique

Le jeu médiatique aime opposer deux thèses en apparences inconciliables et chercher le vainqueur du duel... Pourtant, je ne vois pas pourquoi il faudrait choisir entre prendre au sérieux les promesses des passionnés du numérique et prendre au sérieux les craintes de Morozov et de ses amis. Car la question qui se pose ne me semble pas être si nous voulons des algorithmes, mais comment nous souhaitons organiser leur utilisation.

La question du gouvernement des algorithmes sera centrale dans la décennie à venir. Quelle dose de gouvernement accepterons-nous de confier aux algorithmes ? Quels contrôles voudrons nous établir sur ces algorithmes et surtout sur ceux qui les programment ? Nous mettrons du temps à forger du consensus sur ces questions... Elles nous concernent tous. Elles méritent mieux que les raccourcis, les idées générales ou le plaisir de la polémique. Il va nous falloir les penser, les analyser, les problématiser en termes justes et les transformer en authentiques questions démocratiques.

Et pour cela, il faudra commencer par respecter au moins les trois règles suivantes :

- Se souvenir que les choses ne se passent jamais comme annoncé. Le "gouvernement des algorithmes" qui nous est promis repose souvent sur un imaginaire profondément marqué par Le meilleur des Mondes. Je pense que cet imaginaire reste pauvre, et que l'avenir nous réserve d'autres surprises, bonnes et mauvaises. L'histoire de l'innovation nous a habitué à ces revirements. Les voitures de plus en plus intelligentes que nous proposent les constructeurs, qui savent désormais faire seules un créneau ou modérer les limitations de vitesse en fonction du conducteur ne ressemblent que très peu aux "driverless car" que testent l'INRIA depuis des décennies et Google depuis quelques années. Elles ne remplacent pas le conducteur, elles l'enserrent et le nourrissent d'information. Sur un autre sujet que j'ai travaillé autrefois, la bioéthique, les pratiques sociales autour du diagnostic prénatal et de la fécondation in vitro ne ressemblent pas aux craintes exprimées par les inquiets des années quatre-vingt. Les patients, la loi et la société ont su mettre en place un cadre acceptable et respectueux.
Nous pouvons continuer à espérer l'émergence d'un cadre harmonieux de recours à la régulation algorithmique, respectueux de la dignité et de la liberté de la personne. Il nous appartient de le penser.

- Connaître et mobiliser nos propres traditions. Un défaut fréquent des penseurs du numérique est de croire que le monde commence avec Arpanet. Or, dans leurs dimensions philosophiques et politiques, ces questions ont une histoire, indispensable pour bien poser les termes du débat.
Sur un plan philosophique, ce gouvernement des algorithmes prolonge par exemple la biopolitique révélée par Michel Foucault. Il emprunte à l'utilitarisme. Il s'inscrit dans une vision du Souverain. Il faut apprendre à mobiliser ces siècles de travail philosophique pour ces questions actuelles.
Sur un plan juridique et administratif, la France a depuis longtemps sa propre réflexion sur la statistique et ses limites (avec par exemple la loi de 1951 sur la statistique publique ou la création du Conseil national de l'information statistique). La loi Informatique et libertés, de 1978, posait déjà clairement le problème de la décision automatique et précisait déjà dans son article 10 : "Aucune décision de justice impliquant une appréciation sur le comportement d'une personne ne peut avoir pour fondement un traitement automatisé de données à caractère personnel destiné à évaluer certains aspects de sa personnalité. Aucune autre décision produisant des effets juridiques à l'égard d'une personne ne peut être prise sur le seul fondement d'un traitement automatisé de données destiné à définir le profil de l'intéressé ou à évaluer certains aspects de sa personnalité." De même, la transparence de l'action publique et désormais l'Open data représentent des garde-fous puisqu'ils permettent de revendiquer que les citoyens puissent savoir ce que sait l'Etat.
Par dessus tout, la réflexion française sur les libertés fondamentales et leur articulation, dans sa longue tradition, apporte des éléments d'analyse de ces nouvelles pratiques et de leur encadrement. L'étude annuelle du Conseil d'Etat de cette année 2014, consacrée au Numérique et aux droits fondamentaux, les travaux de la Commission de réflexion sur le droit et les libertés à l’âge du numérique de l'Assemblée nationale en témoignent et méritent notre plus grande attention.

- Bien distinguer la diversité des situations. Le plus grand risque, quand un débat se médiatise, c'est la montée en généralité et le mélange de questions qui n'ont rien à voir. Ainsi, en ce moment, le débat sur la vie privée mélange allègrement les écoutes illicites de l'affaire PRISM, les savoirs considérables accumulés par les grandes plateformes sociales à l'insu de leurs clients, les échanges volontaires de données du Quantified Self ou les monopoles d'un nouveau genre fondés sur ce que Pierre Bellanger appelle les Resogiciels. Pourtant, ces trois phénomènes appellent des régulations bien différentes.
De même, l'utilisation des algorithmes, l'économie comportementale et le "nudge" ne posent pas forcément les mêmes questions selon qu'ils sont appliqués par des entreprises (qui servent des clients et dont l'objet social est la rémunération des actionnaires) ou des gouvernements (qui doivent rendre des comptes à des électeurs et servir l'intérêt général). Il y a une grande différence entre les algorithmes apparents, vérifiables et revendiqués, critiquables, et les algorithmes qui restent secrets et dont on ne connaît pas le principe. Et enfin, même si cette distinction est difficile à activer en droit, on sent bien une différence entre les systèmes qui jouent dans l'intérêt de leurs utilisateurs (ceux auxquels ils consentiraient si on leur demandais leur avis) et ceux qui jouent contre leurs utilisateurs (par exemple pour dévoiler certaines de leurs pratiques)... Il nous faudra éduquer le regard pour apprendre à penser ces situations bien différentes.

Pour une véritable élaboration politique


C'est après cet effort de précision de l'analyse qu'il sera possible d'ouvrir les débats politiques  qu'appelle cette nouvelle donne.

Si l'on peut reprocher quelque chose à O'Reilly comme à Morozov, c'est leur tentation de "naturaliser" le numérique, comme si se déroulait une histoire linéaire, dont le sens était déjà lisible. De ce fait, leurs discours mélangent allègrement ce que peut faire la technologie, les valeurs politiques des sociétés qui développent aujourd'hui ces technologies (le capitalisme tel qu'il se réinvente dans la Silicon Valley), les usages qu'inventent ces grandes entreprises et les premières tentatives des gouvernements d'appliquer ces outils et ces méthodes à leurs propres problèmes.

Or, ce contexte idéologique n'est pas le seul possible, et sa pérennité n'est pas certaine. L'histoire du numérique peut connaître des inflexions radicales. Elle est forgée par des acteurs engagés qui bataillent. Nous le voyons pour le pire avec la fin de l'Internet libre et ouvert que nous avons connu, de plus en plus remplacé par les applications mobiles et les grandes plateformes sociales, qui ne sont ni libres ni ouvertes. Nous pourrions le voir pour le meilleur avec la résistance du principe de neutralité du net (pour l'instant) et avec, pourquoi pas, la construction d'un consensus démocratique autour de l'utilisation de la gouvernementalité algorithmique.
L'analyse fine d'une politique publique, par exemple, peut être travaillée de multiples façons : rechercher les fraudeurs, organiser de nouvelles régulations macro-économiques, mieux armer les agents sur le terrain pour qu'ils prennent de meilleures décisions, mieux armer les citoyens pour qu'ils fassent des choix plus rationnels. L'arbitrage entre ces différentes manières d'utiliser les données est une forme de politique. Il n'y a pas de meilleure décision in abstracto. Nous devrons choisir.

De nombreuses règles juridiques pourraient donc nous permettre de travailler, et de civiliser, les nouvelles formes de régulation algorithmique. Nous pourrions par exemple discuter des principes suivants :
- favoriser, en toutes situations, les stratégies de capacitation : la puissance des algorithmes peut être appliquée pour clore les débats, en prétendant que la science a parlé, ou pour augmenter le choix des acteurs. Dans tout design de système d'information, il faut favoriser le plus large choix des acteurs ;
- refuser la décision algorithmique, comme le prévoit la loi de 1978. Aucune décision de nature individuelle ne peut être prise sur la seule décision de la machine.
- réclamer la transparence des algorithmes, afin que les gens puissent savoir au nom de quels critères ils vont être analysés et afin de permettre la critique des attendus de ces algorithmes ;
- redonner aux citoyens le contrôle de leurs propres données personnelles (dans l'esprit du droit d'accès et de rectification des documents administratifs, mais sans verser dans les excès du "droit à l'oubli") ;
- apprendre à réguler les nouveaux monopoles fondés non pas sur l'appropriation des données, comme le prétend le débat public aujourd'hui, mais sur la capacité à traiter ces données mieux que d'autres.

Ce ne sont que quelques premières pistes, nous en inventerons d'autres. Mais c'est bien dans ces directions qu'il nous faudra travailler si nous voulons apprendre à vivre dans ce monde naissant.

7 commentaires:

  1. Opposer politique et algorithmie est un fantasme...Ainsi, c'est comme si on affirmait que le politique est l'ADN de notre cellule sociale et l'ARN qu'il produit serait qu'algorithmie...L'un (ADN) contient une vision globale et fait fabriquer l'autre (ARN) à des fonctions particulières...Le fantasme est donc de croire que les ARN, vont remplacer à terme l'ADN créateur et figer notre cellule sociale sur une vision prédéfinie: c'est impossible! Sauf si notre inconscient collectif est de devenir DIEU et recréer l'homme à son image....Mais alors si NOUS devenons DIEU à quoi serviraient les hommes nouvellement créer???

    RépondreSupprimer
  2. Bravo pour cet article développé et évitant les pires néologismes (bon, "gouvernementalité" à la fin ;-) ). Vous évitez aussi le biais du "déjà inventé ailleurs" qui dispenserait de réfléchir : or la France est une démocratie indépendante qui peut bien faire d'autre choix que, par exemple, les Etats-Unis.

    Ceci dit, sur les principes, il y a déjà eu un beau travail de fait là bas, par exemple les 5 "principes pour les droits civiques dans l'ère des mégadonnées", http://www.civilrights.org/press/2014/civil-rights-principles-big-data.html ou le rapport Podesta dont un point est discuté ici http://mathbabe.org/2014/05/05/podestas-big-data-report-to-obama-good-but-not-great/ , c'est ce genre de débat qui nous serait utile et auquel vous appelez. Merci !

    RépondreSupprimer
  3. Excellent post, à l'intersection de nombreux sujets importants.

    Pour revenir au principal, l'algorithmique, je pense qu'il ne faut pas perdre de vue que les algorithmes à base de mégadonnées sont surtout basés sur des corrélations. Ils ont la capacité de prédire, mais pas d'expliquer. Ils ont une valeur statistique, mais pas individuelle. Ils sont basés sur des corrélations, mais il y a une différence entre corrélation et causalité. La distinction entre corrélation et causalité est une tentation très facile contre laquelle il faut lutter en permanence.

    Et en même temps, il existe une forte résistance à la rationalité, que je trouve particulièrement forte en France. Nous avons de nombreuses informations factuelles et scientifiques à notre disposition, mais quand il s'agit de les utiliser pour prendre des décisions, il se trouve toujours des corporations pour expliquer que, en général c'est vrai, mais pour leur cas particulier, c'est différent et ça ne s'applique pas.

    Il faut donc réussir à réconcilier le rationnel et l'humain, et ce n'est pas facile. La meilleure manière de le faire, à mon avis, est d'afficher les données brutes, sans commentaires, jugement, ni algorithme. C'est ce qui permet de dédramatiser ces données, de les utiliser non pas pour juger mais pour comparer, raisonner, discuter, apprendre.

    RépondreSupprimer
  4. On ressent tout de suite un espèce de parti prix de l'article par les deux photos et les deux présentations dans les premiers mots: 1- l'optimiste, 2- le dénonciateur
    Pas convaincu par l'article ! Il me laisse une impression de malaise ! Désolé !

    RépondreSupprimer
  5. @ P. Etienne C; Et Metropolis alors ? Vous l'interprétez comment ?

    RépondreSupprimer
  6. Excellent, en effet pas question de se passer des algorithmes mais bien de savoir "quels contrôles voudrons nous établir sur ces algorithmes et surtout sur ceux qui les programment ?"

    On pourrait dire : quelle gouvernance des algorithmes pour éviter le gouvernement des algorithmes ?

    Je m'amuse à proposer 2 pistes, chacune est partielle :
    1/ Et si les développeurs prêtaient serments ? (bcp plus sérieux qu'il n'en à l'air...)
    2/ Et si on arrêtait d'utiliser des algorithmes que les GAFA nous prêtent astucieusement ? Et si on disposait de "nos" algorithmes? Et si on décentralisait le web ? Et si nous avions chacun notre "système d'information personnel" où je dispose de mes données et des programmes que j'ai choisi sur un marché ouvert ?

    Il y a plein d'autres pistes, et j'ai l'impression qu'elles visent toutes la même chose : soit sanctionner les "mauvais" comportements, soit insister le développement d'un écosystème "vertueux".
    Aller plus loin suppose donc d'avoir une bonne idée de la société que l'on appel de nos vœux.

    Numérique sans éthique n'est que ruine de l’âme :-)

    RépondreSupprimer
  7. Concernant ces algorithmes liés aux big data, ce serait dommage de ne pas les utiliser en même temps des garde fous doivent y être installés.
    Si l'utilisation de ces algorithmes peuvent délier la langue de bois des politiques je pense qu'il faut y aller.
    Blague mis à part Benjamin André nous livre des solutions et je suis d'accord avec lui pour que par exemple les développeurs prêtent serment (après sous quelle forme c'est une autre histoire)

    RépondreSupprimer