Philowashing : quand la philosophie légitime la Silicon Valley

Ceux d'entre nous qui étudient la philosophie ont l'habitude qu'on leur demande à quoi ça sert. La question peut prendre des formes plus ou moins aimables, mais elle présuppose presque toujours une difficulté bien réelle : contrairement à la médecine, à l'ingénierie ou au droit, on ne voit pas immédiatement quelle place un philosophe peut occuper en dehors de l'enseignement et de la recherche. D'où la tentation de lire comme une petite revanche disciplinaire ce qui se passe dans certaines des plus grandes entreprises technologiques du monde : la Silicon Valley, ce même écosystème qui pendant des décennies a fait de l'ingénieur et de l'entrepreneur les figures quasi héroïques de notre époque, semble avoir découvert qu'elle a aussi besoin de philosophes.

Amanda Askell, formée en philosophie à Cambridge et à New York, est devenue l'un des visages les plus visibles d'Anthropic, l'entreprise derrière Claude, où elle travaille sur le caractère et les valeurs qui devraient guider le comportement de ses modèles. Iason Gabriel, docteur en philosophie d'Oxford, occupe depuis des années divers postes liés à l'éthique, au pluralisme et à la gouvernance chez Google DeepMind. Ce ne sont pas des cas isolés : à mesure que l'intelligence artificielle a cessé d'être une technologie relativement spécialisée pour intervenir dans des domaines qui vont de l'éducation et du travail à la santé, à la sécurité ou aux relations personnelles, des questions qui, il y a peu encore, semblaient réservées à un séminaire universitaire ont acquis une urgence pratique inattendue. Quelles valeurs un système d'intelligence artificielle devrait-il respecter ? Comment devrait-il agir lorsque deux principes moraux entrent en conflit ? Peut-on concevoir un modèle capable de composer avec le pluralisme de sociétés où il n'existe aucun accord sur le bien, le juste, voire le vrai ?

La Silicon Valley, ce même écosystème qui pendant des décennies a fait de l'ingénieur et de l'entrepreneur les figures quasi héroïques de notre époque, semble avoir découvert qu'elle a aussi besoin de philosophes.

Que ces questions soient entrées dans les laboratoires d'intelligence artificielle est, en principe, une bonne nouvelle. Et il ne semble pas s'agir d'une simple opération de relations publiques : Askell, Gabriel et d'autres chercheurs (comme Luciano Floridi, qui a travaillé pour Google sur le « droit à l'oubli » après une décision défavorable de la Cour de justice de l'Union européenne) produisent des travaux philosophiquement sophistiqués et s'attaquent à de vrais problèmes, pour lesquels une formation humaniste peut apporter quelque chose qu'on n'obtient pas en ajoutant toujours plus d'ingénieurs à une équipe. Il nous semble pourtant légitime de nous interroger, moins sur la qualité des réponses que ces philosophes produisent, que sur les conditions institutionnelles dans lesquelles ils peuvent formuler leurs questions. Si une entreprise technologique engage des philosophes pour réfléchir aux valeurs que doit intégrer un système qu'elle a déjà décidé de construire, qu'advient-il de la question préalable, et potentiellement plus dérangeante : ce système devrait-il occuper la place que l'entreprise entend lui attribuer ?

Nous soupçonnons qu'il se joue là quelque chose de plus profond qu'un énième cas d'ethics washing (c'est-à-dire des changements cosmétiques destinés à donner un vernis éthique à une action) : nous assisterions plutôt à une sorte d'appropriation de notre discipline visant à délimiter d'avance le champ des problèmes sur lesquels elle peut intervenir. Ce mécanisme, nous proposons de l'appeler philowashing (« philoblanchiment », ça sonne bizarre !) et nous pensons qu'il a un précédent dans l'appropriation contemporaine du stoïcisme par les « tech bros ».

Du stoïcisme au broïcisme

Au cours des deux dernières décennies, Marc Aurèle, Épictète et Sénèque ont acquis une popularité inattendue parmi les entrepreneurs, les investisseurs et les figures associées à la culture tech. Tim Ferriss a contribué à faire du stoïcisme une référence courante dans l'univers de la productivité et du développement personnel ; Ryan Holiday a bâti autour de cette tradition un écosystème ultra-rentable de livres, de formations et de conférences ; et les Pensées pour moi-même de Marc Aurèle ont fini par partager les étagères des bibliothèques d'entreprise avec les manuels de leadership, de growth hacking et d'optimisation de la performance. Le phénomène est curieux, mais pas forcément condamnable : que quelqu'un arrive à Épictète en cherchant des outils pour traverser une crise professionnelle n'invalide ni la lecture ni la philosophie qu'il découvre en chemin.

Ce qui est significatif, c'est le tri opéré par cette appropriation. Le stoïcisme antique n'était pas un recueil de techniques pour gagner en productivité, mais une conception autrement plus ambitieuse de la vertu, des devoirs, de la vie en commun et du rapport entre ce qui dépend de nous et ce que nous ne pouvons pas contrôler. Dans sa traduction en culture d'entreprise contemporaine, pourtant, une bonne partie de cette architecture philosophique passe à la trappe, et ce qui survit, ce sont surtout les idées convertibles en techniques de gestion de soi : supporter l'adversité, maîtriser ses réactions, se concentrer sur ce sur quoi on a prise et développer sa résilience face à des circonstances extérieures qu'on ne peut pas changer.

Si une entreprise technologique engage des philosophes pour réfléchir aux valeurs que doit intégrer un système qu'elle a déjà décidé de construire, qu'advient-il de la question préalable, et potentiellement plus dérangeante ?

Le résultat a parfois été baptisé broïcisme, ou broicism, et le terme permet de cerner une transformation importante. Si un environnement de travail exige une disponibilité permanente, génère de l'anxiété ou rend toujours plus poreuse la frontière entre travail et repos, la question stoïcienne reformulée ne porte plus sur l'organisation de cet environnement, mais sur la capacité de l'individu à y évoluer avec succès. La philosophie fournit alors des outils pour agir sur le sujet, tandis que les conditions qui produisent son mal-être restent hors de discussion.

Les philosophes pointent dans la Silicon Valley

Le cas d'Amanda Askell est particulièrement utile pour comprendre ce changement. Une partie de son travail chez Anthropic consiste à réfléchir à la manière dont Claude devrait se comporter : quels traits devrait avoir sa « personnalité », quelles valeurs il devrait exprimer, comment il devrait réagir face à des situations moralement complexes et jusqu'à quel point il est légitime qu'un assistant d'intelligence artificielle cherche à influencer les croyances ou les décisions de ses utilisateurs. Le projet de Constitutional AI d'Anthropic porte cette préoccupation jusque dans l'architecture même de l'entraînement : plutôt que de se contenter de corriger au cas par cas les réponses indésirables, on cherche à orienter le modèle au moyen d'un ensemble explicite de principes.

La philosophie peut jouer un rôle important dans ces discussions. Se demander ce que signifie respecter l'autonomie d'un utilisateur, comment éviter le paternalisme ou de quelle manière une intelligence artificielle peut agir dans des contextes où coexistent des systèmes de valeurs incompatibles, ce n'est pas une couche de vernis humaniste ajoutée à la fin d'un processus technique : ce sont de véritables problèmes normatifs. Il en va de même pour le travail d'Iason Gabriel sur le pluralisme et l'alignement chez DeepMind. Mais la question de la personnalité de Claude comme le débat sur les valeurs que devrait intégrer un grand modèle de langage partent d'une décision préalable sur laquelle il semble impossible d'intervenir, liée au projet même de ce modèle, à son échelle, à son modèle économique et à la manière dont il occupera certaines positions dans la vie sociale. La réflexion philosophique commence une fois qu'une bonne partie de l'architecture institutionnelle du problème a déjà été définie. On discute de la façon dont le système doit se comporter, mais pas nécessairement du type de décisions qu'il convient de lui confier, de l'instance devant laquelle il doit rendre des comptes, ni de l'existence de domaines dont son usage devrait être exclu, quelles que soient ses performances.

L'algorithme qui ne s'était pas trompé

Fin juillet 2019, Guillermo Federico Ibarrola a été arrêté à la gare de Retiro après que le système de reconnaissance faciale de fugitifs utilisé par le gouvernement de la Ville de Buenos Aires l'eut identifié comme un homme recherché pour un vol aggravé commis à Bahía Blanca. Il a passé six jours en détention avant qu'on établisse qu'il n'avait aucun lien avec le délit et qu'il ne connaissait même pas cette ville.

L'affaire pourrait rejoindre sans grande difficulté le volumineux dossier des erreurs algorithmiques accumulées ces dernières années, n'était un détail qui la rend philosophiquement plus intéressante : l'algorithme ne s'était pas trompé. Il n'avait pas confondu deux visages ressemblants, ni produit un faux positif à cause d'un problème statistique. Le mandat d'arrêt visait Guillermo Walter Ibarrola, mais quelqu'un y avait associé le numéro de carte d'identité de Guillermo Federico. Le système a correctement traité les informations reçues, comparé le bon visage à la mauvaise base et permis de localiser avec une efficacité admirable la mauvaise personne. Ce fut, si l'on veut, un cas de précision chirurgicale appliquée à des données erronées.

L'important, c'est qu'aucune amélioration de l'algorithme de reconnaissance faciale n'aurait résolu le problème. On pourrait imaginer un système dix fois plus précis, sans biais démographiques et soumis aux meilleurs audits disponibles : Guillermo Federico Ibarrola aurait tout de même fini derrière les barreaux. L'erreur était ailleurs : dans les données qui alimentaient le système, dans la chaîne institutionnelle qui les avait produites et, surtout, dans la place qu'occupait la recommandation technologique au sein d'un processus impliquant policiers, fonctionnaires et agents judiciaires.

Pendant ces six jours, en outre, des êtres humains ont pris part à la décision. Ce détail compte, car l'une des réponses les plus fréquentes face aux risques de l'automatisation consiste précisément à garantir qu'il y ait toujours un human in the loop, une personne qui garde le dernier mot. L'affaire Ibarrola montre pourquoi cette formule, bien que raisonnable, dit bien moins qu'il n'y paraît. La simple présence d'un être humain quelque part dans le circuit ne garantit pas une supervision effective si cette personne ne reçoit pas les informations pertinentes, n'a pas le temps de les examiner, n'a aucun intérêt à contredire le résultat ou, tout simplement, n'a pas l'autorité de le modifier.

La simple présence d'un être humain quelque part dans le circuit ne garantit pas une supervision effective si cette personne ne reçoit pas les informations pertinentes ou, tout simplement, n'a pas l'autorité de le modifier.

Autrement dit, « garder l'humain dans la boucle » peut désigner des configurations institutionnelles complètement différentes. Un médecin qui reçoit une suggestion de diagnostic et peut l'ignorer après avoir examiné les analyses n'occupe pas la même position qu'un employé qui doit traiter des centaines de recommandations automatiques par jour et justifier par écrit chaque fois qu'il s'en écarte. Dans les deux cas, il existe formellement une supervision humaine ; dans un seul, on peut raisonnablement affirmer que le jugement de la personne conserve une fonction substantielle. La supervision n'est donc pas un remède qu'on ajoute à la fin pour compenser ce que la machine ne sait pas encore faire. C'est un paramètre que quelqu'un règle d'avance : combien d'informations reçoit celui qui vérifie, de combien de temps il dispose, dans quel sens il peut s'écarter et à quelles conséquences il s'expose quand il le fait.

Garder la forme, perdre la fonction

Le système espagnol VioGén permet d'observer le problème sous un autre angle. Utilisé pour évaluer le risque dans les affaires de violences conjugales, il attribue des niveaux susceptibles d'influer sur les mesures de protection dont bénéficie une femme après avoir porté plainte. L'évaluation automatisée n'élimine pas l'intervention humaine : les agents peuvent modifier le niveau de risque suggéré par le système. Mais cette faculté va dans un sens bien précis. Ils peuvent le relever, pas l'abaisser.

Là encore, il faut résister à la tentation de présenter ce dispositif comme la preuve d'une perversité technologique. Il existe de bonnes raisons d'adopter un principe de précaution face aux violences conjugales, où sous-estimer le risque peut avoir des conséquences irréversibles. Peut-être voulons-nous exactement cette asymétrie. Mais si c'est le cas, l'essentiel est de remarquer que la répartition de l'autorité entre la personne et le système n'a pas été découverte par l'algorithme et ne découle pas de sa précision statistique : quelqu'un a décidé de ce que pouvait faire l'agent humain, de ce que pouvait faire l'outil et du sens dans lequel devait se trancher un désaccord entre les deux.

Ce point permet de formuler plus précisément un problème qui reste souvent dans l'ombre du débat contemporain sur l'intelligence artificielle. Le débat public est dominé par une question de capacités : nous voulons savoir ce que l'IA peut faire, si elle pose un meilleur diagnostic qu'un médecin, programme mieux qu'un développeur, corrige mieux qu'un professeur ou détecte des schémas qu'un policier ne pourrait pas repérer. C'est une question légitime, mais sa réponse ne nous dit pas ce que nous devrions l'autoriser à faire. Savoir qu'un système prédit la récidive avec une certaine précision ne tranche pas la question de savoir si nous voulons que cette prédiction intervienne dans un jugement ; démontrer qu'un modèle identifie une maladie mieux qu'un médecin ne détermine pas quelle autorité il doit avoir sur le traitement ; constater qu'une intelligence artificielle peut noter des examens avec moins d'erreurs qu'un enseignant ne règle pas la question de savoir si nous voulons organiser l'éducation autour de cette évaluation.

Quelqu'un a décidé ce que l'agent humain pouvait faire, ce que l'outil pouvait faire et dans quel sens devait se résoudre un désaccord entre les deux.

Il s'agit, en somme, de distinguer deux questions qui apparaissent souvent confondues. L'une porte sur le comportement du système : ce qu'il doit répondre, ce qu'il doit refuser, quelles valeurs il doit respecter, avec quelle précision il accomplit une tâche. L'autre porte sur sa place institutionnelle : quelles décisions nous lui confions, lesquelles nous gardons, qui peut s'écarter de ses résultats et à quelles conditions. La première peut se régler en modifiant le produit. La seconde exige de fixer les limites dans lesquelles ce produit pourra opérer et, dans certains cas, d'admettre qu'une application donnée ne devrait pas exister, même s'il était techniquement possible de la construire.

Une philosophie parfaitement correcte

Nous pouvons maintenant revenir aux philosophes de la Silicon Valley et mieux comprendre où pourrait se loger le philowashing. Le problème n'est pas qu'Askell, Gabriel ou d'autres chercheurs produisent forcément de la mauvaise philosophie, ni qu'ils soient tenus d'aboutir à des conclusions favorables à leurs employeurs. En fait, le mécanisme serait bien moins intéressant s'il reposait sur des philosophes prêts à affirmer des choses qu'ils jugent fausses. La particularité de cette forme de légitimation, c'est qu'elle peut fonctionner même quand toutes les personnes impliquées travaillent avec rigueur et honnêteté intellectuelle.

La raison est institutionnelle. La question de savoir comment un modèle devrait se comporter est compatible avec presque n'importe quelle décision déjà prise par l'entreprise quant à l'endroit où le déployer, aux clients à qui le vendre et aux tâches humaines qu'il remplacera. On peut consacrer des efforts énormes à rendre un chatbot respectueux de l'autonomie humaine, pluraliste face aux différentes conceptions morales et attentif aux utilisateurs vulnérables sans pour autant remettre en question les conditions de travail de ceux qui produisent ses données, l'impact matériel de l'infrastructure nécessaire à son entraînement, la concentration de pouvoir qu'entraîne son adoption ou les usages que certains clients peuvent faire de la technologie.

Le travail philosophique sur le comportement du système possède en outre une propriété particulièrement commode : il peut améliorer le produit. Un modèle moins raciste, moins manipulateur, plus prudent et capable de fournir de meilleures explications est aussi un produit plus facile à déployer et à commercialiser. Il n'y a rien à redire à cela, pas plus qu'à la fabrication d'une voiture plus sûre. La difficulté surgit quand cet ensemble d'améliorations est présenté comme la preuve que les questions normatives pertinentes ont déjà été posées, alors qu'on n'a répondu qu'à une catégorie particulière d'entre elles.

C'est là qu'apparaît le philowashing : il n'opère pas principalement en censurant les conclusions gênantes, stratégie trop visible et maladroite, mais par une répartition institutionnelle des questions. La question de la conception interne a des budgets, des équipes et des carrières. Celle de la limite institutionnelle se trouve dans une situation bien plus précaire : l'entreprise ne la pose généralement pas, parce qu'elle peut restreindre le marché de ses produits ; les régulateurs ont tendance à arriver quand les technologies sont déjà déployées ; et l'université, qui conserve des espaces pour la poser indépendamment de toute rentabilité, est paradoxalement présentée comme le lieu dont les philosophes auraient enfin réussi à s'échapper.

C'est une différence importante avec d'autres formes de blanchiment réputationnel. Le greenwashing fonctionne quand une entreprise se forge une image d'engagement environnemental qui ne correspond pas à ses pratiques ; l'ethics washing, quand le vocabulaire de l'éthique confère une légitimité sans modifier substantiellement la répartition du pouvoir. Le philowashing, tel que nous l'entendons ici, peut être plus difficile à repérer parce qu'il n'a pas besoin de produire une fausse apparence. Il peut financer une philosophie authentique, obtenir des résultats intellectuellement précieux et même modifier positivement certains produits. Son effet de légitimation naît de quelque chose de plus élémentaire : faire d'une partie de l'espace philosophique la représentation du tout, et faire passer certaines questions pour les questions pertinentes au sujet de la technologie.

Le déplacement tient moins de la falsification que du cadrage : on conserve une part reconnaissable de la philosophie tandis que disparaît le contexte dans lequel certaines de ses questions pourraient devenir politiquement gênantes.

En ce sens, l'appropriation contemporaine de la philosophie partage une structure avec le broicism évoqué plus haut. Le problème n'était pas que les dirigeants lisent mal chaque phrase de Marc Aurèle, mais qu'une certaine sélection transformait une philosophie de la vie bonne et du rapport aux autres en une technologie individuelle pour mieux supporter un environnement qui, lui, restait hors de discussion. Dans les deux cas, le déplacement tient moins de la falsification que du cadrage : on conserve une part reconnaissable de la philosophie tandis que disparaît le contexte dans lequel certaines de ses questions pourraient devenir politiquement gênantes.

La question qui n'appartient à personne

Cela compte parce que les décisions sur la place institutionnelle de l'intelligence artificielle ne se prennent pas dans le futur hypothétique d'une intelligence artificielle générale qui s'éveillerait et déciderait quoi faire de nous. Elles se prennent maintenant, de façon bien moins spectaculaire, chaque fois qu'un organisme public achète un système de reconnaissance faciale, qu'une entreprise adopte un outil d'évaluation des salariés, qu'un hôpital met en place un modèle prédictif ou qu'une école utilise un algorithme pour repérer les élèves en difficulté. Comme l'a montré Javier Pallero dans 421 en analysant l'expansion des technologies de surveillance, les transformations importantes avancent bien souvent appel d'offres après appel d'offres, décret après décret, par des décisions locales qui semblent trop modestes pour exiger un débat sur la conception du pouvoir qu'elles embarquent.

Le débat sur l'intelligence artificielle risque de produire un effet semblable. Pendant que nous discutons pour savoir si les grands modèles « comprennent », quand arrivera l'intelligence artificielle générale ou si une machine pourrait devenir consciente, une multitude de décisions moins cinématographiques redistribuent l'autorité en silence. Une recommandation, un score de risque, une alerte, une liste classée ou une catégorisation automatique peuvent sembler des instruments modestes, mais chacun établit qui doit justifier quoi, quel résultat fait office d'option par défaut et qui supporte le coût de s'en écarter.

Il y a en outre quelque chose qui se perd avec la délégation et qui ne peut s'exprimer uniquement en termes d'efficacité ou de précision. Quand une décision qui touche une personne est prise par une autre personne, il existe, du moins idéalement, une pratique consistant à donner et à demander des raisons. Ces raisons peuvent être mauvaises, arbitraires, voire fausses, mais elles peuvent être discutées, contestées et soumises à des procédures de révision. Un système algorithmique peut préserver l'apparence de cette pratique en produisant des explications convaincantes sans que celles-ci décrivent réellement le processus qui a mené au résultat. L'explication cosmétique conserve alors la forme de la justification tout en affaiblissant sa fonction, de la même manière qu'une supervision humaine purement nominale conserve la forme du contrôle tout en vidant de son autorité celui qui est censé superviser.

C'est pourquoi il ne suffit pas d'exiger qu'il y ait toujours un humain dans la boucle. Il faut demander quel humain, dans quelle boucle et pour faire quoi exactement. Il ne suffit pas non plus d'exiger que les systèmes soient explicables, car une explication n'a de portée politique que si elle permet de comprendre, de discuter et, le cas échéant, de modifier ce qui a produit la décision. Préserver les formes institutionnelles que nous associons à l'autonomie, à la responsabilité et au contrôle est relativement simple ; préserver les fonctions que ces formes devraient remplir exige de regarder la répartition concrète du pouvoir que produisent les technologies.

À quoi sert donc un philosophe ?

Il faut peut-être revenir, pour finir, à la question du début. L'intelligence artificielle a effectivement besoin de philosophie, mais cela ne signifie pas que toutes les façons d'intégrer des philosophes se valent, ni que l'existence d'un département d'éthique prouve qu'une organisation est disposée à soumettre ses décisions à l'examen philosophique. Une institution peut compter d'excellents philosophes, hommes et femmes, et maintenir en même temps hors de discussion certaines des prémisses les plus importantes de son activité.

La tâche philosophique qui nous semble la plus urgente ne consiste donc pas à déserter les entreprises technologiques ni à soupçonner d'office ceux qui y travaillent. Nous avons besoin de personnes capables de discuter de l'intérieur de la manière dont ces systèmes doivent se comporter, tout comme nous avons besoin de chercheurs indépendants, de régulateurs et d'organisations de la société civile capables de poser des questions qu'aucune entreprise n'a assez intérêt à formuler de sa propre initiative. Le problème surgit quand nous confondons l'existence du premier type de réflexion avec la présence du second.

L'intelligence artificielle a effectivement besoin de philosophie, mais cela ne signifie pas que toutes les façons d'intégrer des philosophes se valent.

Une philosophie qui pense la transformation technologique devrait en outre retrouver une certaine vocation que la fascination pour les grands dilemmes de l'intelligence artificielle a reléguée au second plan. Les questions de savoir si une machine peut penser, comprendre ou devenir consciente sont philosophiquement séduisantes, mais elles ne devraient pas nous empêcher de demander qui produit les données dont elle se nourrit, quel travail humain reste caché derrière l'automatisation, quelles ressources elle consomme, quels organismes achètent les systèmes, quels fournisseurs acquièrent des positions de dépendance et quelles possibilités réelles ont les personnes concernées de contester leurs résultats. Il s'agit de rappeler qu'une technologie peut poser simultanément des problèmes ontologiques, épistémologiques, éthiques et politiques, et que les entreprises auront des raisons très différentes de financer l'analyse de chacun d'eux. Ce besoin de retrouver une critique matérielle et de repolitiser la réflexion philosophique faisait aussi partie de la proposition d'origine.

La Silicon Valley a peut-être enfin découvert à quoi servent les philosophes. La question qu'il nous revient de poser est un peu différente : pourquoi la philosophie voudrait-elle travailler là-bas ? Car une discipline dont l'histoire est traversée par la manie assez inconfortable d'examiner les prémisses d'une question ne devrait pas se contenter trop vite d'avoir obtenu une place à la table. Parfois, la tâche philosophique la plus importante consiste justement à demander qui a décidé de ce dont on pouvait y discuter.