Voitures autonomes : qui devons-nous choisir de tuer en cas d’accident ?

À l’heure où l’intelligence artificielle s’invite dans tous les domaines de la vie sociale, la mise en circulation des voitures autonomes constitue un terrain privilégié pour examiner certaines des questions les plus fondamentales de l’éthique de l’intelligence artificielle. C’est à ces questions que le livre de Jean-François Bonnefon, La voiture qui en savait trop. L’intelligence artificielle a-t-elle une morale ? (Éditions HumenSciences - 2019), tente de répondre. Docteur en psychologie cognitive, l’auteur est directeur de recherche à la Toulouse School of Economics et spécialiste mondialement reconnu pour ses travaux relatifs aux dilemmes moraux soulevés par l’usage de l’intelligence artificielle. Il s’est notamment fait connaître à l’occasion de la publication, en 2018, d’un article scientifique coécrit avec une équipe de chercheurs issus de plusieurs institutions académiques : The Moral Machine Experiment.

Ce projet explore, grâce à la mise en place d’un protocole de recherche basé sur la collecte et l’analyse de données auprès de plus de 40 millions d’individus répartis dans 233 pays et territoires, les dilemmes moraux inédits soulevés par la mise en circulation des véhicules autonomes. C’est précisément la genèse et l’histoire de ce projet que Bonnefon retrace dans son livre La voiture qui en savait trop. L’intelligence artificielle a-t-elle une morale ? Voici comment il explicite, sur le site du CNRS, les intentions initiales du projet :

« Le projet Moral Machine ne prétend pas déterminer ce qui est éthique ou moral. Mais il nous semble qu’avant de légiférer et de mettre ces voitures sur les routes, il convient pour les pouvoirs publics et les constructeurs de savoir quelles sont les solutions les plus acceptables socialement aux yeux de la population. »

Dans la galaxie des questions relatives à l’éthique, il est en effet essentiel de distinguer celles qui relèvent de l’éthique normative, laquelle vise à déterminer les règles et principes que nous devrions suivre dans telle ou telle situation (l’éthique normative répond à la question : Que dois-je faire ? ou Que devrions-nous faire ?), de celles qui relèvent d’une approche purement descriptive et qui cherchent à rendre compte, de la manière la plus objective possible : 1) de la façon dont les individus se comportent dans une situation donnée, 2) des raisons pour lesquelles ils agissent ainsi. Le premier type de question est du ressort de la philosophie, et plus précisément de la philosophie morale, tandis que le second appartient au champ de la psychologie, mais aussi de la sociologie, de l’anthropologie ou encore de l’histoire. C’est cette distinction que Bonnefon prend soin de rappeler. En d’autres termes, si l’on doit situer The Moral Machine Experiment dans un cadre disciplinaire précis, il relève de ce que l’on appelle la psychologie morale.

Deux questions éthiques inédites. – Force est de constater en effet que la mise en circulation des voitures autonomes pose des questions d’ordre éthique non seulement entièrement nouvelles, mais aussi à une échelle totalement inédite, étant donné la place qu’occupent les véhicules de transport dans les sociétés contemporaines. Or, derrière la promesse de polluer moins et de réduire de façon significative le nombre d’accidents, et donc de morts, se profilent des interrogations pour le moins vertigineuses, car totalement nouvelles pour l’humanité, à savoir :

• Combien d’accidents mortels allons-nous autoriser ces voitures à avoir ?

• Comment et selon quels critères allons-nous répartir les victimes, lesquelles peuvent être tour à tour les passagers du véhicule, des piétons, les passagers d’autres véhicules, des enfants, des couples mariés, des personnes âgées, des sportifs, des personnes handicapées, des célébrités, des sans-abris, etc. ?

Pourquoi ces questions sont-elles inédites. – Pourquoi ces questions sont-elles inédites ? Pour une raison simple, qui semble relever du bon sens : surpris par la rapidité et l’imprévisibilité des événements qui surviennent, le conducteur humain n’a pas, contrairement à un véhicule autonome, la capacité d’analyser le dilemme moral dans lequel il est engagé au moment de l’imminence d’un accident, son premier réflexe étant de se sauver lui-même. Or, puisque toute décision et action morale implique, de la part de celui qui l’accomplit, la possibilité (c’est-à-dire une forme de liberté), même relative, d’analyser et de choisir entre différentes options en jeu – ce que suppose la notion de "dilemme moral" – et de réaliser des choix en conséquence, il apparaît clairement que nous ne pouvons pas analyser les accidents impliquant des humains au volant en termes de dilemmes moraux. En d’autres termes, lorsqu’il est confronté à un accident dont les issues sont au minimum au nombre de deux (condition nécessaire pour constituer un dilemme moral), le conducteur humain, davantage mû par des comportements réflexes, perd sa qualité d’agent moral, c’est-à-dire libre, rationnel et responsable. Il n’est en effet malheureusement pas (encore) possible de "programmer" notre esprit de telle sorte qu’il puisse agir de façon moralement adéquate dans des situations (les accidents de voiture) où nos capacités d’agent rationnel et libre sont en quelque sorte neutralisées par des réactions automatiques, involontaires et immédiates.

Mais ce qu’il n’est pas possible de faire pour un conducteur humain, nous pouvons – et surtout nous devons – le faire pour les véhicules autonomes. La mise en circulation de ces derniers nous enjoint de décider selon quels principes et règles morales ils devront opérer dans les cas d’accidents où des dilemmes moraux sont engagés. Ce qui revient à poser la question suivante :

• De qui allons-nous risquer la vie en priorité en cas d’accident ? Ou encore : sommes-nous prêts, en tant que conducteurs, à sacrifier la vie des passagers du véhicule dans lequel nous nous trouvons, au nom de principes moraux que nous jugeons supérieurs ?

La notion de dilemme moral. – Au point de départ du projet de recherche de Bonnefon se trouve donc la notion de « dilemme moral ». Il faut entendre par « dilemme moral » une situation dans laquelle une personne se trouve confrontée à deux ou plusieurs options mutuellement exclusives, mais toutes justifiables du point de vue de la moralité. Un dilemme moral se caractérise donc par un conflit de valeurs et de principes éthiques qui se trouvent en concurrence dans un contexte donné, et à propos duquel nous nous voyons dans l’obligation de trancher afin de dénouer le conflit en jeu. En d’autres termes, il nous oblige à faire des choix et à renoncer à une ou plusieurs autres options comportant pourtant des dimensions morales auxquelles nous accordons une importance, sinon égale, du moins réelle. Faut-il, par exemple, dire la vérité à une personne que l’on aime, au risque de lui causer de profonds désagréments, ou continuer à lui mentir afin de préserver la tranquillité et le bien-être mental dans lequel elle se trouve, et que la connaissance de la vérité viendrait inévitablement rompre ?

Le dilemme du tramway. – L’un des dilemmes, pour ne pas dire le dilemme le plus célèbre de la philosophie éthique, est le fameux dilemme du tramway. Il a été formulé pour la première fois en 1967 par la philosophe britannique Philippa Foot dans un article relatif à la question du droit à l’avortement : The Problem of Abortion and the Doctrine of the Double Effect, traduit par Fabien Cayla et reproduit dans un recueil de textes consacré à la question philosophique de la responsabilité sous le titre : Le problème de l’avortement et la doctrine de l’acte à double effet. Ce dilemme a connu depuis de nombreuses variations, notamment celles proposées par Judith J. Thomson dans un article de 1985, intitulé précisément : Le problème du tramway. Imaginez la situation suivante :

« Un tramway hors de contrôle roule sur une voie, tandis que cinq personnes sont attachées sur cette même voie. Si le tramway poursuit sa trajectoire, les cinq personnes seront inévitablement tuées. Or, il se trouve que vous avez la possibilité de dévier le tramway sur une voie secondaire où ne se trouve qu’une seule personne. Si vous actionnez le levier, cette personne sera tuée, mais vous aurez sauvé les cinq autres. Que devriez-vous faire ? »

Or, par la magie du progrès technologique et de l’intelligence artificielle, le dilemme du tramway semble soudainement passer, avec le cas des voitures autonomes, d’une simple expérience de pensée pour étudiants en philosophie à un problème tangible, sur lequel toutes les parties prenantes impliquées plus ou moins directement dans la mise en circulation de ces véhicules – États, organisations internationales et régionales, universitaires, centres de recherche, constructeurs, entreprises, société civile, etc. – sont mises en demeure de réfléchir. Dans ce cadre, Bonnefon propose une nouvelle version, plus moderne, du dilemme du tramway, qu’il formule ainsi :

« Et si une voiture sans conducteur ne pouvait éviter l’accident et qu’elle devait opter entre deux groupes de victimes, comment devrait-elle choisir ? »

Première expérience : dilemme moral versus dilemme social. – En s’inspirant du dilemme du tramway, notre groupe de chercheurs imagina ainsi deux scénarios : Quelle action jugeriez-vous la plus morale, et comment souhaiteriez-vous voir programmer votre voiture, si, lors d’un accident qu’elle ne peut éviter, 1) cette dernière avait le choix entre tuer dix piétons, ou 2) donner un coup de volant et n’en tuer plus qu’un ? Et si, au lieu de ne tuer qu’un piéton, 3) c’était le passager à l’intérieur de la voiture que le coup de volant condamnait, en envoyant cette dernière s’encastrer dans un obstacle ? D’un dilemme "moral", cette première expérience allait révéler un second type de dilemme, que les économistes appellent "social". L’analyse des résultats montrait en effet que la grande majorité des participants considéraient comme plus moral que la voiture autonome soit programmée pour sauver le plus grand nombre de piétons, quitte à sacrifier le passager. Mais ces mêmes participants n’étaient pas prêts à acheter une voiture programmée pour tuer son passager. En d’autres termes, les résultats montraient "que si les voitures sans conducteur avaient l’obligation de sacrifier leur passager au bénéfice du plus grand nombre, leur vente risquerait de chuter drastiquement".

La tentative de résoudre une nouvelle fois le fameux problème du tramway débouchait ainsi sur une impasse d’ordre commercial, qui avait surtout des implications certaines quant à la mise en place de politiques publiques en faveur de la réduction du nombre de morts sur les routes. Partant du principe que les voitures autonomes causeraient moins d’accidents mortels, un responsable politique conséquent se verrait dans l’obligation d’imposer la mise sur le marché de voitures programmées pour tuer le moins de personnes possibles, quitte à sacrifier les passagers. Ce qui aurait pour conséquence inévitable, d’après les études réalisées, de dissuader une forte proportion de conducteurs d’acheter des voitures autonomes, au profit de voitures traditionnelles, continuant ainsi à causer des accidents qui auraient pu être évités. "Autrement dit, nos résultats suggèrent que, pour sauver davantage de vies, il faudra peut-être programmer les voitures autonomes… pour en sauver moins !"

Moral Machine : 40 millions de réponses. – C’est dans ce cadre qu’est lancé en 2016, par une équipe de chercheurs du MIT Media Lab, Moral Machine. Inspirée du célèbre dilemme du tramway, Moral Machine est une plateforme web qui vise à capturer les préférences morales des individus, puis à étudier leurs décisions face aux dilemmes posés par la mise en circulation des véhicules autonomes, en tenant compte de variables liées à la culture et à la position géographique de personnes situées dans le monde entier. Son but principal est donc :

« (…) explorer la façon dont les citoyens veulent que les voitures sans conducteurs soient programmées. »

Les moyens mis à disposition, rendus possibles par la collecte massive de données sur le web, permettent aux chercheurs d’analyser les préférences éthiques des citoyens à travers différents scénarios d’accidents présentés par paires, associés aux caractéristiques des victimes (âge, sexe, statut social, etc.), ainsi qu’à des variables environnementales comme le fait d’être dans la voiture, sur la route, devant la voiture ou sur une autre trajectoire, ou encore la couleur du feu (rouge ou vert) pour les piétons. En d’autres termes, la qualité et la profondeur des données collectées permettent ainsi "de calculer l’importance de chaque caractéristique pour prédire sur quel accident l’utilisateur va cliquer". L’utilisateur est en effet confronté à une série de scénarios hypothétiques où une voiture autonome doit choisir entre plusieurs options impliquant des pertes humaines, comme sacrifier les passagers ou les piétons, privilégier les enfants ou les adultes, etc.

Comment, et selon quels critères, allons-nous répartir les victimes, lesquelles peuvent être tour à tour des passagers du véhicule, des piétons, des passagers d’autres véhicules, des enfants, des couples mariés, des personnes âgées, des athlètes, des personnes handicapées, des célébrités, ou encore des sans-abris ? Ce sont ainsi plus de 40 millions de décisions, prises par des utilisateurs issus de 233 pays et territoires différents, qui débouchent en 2018 sur la publication d’une étude dans la revue Nature révélant les choix moraux des participants ainsi que les variations culturelles associées. Ce sont ces résultats que Bonnefon présente aux chapitres 21 et 22 de son livre La voiture qui en savait trop. L’intelligence artificielle a-t-elle une morale ?

Neuf préférences dont trois arrivant largement en tête. – Le chapitre 21 met ainsi en exergue neuf préférences réunies et hiérarchisées au sein de trois groupes, selon le poids respectif de chacune des variables. Celles-ci correspondent soit à des scénarios d’accidents présentés par paires (par exemple tuer une personne âgée ou cinq chiens), soit à des caractéristiques liées aux victimes (âge, genre, statut social), soit encore à des variables d’environnement (être dans la voiture, être sur la route, respecter un feu vert, etc.). En tout, neuf dimensions ont été analysées : le nombre de personnes, le genre, l’âge, l’état de santé, le statut social, l’espèce, la situation sur la route, la légalité, et enfin, le status quo (continuer tout droit ou changer de direction). Les données issues des 40 millions de décisions recueillies dans le monde permettent de définir les préférences morales comme suit :

• Trois dimensions largement en tête : 1) l’espèce (préférez-vous tuer un animal ou un humain ?), 2) le nombre (préférez-vous sauver le groupe le plus important ?), 3) l’âge (préférez-vous sauver les bébés, les enfants, les adultes ou les personnes âgées ?).

• Deux préférences qui émergent ensuite : 1) sauver les piétons qui traversent en respectant le code de la route (légalité), 2) épargner les personnes au statut social élevé.

• Quatre préférences plus faibles : 1) sauver les athlètes plutôt que les personnes en surpoids, 2) épargner les femmes, 3) sauver les piétons plutôt que les passagers de la voiture, 4) préférer laisser la voiture aller tout droit plutôt que de changer de direction.

Peut-on observer des préférences culturelles qui mettent en évidence des différences quant au poids que chacune des neuf variables occupe dans les choix moraux d’un pays ou d’un territoire donné ? En d’autres termes, peut-on regrouper des pays ou territoires en blocs relativement homogènes en fonction du degré d’intensité de chacune des neuf préférences ? C’est ce que se propose d’analyser Moral Machine, en isolant les 130 pays et territoires ayant fourni le plus grand nombre de réponses. Sur cette base, les auteurs construisent, pour chacun de ces 130 pays, un vecteur à neuf dimensions auquel est attribué un score déterminé par le poids de chacune des variables composant Moral Machine. L’objectif est de construire le "profil moral" de chaque pays ou territoire, afin de voir s’il est possible de former des blocs possédant des profils "relativement similaires", sans que l’algorithme chargé de les établir ne connaisse la position géographique d’un pays donné. Trois grands blocs se dégagent, chacun contenant à son tour des sous-blocs :

• Un bloc « Ouest ». Correspond au monde dit « occidental », constitué de presque tous les pays d’Europe, avec un sous-bloc regroupant les pays protestants (Allemagne, Danemark, Finlande, Islande, Norvège, etc.) et un autre comprenant le Royaume-Uni et ses anciennes colonies. Ce résultat conforte les chercheurs dans l’idée que les réponses apportées aux dilemmes moraux proposés par Moral Machine capturent des effets de proximité géographique, historique et religieuse.

• Un bloc « Est ». Constitué essentiellement de pays d’Asie et du Moyen-Orient, allant de l’Égypte jusqu’à la Chine, le Japon et l’Indonésie.

• Un bloc « Sud ». Ce troisième bloc se divise en deux sous-blocs : l’un regroupe l’ensemble des pays d’Amérique du Sud, tandis que l’autre comprend la France métropolitaine et ses territoires d’outre-mer (Martinique, Réunion, Nouvelle-Calédonie, Polynésie française), mais aussi le Maroc et l’Algérie, soit des pays historiquement liés à la France.

Ainsi, tandis que le bloc "Est" accorde relativement moins d’importance à l’âge (les personnes âgées y sont davantage sacrifiées que les jeunes, mais moins que dans d’autres régions du monde), le bloc "Sud", lui, manifeste une préférence marquée pour sauver les femmes. Ces variations culturelles soulignent plusieurs difficultés majeures :

• Qu’il sera extrêmement difficile de s’accorder sur un code moral mondial applicable aux voitures autonomes ;

• Que les tentatives d’élaboration de principes moraux universels pour l’IA – comme les 23 principes d’Asilomar ou la Déclaration de Montréal – sous-estiment largement les différences culturelles ;

• Que la problématique centrale de l’éthique de l’IA, consistant à aligner les comportements des machines sur des valeurs morales fondamentales, est largement questionnée par les sciences sociales ;

• Qu’avant de chercher à aligner le comportement des machines sur les valeurs morales, il nous faut préalablement développer des outils permettant de quantifier ces valeurs et leurs variations culturelles.