Dans une lettre ouverte publiée le 27 juillet 2015, plus d’un millier de chercheurs en IA, en robotique et d’industriels ont réclamé l’interdiction des armes létales autonomes. Parmi les signataires remarqués, on peut citer le patron de Tesla et SpaceX, Elon Musk, l’astrophysicien Stephen Hawking, le cofondateur d’Apple, Steve Wozniak, le fondateur de l’entreprise DeepMind, Demis Hassabis, ou encore le linguiste Noam Chomsky.

Les auteurs proposent une définition minimale des armes létales autonomes, qu’ils distinguent des armes téléguidées ou "pilotées à distance", pour lesquelles les humains prennent toutes les décisions de ciblage. À titre d’exemples, ils citent les missiles de croisière (engins volants transportant une charge explosive sur une longue distance et guidés pour frapper une cible spécifique) ou certains drones (appareils volants sans pilote qui servent à différents usages, comme la surveillance, la reconnaissance, voire des frappes ciblées pouvant être contrôlées à distance). C’est donc en tout premier lieu la capacité à sélectionner et à engager des cibles sans intervention humaine qui caractérise une arme létale autonome, comme le rappelle d'ailleurs la définition proposée en début de texte :

Publiée à l’occasion de l’IJCAI, une conférence internationale sur l’IA qui s’est tenue à Buenos Aires du 25 au 31 juillet de la même année, la lettre alerte sur les risques existentiels que pourrait faire peser sur l’humanité le déclenchement possible d’une course aux armements militaires via l’usage de l’IA, et appelle à une interdiction pure et simple des armes létales autonomes, plus communément appelées "robots tueurs". Les auteurs et signataires rappellent que les recherches dans le domaine de l’intelligence artificielle devraient tout entières œuvrer dans le sens d’une IA au profit de la société, et non à la création de nouveaux moyens de destruction, qui pourraient s’avérer encore plus dangereux que les armes chimiques, les armes biologiques et les armes nucléaires.

Il s’agit donc d’un document à charge dont l’un des intérêts réside dans la mise en avant de sept arguments clés qui plaident pour une interdiction des armes létales autonomes : 1) le risque de course aux armements ; 2) la production et la diffusion incontrôlables des armes létales autonomes ; 3) le risque de prolifération de ce type d’armes vers des acteurs non étatiques (groupes terroristes, etc.) ; 4) la menace pour la sécurité et les droits fondamentaux ; 5) l’abaissement du seuil d’entrée en guerre ; 6) la mauvaise orientation du potentiel de l’IA ; 7) le précédent historique avec d’autres types d’armes interdites. En quoi consiste chacun de ces arguments? Que renferme précisément chacun d'entre eux?

Le risque de course aux armements. – Le premier argument, que l’on pourrait appeler "l’argument de l’effet domino" ou "l’argument du cercle vicieux", désigne la situation où un ensemble de pays rivalisent entre eux dans le but d’accroître leur puissance et leur sécurité. Dans un tel contexte de tension et de compétition entre puissances, comme c’est le cas aujourd’hui entre les États-Unis, la Chine et la Russie par exemple, chaque pays tenterait de conserver un avantage par rapport à d’autres pays en accroissant sa force de dissuasion militaire, ce qui obligerait, en guise de réaction mimétique, chacun des pays en compétition à accentuer ses efforts d’armement. On assisterait ainsi à une escalade des armements que les technologies d’intelligence artificielle rendraient d’autant plus périlleuse qu’elles présentent un risque existentiel certain, au même titre que les armes nucléaires. En d’autres termes, une avancée technologique comme l’IA peut être perçue par les États comme une menace pour leur sécurité et leur souveraineté, et produit de ce fait, par ricochet, une augmentation de l’instabilité géopolitique en instaurant un climat de méfiance mutuelle qui accroît les risques de conflits. Sans oublier que ces risques de conflits pourraient être potentiellement provoqués de façon accidentelle et incontrôlée, du fait du caractère de plus en plus autonome d’armes fonctionnant sur la base d’algorithmes d’IA qui pourraient décider, par elles-mêmes, et sans prise en compte des aspects politiques et éthiques d’une situation donnée, d’ôter la vie à des personnes, sans qu’une intervention ou une décision humaine n’ait été possible.

Une production relativement aisée. – Le deuxième argument fort qui plaide en faveur de l’interdiction des armes létales autonomes réside dans leur relative facilité à être produites. En effet, contrairement aux armes nucléaires auxquelles les SALA sont le plus souvent comparées du fait de leur niveau de dangerosité, la fabrication d’armes létales autonomes ne nécessite aucune matière première coûteuse ni autres infrastructures complexes pour être fabriquées. Ces dernières reposent majoritairement sur des composants logiciels et matériels, comme des capteurs, des processeurs avancés et des algorithmes de Machine Learning, qui évoluent non seulement rapidement, mais deviennent aussi largement disponibles à des coûts de production de plus en plus réduits (Open Source).

Un risque de prolifération incontrôlable. – Le troisième argument découle logiquement du second. C’est en effet la combinaison entre "production de masse aisée" et "coûts relativement bas" qui pourrait rendre la diffusion à grande échelle de ces armes difficilement contrôlable, et bien plus dangereuse encore que des armes conventionnelles ou les armes nucléaires. Un des aspects les plus inquiétants mis en exergue par les auteurs de la lettre est l’exploitation potentielle qui pourrait être faite de ces armes à l’occasion de n’importe quel type de conflit (guérillas, guerres civiles ou conflits asymétriques opposant des forces armées irrégulières et des gouvernements), et par des acteurs qui ne seraient pas contrôlés par des États, comme des groupes terroristes, des organisations criminelles ou des dictateurs. Ces derniers pourraient en effet facilement s’en emparer sur le marché noir et commettre les pires exactions, comme perpétrer un nettoyage ethnique, commettre des assassinats ciblés, déstabiliser des nations, soumettre des populations, ou encore, organiser le meurtre sélectif d’un groupe ethnique donné.

La menace pour la sécurité et les droits fondamentaux. – D’où le quatrième argument qui apparaît en filigrane dans la lettre, et qui concerne les préoccupations majeures que la prolifération incontrôlée des armes létales autonomes ferait peser sur la sécurité des personnes et le respect de leurs droits fondamentaux : le droit à la vie, à la dignité humaine, à la sûreté, au respect de la vie privée, à la liberté de conscience, d’opinion, de religion ou d’expression. Ce que souligne le risque d’usage malveillant par des groupes mal intentionnés, comme ceux mentionnés plus haut, incluant également le risque de génocide tel que défini à l’article II de la Convention pour la prévention et la répression du crime de génocide adoptée le 9 décembre 1948.

L’abaissement du seuil d’entrée en guerre. – Ce cinquième argument, certainement le plus controversé car le plus difficile à trancher, souligne le changement fondamental de dynamique et de perception des conflits armés par les décideurs politiques, les militaires et l’opinion publique qu’induirait l’usage des SALA, puisque, dorénavant, les soldats humains pourraient être remplacés par des machines autonomes.

La notion de "seuil d’entrée en guerre", issue de l’histoire et de la stratégie militaires, exprime l’idée d’un niveau de tension ou de menaces à partir duquel un État prend la décision de s’engager dans un conflit armé. Si la notion est couramment acceptée et utilisée par les militaires et les stratèges, son expression peut varier. On parle parfois de "seuil de tolérance" ou de "seuil de déclenchement" pour indiquer des limites critiques à ne pas franchir avant le déclenchement d’une guerre ou d’une intervention militaire. Ce seuil peut varier en fonction d’un contexte ou d’une situation donnée, et prendre en compte une multitude de facteurs comme l’histoire d’un pays, ses capacités militaires et technologiques, son économie, les alliances qu’il a forgées avec d’autres pays ou au sein d’organisations internationales, la vision stratégique de ses dirigeants, l’idéologie politique qu’ils défendent, ou encore le contexte géopolitique à un moment donné du développement des relations internationales et historiques. Enfin, il s’inscrit le plus souvent au sein de la doctrine militaire définie par les dirigeants du pays en question, laquelle est généralement formalisée dans des documents officiels comme des livres blancs sur la défense, des publications gouvernementales, des directives stratégiques ou des rapports parlementaires.

Or, de par son sens même, la guerre a toujours été associée à des coûts humains importants. Décider d’entrer en guerre ne relève pas seulement d’une décision d’ordre logique qui consisterait à évaluer, sur la base de prémisses clairement définies par la doctrine, si un seuil a été franchi qui justifie une guerre ou une intervention militaire ; c’est aussi et surtout accepter d’emblée que des populations d’hommes et de femmes, à la fois militaires et civils, majoritairement jeunes, vont trouver la mort au prix, le plus souvent, d’atroces souffrances. C’est ce drame, avant tout humain pour toute une génération d’individus, qui rend la décision ou non d’entrer en guerre difficile à prendre. Les gouvernements doivent non seulement rendre compte à leurs concitoyens des pertes humaines, mais aussi et surtout du sens que ces dernières peuvent avoir au regard d’une cause supposée les justifier, puisque c’est précisément en son nom que l’on a pris la décision d’entrer en guerre. En d’autres termes, au cœur même de la guerre se trouve avant tout la décision politique et morale d’endosser la responsabilité de pertes humaines importantes, sans avoir aucune certitude quant au résultat final qu’elle produira. Ce qui signifie que les facteurs de déclenchement d’une entrée en conflit ne sont pas seulement économiques, politiques, stratégiques, militaires, géographiques, géopolitiques ou encore diplomatiques, mais également psychologiques.

En conséquence, la réduction drastique du nombre de victimes humaines qu’elle promet semble plaider en faveur de l’usage des armes létales autonomes, puisque ces dernières ôteraient à la guerre, au sens traditionnel du terme, ce qui en fait un phénomène d’une portée dramatique sans égale, à savoir : la promesse de pertes humaines importantes. Elles bouleverseraient de façon radicale la perception habituelle et séculaire que nous nous faisons de la guerre en neutralisant son attribut le plus fondamental : la légitimation de la mort de milliers, voire de millions, d’êtres humains. Mais en même temps qu’elles pourraient réduire de façon drastique le coût humain de la guerre en remplaçant des soldats biologiques par des machines autonomes, les SALA abaisseraient du même coup les obstacles d’ordre psychologique et moral qui pèsent sur les décideurs politiques et les enjoignent à privilégier le plus possible la solution diplomatique à la solution militaire dans la résolution d’un conflit entre États. En d’autres termes, l’usage d’armes létales autonomes aurait pour conséquence d’abaisser le seuil d’entrée en guerre, ou "seuil de tolérance" à partir duquel un État pourrait décider d’intervenir militairement, et augmenterait de ce fait la tentation d’user de la force pour résoudre des situations de crise. Ce que nous gagnerions d’un côté (la réduction du nombre de victimes), nous le perdrions de l’autre (l’augmentation du recours à la force et du nombre de conflits armés), avec des conséquences à moyen et long terme qui se caractériseraient par le prolongement des conflits, un risque d’instabilité croissante, des tensions géopolitiques constantes entre États et des menaces permanentes qui pèseraient sur les populations civiles.

Les auteurs de la lettre mettent en exergue un principe bien connu des économistes, et plus particulièrement de l’économie de l’énergie, que l’on appelle "l’effet rebond". Ce dernier a été initialement théorisé par l’économiste britannique William Stanley Jevons (1835-1882), lequel avait observé que l’amélioration de l’efficacité dans l’utilisation du charbon au Royaume-Uni avait finalement conduit à une augmentation de la consommation totale de cette même énergie. De façon générale, l’effet rebond se caractérise ainsi par une situation dans laquelle des gains d’efficacité apportés par une innovation technologique à court terme peuvent avoir des effets qui n’étaient pas initialement prévus à plus long terme.

Bien que généralement appliquée au domaine de l’énergie, la notion "d’effet rebond" peut être étendue à n’importe quelle situation pouvant faire apparaître des effets secondaires contre-intuitifs provoqués par l’introduction d’une nouvelle technologie. Il constitue donc un outil puissant pour tenter d’analyser et d’anticiper de façon holistique les risques qui pourraient advenir en cas d’usage des technologies d’IA dans des contextes précis donnés. Il met en œuvre un raisonnement de type conséquentialiste (centré sur les effets) qui prend la forme d’un calcul de gains et de pertes. Dans le contexte militaire et géopolitique qui est celui des auteurs de la lettre, ces derniers indiquent en effet que le gain initial mesuré en termes de vies humaines pourrait être contrebalancé par une augmentation globale des conflits armés, qui pourrait in fine, en plus des effets indésirables que nous avons déjà évoqués plus haut, se solder par davantage de pertes humaines.

La mauvaise orientation du potentiel de l’IA. – Un dernier argument majeur évoqué par la lettre concerne la mauvaise orientation des efforts en ressources financières et humaines, dédiés finalement à augmenter nos capacités destructrices, alors que nous devrions les concentrer sur le potentiel exceptionnel que constitue l’IA pour améliorer le bien-être général de nos sociétés, dans les domaines de la médecine, de la lutte contre le changement climatique, de l’éducation, de l’optimisation des ressources naturelles, etc. Les auteurs vont même jusqu’à invoquer une éthique de la recherche scientifique en revendiquant le droit des chercheurs (chimistes, biologistes, physiciens, ingénieurs, etc.) de contester le détournement qui peut être fait de leurs recherches vers la production de systèmes techniques, comme les systèmes d’IA, qui réduiraient les avantages sociétaux que ces dernières sont susceptibles d’apporter. Or la vocation première des technologies en général, et de l’intelligence artificielle en particulier, n’est pas de poursuivre des objectifs militaires et de puissance, mais d’améliorer le bien-être humain et de résoudre les défis majeurs auxquels nous sommes actuellement confrontés (crise écologique, amélioration de l’espérance de vie en bonne santé, accès à l’éducation et aux connaissances pour tous, etc.).

Sans compter la méfiance que pourrait provoquer auprès du grand public l’utilisation militaire massive de l’intelligence artificielle, que ce soit vis-à-vis de son usage, de la recherche en IA, et finalement de la communauté scientifique tout entière. Dans ce cadre, l’IA serait associée de façon négative à des technologies mises au service des grandes puissances pour asseoir leur domination, faire de la surveillance de masse, ou encore menacer la vie privée et la liberté des personnes…