Des réactions critiques sont provenues de l’intérieur même de l’entreprise dans les dernières années. Nous avons déjà abordé le projet Dragonfly qui avait été dénoncé par une lettre signée par plus de 1400 employés de Google. Il s’agissait d’un programme visant à concevoir un moteur de recherche « personnalisé » pour l’État chinois, intégrant la censure et les restrictions d’accès à l’information caractéristiques du régime. En bref, le moteur de recherche aurait permis au gouvernement chinois de contrôler les résultats de recherche et d’espionner les utilisateurs. Le projet aurait été abandonné pour de bon en juillet dernier.
De même, il convient de souligner l’opposition interne qu’a suscité le projet Maven, portant sur le perfectionnement de la technologie de reconnaissance visuelle utilisée par la défense américaine dans son programme de drones. Des appels ont été faits pour que Google se retire du marché des technologies militaires et s’engage à ne pas effectuer de recherche ou à ne pas développer de produit qui puisse être utilisé à des fins militaires, ce que Google a intégré en juin 2018 à ses principes devant guider le développement de l’IA. L’événement avait aussi mené à la démission l’an dernier de l’ingénieure Laura Nolan. Depuis, Mme Nolan est une opposante active aux « robots tueurs », c’est-à-dire aux robots militaires pouvant identifier une cible, attaquer et tuer de manière plus ou moins autonome. Elle a notamment joint la campagne Stopper les Robots Tueurs. Elle est sortie plus récemment dans les médias :
Les opposants affirment que ces robots tueurs posent un risque énorme en raison de leur imprévisibilité et craignent qu’ils puissent être éventuellement responsables du déclenchement d’une guerre ou de violations de droits humains. Ils militent pour que ces armes soient interdites en droit international, comme le sont les armes chimiques ou bactériologiques. Les défenseurs des programmes de robots militaires autonomes tablent plutôt, de leur côté, sur une meilleure protection des populations civiles et des soldats, par des décisions critiques prises plus rapidement (lorsque le temps de réaction est une question de vie ou de mort), par des frappes plus précises et par une meilleure gestion des risques inhérents aux hostilités armées.
À l’heure actuelle, plusieurs grandes puissances militaires (dont les États-Unis, la Russie, la Chine et Israël) ont des programmes de développement et de mise en opération de robots militaires autonomes, ou s’opposent à leur interdiction. À l’heure actuelle, les législations n’empêchent pas le déploiement d’armes autonomes, malgré qu’aucun État n’ait encore affirmé faire usage de telles armes dans leur mode pleinement automatisé et autonome. Elles ne sont encore ni réellement utilisées, ni vraiment à point. Comme le craignent les opposants, leur précision et leur capacité à reconnaitre une cible légitime sont encore limitées. Nous risquons néanmoins d’avoir à nous poser rapidement des questions difficiles, les technologies évoluant rapidement.
Les enjeux généraux de l’automatisation et des machines autonomes
Il y a des enjeux particuliers soulevés par les armes autonomes, du fait qu’il s’agit de technologies militaires. Mais il y a aussi des enjeux soulevés par l’automatisation et les machines autonomes plus généralement.
Les systèmes d’IA sont souvent opaques, c’est-à-dire qu’on ne peut pas savoir exactement les raisons pour lesquelles un système a pris une décision X ou Y. C’est le problème de la boîte noire : on sait les informations qui entrent dans la « boîte », on connaît ce qui en sort, mais ce qui se passe « dans la boîte » est inconnu. Aussi, ces systèmes fonctionnent à une rapidité qui dépasse l’entendement humain. Lorsque plusieurs systèmes communiquent entre eux, des réactions en chaîne peuvent se produire excessivement rapidement, de telle sorte que l’humain ne peut tout simplement pas suivre le rythme d’analyse et de prise de décision des machines. Difficile alors de comprendre les décisions prises ou même d’intégrer un apport humain dans le processus. L’être humain se doit alors de faire confiance aux machines, à leur analyse de la situation ou à leur décision. Cette question de la confiance dans les relations humain-machine est déjà épineuse dans des contextes moins sensibles, on peut imaginer que c’est particulièrement difficile lorsqu’il est question de vie ou de mort. De plus, il devient difficile de déterminer qui doit être imputable des actions et décisions des systèmes intelligents.
Ces caractéristiques des systèmes d’IA entrainent un autre enjeu, plus spécifique. Déléguer une part des actions et des décisions à des machines peut entraîner chez les êtres humains impliqués une distanciation par rapport aux conséquences de ces actions et de ces décisions. On sait que de fragmenter une action en plusieurs étapes bien distinctes, confiées chacune à différentes personnes isolées, met les acteurs à distance de l’action dans sa globalité et leur permet de rationaliser leur rôle dans cette action. C’est la « banalité du mal » : le conducteur de train menant les Juifs aux camps de concentration « ne fait que son travail », il n’a personnellement « jamais tué personne ». L’automatisation des tâches et leur réalisation par des machines autonome poussent à l’extrême cette logique de distanciation et, avec elle, l’efficacité avec laquelle les sociétés humaines peuvent commettre le mal avec relativement bonne conscience.
Enfin, les technologies autonomes sont souvent mises de l’avant sur la base de leur capacité à éliminer l’erreur humaine et, de manière générale, à être plus fiables que les humains. Pensons notamment au discours légitimant le développement de voitures autonomes. Un objectif principal est de réduire les accidents de la route, en éliminant les erreurs humaines, plus fréquentes que les problèmes mécaniques, par exemple. Les systèmes intelligents seraient en mesure d’intégrer et de traiter conjointement beaucoup plus d’information, et plus rapidement, que le cerveau humain. Le recours à des armes autonomes est souvent justifié par le fait qu’elles causeraient, au net, moins de morts que les méthodes militaires conventionnelles et assureraient un meilleur respect des lois et conventions internationales, bien que cela demeure une affirmation à vérifier.
L’éthique de la guerre
L’éthique est partout, même à la guerre. Les conventions internationales régulant l’action des États en situation de conflits armés (Conventions de Genève) s’appuient notamment sur des considérations d’éthique de la guerre : protection des civils et des travailleurs humanitaires, interdiction de la torture, proportionnalité de la menace et de la riposte, etc. D’ailleurs, pour certains, les machines seraient plus fiables pour appliquer des règles, dont celles du droit humanitaire international, les humains ayant tendance à tricher. Encore faudrait-il programmer toutes ces règles et les multiples cas possibles d’application.
Néanmoins, les défenseurs des robots tueurs mettent de l’avant l’idée que ces derniers amélioreraient la protection des populations civiles en permettant des frappes plus précises, plus ciblées, dans la mesure où les systèmes intelligents utilisés soient effectivement plus performants que la perception et la cognition humaines. L’idée peut-être cynique est que le mieux qu’on puisse faire en ce qui concerne les guerres, c’est d’essayer de limiter les dégâts, et que des robots militaires autonomes sont des outils essentiels pour le faire. La guerre de précision, technologique, serait ainsi une manière de réduire les méfaits de la guerre.
Toujours pour ses défenseurs, le développement des robots tueurs devrait être fait ne serait-ce que de manière préventive. L’argument est simple : nos ennemis le font. Nous aurions donc un intérêt stratégique évident à comprendre ces technologies et de ne pas se retrouver considérablement désavantagés dans l’avenir en cas de conflit armé. Cette question d’une course aux armements est aussi une motivation des opposants, qui préféreraient qu’on y réponde par l’interdiction des robots tueurs plutôt que par leur développement.
Enfin, pour plusieurs militants contre les armes autonomes, un problème avec leur utilisation est qu’elles déshumanisent la guerre, la rendent encore moins humaine qu’elle ne l’est déjà. Dans cette idée, il serait problématique, par exemple, de déléguer complètement la décision de la vie ou de la mort d’autrui à des machines qui n’ont pas de capacité de jugement moral, plutôt que ce genre de décision revienne toujours à un être humain, capable de l’aborder en tenant compte de sa dimension morale.
Pour en savoir plus sur les « robots tueurs »
Nous vous référons à un intéressant dossier dans le magazine The Atlantic [en anglais] : https://www.theatlantic.com/technology/archive/2019/09/killer-robots-and-new-era-machine-driven-warfare/597130/
