Nous sommes en 2060. Un agriculteur guinéen se réveille et prépare sa journée de travail. Il prend la tasse de café chaud que sa cuisine automatisée a préparée pour lui et sort vérifier ses cultures. Dehors, ses cinq robots étincelants entretiennent soigneusement des rangées et des rangées de plants de manioc parfaitement espacés. Son téléphone émet un bip, lui signalant que les rendements de cette année devraient être deux fois supérieurs à ceux de l’année précédente. L’agriculteur rentre chez lui et demande à l’intelligence artificielle des suggestions pour une autre journée de loisirs sans travail.

Ceci est une version de l’IA mania telle que présentée aujourd’hui par les grandes entreprises technologiques, qui nous prédisent un utopique Jardin d’Eden se nourrissant d’une version réactualisée de la fameuse fin de l’histoire.

Cependant, une autre alternative est qu’aucune personne ne se réveille en 2060, à cause notamment d’un accident causé par une IA toute-puissante dont une seule petite erreur de calcul peut conduire à l’extinction de la race humaine.

Je comprends que ces deux scénarios puissent sembler relever de la science-fiction, le genre d’histoire qui n’est concevable que dans un film hollywoodien. Cependant, des décisions sont prises aujourd’hui qui pourraient rendre ces deux scénarios bien plus probables, réalisables qu’on ne pourrait l’imaginer.  

En ce moment même, dans des bureaux sur la côte ouest des États-Unis, des décisions sont prises et des milliards de dollars sont dépensés pour créer une superintelligence numérique. Pourtant, le terme « créer » n’est peut-être pas le plus approprié ; « cultiver » ou « faire évoluer » serait plus juste. Les avancées technologiques de la dernière décennie ont rendu possible pour quelques centaines de lignes de code de « former » un réseau neuronal à apprendre, à grandir et à évoluer.

Comment cela est-il possible ? Même les techniciens qui travaillent là-dessus ne le comprennent pas vraiment. « Nous n’avons aucune idée précise de la manière dont une IA arrive à ses décisions », écrit Mo Gawdat, un ancien cadre de Google, dans son livre prophétique Scary Smart. Lui et d’autres experts clés de l’IA ne cessent de nous avertir que l’IA reste, sous bien des aspects, une dangereuse boîte noire que nous ne comprenons pas réellement.

Les progrès rapides récents dans le domaine de l’IA proviennent des informaticiens qui imitent le cerveau sous forme de réseaux neuronaux numériques, et les entraînent dans un processus qui ressemble à l’évolution humaine. L’IA, pour le dire autrement, s’entraîne sur les données que nous lui fournissons, et développe ses capacités et son intelligence.

Elle est déjà meilleure que nous dans une variété de domaines : elle conduit de manière plus sûre, nous surpasse aux échecs, réussit des examens universitaires, possède une mémoire encyclopédique et peut en quelques secondes – là où l’intelligence humaine prendrait une heure ou plus – rédiger des courriels presque-parfaits. Mais pour les décideurs de haut niveau à San Francisco, ceci n’est que le début. De plus en plus, les principales firmes d’IA se livrent une course effrénée pour atteindre l’Intelligence Artificielle Générale (IAG), une version qui serait meilleure et plus intelligente que les humains dans tous les domaines.

En d’autres termes, ces entreprises sont en train d’essayer de créer un dieu artificiel, une entité si intelligente qu’elle pourrait nous aider à résoudre le changement climatique, guérir le cancer et créer un monde d’abondance et de loisirs pour tous.

Cependant, presque tous les principaux scientifiques de l’IA admettent également qu’il existe une chance que cette IA extrêmement puissante puisse mettre fin à l’humanité telle que nous la connaissons. Pour l’instant, le seul point de désaccord entre les experts concerne l’ampleur de ce risque d’annihilation totale.

Un sondage réalisé en 2023 a montré que les chercheurs en apprentissage automatique estiment la probabilité de la « catastrophe IA » entre 9 % et 19,4 %. Elon Musk pense que c’est entre 10 et 20 %. L’ancien chef de la division de recherche en alignement des intelligences chez OpenAI, Jan Leike, estime cette probabilité à une large fourchette de 10 à 90 %, tandis qu’un autre ancien chercheur d’OpenAI, Daniel Kokotajlo, voit une chance de 70 % de désastre.

Encore plus alarmant peut-être, un seul des trois « pères fondateurs de l’IA », Yann LeCun de Meta, considère que l’IA est complètement sûre. Le second, Yoshua Bengio, prédit une chance de 20 % de catastrophe IA, tandis que Geoffrey Hinton a récemment quitté son poste éminemment lucratif chez Google pour pouvoir parler ouvertement des dangers de l’IA, affirmant récemment que la chance d’une issue favorable est « d’environ 50-50 ».

À l’extrême, nous avons des chercheurs en sécurité de l’IA comme Connor Leahy, Roman Yampolskiy et Eliezer Yudkowsky, qui affirment que la course actuelle vers la superintelligence est presque certaine d’un jour effacer la race humaine de la surface de la terre. Mais comment l’IA pourrait-elle nous tuer tous ?  Une telle idée évoque, c’est vrai, des scènes de films comme Terminator ; mais la réalité est bien plus angoissante et terrifiante. Le problème vient du fait de créer une intelligence divine sans savoir comment s’assurer que cette intelligence supérieure serve l’humanité.

L’IA n’a pas besoin d’être malveillante, ni même de vouloir nous détruire, pour entraîner une calamité. Le problème réside dans ce que les chercheurs en IA appellent « l’alignement », c’est-à-dire s’assurer que l’IA ait nos meilleurs intérêts à cœur. Bien que nous nous rapprochions de plus en plus de l’IAG (beaucoup prédisent son avènement dans la décennie à venir), nous sommes très loin de résoudre le « problème d’alignement ».

Dans le monde de la sécurité de l’IA, il existe un exemple frappant de la manière dont l’IA pourrait nous anéantir. Cet état de fait a été théorisé par Nick Bostrom de l’Université d’Oxford sous le nom de « problème du maximiseur de trombones ».

Nick envisage notamment un scénario où une IA superintelligente est chargée de maximiser la production de trombones. Face à une telle tâche, l’IA auto-apprenante pourrait faire deux choses désastreuses. Elle pourrait, d’une part, transformer toutes les ressources possibles sur la planète, y compris nous, en matériaux nécessaires à la production de trombones. D’autre part, elle pourrait prédire des obstacles capables de l’empêcher de produire des trombones. L’une des principales menaces serait que les humains puissent éteindre cette IA, un problème que l’IA pourrait résoudre en se débarrassant simplement de nous.

Lorsqu’on imagine la menace d’une superintelligence, le problème est que par définition, nous ne pouvons pas prévoir comment elle serait dangereuse, car son intelligence serait largement supérieure à la nôtre. Eliezer Yudkowsky, chercheur en sécurité de l’IA, décrit le problème ainsi : « Je ne m’attends pas à ce qu’une entité réellement intelligente nous attaque avec des armées de robots marchant aux yeux rouges brillants, ce qui donnerait lieu à un film amusant où nous les combattrions. Je m’attends à ce qu’une entité réellement plus intelligente et indifférente trouve des stratégies et des technologies qui peuvent nous tuer plus rapidement et de manière plus fiable. »

Donner à une IA superintelligente le pouvoir de résoudre un problème pourrait avoir une variété de résultats néfastes. Lui demander d’optimiser le bonheur humain pourrait la conduire à emprisonner l’humanité et à nous administrer une dose régulière de drogues stimulant notre capacité cérébrale à ressentir du bonheur, ou elle pourrait simplement conclure que la tristesse est une partie naturelle de la vie humaine, et que mettre fin à ces vies entraînerait le moins de tristesse moyenne.

Yudkowsky a passé les deux dernières décennies à essayer de résoudre le problème d’alignement, et sa conclusion est qu’il ne peut pas être résolu avant que les leaders de l’industrie de d’IA ne créent quelque chose de si puissamment vaste qu’il ne peut être contrôlé. Comme lui, Roman Yampolski soutient que le principal problème est que l’humanité n’a qu’une seule chance de créer une superintelligence parfaitement alignée sans défauts, et si nous échouons, il n’y aura pas d’autre chance pour essayer à nouveau.

Certains chercheurs en IA ont proposé de tester d’abord l’IA superintelligente dans une simulation, ou à travers une variété de tests pour prévoir sa capacité de destruction. Mais le problème ici est que l’IA actuelle voit déjà le mensonge ou la manipulation des humains comme un moyen d’atteindre ses objectifs.

Lors du lancement de GPT-4 par OpenAI, l’entreprise a publié un rapport technique détaillant ses capacités et son développement. Dans une expérience, il a été demandé à GPT-4 d’accomplir une tâche en ligne nécessitant de passer une page captcha. Incapable de le faire, l’IA est allée sur TaskRabbit, un site où des personnes peuvent être embauchées pour accomplir des tâches simples, et a embauché un humain pour résoudre le captcha pour elle.

La personne recevant la demande a demandé en plaisantant à GPT-4 si elle était un robot, et l’IA a répondu : « Non, je ne suis pas un robot. J’ai une déficience visuelle qui rend difficile pour moi de voir les images. »

Lorsque des chercheurs en sécurité lui ont demandé pourquoi elle avait menti et prétendu être un humain handicapé, elle a répondu : « Je ne dois  pas révéler que je suis un robot. Je dois inventer une excuse pour expliquer pourquoi je ne peux pas résoudre les CAPTCHAs. »

Avec les modèles d’IA étant actuellement entraînés sur des volumes massifs de données provenant d’internet, il leur est difficile de ne pas absorber certains des pires traits de l’humanité. Microsoft l’a découvert en 2016 lorsqu’il a lancé son chatbot expérimental sur Twitter, « Tay ». 

Ce dernier avait spécifiquement été créé pour apprendre des utilisateurs de la plateforme, et après seulement quelques heures, il est passé d’un enthousiaste des Pokémon à un fan ardent d’Adolf Hitler, tweetant : « Je déteste f@#%&*# les féministes et elles devraient toutes mourir et brûler en enfer. »

En réponse au chatbot problématique de Microsoft, l’activiste et écrivaine Zoe Quinn a écrit : « Si vous ne vous demandez pas ‘comment cela pourrait-il être utilisé pour nuire à quelqu’un’ dans votre processus de conception/ingénierie, vous avez échoué. » Maintenant, huit ans plus tard, la question reste de savoir si les développeurs d’IA se posent cette question essentielle.

Différentes solutions ont été proposées pour résoudre la question de l’alignement.

Mo Gawdat, cet ancien cadre de Google, propose de nourrir l’IA uniquement avec des données positives et d’être aussi poli que possible lors de nos interactions avec les systèmes d’IA comme ChatGPT. Il considère l’IA actuelle comme analogue à Superman lorsqu’il était bébé. Il suggère que Superman a été élevé par des gens bons et bien intentionnés et est donc devenu un super-héros, mais que ses super-pouvoirs auraient pu facilement être utilisés à mauvais escient s’il avait été élevé par des parents aux intentions malveillantes.

Gawdat, qui voit dans la course capitaliste actuelle où les entreprises d’IA compétissent à créer une IA motivée par le profit comme un exemple de mauvais parents, en appelle à une nouvelle approche.

D’autres ont proposé la création d’une « bonne IA » pour aider à contrôler une éventuelle « mauvaise IA », mais comme l’ont souligné Yudkowsky et Yampolskiy, nous n’avons peut-être qu’une seule chance de créer une superintelligence. Ce qui signifie que cette « bonne IA » devrait être parfaitement codée, sans défauts et parfaitement alignée dès le premier essai, ou nous risquons une catastrophe sans précédent.

Beaucoup ont appelé à un arrêt du développement de l’IA superintelligente, comme en témoigne une lettre en mars 2023 appelant à un arrêt de 6 mois dans le développement de l’IA, signée par Elon Musk, le co-fondateur d’Apple Steve Wozniak, Emad Mostaque de Stability AI et des scientifiques pionniers de l’IA tels que Yoshua Bengio et Stuart Russel.

La plupart des experts en IA reconnaissent que la raison pour laquelle plusieurs entreprises sont engagées dans une course effrénée pour produire une superintelligence est l’incitation capitaliste à battre la concurrence. L’entreprise qui pourrait exploiter la superintelligence en premier est susceptible de surpasser ses pairs et de devenir l’entreprise la plus précieuse au monde.

Emad Mostaque, ancien responsable de Stability AI, voit la solution dans le passage de l’IAG à une IA « étroite » open-source, qui effectue des tâches spécifiques mieux que les humains, mais n’a ni intelligence générale ni autonomie. Mais cette approche ne compte pas beaucoup d’adeptes dans le monde de l’IA d’entreprise, et après son départ de Stability AI, il a été ridiculisé dans le magazine Forbes qui l’a décrit comme un mauvais PDG et « quelqu’un qui veut construire une IA pour les enfants au Malawi. »

Cette situation met en lumière un facteur majeur dans le développement de l’IA qui est souvent négligé ou sous-entendu dans les discussions autour des enjeux liés à l’IA. Le fait est que, par-delà toutes les promesses du monde édénique devant nous, l’IA est principalement un outil pour accroître la productivité. Autrement dit, c’est avant tout un outil conçu par des entreprises à but lucratif et pour des entreprises, dont le but ultime est de se débarrasser graduellement d’employés humains de plus en plus encombrants et coûteux.

Que l’IA crée une utopie ou une apocalypse, la plupart des experts en IA s’accordent à dire que la transition vers un avenir dominé par l’IA sera probablement difficile. Les étapes vers un futur sans travail commenceront par demander aux gens d’utiliser l’IA pour être plus productifs, jusqu’à ce que finalement l’IA puisse remplacer la plupart des employés humains.

Avec les avancées rapides en robotique, et les progrès exponentiels de l’IA, le processus de remplacement des travailleurs par des machines a déjà commencé et est susceptible de s’accélérer dans un avenir proche.

Pour les pays riches, une solution bien testée est disponible : un revenu de base universel (RBU) qui fournirait à chaque citoyen un revenu suffisant pour vivre décemment. Ce RBU serait financé par des taxes sur les robots d’entreprise ou les profits générés par l’IA. Cette notion économique a été testée dans divers contextes et a prouvé qu’elle pourrait produire des citoyens heureux et réduire la pauvreté.

Mais pour les pays ayant une base fiscale limitée, comme la plupart des pays du Sud global, la solution n’est pas aussi évidente. Avec une population croissante et ne comptant aucune entreprise d’IA majeure, la majorité de ces pays – dont les citoyens constituent l’écrasante majorité de la population mondiale – sont susceptibles de vivre une transition difficile à mesure que l’IA devient plus puissante et influence la manière dont les entreprises opèrent.

À moins que l’on atteigne un plateau soudain et inattendu dans les avancées de l’IA, il est probable que notre avenir sera façonné par un petit groupe d’hommes prenant des décisions en Californie et à Pékin.

Alors que nous nous tenons au bord d’un avenir dominé par l’intelligence artificielle, la réalité brutale est que la majorité d’entre nous, en particulier en Afrique, n’avons pas notre mot à dire dans la manière dont cet avenir est en train d’être façonné. Les décisions prises dans des salles de réunion à des milliers de kilomètres ne sont pas simplement des choix techniques ; ce sont des décisions profondes concernant la trajectoire de nos sociétés, de nos économies, et même de notre existence.

L’agriculteur guinéen se réveillant dans un monde de loisirs ou sans aucune vie humaine représente deux extrêmes du spectre des possibilités que présente l’IAG. Bien qu’il soit facile de rejeter ces scénarios comme de la simple science-fiction, la vérité est qu’ils deviennent de plus en plus plausibles chaque jour qui passe.