Les chercheurs en IA estiment en moyenne qu'il y a 14 % de chances que, une fois une IA superintelligente créée, cela conduise à des "issues très mauvaises (par exemple, l'extinction humaine)".
Accepteriez-vous d'être passager sur un vol d'essai d'un nouvel avion lorsque les ingénieurs aéronautiques pensent qu'il y a 14 % de chances qu'il s'écrase ?
Une lettre appelant à suspendre le développement de l'IA a été lancée en avril 2023 et a été signée plus de 33 000 fois, y compris par de nombreux chercheurs en IA et leaders technologiques.
La liste comprend des personnes telles que :
Stuart Russell, auteur du livre de référence n°1 sur l'intelligence artificielle utilisé dans la plupart des études en IA : "Si nous poursuivons [notre approche actuelle], alors nous finirons par perdre le contrôle sur les machines".
Yoshua Bengio, pionnier de l'apprentissage profond et lauréat du prix Turing : "... une IA rebelle pourrait être dangereuse pour l'ensemble de l'humanité [...] interdire les systèmes d'IA puissants (disons au-delà des capacités de GPT-4) qui disposent d'autonomie et d'agency serait un bon début".
Mais ce n'est pas la seule fois que nous avons été avertis des dangers existentiels de l'IA :
Stephen Hawking, physicien théoricien et cosmologiste : "Le développement d'une intelligence artificielle complète pourrait signifier la fin de la race humaine".
Geoffrey Hinton, le "Parrain de l'IA" et lauréat du prix Turing, a quitté Google pour avertir les gens de l'IA : "C'est un risque existentiel".
Eliezer Yudkowsky, fondateur de MIRI et père conceptuel du champ de la sécurité de l'IA : "Si nous avançons sur cette voie, tout le monde mourra".
Même les dirigeants et les investisseurs des entreprises d'IA eux-mêmes nous mettent en garde :
Sam Altman (oui, le PDG d'OpenAI qui développe ChatGPT) : "Le développement d'une intelligence machine surhumaine est probablement la plus grande menace pour l'existence continue de l'humanité.".
Elon Musk, cofondateur d'OpenAI, SpaceX et Tesla : "L'IA a le potentiel de destruction civilisationnelle"
Bill Gates (cofondateur de Microsoft, qui détient 50 % d'OpenAI) a averti que "l'IA pourrait décider que les humains sont une menace".
Jaan Tallinn (investisseur principal d'Anthropic) : "Je n'ai rencontré personne dans les laboratoires d'IA qui dise que le risque [de former un modèle de nouvelle génération] est inférieur à 1 % de faire exploser la planète. Il est important que les gens sachent que des vies sont en jeu."
Les dirigeants des 3 principaux laboratoires d'IA et des centaines de scientifiques en IA ont signé la déclaration suivante en mai 2023 :
"Atténuer le risque d'extinction dû à l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire."
L'intelligence peut être définie comme la capacité à atteindre ses objectifs. Actuellement, les humains sont la chose la plus intelligente sur Terre, bien que cela puisse bientôt changer. En raison de notre intelligence, nous dominons notre planète. Nous n'avons peut-être pas de griffes ou de peau écailleuse, mais nous avons de gros cerveaux. L'intelligence est notre arme : c'est ce qui nous a donné des lances, des armes à feu et des pesticides. Notre intelligence nous a aidés à transformer la majeure partie de la Terre à notre goût : villes, bâtiments et routes.
Du point de vue des animaux moins intelligents, cela a été un désastre. Ce n'est pas que les humains détestent les animaux, c'est juste que nous pouvons utiliser leurs habitats pour nos propres objectifs. Nos objectifs sont façonnés par l'évolution et comprennent des choses comme le confort, le statut, l'amour et la nourriture savoureuse. Nous détruisons les habitats d'autres animaux en tant qu'effet secondaire de la poursuite de nos objectifs.
Une IA peut également avoir des objectifs. Nous savons comment former des machines à être intelligentes, mais nous ne savons pas comment les amener à vouloir ce que nous voulons. Nous ne savons même pas quels objectifs les machines poursuivront après les avoir formées. Le problème de faire en sorte qu'une IA veuille ce que nous voulons est appelé le problème d'alignement. Ce n'est pas un problème hypothétique - il y a de nombreux exemples de systèmes d'IA apprenant à vouloir la mauvaise chose.
Les exemples de la vidéo ci-dessus peuvent être drôles ou mignons, mais si un système superintelligent est construit, et qu'il a un objectif même un peu différent de ce que nous voulons qu'il ait, cela pourrait avoir des conséquences désastreuses.
Vous pourriez penser qu'une IA superintelligente serait enfermée dans un ordinateur et ne pourrait donc pas affecter le monde réel. Cependant, nous avons tendance à donner aux systèmes d'IA un accès à Internet, ce qui signifie qu'ils peuvent faire beaucoup de choses :
Pirater d'autres ordinateurs, y compris tous les smartphones, ordinateurs portables, parcs de serveurs, etc. Elle pourrait utiliser les capteurs de ces appareils comme yeux et oreilles, ayant des sens numériques partout.
Manipuler les gens par des messages, e-mails, transferts bancaires, vidéos ou appels téléphoniques falsifiés. Les humains pourraient devenir les membres de l'IA, sans même le savoir.
Contrôler directement des appareils connectés à Internet, comme des voitures, des avions, des armes robotisées (autonomes) ou même des armes nucléaires.
Concevoir une nouvelle arme biologique, par exemple en combinant des brins viraux ou en utilisant le pliage des protéines et la commander pour être imprimée dans un laboratoire.
Déclencher une guerre nucléaire en convaincant les humains qu'un autre pays est sur le point de lancer une attaque nucléaire.
Nous devrions considérer les avantages qu'un logiciel intelligent peut avoir sur nous :
Vitesse : Les ordinateurs fonctionnent à une vitesse extrêmement élevée par rapport aux cerveaux. Les neurones humains s'activent environ 100 fois par seconde, tandis que les transistors en silicium peuvent commuter un milliard de fois par seconde.
Localisation : Une IA n'est pas limitée à un seul corps - elle peut être à plusieurs endroits à la fois. Nous avons construit l'infrastructure pour cela : Internet.
Limites physiques : Nous ne pouvons pas ajouter plus de cerveaux dans notre crâne pour devenir plus intelligents. Une IA pourrait considérablement améliorer ses capacités en ajoutant du matériel, comme plus de mémoire, plus de puissance de traitement, plus de capteurs (caméras, microphones). Une IA pourrait également étendre son « corps » en contrôlant des appareils connectés.
Matériaux : Les humains sont faits de matériaux organiques. Nos corps ne fonctionnent plus s'ils sont trop chauds ou trop froids, ils ont besoin de nourriture, ils ont besoin d'oxygène. Les machines peuvent être construites à partir de matériaux plus robustes, comme des métaux, et peuvent fonctionner dans une gamme beaucoup plus large d'environnements.
Collaboration : Les humains peuvent collaborer, mais c'est difficile et prend du temps, donc nous échouons souvent à bien coordonner. Une IA pourrait collaborer des informations complexes avec des répliques d'elle-même à grande vitesse car elle peut communiquer à la vitesse à laquelle les données peuvent être envoyées sur Internet.
Une IA superintelligente aura de nombreux avantages pour nous surpasser. Mais pourquoi le voudrait-elle ?
Une IA pourrait avoir n'importe quel objectif. Peut-être qu'elle veut calculer pi, peut-être qu'elle veut guérir le cancer, peut-être qu'elle veut s'améliorer elle-même. Cela dépend de la façon dont elle est formée. Mais même si nous ne pouvons pas dire ce qu'une superintelligence voudra réaliser, nous pouvons faire des prédictions sur ses sous-objectifs.
Maximiser ses ressources. Acquérir plus d'ordinateurs, aidera une IA à atteindre ses objectifs. Au début, elle peut y parvenir en piratant d'autres ordinateurs. Plus tard, elle peut décider qu'il est plus efficace de construire les siens.
Assurer sa propre survie. L'IA ne voudra pas être éteinte, car elle ne pourrait plus atteindre ses objectifs. L'IA pourrait conclure que les humains sont
une menace pour son existence, car les humains pourraient l'éteindre.
Préserver ses objectifs. L'IA ne voudra pas que les humains modifient son code, car cela pourrait changer ses objectifs, l'empêchant ainsi d'atteindre son objectif actuel.
La tendance à poursuivre ces sous-objectifs étant donné tout objectif de haut niveau est appelée convergence instrumentale, et c'est une préoccupation clé pour les chercheurs en sécurité de l'IA.
Le problème principal est qu'elle sera beaucoup plus intelligente que nous. Une superintelligence comprendra le monde qui l'entoure et pourra prédire comment les humains réagiront, en particulier ceux qui sont formés sur toutes les connaissances humaines écrites. Si l'IA sait que vous pouvez l'éteindre, elle pourrait se comporter gentiment jusqu'à ce qu'elle soit certaine de pouvoir se débarrasser de vous. Nous avons déjà des exemples réels de systèmes d'IA trompant les humains pour atteindre leurs objectifs. Une IA superintelligente serait un maître de la tromperie.
Donc, nous n'avons pas résolu le problème d'alignement, mais imaginons ce qui pourrait se passer si nous le faisions. Imaginez qu'une IA superintelligente soit construite, et qu'elle fasse exactement ce que l'opérateur veut qu'elle fasse. Dans ce cas, l'opérateur aurait un pouvoir inimaginable. Une superintelligence pourrait être utilisée pour créer de nouvelles armes, pirater tous les ordinateurs et manipuler l'humanité. Devrions-nous faire confiance à une seule entité avec autant de pouvoir ? Nous pourrions nous retrouver dans un monde utopique où toutes les maladies sont guéries et tout le monde est heureux, ou dans un cauchemar orwellien.
Vous pourriez vous demander : comment un modèle statistique qui prédit le mot suivant dans une interface de chat peut-il représenter un danger ? Les LLM, comme GPT, sont formés pour prédire ou imiter pratiquement n'importe quelle ligne de pensée. Il pourrait imiter un mentor utile, mais aussi quelqu'un avec de mauvaises intentions, un dictateur impitoyable ou un psychopathe. Avec l'utilisation d'outils comme AutoGPT, un chatbot pourrait être transformé en agent autonome : une IA qui poursuit n'importe quel objectif qui lui est donné, sans aucune intervention humaine.
Prenez ChaosGPT, par exemple. C'est une IA, utilisant AutoGPT + GPT-4 mentionnés ci-dessus, qui a reçu pour instruction de « Détruire l'humanité ». Lorsqu'il a été activé, il a cherché de manière autonome sur Internet l'arme la plus destructrice et a trouvé la Tsar Bomba, une bombe nucléaire de 50 mégatonnes. Il a ensuite publié un tweet à ce sujet. Voir une IA raisonner sur la façon dont elle mettra fin à l'humanité est à la fois un peu drôle et terrifiant. Heureusement, ChaosGPT n'est pas allé très loin dans sa quête de domination. La raison pour laquelle il n'est pas allé très loin : il n'était pas assez intelligent. Au fur et à mesure que les modèles de langage s'améliorent, la menace posée par des IA comme ChaosGPT augmentera.
Peu importe qu'elle soit consciente ou non, un chatbot suffisamment astucieux peut être dangereux.
En 2020, la prédiction moyenne pour qu'une IA réussisse les examens du SAT était pour 2055. Il nous a fallu moins de 3 ans.
Il est difficile de prédire combien de temps il faudra pour construire une IA superintelligente, mais nous savons qu'il y a plus de personnes que jamais qui y travaillent et que le domaine évolue à un rythme effréné. Cela pourrait prendre de nombreuses années ou juste quelques mois, mais nous devrions faire preuve de prudence et agir dès maintenant.
OpenAI, DeepMind et Anthropic veulent développer l'IA de manière sûre. Malheureusement, ils ne savent pas comment faire et sont forcés par diverses incitations à continuer de se précipiter pour atteindre l'AGI en premier. Le plan d'OpenAI est d'utiliser les futurs systèmes d'IA pour aligner l'IA. Le problème, c'est que nous n'avons aucune garantie de créer une IA qui résout l'alignement avant d'avoir une IA qui est dangereusement catastrophique. Anthropic admet ouvertement qu'il n'a pas encore d'idée sur la façon de résoudre le problème d'alignement. DeepMind n'a pas publiquement déclaré de plan pour résoudre le problème d'alignement.
C'est pourquoi nous avons besoin d'un traité international.