L'IA est une technologie puissante qui transforme de plus en plus notre monde. Elle offre un potentiel incroyable, mais aussi de sérieux risques, y compris celui d'une catastrophe existentielle.
Une grande partie de notre société repose sur la confiance. Nous faisons confiance en la réalité de l'argent dans notre compte bancaire, en la véracité des nouvelles que nous lisons et en l'existence des personnes qui publient des avis en ligne.
Les systèmes d'IA sont exceptionnellement doués pour créer des médias factices. Ils peuvent produire de fausses vidéos, de faux audios, de faux textes et de fausses images. Ces capacités s'améliorent rapidement. Il y a seulement deux ans, nous riions des images irréalistes créées par dall-e, mais maintenant nous avons des images deepfake gagnant des concours de photographie. GPT-4 peut écrire de manière indiscernable des humains.
Créer des médias factices n'est pas nouveau, mais l'IA les rend beaucoup moins chers et plus réalistes. Une image d'explosion générée par l'IA a provoqué des ventes paniques à Wall Street. Nous pourrions bientôt voir les réseaux sociaux inondés de fausses discussions et opinions, et de fausses nouvelles indiscernables des vraies. Cela pourrait éroder la confiance que nous avons dans notre société et menacer encore plus les fondements de notre démocratie que ne l'a fait les médias sociaux.
Les systèmes d'IA sont entraînés sur des données, et beaucoup de ces données sont biaisées d'une manière ou d'une autre. Cela signifie que les systèmes d'IA hériteront des biais de notre société. Un système de recrutement automatisé chez Amazon a hérité d'un biais contre les femmes. Les patients noirs étaient moins susceptibles d'être référés à un spécialiste médical. Les modèles d'IA génératifs ne font pas que copier les biais de leurs données d'entraînement, ils les amplifient. Ces biais apparaissent souvent sans que les créateurs du système d'IA en soient conscients.
Pendant la révolution industrielle, de nombreuses personnes ont perdu leur emploi au profit des machines. Cependant, de nouveaux emplois (souvent meilleurs) ont été créés et l'économie a crû. Cette fois, les choses pourraient être différentes.
L'IA ne remplace pas seulement nos muscles comme l'a fait la machine à vapeur, elle remplace nos cerveaux. Les humains ordinaires pourraient ne plus avoir rien à offrir à l'économie. Les modèles de génération d'images (qui sont fortement entraînés sur du matériel protégé par des droits d'auteur d'artistes professionnels) ont déjà un impact sur l'industrie créative. Les écrivains font grève. GPT-4 a réussi l'examen du barreau, peut produire d'excellents contenus écrits et peut écrire du code (encore une fois, partiellement formé sur des matériaux protégés par des droits d'auteur). Les personnes qui possèdent ces systèmes d'IA pourront en tirer profit, mais celles qui perdent leur emploi à cause d'eux ne le pourront pas. La façon dont nous distribuons la richesse dans notre société n'est pas préparée à cela.
Les entreprises vendent déjà des armes propulsées par l'IA aux gouvernements. Lanius construit des drones-suicides volants qui identifient automatiquement les ennemis. Le système AIP de Palantir utilise des giga modèles de langage pour analyser les données du champ de bataille et élaborer des stratégies optimales.
Les nations et les entreprises d'armement ont réalisé que l'IA aura un impact énorme sur la supériorité sur leurs ennemis. Nous avons entamé une nouvelle course aux armements. Cette dynamique récompense l'accélération et le danger.
Pour l'instant, nous avons encore des humains dans la boucle pour ces armes. Mais à mesure que les capacités de ces systèmes d'IA s'améliorent, la pression pour donner aux machines le pouvoir de décider augmentera. Lorsque nous déléguons le contrôle des armes à l'IA, les erreurs et les bugs pourraient avoir des conséquences horribles. La vitesse à laquelle l'IA peut traiter les informations et prendre des décisions peut provoquer une escalade des conflits en quelques minutes.
Lisez plus sur stopkillerrobots.org
L'IA peut rendre les connaissances plus accessibles, ce qui inclut également les connaissances sur la façon de créer des armes biologiques. Ce papier montre comment GPT-4 peut aider des étudiants non-scientifiques à créer un agent pathogène pandémique :
En une heure, les chatbots ont suggéré quatre agents pathogènes pandémiques potentiels, expliqué comment ils peuvent être générés à partir d'ADN synthétique en utilisant la génétique inverse, fourni les noms des entreprises de synthèse d'ADN peu susceptibles de filtrer les commandes, identifié des protocoles détaillés et comment les dépanner, et recommandé à quiconque manquant de compétences pour réaliser la génétique inverse de faire appel à un laboratoire central ou à une organisation de recherche sous contrat.
Ce type de connaissance n'a jamais été aussi accessible, et nous n'avons pas les mesures de sécurité en place pour faire face aux conséquences potentielles.
En outre, certains modèles d'IA peuvent être utilisés pour concevoir de nouveaux agents pathogènes dangereux. Un modèle appelé MegaSyn a conçu 40 000 nouvelles armes chimiques / molécules toxiques en une heure. Le modèle révolutionnaire AlphaFold peut prédire la structure des protéines, ce qui est également une technologie à double usage. Prédire les structures des protéines peut être utilisé pour "découvrir des mutations causant des maladies en utilisant la séquence génomique d'un individu". Les scientifiques créent maintenant même des laboratoires chimiques entièrement autonomes, où les systèmes d'IA peuvent synthétiser de nouveaux produits chimiques par eux-mêmes.
Le danger fondamental est que le coût de la conception et de l'application des armes biologiques est réduit de plusieurs ordres de grandeur en raison de l'IA.
De nos jours, pratiquement tout ce que nous faisons dépend d'une manière ou d'une autre des ordinateurs. Nous payons nos courses, planifions nos journées, contactons nos proches et même conduisons nos voitures avec des ordinateurs.
Les systèmes d'IA modernes peuvent analyser et écrire des logiciels. Ils peuvent trouver des vulnérabilités dans les logiciels, et ils pourraient être utilisés pour les exploiter. À mesure que les capacités de l'IA se développent, les exploits qu'elle peut créer le seront aussi.
Il a toujours été extrêmement difficile de créer des virus informatiques très puissants, mais l'IA pourrait changer cela. Au lieu de devoir embaucher une équipe d'experts en sécurité/hackers qualifiés pour trouver des exploits zero-day, vous pourriez simplement utiliser une IA beaucoup moins chère pour le faire à votre place. Bien sûr, l'IA pourrait également aider à la cyberdéfense et il n'est pas clair de quel côté se trouve l'avantage.
En savoir plus sur l'IA et les risques de cybersécurité
De nombreux chercheurs en IA avertissent que l'IA pourrait conduire à la fin de l'humanité.
Les choses très intelligentes sont très puissantes. Si nous construisons une machine bien plus intelligente que les humains, nous devons être sûrs qu'elle veut la même chose que nous. Cependant, cela s'avère très difficile. Cela s'appelle le problème d'alignement. Si nous ne parvenons pas à le résoudre à temps, nous pourrions nous retrouver avec des machines superintelligentes qui ne se soucient pas de notre bien-être. Nous introduirions une nouvelle espèce sur la planète qui pourrait nous surpasser en intelligence et en compétition.
En savoir plus sur le risque existentiel
Pour tous les problèmes évoqués ci-dessus, le risque augmente à mesure que les capacités de l'IA s'améliorent. Cela signifie que la chose la plus sûre à faire maintenant est de ralentir. Nous devons interrompre le développement de systèmes d'IA plus puissants jusqu'à ce que nous ayons trouvé comment gérer les risques.
Voir notre proposition pour plus de détails.