Résumé

Nous avons estimé le risque global d'une catastrophe liée à l'IA entraînant la mort de la grande majorité de l'humanité d'ici 2200 à 30,5% selon cette source.

• La plupart de nos prévisionnistes pensent que si une telle catastrophe se produisait, elle aurait très probablement lieu au cours des 27 prochaines années.

• Les 9 prévisionnistes ont prédit au moins 8% de chances de catastrophe IA.

Nous avons cherché à étudier les effets de 2 politiques potentielles visant à réduire ce risque :

• Une pause minimale de 6 mois sur l'entraînement de modèles plus puissants que le GPT-4, comme proposé par le Future of Life Institute.

  • —> Nous avons constaté une diminution substantielle du risque.

• Un traité fort sur l'IA, le TAISC, qui propose des mesures telles que des plafonds de calcul et la création d'un laboratoire semblable au CERN pour la sûreté de l'IA.

  • —> Nous avons constaté une forte diminution du risque.

Nous fournissons également des estimations de probabilité pour ces événements, accompagnées de justifications et analyses.

Introduction

Les récents progrès en intelligence artificielle (IA) ont suscité à la fois de l'enthousiasme et de l'inquiétude parmi les experts, les décideurs politiques et le grand public. Les avantages potentiels de l'IA sont énormes, mais en parallèle, il est largement reconnu que le développement continu des technologies d'IA peut poser un risque existentiel significatif pour l'humanité. Cette compréhension a conduit à un besoin urgent de solutions politiques qui garantissent le développement sûr et responsable des technologies d'IA.

La récente sortie du GPT-4 a attiré l'attention sur les risques potentiels associés aux systèmes d'IA avancés, entraînant une augmentation du discours public sur le sujet. Peu après la sortie du GPT-4, le Future of Life Institute (FLI) a publié une lettre ouverte appelant à une pause de 6 mois sur la formation de systèmes d'IA plus puissants que le GPT-4. La sortie du GPT-4 et la lettre ouverte opportune du FLI ont joué un rôle significatif dans l'ouverture d'un discours public sur le risque d'IA et dans la dynamique croissante pour des solutions politiques. Plus récemment, la déclaration du Centre for AI Safety (CAIS) statement, et les commentaires de leaders politiques, ont davantage attiré l'attention sur les risques associés aux systèmes d'IA puissants, avec un Sommet mondial sur la sécurité de l'IA prévu pour novembre.

Chez Samotsvety Forecasting, nous avons récemment complété une série de prévisions conditionnelles axées sur deux politiques potentielles qui visent à réduire le risque d'IA. La première, la politique PAUSE, implique la mise en œuvre du moratoire de 6 mois sur la formation des systèmes d'IA plus puissants que le GPT-4 recommandé par la lettre ouverte du FLI.

La seconde politique, la politique TAISC, concerne la signature et la mise en œuvre d'un Traité proposé sur la Sécurité et la Coopération en Intelligence Artificielle (TAISC) (Vue d'ensemble, Texte complet) par une coalition de nations, qui comprend au minimum les États-Unis et la Chine, ainsi que d'autres signataires potentiels. Le TAISC a été conçu dans le but de développer une politique minimale nécessaire pour réduire significativement le risque d'IA tout en maintenant la faisabilité politique et les avantages économiques de l'IA. Il comprend des dispositions sur l'interdiction des grands entraînements d'IA, le démantèlement de grands clusters de GPU, et la promotion de la coopération internationale et du renforcement des capacités en matière de sécurité de l'IA.

Un aspect clé du TAISC est l'établissement d'une Commission Internationale de Sécurité et de Coopération en IA (IASC) et d'un Laboratoire Conjoint de Sécurité en IA semblable au CERN (JAISL). L'IASC supervise la conformité au traité et la recherche en matière de sécurité de l'IA, tandis que le JAISL mène des recherches, du développement et de l'innovation en matière de sécurité de l'IA. Le JAISL développe des modèles d'IA conçus de manière responsable dans des contraintes de calcul raisonnables, offrant un accès API pour garantir que l'IA avancée reste accessible sans compromettre la sécurité. Le JAISL favorise également l'innovation, la collaboration et le renforcement des capacités en matière de sécurité de l'IA en partenariat avec des institutions de recherche, le monde académique et le secteur privé.

Dans cet article, nous présentons nos prévisions conditionnelles pour les politiques PAUSE et TAISC, discutons de leurs implications pour le risque d'IA, et fournissons un aperçu du TAISC, de l'IASC et du JAISL, ainsi que de leurs dispositions clés. Notre objectif est de contribuer à la discussion en cours sur le risque d'IA et les stratégies potentielles pour l'atténuer, en fournissant un aperçu de l'efficacité de ces politiques dans la réduction du risque d'IA. Nous visons à aider à informer le débat public et à encourager davantage de recherches et d'actions dans ce domaine critique, car l'avenir des technologies d'IA et leurs implications pour la société sont d'une grande importance.

Pour plus d'informations : https://taisc.org/report