Voici l'executive summary du papier : Seger, Elizabeth, et al. "Open-Sourcing Highly Capable Foundation Models: An Evaluation of Risks, Benefits, and Alternative Methods for Pursuing Open-Source Objectives." (2023), qui est actuellement le papier le plus complet sur la question :
Les décisions récentes des développeurs d'IA de mettre en open source les modèles de base ont suscité un débat sur la prudence de l'open source pour des systèmes d'IA de plus en plus capables. L'open source en IA implique généralement de rendre l'architecture et les poids du modèle librement et publiquement accessibles pour que quiconque puisse modifier, étudier, développer et utiliser. D'une part, cela offre des avantages clairs, y compris la possibilité de surveillance externe, l'accélération des progrès et la décentralisation du contrôle de l'IA. D'autre part, cela présente des risques notables, tels que permettre aux acteurs malveillants d'utiliser les modèles d'IA à des fins nuisibles sans surveillance et de désactiver les dispositifs de sécurité conçus pour prévenir les abus. Ce document tente de clarifier la terminologie de l'open source et d'offrir une analyse approfondie des risques et avantages de l'open source en IA. Bien que l'open source ait jusqu'à présent apporté des avantages nets substantiels pour la plupart des logiciels et processus de développement en IA, nous soutenons que pour certains modèles très capables susceptibles d'émerger dans un avenir proche, les risques de l'open source peuvent l'emporter sur les avantages. Trois facteurs principaux sous-tendent cette préoccupation :
Les modèles hautement capables ont un potentiel de risques extrêmes. La principale préoccupation est la diffusion de capacités d'IA dangereuses qui pourraient présenter des risques extrêmes—risque de dommages physiques importants ou de perturbation des fonctions sociétales clés. Les acteurs malveillants pourraient utiliser des systèmes hautement capables, par exemple, pour aider à construire de nouvelles armes biologiques et chimiques, ou pour lancer des cyberattaques contre des infrastructures et institutions critiques. Nous considérons également d'autres risques tels que les modèles aidant les acteurs malveillants à diffuser des informations erronées ciblées à grande échelle ou à mettre en œuvre une surveillance coercitive de la population.
L'open source est utile pour aborder certains risques, mais pourrait globalement exacerber les risques extrêmes que peuvent poser les modèles d'IA hautement capables. Pour les logiciels traditionnels, l'open source facilite les activités défensives pour se prémunir contre les abus plus qu'elle ne facilite l'utilisation offensive abusive par les acteurs malveillants. Cependant, l'équilibre entre l'offensive et la défense tend à pencher davantage vers l'offensive pour les modèles de base de plus en plus capables pour diverses raisons, notamment : (i) L'open source permet aux acteurs malveillants de désactiver les dispositifs de sécurité contre les abus et d'introduire éventuellement de nouvelles capacités dangereuses via le fine-tuning. (ii) L'open source augmente considérablement la connaissance des attaquants sur les exploits possibles au-delà de ce qu'ils auraient pu facilement découvrir autrement. (iii) La recherche de vulnérabilités en matière de sécurité est comparativement chronophage et nécessite beaucoup de ressources, et les correctifs ne sont souvent ni simples ni faciles à mettre en œuvre. (iv) Il est plus difficile de garantir que les améliorations sont mises en œuvre en aval, et les défauts et problèmes de sécurité sont susceptibles de se perpétuer davantage en raison de la nature d'utilisation générale des modèles de base.
Il existe des méthodes alternatives, moins risquées, pour poursuivre les objectifs de l'open source. Il existe une variété de stratégies qui pourraient être employées pour atteindre les mêmes objectifs que l'open source pour les modèles de base hautement capables mais avec moins de risques, bien qu'elles aient leurs propres inconvénients. Ces méthodes alternatives comprennent des options d'accès au modèle plus structurées adaptées à des recherches, audits et besoins de développement en aval spécifiques, ainsi que des efforts proactifs pour organiser des collaborations sécurisées, et pour encourager et permettre une plus grande implication dans le développement, l'évaluation et les processus de gouvernance de l'IA.
À la lumière de ces risques potentiels, limitations et alternatives, nous offrons les recommandations suivantes aux développeurs, aux organismes de normalisation et aux gouvernements. Ces recommandations visent à aider à établir des pratiques de partage de modèles sûres et responsables et à préserver les avantages de l'open source lorsque c'est sûr. Elles résument également les principales conclusions du document.
Les développeurs et les gouvernements devraient reconnaître que certains modèles hautement capables seront trop risqués pour être mis en open source, du moins au départ. Ces modèles peuvent devenir sûrs pour l'open source à l'avenir à mesure que la résilience sociétale aux risques de l'IA augmente et que des mécanismes de sécurité améliorés sont développés.
Les décisions concernant l'open source de modèles de base hautement capables doivent être éclairées par des évaluations rigoureuses des risques. En plus d'évaluer les modèles pour les capacités dangereuses et les applications d'abus immédiates, les évaluations des risques doivent considérer comment un modèle pourrait être fine-tuné ou autrement modifié pour faciliter l'abus.
Les développeurs devraient envisager des alternatives à la publication en open source qui capturent certains des mêmes avantages distributifs, démocratiques et sociétaux, sans créer autant de risques. Certaines alternatives prometteuses incluent la publication de modèles par étapes, l'accès structuré au modèle pour les chercheurs et les auditeurs, et la supervision démocratique des décisions de développement et de gouvernance de l'IA.
Les développeurs, les organismes de normalisation et les communautés open source devraient s'engager dans des efforts collaboratifs et multipartites pour définir des normes détaillées pour la publication des composants des modèles. Ces normes doivent être basées sur une compréhension des risques posés par la publication de différentes combinaisons de composants de modèle.
Les gouvernements devraient exercer une supervision des modèles d'IA en open source et appliquer des mesures de sécurité lorsque les enjeux sont suffisamment élevés. Les développeurs d'IA pourraient ne pas adopter volontairement des normes d'évaluation des risques et de partage de modèles. Les gouvernements devront appliquer ces mesures par des options telles que la loi sur la responsabilité et la réglementation, les exigences en matière de licences, les amendes ou les pénalités. Ils devront également développer la capacité d'appliquer efficacement de tels mécanismes de supervision. Un travail immédiat est nécessaire pour évaluer les coûts, les conséquences et la faisabilité juridique des diverses interventions politiques et mécanismes de mise en application que nous énumérons.