De nos jours, pratiquement tout ce que nous faisons dépend d'une manière ou d'une autre des ordinateurs. Nous payons nos courses, planifions nos journées, contactons nos proches et même conduisons nos voitures avec des ordinateurs. Et presque tous ces ordinateurs sont connectés les uns aux autres. Cela nous rend tous vulnérables aux cyberattaques.
Les cyberarmes, malwares et botnets très puissants (tels que Stuxnet, Mirai et EMOTET) ont toujours été difficiles à créer. L'arme de cybersécurité Pegasus, par exemple, a coûté des centaines de millions de dollars à développer. Trouver des vulnérabilités dites "zero-day" (non encore découvertes) nécessite beaucoup de compétences et de temps - seuls des pirates hautement spécialisés peuvent le faire. Cependant, lorsque l'IA sera suffisamment avancée, cela ne sera plus le cas. Au lieu de devoir embaucher une équipe d'experts en sécurité/hackers hautement qualifiés pour trouver des exploits zero-day, n'importe qui pourrait simplement utiliser une IA bien moins chère.
Les systèmes d'IA les plus récents peuvent déjà analyser et écrire des logiciels. Ils peuvent trouver des vulnérabilités dans des logiciels, et pourraient être utilisés pour les exploiter. Au fur et à mesure que les capacités de l'IA augmentent, les vulnérabilités qu'elle peut détecter et les exploits qu'elle peut créer augmenteront également. Elles ne sont pas encore aussi bonnes que les meilleurs humains, donc pour l'instant le danger est limité. Cependant, les capacités augmentent rapidement.
Notez que l'IA permet également des types d'attaques entièrement nouveaux. Par exemple, l'IA peut être utilisée pour entendre le mot de passe que vous tapez lors d'un appel en ligne ou utiliser le WiFi pour voir des humains à travers les murs. L'IA peut également être utilisée pour créer des malwares auto-modifiables, ce qui les rend beaucoup plus difficiles à détecter.
Il viendra probablement un moment où une IA sera meilleure en piratage que les meilleurs hackers humains. Cela peut mal tourner de plusieurs manières.
Infrastructure : Les cyberarmes peuvent être utilisées pour accéder à ou désactiver des infrastructures critiques, telles que les oléoducs.
Financier : Les cyberarmes peuvent être utilisées pour voler de l'argent aux banques, ou pour manipuler le marché boursier.
Militaire : Les équipements tels que les armes et les capteurs dépendent de plus en plus de la connectivité sans fil et des logiciels complexes.
Il se peut qu'une IA aussi puissante soit utilisée pour créer un virus utilisant un grand nombre d'exploits zero-day. La plupart des cyberarmes utilisent une IA suffisamment capable pour analyser et trouver des vulnérabilités dans le
code source de tous les systèmes d'exploitation et autres logiciels. Un tel virus pourrait infecter n'importe quel ordinateur, quel que soit le système d'exploitation, par de multiples canaux tels que le WiFi, le Bluetooth, l'UTP, etc. Cela pourrait donner un contrôle total sur ces machines et permettre au contrôleur de voler des données, d'utiliser le matériel pour ses propres calculs, de chiffrer le contenu pour une rançon ou de désactiver entièrement la machine.
Un virus comme celui-ci pourrait être créé comme un outil par des criminels pour voler de l'argent, ou comme une arme de cyberdestruction très destructrice par une nation ou une organisation terroriste. Cependant, à mesure que l'IA devient plus agente, elle pourrait également être créée et déployée de manière autonome par une IA mal alignée.
Si l'objectif d'une cyberattaque était de désactiver des appareils et des infrastructures, les dégâts pourraient être massifs. Notre société dépend de plus en plus des ordinateurs et d'Internet. Paiements, transports, communications, planification, chaînes d'approvisionnement, réseaux électriques... Si nos appareils ne fonctionnent plus correctement, de nombreuses parties de notre société cessent également de fonctionner.
L'histoire ci-dessus ne peut se produire que si :
La capacité de trouver des exploits zero-day émerge. Les modèles actuels peuvent déjà découvrir certaines vulnérabilités, mais cela s'améliorera probablement avec de nouveaux modèles.
Le modèle tombe entre les mains de mauvais acteurs. Cela peut se produire si les poids du modèle sont divulgués, si le modèle est open-source, ou s'il est développé par un acteur malveillant.
Les vulnérabilités de sécurité ne sont pas corrigées avant qu'une telle cyberarme soit déployée. Malheureusement, les défenseurs sont désavantagés si le modèle est largement distribué pour deux raisons :
La correction + la publication + le déploiement prennent beaucoup plus de temps que l'attaque. La fenêtre de vulnérabilité est plus grande que le temps nécessaire pour créer l'attaque.
Les attaquants n'ont besoin de trouver qu'une seule vulnérabilité, tandis que les défenseurs doivent toutes les trouver.
Il existe diverses mesures que nous pouvons mettre en œuvre pour y faire face :
Ne pas permettre la formation de modèles capables de trouver des exploits zero-day. C'est le moyen le plus efficace d'empêcher cela. C'est la voie la plus sûre et c'est ce que nous proposons.
N'autoriser le déploiement ou l'open-sourcing des modèles qu'après des tests approfondis. S'ils ont des capacités dangereuses, ne les libérez pas.
Imposer des réglementations strictes en matière de cybersécurité pour empêcher la fuite des poids des modèles. Si vous autorisez l'existence de modèles dangereux, assurez-vous qu'ils ne tombent pas entre de mauvaises mains.
Exiger des entreprises d'IA d'utiliser l'IA pour corriger les vulnérabilités. Si un modèle est formé qui peut trouver de nouvelles vulnérabilités de sécurité, utilisez cela pour contacter les mainteneurs de logiciels afin de corriger ces vulnérabilités. Donnez suffisamment de temps au processus de correction avant que le modèle ne soit publié. Assurez-vous que les poids ne sont pas divulgués et protégez le modèle comme s'il s'agissait du code de lancement d'une frappe nucléaire. Si cela est fait correctement, l'IA peut considérablement améliorer la cybersécurité partout.