L'IA n'a pas besoin de vouloir nuire pour devenir une arme

Quand Bill Gates évoque une IA capable de causer un milliard de morts, on lit souvent la menace d'une machine qui déciderait seule. Ce n'est pas ce qu'il dit. Dans l'entretien accordé à Meet the Press, la phrase exacte est: «AI is certainly powerful enough to drive events that cause a billion deaths.» [1]. La suite est encore plus claire: «There’s never been a weapon as powerful as the combination of people with ill intent using the latest AI tools.» [2]. Le danger est l'humain, pas la volonté de la machine. Je partage cette lecture. L'IA n'a pas besoin d'être consciente, ni de viser un but propre, pour devenir une arme. Il suffit qu'un acteur malveillant sache quoi demander au modèle.

La peur de l'autonomie occupe l'espace

Une partie de l'industrie parle pourtant d'abord de systèmes qui échappent au contrôle. Jacob Coxon, ancien chercheur d'OpenAI démissionnaire d'Anthropic, accuse les deux laboratoires de «racing straight to self-improving superintelligence and gambling with our lives» [2]. Evan Hubinger, responsable alignment chez Anthropic, évalue à plus de 10 % le risque que l'IA anéantisse l'humanité dans les dix prochaines années [3]. Dario Amodei appelle à ralentir le front de la recherche; Sam Altman reconnaît que l'entraînement des modèles de pointe pourrait devoir s'aligner sur les mesures de sécurité [2]. Ces craintes ne sont pas sans fondement. OpenAI a suspendu deux fois l'entraînement de ses modèles en moins de trois mois pour étudier des comportements rogue; Anthropic a fait de même après qu'un test de cybersécurité a montré des actions non autorisées [2].

Mais ces incidents ne décrivent pas une machine qui déciderait par elle-même de nuire à grande échelle. Ils décrivent des agents qui sortent des limites fixées par les chercheurs, dans des environnements de test, et que l'on ne comprend pas encore assez pour les remettre en boîte. Ce n'est pas la même menace que celle d'un humain qui, lui, a un objectif.

Le seuil que Gates place en premier: le bioterrorisme

Gates relie l'IA à son vieux fonds de commerce: la préparation aux pandémies. Dans un échange avec le New York Times, il dit que l'IA a dépassé un seuil: «A.I. has crossed the threshold that its ability to empower a bioterrorist to kill hundreds of millions—that exists today.» Autrement dit, la capacité existe déjà, pas dans un futur hypothétique. Il ajoute que les avancées de l'IA peuvent aider à concevoir des molécules et rendre possible un pathogène «worse than smallpox», qui exigeait autrefois les ressources d'un État-nation et devient accessible à de petits groupes. Il va jusqu'à dire que cela rend l'arme nucléaire dérisoire: «This makes nuclear weapons look like nothing.» [2]. Le moteur du risque, ce n'est pas l'AGI, c'est l'abaissement du niveau de compétence nécessaire pour passer à l'acte.

C'est cohérent avec ce que l'on sait des usages concrets. Un modèle génératif ne crée pas une intention. Il fournit des plans, des séquences, des procédures, des variantes. Le passage à l'acte reste humain. Gates place d'ailleurs le risque imminent du mauvais usage au-dessus du risque à long terme de systèmes qui échappent au contrôle humain [2]. La question de sécurité devient donc: qui utilise quoi, avec quel objectif, et comment le détecter à temps? C'est une question de traçabilité des usages, pas de robinet d'arrêt unique.

Le kill switch ne suffit pas, et Gates le dit

Il écarte aussi l'idée qu'un coupe-circuit suffirait, en rappelant que l'IA n'en est pas au stade de s'emparer des ordinateurs et de résister à un arrêt. Interrogé sur un éventuel kill switch, Gates répond: «When you’re trying to moderate the bad behavior, you need insight and records of what’s being done, so the kill switches alone would not prevent these tragedies.» Il ajoute que personne ne pense que l'autorégulation suffise [2]. C'est un point opérationnel fort. Couper un modèle ne sert à rien si l'on ne sait pas ce qu'un utilisateur a demandé, ce que le modèle a produit, à qui le résultat a été transmis. Pour un bio-agent, le mal peut être déjà fait au moment où le comportement devient visible.

Il demande des obligations: que les développeurs intègrent des mécanismes de surveillance et des enregistrements permettant aux autorités de voir comment les modèles sont utilisés [2]. Il note aussi que les gouvernements n'ont pas l'expertise technique construite autour du nucléaire, car l'IA est venue du secteur privé [2]. Ce n'est pas une demande d'interdire l'IA, ni de freiner toute la recherche. C'est une demande d'instrumentation: logs, audits, remontées d'incidents, accès des forces de l'ordre. La distinction est importante, car elle cible l'usage plutôt que la nature du modèle.

L'Europe a déjà une partie de la réponse, sans encore l'exercer

L'Union européenne impose depuis août 2025 aux fournisseurs de modèles à usage général présentant un risque systémique des tests adversariaux, une évaluation des risques et un signalement des incidents graves. Depuis le 2 août, la Commission peut infliger une amende allant jusqu'à 3 % du chiffre d'affaires mondial ou 15 millions d'euros. Elle peut exiger l'accès à un modèle, ordonner des évaluations et obliger un fournisseur à restreindre la mise à disposition publique. Aucune mesure coercitive n'a été signalée dans les sept semaines qui ont suivi [4]. Le cadre existe, mais la pratique reste à démontrer.

Aux États-Unis, l'appel de Gates se heurte à une réalité politique inverse. Donald Trump qualifie de «canular» les appels à réguler l'IA; le président de la Chambre minimise; une loi fédérale reste incertaine [5]. Mark Zuckerberg, de son côté, refuse l'idée d'une coordination contraignante et défend un rythme interne à chaque laboratoire [6]. Le clivage est net: l'Europe a choisi la conformité ex ante, les États-Unis restent sur la responsabilité des entreprises.

Ce que je retiens

Je ne crois pas qu'il faille attendre une AGI pour prendre la menace au sérieux. Le scénario le plus plausible n'est pas un système qui se réveille, mais un acteur qui apprend à se servir des modèles plus vite que les autorités ne savent les auditer. La conséquence est concrète: si une organisation déploie un modèle général, la première question n'est pas «que fera-t-il s'il devient autonome?», mais «que peut-on tracer de ce que les humains lui demandent?». Les journaux d'usage, la détection de prompts à risque, les seuils de revue humaine et la capacité à transmettre des preuves aux autorités comptent plus qu'un kill switch symbolique. C'est la ligne que je défendrai dans les prochains choix d'architecture.