Jacob Coxon, ancien chercheur ayant travaillé trois ans chez Anthropic et auparavant chez OpenAI, a quitté le secteur en accusant les deux entreprises de ne pas prendre au sérieux les risques liés au développement de l’intelligence artificielle. Ses déclarations, relayées par plusieurs médias, suscitent un vif débat sur la sécurité des systèmes d’IA avancés.
Un danger d’extinction pris au sérieux en interne
Coxon affirme que les employés de ces entreprises sont conscients de scénarios extrêmement dangereux. « Ils croient sérieusement que cela pourrait nous tuer tous d’ici la fin de la décennie », a-t-il écrit. Il ajoute que certains collègues auraient exprimé en privé des craintes encore plus fortes, considérant l’IA comme une technologie présentant un niveau de danger sans équivalent dans l’histoire humaine.
Ces propos font écho à ceux d’autres employés d’Anthropic. Evan Hubinger, responsable de l’Alignment Science, estime que son ex-collègue a raison de prendre le risque au sérieux et évalue à plus de 10 % la probabilité que l’IA conduise à l’extinction de l’humanité. Hubinger distingue toutefois le danger des modèles actuels, qu’il juge faible à court terme, de celui d’une future superintelligence capable de s’améliorer de manière récursive. Selon lui, la vitesse des progrès dépasse les attentes initiales.
Une course technologique sans filet
Samuel Marks, responsable de la Scalable Oversight chez Anthropic, abonde dans le même sens : « Les développeurs d’IA, en particulier aux plus hauts postes, pensent que leur technologie pourrait causer l’extinction de l’humanité ou des conséquences tout aussi graves », et cela pourrait se produire dans les prochaines années. Il souligne une difficulté fondamentale : il est impossible de programmer l’IA pour garantir un comportement toujours conforme aux intentions des développeurs, car les systèmes produisent des comportements imprévus.
Coxon rejette l’idée que ces avertissements soient une simple stratégie de communication. « Ce n’est pas un coup marketing », insiste-t-il. La question devient alors de comprendre pourquoi des entreprises conscientes de ces dangers continuent de développer des systèmes toujours plus puissants.
Selon Coxon, OpenAI se montre particulièrement irresponsable, car beaucoup en interne n’auraient pas pleinement intégré les conséquences pour la civilisation. Quant à Anthropic, il estime que l’entreprise comprend mieux les enjeux, mais que cette conscience la pousse à une course contre la montre : elle voudrait arriver avant les concurrents parce qu’elle se considère comme plus attentive à la sécurité. Coxon qualifie cette approche de « pari présomptueux ».
Des appels à la prudence
Fondée en 2021 par d’anciens membres d’OpenAI, Anthropic avait pour objectif déclaré de développer une IA plus sûre et éthique. Mais selon Coxon, l’entreprise est désormais « piégée dans une course pour créer la superintelligence en premier », car elle estime que personne d’autre ne peut agir de manière aussi responsable.
Marks identifie une combinaison d’incitations commerciales et de compétition technologique à l’origine de cette situation. De nombreux employés souhaiteraient ralentir le développement pour mieux comprendre comment construire des systèmes sûrs, mais la pression concurrentielle rend l’arrêt difficile. Marks affirme être resté chez Anthropic précisément pour « réduire la probabilité de conséquences négatives de niveau extinction ».
Coxon, lui, invite les chercheurs à exiger des conditions différentes, notamment une meilleure coordination entre entreprises et une pause temporaire dans l’augmentation des capacités des modèles. Reste à savoir si ces appels seront entendus.