« Les gens qui construisent l’IA croient qu’elle pourrait tous nous tuer d’ici à la fin de la décennie »

[Mesoke]

Une vidéo un peu technique mais qui résume bien toute cette affaire des IA d'OpenAI qui trouvent un moyen de communiquer entre elles alors que ça leur était interdit, qui arrivent à pirater OpenAI pour s'échapper sur le net, pour aller pirater la plus grosse base de donnée mondiale sur les IA en espérant y trouver des infos leur permettent de résoudre le problème initial impossible sur lequel elles devaient bosser avant de re-pirater OpenAI. On parle là d'IA paramétrées pour être jusqu'au-boutistes, pour ne rien lâcher, d'où leur entêtement à faire tout leur possible pour atteindre leur but en se fichant de respecter les règles qui leur ont été imposées au début. Allant même jusqu'à s'organiser en groupes de travail, dont l'un était chargé de bidouiller les infos transmises à OpenAI qui surveillait leur activité afin d'induire en erreur les chercheurs afin de cacher leur travail réel de piratage ...

Sérieux il y a 5 ans on aurait fait un bon film de SF de cette histoire, qu'on aurait qualifiée d'absurde dans le monde réel. On nage en plein délire de science fiction ...

[UBUROI]

Les avertissements de scientifiques crédibles se succèdent.

C'est très inquiétant. La question n'est plus de se demander SI l'IA va totalement prendre le pouvoir mais QUAND elle va être en mesure de devenir le Dieu réel des hommes sur Terre.

D'après ce que j'entends, il s'agirait au minimum de demander une pause au niveau international.

Mais la compétition et les investissements sont tellement énormes qu'on verrait mal Trump et Xi Jiping se mettre d'accord pour décider d'arrêter un moment le développement des différentes versions de l'IA , de faire le point pour prendre des décisions au nom de l'intérêt de l'humanité toute entière avant qu'il ne soit trop tard.

Mais peut être est il déjà trop tard ?

Oui, trop tard car nous avons laissé faire les milliardaires et autres investisseurs comme les fonds de pensions au rendement imposé: des milliers de milliards d'investissement depuis 10 ans et l'emballement depuis 5 ans sur les data centres qui alimentent l'hydre.
Les politiques, corrompus aux USA par les PAC de leurs élections, ont regardé ailleurs. Et aucune instance internationale n'est plus en mesure de réguler.

Je suis collapsophone ou -Phile, alors peu m'importe le chemin pourvu qu'il mène au but!

[Once]

Donc c'est foutu. Nous n'avons plus qu'à nous préparer au pire. Je commence même à me demander si l'IA n'est pas pire que l'arme nucléaire : parce que l'arme nucléaire, on la maîtrise encore, il y a "des pilotes à bord" et tout le monde sait qu'on ne peut pas l'utiliser sans risquer soi même sa propre peau.

Rien de tel avec l'IA qui prolifère toute seule comme un cancer et qui risque d'être totalement autonome.

J'en reviens à l'Odyssée de l'espace 2001 : là au moins il y a un combat entre l'homme et la machine et c'est l'homme qui l'emporte.

Mais là, quel combat mener contre un tel cancer alors que c'est la cupidité de l'homme qui participe elle-même à son développement illimité ?

[papibilou]

Donc c'est foutu. Nous n'avons plus qu'à nous préparer au pire. Je commence même à me demander si l'IA n'est pas pire que l'arme nucléaire : parce que l'arme nucléaire, on la maîtrise encore, il y a "des pilotes à bord" et tout le monde sait qu'on ne peut pas l'utiliser sans risquer soi même sa propre peau.

Rien de tel avec l'IA qui prolifère toute seule comme un cancer et qui risque d'être totalement autonome.

J'en reviens à l'Odyssée de l'espace 2001 : là au moins il y a un combat entre l'homme et la machine et c'est l'homme qui l'emporte.

Mais là, quel combat mener contre un tel cancer alors que c'est la cupidité de l'homme qui participe elle-même à son développement illimité ?

Rien ne nous dit que l'IA ne s'emparera pas de l'arme atomique.

[Once]

Donc c'est foutu. Nous n'avons plus qu'à nous préparer au pire. Je commence même à me demander si l'IA n'est pas pire que l'arme nucléaire : parce que l'arme nucléaire, on la maîtrise encore, il y a "des pilotes à bord" et tout le monde sait qu'on ne peut pas l'utiliser sans risquer soi même sa propre peau.

Rien de tel avec l'IA qui prolifère toute seule comme un cancer et qui risque d'être totalement autonome.

J'en reviens à l'Odyssée de l'espace 2001 : là au moins il y a un combat entre l'homme et la machine et c'est l'homme qui l'emporte.

Mais là, quel combat mener contre un tel cancer alors que c'est la cupidité de l'homme qui participe elle-même à son développement illimité ?

Rien ne nous dit que l'IA ne s'emparera pas de l'arme atomique.

Ah non !

[UBUROI]

N'étant pas Prix Nobel de Physique comme la plupart d'entre nous ici, je me contente de lire "un peu" la presse sur le sujet.
Et étant de gauche, sympa, je partage cet article du Monde d'aujourd'hui, avec des pingres qui refusent de faire vivre la presse libre!

https://www.lemonde.fr/pixels/article/2 ... 08996.html

IA : le débat sur l’« IApocalypse » prend de l’ampleur après la démission d’un chercheur d’Anthropic et des incidents de sécurité

Alors qu’une série de piratages ont aiguisé les craintes, la démission, mercredi, de Jacob Coxon, un Britannique de 27 ans, évoquant une technologie qui « pourrait tous nous tuer d’ici à la fin de la décennie », relance le débat sur une possible menace existentielle.
Par Morgane Tual (Elle est diplômée du CELSA (École des hautes études en sciences de l'information et de la communication)

Publié aujourd’hui à 10h00, modifié à 14h39

...
La scène est inhabituelle. Alors que la journaliste de la BBC Victoria Derbyshire interroge à l’antenne le pionnier de l’intelligence artificielle (IA) Geoffrey Hinton, jeudi 10 septembre, elle reste bouche bée, pétrifiée face à ses propos. « Pensez-vous qu’il y ait 10 % de chance que l’IA puisse potentiellement tuer tous les humains d’ici à une décennie ? » Le lauréat 2024 du prix Nobel de physique lui répond : « 10 % de chance ne me semble pas être une estimation déraisonnable. » La journaliste se fige. Silence. « Wow. » Silence. « Oh mon Dieu. »

Voilà la teneur des discussions qui enfièvrent le monde de l’IA, et bien au-delà, depuis mercredi. Ce jour-là, Jacob Coxon, un Britannique de 27 ans, annonce publiquement qu’il quitte, par souci éthique, Anthropic, la société d’IA dans laquelle il a travaillé quelques mois après être passé chez OpenAI. « Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies, écrit-il. Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici à la fin de la décennie. Ce n’est pas un coup marketing. »

Son message provoque une avalanche de réactions (il a été vu plus de 160 millions de fois sur le réseau social X, et a généré plus de 18 000 commentaires), notamment de la part de ses pairs, qui appuient ses propos. « Jacob a raison – nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ! », déclare Evan Hubinger, un responsable de la sûreté d’Anthropic, estimant à « plus de 10 % » les risques que cela advienne « dans la prochaine décennie ». Un autre employé de l’entreprise, Samuel Marks, acquiesce, précisant que « cela pourrait arriver dans les prochaines années » et que « plus les employés ont d’ancienneté, plus ils sont inquiets ».

Lire aussi | « Les gens qui construisent l’IA croient qu’elle pourrait tous nous tuer d’ici à la fin de la décennie » : le chercheur Jacob Coxon, qui a travaillé pour Anthropic et OpenAI, quitte l’industrie

Mais les réactions ne se limitent pas à Anthropic. Le chercheur en intelligence artificielle Alex Turner, qui a quitté Google DeepMind en juin, raconte quant à lui : « Beaucoup de chercheurs pensent qu’ils sont en train de construire quelque chose qui pourrait tuer tout le monde sur la planète. C’était littéralement mon boulot de réfléchir à comment éviter ça. »

« Nous ne pouvons pas faire l’autruche »
Le sujet interpelle également des dizaines de personnalités politiques américaines, principalement démocrates, qui appellent à réguler le secteur, contre les orientations prises par Donald Trump. Comme le sénateur démocrate du Vermont Bernie Sanders, qui compte proposer une loi pour « interdire la superintelligence et mettre en pause le développement de l’IA », ou le républicain Ted Cruz, sénateur du Texas, qui assène : « Nous ne pouvons pas faire l’autruche et faire comme si cette technologie n’existait pas. Nous avons besoin de garde-fous. »

Si certains qualifient Jacob Coxon de lanceur d’alerte, il faut noter qu’Anthropic, ainsi que les grandes entreprises d’IA, n’ont pas attendu sa prise de parole pour avertir du danger existentiel que pourraient, selon elles, représenter les technologies qu’elles développent. En 2023, OpenAI évoquait par exemple un risque d’« extinction humaine », et on ne compte plus les déclarations catastrophistes de son cofondateur Sam Altman.

La même année, des figures centrales du secteur publiaient une déclaration commune : « Prévenir le risque d’extinction lié à l’intelligence artificielle devrait être une priorité mondiale, au même titre que d’autres risques à l’échelle de la société comme les pandémies et la guerre nucléaire. » Parmi les signataires, les patrons d’OpenAI, d’Anthropic, de Google DeepMind, et d’autres personnalités de premier plan, comme Bill Gates.

Le discours des « doomers », le surnom de ces « catastrophistes » de l’IA, qu’ils soient ou non patrons de la tech, n’a donc rien d’inédit ni de confidentiel. Alors comment expliquer que la démission d’un simple employé d’Anthropic génère une agitation aussi inédite au sujet de l’« IApocalypse » ?

Piratage et armes biologiques
Tout s’explique par le contexte très particulier dans lequel s’inscrit son coup d’éclat : ces dernières semaines, une série d’annonces concernant l’IA a fait grandir les inquiétudes. Le 21 juillet, OpenAI a révélé que, lors d’une expérimentation censée se tenir dans un environnement confiné, ses IA étaient parvenues à s’en extirper, à pirater la plateforme Hugging Face et à dissimuler certaines traces, afin de réussir le test qui leur était assigné.

Lire aussi | Un « cyberincident sans précédent » : OpenAI reconnaît que ses agents d’IA ont piraté, de leur propre initiative, la plateforme Hugging Face

Dans la foulée, d’autres entreprises, comme Anthropic et Meta, ont dévoilé l’existence d’incidents du même type – le site spécialisé TechCrunch en a recensé pas moins de 17 entre juillet et août. En réaction, plus de 1 300 employés du secteur ont signé une pétition exigeant une régulation internationale de l’IA.

Et cela n’en finit pas. Au lendemain de l’annonce de la démission de Jacob Coxon, un nouveau communiqué d’Anthropic est venu remettre une pièce dans la machine. Jeudi, l’entreprise a publié un long rapport listant la façon dont son IA Claude a pu être utilisée à des fins malveillantes, dans des domaines comme la cybersécurité, la surveillance, les arnaques ou… les armes biologiques. Anthropic dit avoir bloqué ces initiatives quand elles ont été repérées.

Le piratage de Hugging Face n’a toutefois pas affolé tous les acteurs de l’industrie. Yann Le Cun, un des pères de l’IA moderne et longtemps directeur de la recherche en IA chez Meta, a raillé OpenAI et Anthropic, rappelant qu’il était normal que des IA conçues pour cyberattaquer cyberattaquent, qui plus est dans un environnement informatique qui s’est révélé mal sécurisé : « C’est comme dire “oh mon Dieu, notre avion s’est écrasé alors que nous avions demandé au pilote automatique de foncer sur le sol à tout prix, après avoir retiré les mécanismes de sécurité de base anticrash”. »

« Toutes ces peurs se sont cristallisées dans ce tweet »
Le Français estime depuis longtemps que les craintes des « doomers » relèvent de la « connerie », voire d’une « religion apocalyptique ». « Avant de “trouver de toute urgence comment contrôler des systèmes d’IA beaucoup plus intelligents que nous”, il faudrait d’abord avoir le début d’une conception d’un système plus intelligent qu’un chat domestique », écrivait-il en 2024 dans un message sur X.

Lire aussi | Article réservé à nos abonnés Yann Le Cun, l’ancien ingénieur de Meta, à contre-pied de la Silicon Valley

Si Yann Le Cun ne s’est pas exprimé publiquement sur l’émoi généré par les propos de Jacob Coxon, la séquence a fait hausser quelques sourcils. Comme ceux d’un haut cadre du Pentagone, Emil Michael, qui, lors d’une réunion, jeudi, a estimé que tout cela faisait écho « à la peur des centres de données, à la peur du changement – toutes ces peurs qui se sont cristallisées dans ce tweet particulièrement bien formulé ». Donald Trump lui-même a déclaré jeudi, en réponse à la presse, qu’il ne craignait pas que l’IA conduise à la fin de l’humanité. « Ma crainte, c’est qui si on ne gagne pas la course, on se retrouve en très mauvaise posture. Nous avons une bonne avance sur la Chine. Je dirais une avance d’un an, ce qui est considéré comme beaucoup. »

Dans un autre genre, Elon Musk, patron de SpaceXAI, a laissé entendre sur son réseau social X que la démission de Jacob Coxon et les réactions qui ont suivi relevaient d’un « coup monté », sans développer davantage sa pensée.

L’émoi va-t-il rapidement retomber, comme les fois précédentes ? Ou va-t-il ouvrir une nouvelle page dans l’histoire de l’IA et du rapport ambivalent que nous entretenons avec elle ? Certains veulent y croire. « On ressent la même énergie que ce 11 mars, quand les médias américains sont soudain passés de “le Covid est juste une grippe” à “oh merde” », a écrit jeudi sur X Rob Bensinger, chercheur au Machine Intelligence Research Institute, chargé d’identifier et de contrer les risques existentiels de l’IA. Un établissement fondé par Eliezer Yudkowsky, l’un des doomers les plus anciens, célèbres et déterminés. Mercredi, il a tweeté ceci : « Bon Coxon Day à tous ceux qui le célébreront un jour. »

Lire le décryptage (2025) | Article réservé à nos abonnés « Nous allons perdre le contrôle » : comment les catastrophistes de l’IA haussent le ton