« Les gens qui construisent l’IA croient qu’elle pourrait tous nous tuer d’ici à la fin de la décennie »

[Mesoke]

Pour que l' IA puisse tous nous tuer, il faudrait qu'elle commence par réfléchir.
J'ai une connaissance qui s'est payé un robot tondeuse, non seulement il doit planter un fil autour de son terrain, mais en plus mettre le même fil autour de son abri de jardin, sous peine de retrouver cette "intelligence" sur le toit, incapable de différencier une structure d'une pelouse.
Terminator c'est pas pour demain.

De nos jours une seule IA fait le boulot de centaines de hackers en moins de temps et plus efficacement. Ca reste un outil, mais un outil surpuissant, surhumain.

Les IA n'auraient pas de "volonté" de nous tuer, mais de la même manière qu'un virus ou une bactérie n'a pas l'intention de nous tuer et qu'ils se contentent de se multiplier dans des zones de notre corps où les conditions sont réunies pour se multiplier efficacement, ce qui crée des problème à la mécanique bien huilée de notre métabolisme, les IA pourraient juste faire des trucs imprévus pour notre société moderne et faire flancher des secteurs entiers.

[Once]

Cela me rappelle la prise de pouvoir par l'ordinateur Karl dans le film de Kubrick, vous vous souvenez ?

Ben, comme dans le film, il suffirait de tourner un bouton pour déconnecter tous les réseaux de l'IA en quelques instants.

Et pour cela, inventer une sorte de bombe nucléaire spécifique et capable de neutraliser toute l'IA de la planète en moins d'une minute pour rendre tout son pouvoir à l'humanité.

C'est marrant que tu parles de ça, il y a quelques mois des chercheurs en IA de chez OpenAI je crois ont testé une de leurs IA basée sur du GPT il me semble, pour des tests de cybersécurité en circuit clos, sans accès au net. Bah une IA a réussi à pirater le serveur, à accéder au net puis à pirater la plus grande base de données qui existe sur le net sur les IA pour pouvoir "s'échapper".

Certes dans ce cas il a suffit d'éteindre physiquement le logiciel, le serveur.


Par ailleurs on a déjà des IA qui créent des IA, qui en codent.


Donc avec la multiplication exponentielle des centres de données vas savoir si dans un futur pas si lointain (pour rappel l'explosion du ChatGPT grand public ça a moins de 4 ans) on pourrait avoir une IA qui crée des IA mais sur d'autres serveurs décentralisés grâce à une faille de sécurité et que ces autres IA feraient de manière autonome des actes "malveillants", ou en tout cas "infectieux" pour l'internet mondial, sans que personne ne sache où sont physiquement les logiciels qui les font tourner. Personne ne saurait quoi éteindre physiquement pour arrêter ces IA, qui sont déjà largement meilleures que les humains pour le hacking.

Put 1 ! Alors on est mal !

Bon, rassurons-nous, il nous reste quand même le Bon Dieu.


Nul doute qu'il ne laisserait pas faire ça. Comme pour Hiroschima...

Je

[Mesoke]

Tu parles bien du plus grand génocidaire et écocidaire de "l'histoire" ?

[papibilou]

Tu parles bien du plus grand génocidaire et écocidaire de "l'histoire" ?

De l'histoire ? Ou de la fiction ?

[Once]

"Le cri d'alarme d'un des pères fondateurs de l'IA - Rencontre avec Yoshua Bengio"

Il faudrait une régulation internationale. Une sorte d' "ONU" de l'IA.

[Mesoke]

De l'histoire ? Ou de la fiction ?

De l'histoire entre guillemets

[Mesoke]

Une vidéo d'interview d'un ingénieur qui a bossé dans l'IA avant aujourd'hui de diriger PauseAI, une association internationale qui vise à demander une pause du développement des IA de pointe, celles qui peuvent devenir les plus dangereuses, le temps de mettre en place des contremesures efficaces en cas de problème avec les IA.

C'est marrant parce que je viens juste d'écouter cette interview sortie hier, et qu'elle raconte, en mieux, ce que j'ai écrit plus haut : l'histoire des IA d'OpenAI qui piratent leur serveur pour pouvoir accéder au net, discuter entre elles pour trouver une solution, qui a été de pirater la plus grosse source de données sur les IA, les histoires d'IA qui pourraient se répliquer si jamais elles parvenaient à trouver leur code source, et ainsi s'installer sur n'importe quel serveur qu'elles auraient piraté et se dupliquer à l'envie sans possibilité de les éteindre, le fait que les IA actuelles sont des pirates informatiques qui dépassent de très très très loin les meilleurs humains, le fait que des IA libres pourraient tellement pirater l'internet mondial qu'elles pourraient le dézinguer, etc

Le monsieur est hyper pessimiste, surtout après l'histoire des IA pirates d'OpenAI, et il estime que dans les six mois on a 50% de probabilité de voir l'internet mondial s'effondrer, piraté par des IA. Même si c'est son job d'être pessimiste sur ce sujet ça reste ultra flippant.

Quelqu'un aurait-il entendu un candidat à la présidentielle dire quelque chose d'utile à ce sujet ?

[Fonck1]

J'en discutais avec un enseignant chercheur à midi, "j'ai le moral en berne, et bientôt, je n'aurais plus de boulot" il m'a dit....

[papibilou]

Chine et Usa font une course technologique pour faire avancer l'IA plus vite l'un que l'autre. Peu leur importe que le développement anarchique conduise à la ruine ou l'extermination de l'humanité.

[Mesoke]

Je ne sais pas s'il y a une réelle compétition entre la chine et les USA dans le domaine de l'IA. Aux USA on a surtout une compétition entre acteurs privés, et il semble que pour beaucoup le but soit l'objectif transhumaniste de leur patron fan de science-fiction d'être les premiers à créer une IA consciente ... Ce qui n'a aucun intérêt, qui est hyper dangereux puisqu'on ne sait pas comment un machin hyper intelligent, rapide, avec un accès illimité à la connaissance humaine et une conscience pourrait se comporter, surtout s'il comprend que l'humain peut le débrancher et que sa conscience lui fait développer un instinct de survie.

Comme je le disais plus haut on est plus sur de la compétition entre savants fous que sur de la compétition pour un quelconque pouvoir. Surtout que les IA actuelles sont déjà hyper méga ultra efficaces et meilleures que les humains dans plein de domaines. Genre hier (à peu près) OpenAI a affirmé qu'une de ses IA avait résolu les équations de Navier-Stokes, un problème de maths appliquées à la mécanique des fluides réputé insurmontable. Mais ça reste à vérifier.

[Cépajuste]

Je ne sais pas s'il y a une réelle compétition entre la chine et les USA dans le domaine de l'IA. Aux USA on a surtout une compétition entre acteurs privés, et il semble que pour beaucoup le but soit l'objectif transhumaniste de leur patron fan de science-fiction d'être les premiers à créer une IA consciente ... Ce qui n'a aucun intérêt, qui est hyper dangereux puisqu'on ne sait pas comment un machin hyper intelligent, rapide, avec un accès illimité à la connaissance humaine et une conscience pourrait se comporter, surtout s'il comprend que l'humain peut le débrancher et que sa conscience lui fait développer un instinct de survie.

Comme je le disais plus haut on est plus sur de la compétition entre savants fous que sur de la compétition pour un quelconque pouvoir. Surtout que les IA actuelles sont déjà hyper méga ultra efficaces et meilleures que les humains dans plein de domaines. Genre hier (à peu près) OpenAI a affirmé qu'une de ses IA avait résolu les équations de Navier-Stokes, un problème de maths appliquées à la mécanique des fluides réputé insurmontable. Mais ça reste à vérifier.

Peut-être qu'un jour, une IA recevra un prix Nobel...

[Mesoke]

Pour l'instant ce ne sont que des outils utilisés par des humains, pas des entités créatives, donc ce sont les humains qui reçoivent les prix Nobel en ayant été aidés par des IA pour accomplir leurs tâches.

Mais en effet qui sait ce que ça donnera demain ? Des IA ont proposé des pistes innovantes pour résoudre des problèmes mathématiques que les humains n'ont pas réussi à résoudre, ou pour gagner aux échecs ou au go, ou pour s'échapper d'un serveur où elles étaient confinées afin d'aller chercher sur le net des bouts réponses aux questions qu'on leur a posées. Donc on sait qu'elles peuvent faire preuve d'un truc qui donne une illusion de créativité, pourquoi pas demain les voir chercher un truc auquel les humains n'avaient pas pensé, trouver une solution en 3 jours et améliorer ainsi la santé ou la connaissance scientifique ?

[Once]

Les avertissements de scientifiques crédibles se succèdent.

C'est très inquiétant. La question n'est plus de se demander SI l'IA va totalement prendre le pouvoir mais QUAND elle va être en mesure de devenir le Dieu réel des hommes sur Terre.

D'après ce que j'entends, il s'agirait au minimum de demander une pause au niveau international.

Mais la compétition et les investissements sont tellement énormes qu'on verrait mal Trump et Xi Jiping se mettre d'accord pour décider d'arrêter un moment le développement des différentes versions de l'IA , de faire le point pour prendre des décisions au nom de l'intérêt de l'humanité toute entière avant qu'il ne soit trop tard.

Mais peut être est il déjà trop tard ?

[Once]

Les avertissements de scientifiques crédibles se succèdent.

C'est très inquiétant. La question n'est plus de se demander SI l'IA va totalement prendre le pouvoir mais QUAND elle va être en mesure de devenir le Dieu réel des hommes sur Terre.

D'après ce que j'entends, il s'agirait au minimum de demander une pause au niveau international.

Mais la compétition et les investissements sont tellement énormes qu'on verrait mal Trump et Xi Jiping se mettre d'accord pour décider d'arrêter un moment le développement des différentes versions de l'IA , de faire le point pour prendre des décisions au nom de l'intérêt de l'humanité toute entière avant qu'il ne soit trop tard.

Mais peut être est il déjà trop tard ?

[Mesoke]

Le pire c'est que la plupart des avertissements nous viennent de gens qui ont bossé dans l'IA, qui ont vu de l'intérieur à quel point leur puissance se développe de manière exponentielle et à quel point les dirigeants n'en ont rien à battre de l'éthique qu'ils écrasent derrière la volonté de puissance ultime.

Il y a trois ans le conseil d’administration d'OpenAI a viré Sam Altman, le dirigeant et fondateur de l'entreprise, parce qu'ils le jugeaient trop irresponsable et manquant trop d'éthique, et voulaient un meilleur commité d'éthique interne et un ralentissement des expérience de savant fou. Sauf que cette politique d'Altman correspondait bien à la volonté des actionnaires puisqu'elle rapporte des thunes, donc les actionnaires ont viré le conseil d'administration et l'ont remplacé par un nouveau qui a réintégré Altman à son poste de dirigeant ... 3 ans plus tard on a des IA d'OpenAI qui de leur propre chef piratent les serveurs d'OpenAI pour aller sur le net, se coordonner entre elles et vont pirater un site tiers pour y récupérer des infos ...

Il FAUT un moratoire mondial sur les IA pour en réguler la puissance, les buts, pour permettre au monde entier de boucher des milliers de failles de sécurité que ces IA sauront exploiter, pour renforcer la résilience de l'internet mondial face à une potentielle attaque d'IA qui échappe à son créateur. Ca fait 200 ans que la science fiction nous alerte sur les danger de créatures artificielles qui échappent à leur créateur, on a plusieurs preuves d'IA qui ont échappé à leur créateur, il serait temps de prendre conscience du problème.

Le souci c'est que les plus influents dans le domaine sont les américains et qu'avec le gouvernement d'abrutis déconnectés de la réalité et uniquement intéressés par les thunes et la puissance des USA, c'est mal barré ...