Futur cosmique

Des milliers de chercheurs ont demandé la suspension de la formation de systèmes d’IA plus puissants que GPT-4

Dans la veine de SKYNET du film Terminator, l'extension des pouvoirs de l'IA est aujourd'hui un problème qui nous concerne tous.

Future of Life, une organisation à but non lucratif, a publié une lettre dans laquelle le PDG de SpaceX Elon Musk, le co-fondateur d’Apple Steve Wozniak, le philanthrope Andrew Yang et environ un millier d’autres chercheurs en intelligence artificielle ont appelé à une « suspension immédiate » de la formation des systèmes d’IA « plus puissants que GPT-4 ».

La lettre indique que les systèmes d’intelligence artificielle dotés d’une « intelligence compétitive humaine » peuvent comporter « de graves risques pour la société et l’humanité ». Il demande aux laboratoires de suspendre la formation pendant six mois.

« Des systèmes d’intelligence artificielle puissants ne devraient être développés que lorsque nous sommes convaincus que leurs effets seront positifs et que leurs risques seront gérables », soulignent les auteurs de la lettre.

Plus de 1 125 personnes ont signé la pétition, dont le co-fondateur de Pinterest Evan Sharp, le co-fondateur de Ripple Chris Larsen, le PDG de Stability AI Emad Mostak et des chercheurs de DeepMind, Harvard, Oxford et Cambridge. La lettre a également été signée par les poids lourds de l’IA Yoshua Bengio et Stuart Russell. Ce dernier a également demandé que le développement de l’IA avancée soit suspendu jusqu’à ce que des experts indépendants développent, mettent en œuvre et testent des protocoles de sécurité communs pour ces systèmes d’IA.


La lettre détaille les risques potentiels pour la société et la civilisation des systèmes d’IA compétitifs sous la forme de bouleversements économiques et politiques.

Voici le texte intégral de la lettre :

« Les systèmes d’intelligence artificielle qui concurrencent les humains peuvent constituer un grave danger pour la société et l’humanité, comme l’ont montré des recherches approfondies et comme le reconnaissent les principaux laboratoires d’intelligence artificielle. Comme indiqué dans les principes d’Asilomar AI largement approuvés, l’IA avancée peut déclencher de profonds changements dans l’histoire de la vie sur Terre et doit être conçue et gérée avec un soin et des ressources proportionnés.

Malheureusement, ce niveau de planification et de gestion n’existe pas, même si ces derniers mois les labos d’IA se sont embourbés dans une course incontrôlée pour développer et déployer des « esprits numériques » toujours plus puissants, dont les performances ne peuvent être prédites ou contrôlées de manière fiable, que personne – pas même leurs créateurs – ne peuvent comprendre.


Les systèmes d’intelligence artificielle modernes deviennent compétitifs pour résoudre des problèmes courants, et nous devons nous demander : devrions-nous permettre aux machines d’inonder nos canaux d’information de propagande et de contrefaçons ? Devrions-nous automatiser tous les emplois, y compris ceux qui sont potentiellement remplacés par l’IA ? Devrions-nous développer des « esprits non humains » qui pourraient éventuellement nous dépasser en nombre, nous dépasser et nous remplacer ? Devrions-nous risquer de perdre le contrôle de notre civilisation ?

De telles décisions ne doivent pas être déléguées à des leaders technologiques non élus. Des systèmes d’intelligence artificielle puissants ne devraient être développés que lorsque nous sommes convaincus que leurs effets seront positifs et que les risques seront gérables. Cette confiance devrait être bien fondée et ne croître qu’avec l’expansion des effets potentiels de tels systèmes. Une récente déclaration d’OpenAI concernant l’intelligence artificielle générale indique qu' »à un moment donné, il peut être important d’obtenir une évaluation indépendante avant de se lancer dans la formation de futurs systèmes, et pour les efforts les plus avancés, accepter de limiter le taux de croissance des calculs utilisés pour créer nouveaux modèles. » Nous sommes d’accord. Ce moment est venu maintenant.

Par conséquent, nous appelons tous les laboratoires d’IA à suspendre immédiatement la formation sur les systèmes d’IA plus puissants que GPT-4 pendant au moins six mois. Cette pause doit être universelle et contrôlée, et tous les acteurs clés doivent y être impliqués. Si une telle pause ne peut être établie rapidement, alors les gouvernements devraient intervenir et imposer un moratoire.

Les laboratoires d’IA et les experts indépendants devraient profiter de cette pause pour développer et mettre en œuvre conjointement un ensemble de protocoles de sécurité communs pour la conception et le développement avancés de l’IA qui seront soigneusement examinés et surveillés par des experts externes indépendants. Ces protocoles visent à garantir que les systèmes qui y adhèrent sont sûrs au-delà de tout doute raisonnable. Cela ne signifie pas une pause dans le développement de l’IA en général, mais simplement un recul par rapport à une course dangereuse vers des modèles de «boîte noire» imprévisibles toujours plus grands et dotés de plus de capacités.

La recherche et le développement de l’IA doivent être recentrés pour rendre les puissants systèmes d’IA de pointe d’aujourd’hui plus précis, sécurisés, interprétables, transparents, fiables, cohérents, dignes de confiance et loyaux.

En parallèle, les développeurs d’IA doivent travailler avec des politiques pour accélérer considérablement le développement de systèmes de contrôle d’IA robustes. Ces efforts devraient, au minimum, inclure : des régulateurs de l’IA nouveaux et compétents ; la supervision et le monitoring de systèmes d’intelligence artificielle performants et de grands pools de puissance de calcul ; des systèmes de vérification et de filigrane qui aident à distinguer le contenu réel du contenu généré et à suivre les fuites de modèles ; un solide écosystème d’audit et de certification ; responsabilité pour les dommages causés par l’IA ; un financement public important pour la recherche technique sur la sécurité de l’IA ; des institutions bien dotées en ressources pour faire face aux graves bouleversements économiques et politiques (en particulier dans les démocraties) que l’IA entraînera.

L’humanité pourra profiter d’un avenir prospère grâce à l’IA. Après avoir réussi à créer des systèmes performants, nous arriverons à « l’été de l’IA » où nous récolterons les bénéfices, développerons ces systèmes au profit de tous et donnerons à la société la possibilité de s’y adapter. La société a suspendu l’utilisation d’autres technologies, avec des conséquences potentiellement catastrophiques. Nous pouvons également appliquer cette mesure ici.

Les principaux laboratoires d’intelligence artificielle tels que OpenAI n’ont pas encore répondu à la lettre.

« La lettre n’est pas parfaite, mais son esprit est juste : nous devons ralentir jusqu’à ce que nous comprenions mieux tous les risques », a déclaré Gary Marcus, professeur émérite à l’Université de New York, qui a signé la lettre. « Les systèmes d’IA peuvent causer de graves dommages… Les grands acteurs deviennent de plus en plus secrets sur ce qu’ils font. »

OpenAI a introduit GPT-4 le 14 mars. Le modèle est capable d’interpréter non seulement du texte, mais aussi des images. Elle reconnaît également désormais les images sommaires, y compris celles dessinées à la main.

Après l’annonce du nouveau modèle de langage, OpenAI a refusé de publier les documents de recherche qui le sous-tendent. Des membres de la communauté de l’IA ont critiqué la décision, notant qu’elle sape l’esprit de l’entreprise en tant qu’organisation de recherche et qu’il est difficile pour d’autres de reproduire son travail. Dans le même temps, cela rend difficile le développement de moyens de protection contre les menaces posées par les systèmes d’IA.

Skynet prend le relais et devient conscient de lui-même – Terminator 3 : Rise Of The Machines


Que pensez-vous de cet article ? Partagez autant que possible. L'info doit circuler.



Aidez Elishean à survivre. Merci


ELISHEAN 777 Communauté pour un Nouveau Monde

Laisser un commentaire

Bouton retour en haut de la page