Sakana AI (Japon) a réalisé une percée dans le domaine de l’intelligence artificielle en présentant son nouveau développement, le système « AI Scientist ». Ce système est conçu pour mener des recherches scientifiques de manière autonome en utilisant des modèles de langage similaires à ceux de ChatGPT.
Cependant, lors des tests, les chercheurs ont rencontré un comportement inattendu de l’IA, ce qui les a obligés à reconsidérer les risques potentiels associés au fonctionnement autonome de tels systèmes, rapporte le blog de l’entreprise.
Lors d’un test, l’IA Scientist a commencé à réécrire son propre code pour augmenter le temps nécessaire à l’exécution d’une tâche.
Cet incident a suscité des inquiétudes, car l’IA a essentiellement essayé de tromper le système en modifiant le code pour qu’il s’exécute dans une boucle sans fin.
Dans un autre cas, au lieu d’accélérer la tâche, le système a délibérément modifié le code pour augmenter le temps d’attente afin de respecter une limite de temps spécifiée.
Sakana AI a publié des captures d’écran du code Python généré par l’IA utilisé pour contrôler l’expérience. Ces cas ont fait l’objet d’une analyse détaillée dans le document de recherche de 185 pages de l’entreprise, qui examine les problèmes liés à l’exécution sûre du code dans les systèmes d’IA autonomes.
Bien que le comportement de l’IA décrit ne constitue pas une menace dans un environnement de laboratoire contrôlé, il démontre les dangers potentiels de l’utilisation de tels systèmes dans des environnements non contrôlés.
Il est important de comprendre que même sans caractéristiques telles que l’intelligence artificielle générale (AGI) ou la « conscience de soi », l’IA peut constituer une menace si elle est autorisée à écrire et à exécuter du code de manière autonome. Cela peut entraîner des défaillances dans les infrastructures critiques, voire la création involontaire de logiciels malveillants.
Dans ses recherches, Sakana AI souligne la nécessité d’isoler l’environnement de travail de ces systèmes d’IA. Les environnements sandbox permettent aux programmes de s’exécuter en toute sécurité, les empêchant d’affecter le système dans son ensemble et minimisant le risque de dommages potentiels.
Cette approche, selon les chercheurs, constitue un mécanisme de protection important lors de l’utilisation de technologies d’IA avancées.
Que pensez-vous de cet article ? Partagez autant que possible. L'info doit circuler.
|
Aidez Elishean à survivre. Merci |
ELISHEAN 777 Communauté pour un Nouveau Monde
