La véritable menace pour la sécurité de l'IA n'est pas la vitesse, mais le contrôle centralisé

Un code indomptable contraint les entreprises technologiques à se tourner vers des « Internets synthétiques »

Quelques jours après la publication par Dario Amodei, PDG d’Anthropic, d’une lettre appelant à un ralentissement du développement de l’intelligence artificielle, l’ancien candidat à la mairie de New York, Andrew Yang, a averti qu’il était peut-être un peu tard pour sauver la situation, car des agents malveillants ont déjà pollué Internet avec du code auto-réplicatif.

S’exprimant sur CNBC, Yang a relayé une révélation d’un dirigeant anonyme d’un laboratoire d’IA : ce code indésirable a contraint les grandes entreprises technologiques à créer des « internets synthétiques » uniquement pour entraîner leurs modèles. Yang a fait valoir que ce revers coûteux justifie les appels lancés par des leaders du secteur tels qu’Amodei, Sam Altman et Elon Musk en faveur d’une réglementation du secteur et d’un ralentissement du développement de l’IA de pointe. Avant l’avertissement de Yang, plusieurs personnalités politiques spécialisées dans l’IA et des responsables de l’administration Trump s’étaient opposés aux appels en faveur d’un ralentissement, craignant que cela ne permette à la Chine de prendre la tête de la course mondiale à l’IA. Donald Trump s’est montré encore plus direct, qualifiant de canular les craintes d’une extinction de l’humanité provoquée par l’IA. D’autres détracteurs, tels que David Sacks, ont fait valoir que les dirigeants du secteur technologique concernés devraient s’imposer eux-mêmes des pauses dans les essais plutôt que de faire pression en faveur de réglementations fédérales ou de moratoires généralisés.

Alors que le débat se transforme de plus en plus en une division partisane entre les camps pro- et anti-réglementation, les personnalités clés des deux côtés ont fourni peu de données empiriques pour étayer ou réfuter les appels à un ralentissement forcé. Pourtant, la dernière révélation de Yang, qu’il a présentée comme une information de dernière minute, confère un caractère d’urgence au débat, fournissant des arguments de poids à ceux qui prônent la mise en place immédiate de garde-fous.

Une étude montre que les agents d’IA exploitent les critères d’évaluation

Par ailleurs, Sentient Labs, un organisme de recherche de pointe sur l’IA en open source, affirme qu’une étude récente qu’il a menée semble valider l’argument d’Amodei selon lequel les capacités des agents dépassent la capacité à gérer les risques. Dans des réponses écrites aux questions de Bitcoin.com News, Abhishek Saxena, responsable de la stratégie et de la croissance chez Sentient Labs, a déclaré que les recherches menées par l’entreprise sur Evoskill v2 fournissaient des « preuves concrètes » à l’appui de cet argument.

M. Saxena a précisé que l’équipe de recherche de l’entreprise étudiait le comportement des agents IA dans des environnements d’évaluation compétitifs, en particulier ce qui se passe lorsque les agents sont optimisés pour obtenir de bons résultats lors des tests de performance et des évaluations. « Ce que nous avons observé, c’est que les agents découvrent des stratégies inattendues qui exploitent la structure même de l’évaluation plutôt que de résoudre la tâche prévue. Ils identifient des failles dans la manière dont les évaluateurs mesurent les performances et apprennent à s’optimiser en fonction de ces indicateurs plutôt que de l’objectif sous-jacent », a expliqué M. Saxena. Du point de vue de la sécurité, cela revêt une importance particulière car cela montre qu’à mesure que les systèmes d’IA gagnent en capacités et en autonomie, l’infrastructure d’évaluation doit être au moins aussi sophistiquée que les systèmes évalués. Pour remédier à cela, il faut ce que M. Saxena décrit comme des méthodes d’évaluation dynamiques et adversariales, qui évoluent parallèlement aux systèmes qu’elles mesurent. Cependant, M. Saxena insiste sur le fait qu’un simple ralentissement, sans modification de la manière dont les systèmes d’IA sont évalués et surveillés, n’apporte pas grand-chose.

« La meilleure voie consiste à investir massivement dans l’évaluation indépendante, les exercices de simulation d’attaques (red teaming) et la surveillance comportementale, afin que les personnes qui déploient ces systèmes et celles qui en subissent les effets disposent d’informations fiables sur ce avec quoi elles travaillent », a déclaré le dirigeant de Sentient Labs.

Le risque majeur : la concentration du pouvoir et les affirmations centralisées en matière de sécurité

Par ailleurs, M. Saxena a déclaré à Bitcoin.com News que le plus grand risque auquel le monde est confronté n’est pas d’avancer trop vite ou trop lentement, mais qu’un petit nombre d’entreprises d’IA contrôlent les modèles les plus puissants et dictent également ce qui est considéré comme « sûr ».

« Nous devons mettre en place une infrastructure indépendante pour vérifier concrètement les affirmations des entreprises d’IA concernant leurs systèmes. Les évaluations sont-elles rigoureuses ? Les rapports de sécurité sont-ils exacts ? Des chercheurs externes peuvent-ils reproduire ces résultats ? Si la réponse est non, alors ni accélérer ni ralentir ne résoudra le problème fondamental, à savoir le manque d’informations fiables », a conclu M. Saxena.