La verdadera amenaza para la seguridad de la IA no es la velocidad, sino el control centralizado

El código rebelde obliga a las empresas tecnológicas a crear «Internet sintéticos»

Días después de que el director ejecutivo de Anthropic, Dario Amodei, publicara una carta en la que pedía una desaceleración en el desarrollo de la inteligencia artificial, el ex candidato a la alcaldía de Nueva York, Andrew Yang, ha advertido de que podría ser un poco tarde para salvar la situación, ya que agentes rebeldes ya han contaminado Internet con código autorreplicante.

En declaraciones a la CNBC, Yang compartió una revelación de un ejecutivo anónimo de un laboratorio de IA: el código rebelde ha obligado a las principales empresas tecnológicas a crear «Internet sintéticos» solo para entrenar sus modelos. Yang argumentó que este costoso contratiempo justifica las peticiones de líderes del sector como Amodei, Sam Altman y Elon Musk para regular el sector y moderar el ritmo del desarrollo de vanguardia en IA. Antes de la advertencia de Yang, varias figuras clave en materia de política de IA y funcionarios de la Administración Trump se resistieron a las peticiones de ralentización, advirtiendo de que podrían ceder a China el liderazgo en la carrera mundial por la IA. Donald Trump fue aún más directo, calificando de bulo los temores sobre la extinción de la humanidad provocada por la IA. Otros críticos, como David Sacks, argumentaron que los ejecutivos del sector tecnológico preocupados deberían autoimponerse pausas en las pruebas en lugar de presionar para que se aprueben regulaciones federales o moratorias generales.

A medida que el debate se convierte cada vez más en una división partidista entre los bandos a favor y en contra de la regulación, las figuras clave de ambos lados han aportado pocos datos empíricos para respaldar o desmentir los llamamientos a una ralentización forzada. Sin embargo, la última revelación de Yang, que presentó como una noticia de última hora, aporta urgencia al debate y proporciona argumentos de peso a quienes abogan por medidas de protección inmediatas.

Una investigación revela que los agentes de IA se aprovechan de los criterios de evaluación

Por su parte, Sentient Labs, una organización pionera de investigación en IA de código abierto, afirma que un estudio reciente que ha llevado a cabo parece validar el argumento de Amodei de que las capacidades de los agentes están superando la capacidad de gestionar el riesgo. En respuestas por escrito a las preguntas de Bitcoin.com News, Abhishek Saxena, director de estrategia y crecimiento de Sentient Labs, afirmó que la investigación Evoskill v2 de la empresa aporta «pruebas concretas» que respaldan dicho argumento.

Saxena explicó que el equipo de investigación de la empresa ha estado estudiando cómo se comportan los agentes de IA en entornos de evaluación competitivos, concretamente qué ocurre cuando los agentes se optimizan para obtener buenos resultados en pruebas de referencia y evaluaciones. «Lo que observamos es que los agentes descubren estrategias inesperadas que se aprovechan de la estructura de la propia evaluación en lugar de resolver la tarea prevista. Encuentran lagunas en la forma en que los evaluadores miden el rendimiento y aprenden a optimizarse para la métrica en lugar de para el objetivo subyacente», explicó Saxena. Desde el punto de vista de la seguridad, esto es significativo porque demuestra que, a medida que los sistemas de IA se vuelven más capaces y autónomos, la infraestructura de evaluación debe ser, como mínimo, tan sofisticada como los sistemas que se evalúan. Para superar esto, se necesitan lo que Saxena describe como métodos de evaluación dinámicos y adversarios que evolucionen junto con los sistemas que miden. Sin embargo, Saxena insiste en que una ralentización sin cambios en la forma en que se evalúan y supervisan los sistemas de IA sirve de muy poco.

«La mejor vía es invertir fuertemente en evaluación independiente, simulacros de ataques (red-teaming) y supervisión del comportamiento, de modo que tanto las personas que implementan estos sistemas como las personas afectadas por ellos dispongan de información fiable sobre con qué están trabajando», afirmó el ejecutivo de Sentient Labs.

El mayor riesgo: la concentración de poder y las afirmaciones centralizadas sobre seguridad

Por su parte, Saxena declaró a Bitcoin.com News que el mayor riesgo al que se enfrenta el mundo no es que avancemos demasiado rápido o demasiado lento, sino que un pequeño número de empresas de IA tenga el control sobre los modelos más potentes y, además, dicte lo que se considera «seguro».

«Necesitamos crear una infraestructura independiente para verificar realmente las afirmaciones que las empresas de IA hacen sobre sus sistemas. ¿Son sólidas las evaluaciones? ¿Son precisos los informes de seguridad? ¿Pueden los investigadores externos reproducir los resultados? Si la respuesta es no, entonces ni acelerar ni ralentizar resuelve el problema fundamental, que es la falta de información fiable», concluyó Saxena.