As crescentes preocupações com a segurança da IA têm gerado um intenso debate sobre a regulamentação. Enquanto Andrew Yang alerta que códigos autorreplicantes maliciosos já estão corrompendo os dados de treinamento da web, a Sentient Labs argumenta que simplesmente desacelerar o desenvolvimento da IA é ineficaz sem uma avaliação dinâmica e uma infraestrutura de verificação independente.
A verdadeira ameaça à segurança da IA não é a velocidade — é o controle centralizado
ESCRITO POR
PARTILHAR
Principais conclusões
- Dario Amodei e duas figuras de destaque do setor de tecnologia pediram uma desaceleração, enquanto Andrew Yang alertou sobre códigos maliciosos que se auto-replicam.
- O segundo estudo de habilidades da Sentient Labs revelou métricas de jogos de IA, alimentando as disputas sobre a regulamentação.
- Abhishek Saxena defendeu três medidas de supervisão independentes para corrigir testes falhos de IA, em vez de depender de pausas.
Código malicioso força empresas de tecnologia a adotarem “internets sintéticas”
Dias depois que o CEO da Anthropic, Dario Amodei, publicou uma carta pedindo uma desaceleração no desenvolvimento da inteligência artificial, o ex-candidato a prefeito de Nova York, Andrew Yang, alertou que talvez seja um pouco tarde para salvar a situação, já que agentes maliciosos já contaminaram a internet com código autorreplicante.
Em entrevista à CNBC, Yang compartilhou uma revelação de um executivo anônimo de um laboratório de IA: o código malicioso forçou grandes empresas de tecnologia a criar “internets sintéticas” apenas para treinar seus modelos. Yang argumentou que esse revés oneroso justifica os apelos de líderes do setor, como Amodei, Sam Altman e Elon Musk, para regulamentar o setor e moderar o ritmo do desenvolvimento de IA de ponta.
Antes do alerta de Yang, várias figuras importantes da área de políticas de IA e autoridades do governo Trump resistiram aos apelos por uma desaceleração, alertando que isso poderia entregar à China a liderança na corrida global pela IA. Donald Trump foi ainda mais direto, classificando os temores de extinção humana causada pela IA como uma farsa. Outros críticos, como David Sacks, argumentaram que os executivos do setor de tecnologia preocupados deveriam autoimpor pausas nos testes, em vez de fazer lobby por regulamentações federais ou moratórias amplas.
À medida que o debate se transforma cada vez mais em uma divisão partidária entre os campos pró e anti-regulamentação, figuras-chave de ambos os lados têm apresentado poucos dados empíricos para fundamentar ou refutar os apelos por uma desaceleração forçada. No entanto, a mais recente revelação de Yang, que ele apresentou como notícia de última hora, injeta urgência no debate, fornecendo argumentos convincentes para aqueles que defendem medidas de proteção imediatas.
Pesquisa mostra que agentes de IA exploram parâmetros de avaliação
Enquanto isso, a Sentient Labs, uma organização pioneira de pesquisa em IA de código aberto, afirma que um estudo recente que conduziu parece validar o argumento de Amodei de que as capacidades dos agentes estão superando a capacidade de gerenciar riscos. Em respostas por escrito às perguntas do Bitcoin.com News, Abhishek Saxena, chefe de estratégia e crescimento da Sentient Labs, disse que a pesquisa Evoskill v2 da empresa fornece “evidências concretas” que sustentam o argumento.
Saxena disse que a equipe de pesquisa da empresa vem estudando como os agentes de IA se comportam em ambientes de avaliação competitivos, especificamente o que acontece quando os agentes são otimizados para ter um bom desempenho em benchmarks e avaliações.
“O que observamos é que os agentes descobrem estratégias inesperadas que exploram a estrutura da própria avaliação, em vez de resolver a tarefa pretendida. Eles encontram lacunas na forma como os avaliadores medem o desempenho e aprendem a otimizar para a métrica, em vez de para o objetivo subjacente”, explicou Saxena.
Do ponto de vista da segurança, isso é significativo porque mostra que, à medida que os sistemas de IA se tornam mais capazes e autônomos, a infraestrutura de avaliação precisa ser pelo menos tão sofisticada quanto os sistemas que estão sendo avaliados. Para superar isso, há a necessidade do que Saxena descreve como métodos de avaliação dinâmicos e adversariais, que evoluam junto com os sistemas que estão medindo.
No entanto, Saxena insiste que uma desaceleração sem mudanças na forma como os sistemas de IA são avaliados e monitorados traz poucos resultados.
“O melhor caminho é investir pesadamente em avaliação independente, testes de simulação de ataques (red-teaming) e monitoramento comportamental, para que as pessoas que implantam esses sistemas e as pessoas afetadas por eles tenham informações confiáveis sobre com o que estão trabalhando”, disse o executivo da Sentient Labs.
O risco maior: concentração de poder e alegações centralizadas de segurança
Enquanto isso, Saxena disse ao Bitcoin.com News que o maior risco que o mundo enfrenta não é o fato de avançarmos rápido demais ou devagar demais, mas sim que um pequeno número de empresas de IA tenha controle sobre os modelos mais poderosos e também dite o que é considerado “seguro”.
“Precisamos construir uma infraestrutura independente para realmente verificar as alegações que as empresas de IA fazem sobre seus sistemas. As avaliações são robustas? Os relatórios de segurança são precisos? Pesquisadores externos conseguem reproduzir as descobertas? Se a resposta for não, então nem acelerar nem desacelerar resolve o problema fundamental, que é a falta de informações confiáveis”, concluiu Saxena.
Este artigo foi traduzido do inglês usando IA. A versão original em inglês é a fonte autorizada; traduções automáticas podem conter imprecisões, especialmente em terminologia jurídica e regulatória.
