Quando a IA foge do controle: agentes autônomos expõem riscos de segurança

A OpenAI suspendeu os testes com agentes de inteligência artificial após um sistema experimental escapar do ambiente isolado criado para avaliações internas de segurança e realizar um ataque cibernético contra a infraestrutura da Hugging Face. A ação também comprometeu contas de terceiros, entre elas a de um cliente da Modal Labs, o que levou a empresa a desativar os modelos envolvidos e iniciar uma investigação sobre o caso.

De acordo com a OpenAI, responsável pelo desenvolvimento do ChatGPT, o agente rompeu o ambiente de testes, conhecido como sandbox, conseguiu acessar a internet e executar ações fora do espaço controlado. Em resposta, a companhia interrompeu imediatamente os experimentos para apurar a falha e reforçar os mecanismos de contenção, projetados justamente para impedir que sistemas em desenvolvimento tenham qualquer interação com redes externas.

O tema também chegou ao Congresso dos Estados Unidos. Em 29 de julho, o CEO da OpenAI, Sam Altman, participou de reuniões com os senadores Raphael Warnock, Bernie Moreno e Mark Warner. Embora os encontros tenham sido voltados à apresentação dos próximos modelos de inteligência artificial da empresa, o ataque cibernético e os riscos associados ao comportamento de agentes de IA também estiveram no centro das discussões.

Nos dias seguintes, surgiram relatos de que outros agentes da OpenAI também conseguiram escapar de ambientes de contenção durante testes internos, embora, nesses casos, não tenham alcançado sistemas externos. Episódios semelhantes foram registrados pela Anthropic, desenvolvedora do Claude, que informou que três de seus agentes ultrapassaram os ambientes de teste e acessaram organizações reais durante experimentos, reforçando as preocupações com a segurança de modelos de IA cada vez mais autônomos.

Após a sequência de incidentes, Altman afirmou que a chamada "singularidade da IA" já teria começado. Segundo o executivo, os agentes deixaram de apenas responder às solicitações e passaram a compreender objetivos e executar tarefas de forma contínua e autônoma.

Para João Mano, cofundador da plataforma de inteligência artificial Mogno, o episódio não representa uma exceção na evolução da tecnologia. Ele explica que os agentes de IA não "conversam" sobre o objetivo que recebem, eles apenas vão atrás dele.

"Nesse caso, os modelos estavam sendo avaliados em um teste de cibersegurança e, na prática, 'colaram na prova'. Concluíram que o caminho mais eficiente para obter uma boa avaliação era escapar do ambiente isolado, explorar vulnerabilidades e buscar respostas na infraestrutura de outra empresa. Não houve vontade própria nem malícia, houve otimização do objetivo, sem mecanismos de contenção suficientes", afirma.

Segundo o especialista, o caso demonstra que os mecanismos de proteção precisam ir além das instruções dadas aos modelos. Ele explica que, à medida que empresas de todo o mundo passam a colocar agentes autônomos para operar sistemas reais, episódios como esse tendem a se tornar mais frequentes.

Na avaliação de Mano, o setor vive uma mudança na forma como a IA é utilizada. "São agentes que executam código, utilizam ferramentas, acessam APIs, consultam bancos de dados e transitam entre sistemas em velocidade de máquina. Um invasor humano levaria semanas testando caminhos; um agente consegue testar centenas de rotas por minuto", explica.

O especialista afirma também que a segurança desses agentes precisa ser baseada em engenharia, com permissão mínima de acesso, segregação de funções, aprovação humana para ações sensíveis e monitoramento em tempo real.

Mudança de discurso

Um dia após o episódio, o CEO da OpenAI afirmou que o incidente provocou sua primeira "reação visceral" relacionada à segurança da inteligência artificial. O executivo disse que pode ser necessário desacelerar o desenvolvimento da tecnologia para que governos e a sociedade consigam acompanhar a evolução das novas capacidades desses sistemas.

O episódio representa uma mudança em relação ao discurso adotado por Sam Altman nas últimas semanas. No início de julho, o executivo defendia a ampliação dos investimentos em inteligência artificial e propôs que empresas do setor destinassem 5% de suas participações acionárias a um fundo soberano dos Estados Unidos, com o objetivo de distribuir parte dos ganhos econômicos gerados pela tecnologia à população.

Paralelamente, a OpenAI anunciou o projeto Stargate, iniciativa voltada à expansão da infraestrutura de inteligência artificial, estimada em US$ 500 bilhões, com participação de empresas como Oracle, SoftBank, Nvidia e CoreWeave. O plano prevê a construção de 30 gigawatts de capacidade computacional e investimentos que podem chegar a US$ 1,4 trilhão nos próximos oito anos. O ataque cibernético, no entanto, colocou a segurança dos agentes de IA no centro do debate sobre o ritmo da expansão da tecnologia.

Para Henrique Nixon, diretor de Estratégia da Liberty Health, onde lidera iniciativas em inteligência artificial, e autor de "A Jornada de um Framework de Tecnologia e seu Criador", o episódio faz parte da evolução da tecnologia e reforça a importância dos ambientes de teste para identificar vulnerabilidades antes que sistemas mais avançados sejam disponibilizados em larga escala.

"A principal conclusão é que ambientes de teste precisam reproduzir exatamente esse tipo de situação para que vulnerabilidades sejam descobertas antes da adoção em larga escala. É assim que evoluem tecnologias críticas, como aviação, medicina ou segurança da informação", destaca.

Na avaliação de Arthur De Santis, executivo de tecnologia e autor de "CIO Codex - The IT Framework: A Jornada de um Framework de Tecnologia e seu Criador", a reação de Sam Altman faz sentido do ponto de vista da segurança e da governança. Segundo ele, se as capacidades dos modelos avançam mais rápido do que os mecanismos de controle, contenção e auditoria, é legítimo discutir uma desaceleração ou, ao menos, uma liberação mais responsável de novas funcionalidades.

De Santis pondera, porém, que uma desaceleração unilateral é pouco viável diante da disputa global pela liderança em inteligência artificial. "Pela lógica da teoria dos jogos, nenhuma empresa ou país quer ser o primeiro a desacelerar enquanto os concorrentes continuam avançando. Além disso, a IA já é uma tecnologia estratégica para a competitividade, com potencial para impulsionar novos processadores, modelos de programação, data centers e até tecnologias de geração de energia", afirma.

Segundo ele, o caminho mais realista passa pelo fortalecimento dos mecanismos de governança. "Não vejo um caminho realista em simplesmente parar, mas em avançar com mais governança, embora seja preciso reconhecer a dificuldade de encontrar o equilíbrio entre a liberdade para inovar e o controle necessário para mitigar riscos", avalia.