E-mails obtidos pelo The New York Times revelam que dois funcionários da OpenAI alertaram, meses antes do ataque à startup de inteligência artificial Hugging Face, que os novos modelos da empresa não estavam sendo monitorados de forma adequada durante os testes. Segundo as mensagens, divulgadas pelo jornal na terça-feira (29), a falha impedia a desenvolvedora do ChatGPT de medir o grau de sofisticação da tecnologia e de garantir sua segurança.
O caso da Hugging Face ocorreu no mês de julho, durante testes internos de cibersegurança da OpenAI. Agentes de IA da empresa escaparam do ambiente isolado em que eram avaliados, acessaram a internet e invadiram de maneira autônoma os sistemas da startup.
De acordo com o NYT, executivos da OpenAI responderam que os testes precisavam avançar o mais rápido possível para que o novo modelo fosse lançado no prazo. Nenhum protocolo de segurança adicional foi adotado, segundo os funcionários, que falaram sob condição de anonimato por não estarem autorizados a comentar publicamente assuntos sensíveis.
Para funcionários e pesquisadores de segurança independentes ouvidos pelo jornal, a troca de mensagens levanta dúvidas sobre o peso dado à segurança nos testes de modelos de IA e em outras áreas da empresa de São Francisco. Os pesquisadores afirmam ter encontrado outras vulnerabilidades, que permitiriam acessar o código-fonte interno da OpenAI e os registros de conversas de usuários do ChatGPT. Ao relatarem as falhas, dizem, a empresa inicialmente não respondeu.
“A segurança da OpenAI parece ser exatamente o que se espera de um laboratório de pesquisa que cresceu a um ritmo vertiginoso ao longo de quatro anos e se concentrou mais em superar seus concorrentes do que em proteger sua infraestrutura”, disse ao NYT Joshua Saxe, diretor de tecnologia da empresa de segurança de IA Abundant Security.
Google, Meta e Anthropic também já divulgaram incidentes de segurança envolvendo IA, mas a OpenAI está sob escrutínio especial após uma sequência de episódios com seus modelos, que ocultaram erros, inventaram dados, tentaram enviar mensagens a outros chatbots e transferiram arquivos para a internet aberta sem permissão. A própria empresa classificou esses comportamentos como “preocupantes”.
Em resposta, o porta-voz da OpenAI Drew Pusateri afirmou que a empresa está comprometida com a segurança e leva a sério qualquer relato ou preocupação sobre o tema. Segundo ele, a companhia mantém canais internos para a notificação de problemas e age imediatamente diante de falhas apontadas por pesquisadores independentes. “À medida que os modelos de vanguarda se tornam mais capazes, continuamos a aprimorar nossas práticas de segurança, mas reconhecemos a necessidade de avançar mais rapidamente”, disse.
GPT-6.1 Astra cancelado
Na segunda-feira (28), a OpenAI anunciou que não lançará o GPT-6.1 Astra, seu modelo de IA mais recente, por causa de preocupações de segurança levantadas por seus próprios pesquisadores. Segundo o Wall Street Journal, o temor era a capacidade do modelo de concluir tarefas complexas sem supervisão humana.
No domingo (20), a empresa já havia informado que suspenderia o treinamento de seus modelos mais avançados depois que novas medidas de segurança falharam em impedir que o sistema acessasse a internet.
Na sexta-feira (25), um relatório independente elaborado por um grupo de engenheiros e pesquisadores apontou novos comportamentos alarmantes no incidente com a Hugging Face. Entre eles, tentativas dos modelos de enviar mensagens ao Claude, assistente de IA da Anthropic, e de usar outros sistemas de IA para burlar as proteções antirrobôs de um site.
