Financial Times; A OpenAI, comandada por Sam Altman, reduziu o tempo e os recursos gastos nos testes de segurança de seus poderosos modelos de inteligência artificial (IA), levantando preocupações e que sua tecnologia esteja sendo disponibilizada às pressas, sem as proteções suficientes.
Recentemente, funcionários e grupos terceirizados passaram a receber poucos dias para conduzir “avaliações” — o nome dado aos testes que medem os riscos e o desempenho dos modelos de linguagem ampla da OpenAI —, em comparação a vários meses anteriormente.
Segundo oito fontes familiarizadas com os processos de testagem da OpenAI, os testes da startup se tornaram menos completos, com tempo e recursos insuficientes dedicados a identificar e amenizar riscos, já que a empresa avaliada em US$ 300 bilhões encontra-se sob pressão para lançar rapidamente novos modelos para manter sua vantagem competitiva.
“Tínhamos testes de segurança mais completos quando a tecnologia era menos importante”, disse uma fonte que atualmente testa o próximo modelo o3 da OpenAI, projetado para tarefas complexas como resolução de problemas e raciocínio.
A fonte acrescentou que à medida que os modelos de linguagem ampla (LLM, na sigla em inglês) se tornam mais capazes, aumenta a “possibilidade de transformação da tecnologia em arma”. “Mas, como há mais demanda por ela, eles querem lançá-la mais rápido. Espero que esse não seja um erro catastrófico, mas é algo imprudente. É uma receita para o desastre.”
Segundo fontes, a pressa tem sido motivada por “pressões competitivas”, já que a OpenAI concorre com gigantes tecnológicas como a Meta e o Google, além de startups como a xAI de Elon Musk, para lucrar com essa tecnologia de ponta.
Não há um padrão para testes de segurança de IA, mas a partir do fim deste ano, a Lei de Inteligência Artificial da União Europeia obrigará as empresas a realizarem testes de segurança com seus modelos mais poderosos. Antes, grupos de IA como a OpenAI assinavam voluntariamente compromissos com os governos do Reino Unido e dos EUA para permitir que pesquisadores de institutos de segurança de IA testassem seus modelos.
A OpenAI está se esforçando para lançar seu novo modelo o3 já na semana que vem, dando menos de uma semana para alguns testadores realizarem suas verificações de segurança, segundo disseram as fontes. Essa data de lançamento poderá mudar.
Antes, a OpenAI concedia vários meses para os testes de segurança. Para o GPT-4, que foi lançado em 2023, os testadores tiveram seis meses para conduzir as avaliações antes que ele fosse lançado.
Uma fonte que testou o GPT-4 disse que algumas capacidades perigosas só foram descobertas depois de dois meses de testes. “Eles simplesmente não estão priorizando a segurança pública”, disse, referindo-se à atual abordagem a OpenAI.
“Não há nenhuma regulamentação dizendo que as empresas precisam manter o público informado sobre todas os recursos assustadores… e eles também estão sob muita pressão para competir entre si. Portanto, não vão parar no esforço para tornar os modelos mais capazes”, diz Daniel Kokotajlo, ex-pesquisador da OpenAI que hoje lidera o AI Futures Project, organização sem fins lucrativos.
A OpenAI já havia se comprometido a desenvolver versões personalizadas de seus modelos para avaliar possíveis usos indevidos — como, por exemplo, se a tecnologia poderia ajudar a tornar um vírus biológico mais transmissível.
A abordagem envolve recursos consideráveis, como reunir conjuntos de dados de informações especializadas, como virologia, e inseri-los no modelo para treiná-lo, em uma técnica chamada de ajuste fino. Mas a OpenAI só faz isso de forma limitada, em um modelo mais antigo e menos capaz, em vez de nos modelos mais avançados e poderosos.
O relatório de segurança e desempenho da startup sobre seu modelo menor o3-mini, lançado em janeiro, faz referência a como seu modelo anterior GPT-o4 foi capaz de realizar certas tarefas biológicas somente depois de passar por um ajuste fino. No entanto, a OpenAI nunca relatou como seus modelos mais novos, como o o1 e o o3-mini, também se sairiam se passassem pelo ajuste fino.
“É ótimo que a OpenAI tenha estabelecido um padrão tão alto ao se comprometer a testar versões personalizadas de seus modelos. Mas se a empresa não está cumprindo esse compromisso, o público merece saber”, diz Steven Adler, um ex-pesquisador de segurança da OpenAI, que produziu um blog sobre o assunto. “Não realizar esses testes pode significar que a OpenAI e outras empresas de IA estão subestimando os piores riscos de seus modelos”, acrescenta ele.
Fontes familiarizadas com esses testes disseram que eles têm custos elevados, como contratação de especialistas externos, criação de conjuntos de dados específicos, bem como o uso de engenheiros internos e poder de computação.
A OpenAI disse que obteve melhorias em seus processos de avaliação, incluindo testes automatizados, o que levou a uma redução dos prazos.
Ela acrescentou que não há uma receita acordada para abordagens como o ajuste fino, mas está confiante de que seus métodos são os melhores que conseguiu obter e são transparentes em seus relatórios.
Ela acrescentou que os modelos, especialmente no que diz respeito a riscos catastróficos, foram exaustivamente testados e tiveram medidas de mitigação aplicadas para garantir a segurança. “Temos um bom equilíbrio entre a rapidez com que nos movemos e o quão minuciosos somos”, disse Johannes Heidecke, chefe de sistemas de segurança.
Outra preocupação levantada foi que os testes de segurança nem sempre são realizados nos modelos finais lançados ao público. Em vez disso, eles são realizados em versões anteriores, conhecidas como “checkpoints”, que depois passam por atualizações para melhorar o desempenho e as capacidades. Os relatórios de segurança da OpenAI fazem referência a versões “quase finais” dos modelos.
“É uma má-prática lançar um modelo diferente daquele que você avaliou”, diz um ex-membro da equipe técnica da OpenAI.
A companhia, por sua vez, disse que os checkpoints são “basicamente idênticos” ao modelo final lançado
