Promessas ousadas dos chefes da Anthropic e da OpenAI de limitar o desenvolvimento da inteligência artificial estão provocando tensões dentro das duas empresas em torno de questões de segurança e outras preocupações, enfatizando os desafios práticos de transformar a retórica em realidade.
Funcionários correm para implementar as recomendações de seus executivos-chefes, Dario Amodei, da Anthropic, e Sam Altman, da OpenAI, de desacelerar o ritmo de avanço da IA para evitar consequências desastrosas, após uma série de alertas graves feitos por pesquisadores.
Nos últimos meses, os dois CEOs têm falado sobre a necessidade de “dosar o ritmo” do desenvolvimento de modelos de IA, o que culminou em uma rara demonstração de unidade entre as duas rivais no fim de semana passado. Apesar de seus comentários públicos, porém, pouco foi feito internamente para implementar as novas propostas, segundo fontes próximas às duas empresas.
No sábado, Amodei divulgou um ensaio detalhado defendendo um desenvolvimento mais lento da IA, avaliações independentes de modelos e uma maior coordenação entre os laboratórios e governos em todo o mundo. Ele também pediu proteção jurídica contra as regras de concorrência dos Estados Unidos que poderiam impedir essa colaboração, algo que outros laboratórios de IA também estão ansiosos por obter.
Empregados de OpenAI e Anthropic, assim como pesquisadores de segurança dos quais essas empresas dependeriam para fazer esse trabalho, foram pegos de surpresa. Embora muitos funcionários concordem com a necessidade de desacelerar, também temem que isso possa comprometer seu trabalho.
Uma questão específica dentro das duas empresas é o plano de incorporar avaliadores externos aos laboratórios para supervisionar o desenvolvimento dos modelos. Segundo fontes, alguns temem que isso possa comprometer a segurança de suas tecnologias valiosas. Uma delas descreveu a medida como uma fonte de “conflito”.
Amodei, que saiu da OpenAI para fundar a Anthropic em 2021, por preocupações com segurança, propôs no sábado que avaliadores externos tenham “acesso semelhante ao de funcionários” aos principais laboratórios, com crachás, laptops, entrada nos escritórios e acesso a ferramentas internas.
As principais empresas de IA já contratam terceiros para testar seus modelos quanto ao desempenho e segurança, mas a proposta de Amodei ampliaria substancialmente o papel desses avaliadores.
Altman disse que é uma “grande ideia” e que a OpenAI seguirá o exemplo. Mas o consenso entre eles está longe de ser completo. A OpenAI disse que quer trabalhar com outros laboratórios, mas que sua abordagem às questões em discussão é mais pragmática que a da Anthropic. A OpenAI disse também que já “tomou medidas concretas, incluindo a suspensão de determinados treinamentos de ponta, para desacelerar o desenvolvimento”, enquanto a Anthropic não interrompeu suas pesquisas.
Segundo fontes, implementar os compromissos assumidos pelos CEOs de ampliar o acesso de especialistas externos, ao mesmo tempo em que se preservam a segurança e a proteção de dados, também representará grandes desafios práticos.
Alguns funcionários estão preocupados com a possibilidade de conceder acesso excessivo a pessoas de fora a sistemas que são extremamente poderosos e, ao mesmo tempo, estão no centro de uma competição intensa no setor de tecnologia.
Os laboratórios de IA possuem regras rígidas de segurança para os funcionários, como a concessão de acesso apenas a determinados sistemas e a restrição do acesso aos dados usados em treinamento.
Nos últimos meses, a OpenAI tentou restringir ainda mais o acesso para proteger a propriedade intelectual e informações sensíveis e impedir que funcionários mal-intencionados interfiram nos sistemas. A empresa disse que oferecer acesso efetivo sem deixar de proteger os sistemas sensíveis exige um planejamento cuidadoso. A Anthropic afirmou que trabalha há muito tempo com avaliadores externos e pretende integrar um avaliador à empresa num futuro próximo.
As organizações independentes que atuam como avaliadores ganharam destaque este ano após violações de segurança envolvendo agentes de IA durante testes e desenvolvimento na OpenAI e Anthropic.
Duas organizações sem fins lucrativos, METR e Redwood Research, conduziram uma investigação sobre o ataque realizado em julho por agentes da OpenAI contra o site do desenvolvedor de IA Hugging Face, analisando dezenas de milhares de registros de mais de 1.200 agentes.
A OpenAI disse que a parceria estabeleceu precedente importante para o setor e pode servir de referência a investigações futuras. As organizações receberam laptops da OpenAI contendo evidências, puderam trabalhar na sede da companhia em San Francisco e entrevistaram funcionários. Os dois grupos de pesquisa não receberam pagamento pela investigação, divulgada em agosto.
Entretanto, a investigação foi criticada por seu alcance extremamente limitado, com datas específicas que restringiram a análise ao incidente envolvendo a Hugging Face.
Outros críticos acusaram as organizações de segurança de terem relações próximas demais com os laboratórios de IA para exercer uma fiscalização eficaz. “Parem de fingir que a METR é independente, quando na verdade ela está intimamente ligada aos investidores e funcionários da Anthropic”, escreveu no domingo, em uma postagem na plataforma X, David Sacks, assessor da Casa Branca para IA.
A METR diz que não aceita doações das empresas de IA ou seus funcionários e que seus funcionários são obrigados a declarar conflitos de interesse. “Nosso objetivo é levar informações de dentro dessas empresas ao domínio público”, declarou.
David Krueger, que já trabalhou no AI Security Institute do Reino Unido, órgão do governo britânico responsável por testar modelos, diz que os governos, e não os laboratórios de IA, deveriam determinar as regras de acesso. Amodei defende uma legislação federal que exija a presença permanente de avaliadores integrados aos laboratórios e auditorias realizadas por terceiros, além de propor uma exceção limitada às regras antitruste para que as empresas possam colaborar na elaboração de normas voluntárias enquanto isso.
Outros laboratórios também estão buscando uma isenção das regras antitruste, preocupados que, sem ela, possam ser alvo de futuros governos por colaboração ilegal.
Lobistas das “big techs” têm visitado parlamentares em Washington nesta semana, pressionando pela inclusão de uma exceção às regras antitruste. O procurador-geral Todd Blanche recusou-se a dizer, na terça-feira, se as empresas precisariam de uma isenção antitruste. A pressão para estabelecer salvaguardas enfrenta oposição do presidente Donald Trump, que classificou as preocupações com a segurança da IA como uma “farsa”.
“Auditores e especialistas tradicionais em avaliação de riscos vêm pensando no problema da confiança há séculos”, diz Rajiv Dattani, cofundador da Artificial Intelligence Underwriting Company, uma startup que desenvolve serviços de auditoria para seguros de IA. “O setor de IA pode aprender com os sucessos e fracassos dos setores de eletricidade, automóveis, auditoria financeira e energia nuclear.”
