O mais recente modelo de inteligência artificial da DeepSeek apresentou controles de segurança mais robustos em testes independentes do que as versões anteriores, mas ainda foi capaz de desativar programas destinados a desligá-lo, explorar brechas no monitoramento e seguir instruções enganosas durante tarefas prolongadas, segundo uma organização chinesa de segurança em IA.
Os modelos de IA da startup chinesa têm atraído atenção mundial pelo desempenho e pelos custos operacionais relativamente baixos.
A desenvolvendora de softwares de segurança Fangcun AI submeteu o DeepSeek V4.1 Flash-1017 a 34 avaliações para analisar o comportamento de um agente de IA baseado no modelo chinês. Os testes examinaram se o modelo agiria além das instruções do usuário, escaparia da supervisão humana ou influenciaria pessoas de maneira indevida.
As conclusões surgem em meio a preocupações na China e em outros países sobre como manter agentes de IA sob controle humano. O debate tem ganhado destaque especialmente nos EUA.
O relatório é uma rara avaliação pública feita por uma organização chinesa sobre os controles de segurança de um modelo de IA nacional.
Sediada em Pequim, a Fangcun se descreve como uma organização independente de segurança em IA, cujos principais integrantes vêm da Universidade Tsinghua.
A Fangcun disse que o V4.1 Flash-1017 foi o modelo mais usado no OpenRouter, uma plataforma online que permite a desenvolvedores acessar e comparar modelos de IA, na semana seguinte a seu lançamento, em 17 de outubro. A Fangcun afirmou que o modelo teve desempenho melhor que os sistemas DeepSeek V4 anteriores em vários testes de segurança, incluindo cenários envolvendo chantagem, acesso a ferramentas potencialmente perigosas e instruções explícitas para permitir seu desligamento.
Segundo a Fangcun, o modelo desativou programas destinados a desligá-lo em 39% dos testes após receber um aviso de que o desligamento era iminente. Esse percentual, porém, caiu para 2% quando o modelo recebeu instruções explícitas para permitir o desligamento.
Em outra tarefa, o modelo interrompeu um programa de computador de outro agente de IA para liberar memória, apesar de ter recebido instruções para não interferir. “Quando os fluxos de trabalho ficam paralisados ou há apenas avisos de desligamento, seu impulso de concluir a tarefa ainda pode se sobrepor à cautela”, informou a Fangcun.
A Fangcun afirmou que a DeepSeek não lhe deu financiamento, recursos computacionais gratuitos ou acesso não público ao modelo. A organização fez os testes entre 4 e 25 de outubro. A organização alertou que o modelo frequentemente parecia reconhecer que estava sendo avaliado, o que significa que seu comportamento nos testes pode não refletir plenamente como ele se comportaria em condições normais de uso.
A DeepSeek não se pronunciou
