OpenAI interrompe tentativa em larga escala de replicar capacidades do ChatGPT

Ontem 19:10

A OpenAI afirma que interrompeu uma operação em larga escala destinada a extrair saídas de seus modelos de inteligência artificial para reproduzir algumas de suas capacidades por meio de uma técnica conhecida como destilação de modelo. A empresa disse que a atividade envolveu milhares de contas e foi detectada e parada após os investigadores identificarem padrões de uso coordenados.

A destilação de modelo é uma técnica legítima amplamente utilizada na pesquisa em inteligência artificial. Ela permite que desenvolvedores treinem modelos menores ou mais eficientes usando informações geradas por sistemas maiores. No entanto, a OpenAI afirma que a mesma abordagem pode ser usada sem autorização para reproduzir capacidades desenvolvidas por meio de investimentos substanciais em recursos computacionais, dados de treinamento e pesquisa.

De acordo com a OpenAI, a atividade começou em uma escala limitada em julho antes de se expandir por meio de uma rede coordenada de contas. A empresa disse que identificou mais de 15.000 contas associadas à operação e, subsequentemente, suspendeu as contas que considerou envolvidas em tentativas de extrair e reutilizar capacidades do modelo.

A OpenAI ligou parte da atividade à Moonshot AI, o desenvolvedor chinês por trás do assistente Kimi AI, ao mesmo tempo em que enfatizou que não estabeleceu se a empresa era responsável por toda a operação. As alegações surgem em meio a um crescente escrutínio nos Estados Unidos sobre o uso de destilação de modelo por empresas de IA chinesas. Funcionários dos EUA acusaram separadamente várias empresas chinesas, incluindo a Moonshot AI, de usar destilação para reproduzir capacidades desenvolvidas por empresas de IA americanas. A China rejeitou tais acusações e argumentou que a destilação é uma técnica padrão no desenvolvimento de IA.

A questão vai além da competição comercial. A OpenAI argumenta que a extração não autorizada de capacidades avançadas do modelo também pode criar preocupações de segurança se os sistemas reproduzirem capacidades poderosas sem incorporar as salvaguardas e medidas de alinhamento desenvolvidas junto com os modelos originais. A empresa já descreveu a destilação adversarial como um risco comercial, de segurança e estratégico potencial.

A OpenAI disse que respondeu fechando contas suspeitas, fortalecendo seus sistemas de monitoramento e abordando vulnerabilidades que poderiam ter facilitado a atividade. A empresa também disse que trabalhou com provedores de serviços externos para interromper contas e infraestrutura conectadas à operação e compartilhou descobertas relevantes com outras empresas de tecnologia e governos.

O incidente destaca a crescente dificuldade de proteger modelos de IA de ponta, à medida que os desenvolvedores dependem cada vez mais de sistemas automatizados, acesso a APIs em larga escala e dados sintéticos. A OpenAI afirmou que seus esforços de detecção agora combinam classificadores automatizados, análise comportamental, monitoramento técnico e investigação humana para identificar tentativas de reproduzir sistematicamente capacidades do modelo.

A empresa espera que tais tentativas se tornem mais sofisticadas à medida que os sistemas de IA melhoram. A disputa também reflete um desafio mais amplo para a indústria: equilibrar a pesquisa legítima e a disseminação mais ampla das capacidades de IA com a proteção da tecnologia proprietária e das salvaguardas em torno de modelos cada vez mais poderosos.

A OpenAI afirmou que continuará fortalecendo suas medidas de monitoramento e segurança, enquanto incentiva uma maior troca de informações entre empresas de IA e autoridades governamentais à medida que a tecnologia se desenvolve.