Modelos de decisão de IA entram no campo da moderação de conteúdo

Quinta-feira 08 - 16:40

A inteligência artificial está se expandindo para outra área das plataformas digitais, à medida que modelos de decisão estão sendo cada vez mais desenvolvidos para moderação de conteúdo em tempo real. A empresa de IA baseada nos EUA, Musubi, apresentou o PolicyLM-1.7B, um modelo leve projetado para avaliar mensagens online em relação às políticas de moderação escritas, sem exigir um novo ciclo de treinamento sempre que essas regras são alteradas.

Lançado com pesos abertos, o modelo de 1,7 bilhão de parâmetros é projetado para permitir que desenvolvedores e operadores de plataformas o executem e adaptem em sua própria infraestrutura. Seu principal objetivo é traduzir regras de moderação escritas em linguagem comum em classificações que podem ser aplicadas diretamente ao conteúdo gerado pelo usuário.

A Musubi afirma que o PolicyLM-1.7B pode tomar decisões de moderação em tempo real, com a empresa relatando um tempo de processamento mediano de cerca de 35 milissegundos para mensagens curtas em uma GPU NVIDIA L4 e cerca de 22 milissegundos em uma H100 em seus testes. A descrição mais ampla do produto visa decisões em menos de 50 milissegundos.

O modelo difere dos classificadores de moderação convencionais ao permitir que os operadores forneçam suas próprias instruções de política durante o uso. Isso significa que, quando uma plataforma altera suas regras, suas equipes podem modificar a política em vez de re-treinar o modelo subjacente do zero.

Essa flexibilidade pode ser particularmente relevante para plataformas online que lidam com padrões de moderação em rápida mudança. Equipes de produto e de confiança e segurança podem definir categorias e regras de acordo com suas necessidades específicas, enquanto o modelo produz pontuações indicando se uma mensagem se enquadra nessas categorias.

Os modelos de decisão têm atraído crescente atenção na indústria de inteligência artificial porque se concentram em produzir decisões ou probabilidades em vez de gerar texto longo. Ao restringir a saída a categorias predefinidas, esses sistemas podem operar potencialmente mais rápido e com menos recursos computacionais do que modelos de linguagem de propósito geral.

O PolicyLM-1.7B também pode ser usado com uma taxonomia de segurança predefinida contendo 23 categorias, incluindo violência, assédio, ameaças, fraudes, violações de privacidade e outras formas de conteúdo potencialmente prejudicial. A Musubi afirma que o modelo foi avaliado em 19 idiomas, embora seus testes de política personalizada tenham envolvido principalmente políticas escritas em inglês.

A tecnologia se baseia em trabalhos anteriores em IA orientada a decisões. O cofundador da Musubi e diretor de IA, Filip Jankovic, vinculou a abordagem da empresa a um projeto de 2024 envolvendo o GLiNER, desenvolvido antes do atual aumento de interesse em modelos de decisão. A empresa agora vê a moderação de conteúdo como uma aplicação prática para a mesma abordagem subjacente.

Ao mesmo tempo, os desenvolvedores do modelo reconhecem que a tecnologia é destinada a cenários de moderação específicos, em vez de cada tipo de decisão de segurança. Sua documentação de modelo observa que é projetada para classificação rápida de mensagens de texto individuais e não deve servir como o único salvaguarda para casos particularmente sensíveis, como segurança infantil ou automutilação.

O lançamento ocorre à medida que as plataformas digitais enfrentam volumes crescentes de conteúdo gerado por usuários e pressão crescente para aplicar regras cada vez mais detalhadas. Ferramentas de moderação automatizadas podem ajudar a processar grandes quantidades de material, enquanto equipes humanas continuam responsáveis por definir políticas, revisar casos difíceis e determinar como as decisões de aplicação devem ser aplicadas.

A abordagem de pesos abertos da Musubi também permite que os desenvolvedores examinem e implantem o modelo por conta própria, em vez de confiar exclusivamente em um serviço de moderação hospedado. No entanto, os números de desempenho publicados pela empresa vêm de suas próprias avaliações, e a documentação do modelo afirma que ainda não foi testado em tráfego ao vivo, o que significa que seu desempenho no mundo real pode diferir dos resultados de referência.

O lançamento ilustra uma mudança mais ampla no desenvolvimento de IA, com modelos menores e especializados sendo projetados para realizar tarefas definidas de forma rápida e eficiente. Para a moderação de conteúdo, a combinação de regras personalizáveis, classificação rápida e implantação local pode fornecer às plataformas mais uma ferramenta para gerenciar o fluxo cada vez mais complexo de conteúdo online.