','

'); } ?>

Nova técnica de “recorrência opaca” no modelo Astra da OpenAI acende alerta sobre monitoramento

Pesquisadores de segurança em inteligência artificial manifestaram preocupação com o Astra, próximo modelo da OpenAI, que deverá empregar um método de raciocínio chamado recurrent depth – ou “recorrência opaca”. A técnica permite ao sistema ultrapassar o fluxo de pensamento sequencial tradicional, tornando a cadeia de pensamento (chain of thought) mais difícil de ser acompanhada.

Informações obtidas pelo site The Information indicam que o uso desse recurso será limitado na primeira versão do Astra. Ainda assim, a possibilidade de adoção mais ampla já provoca reação entre especialistas.

Preocupações sobre transparência

Buck Shlegeris, diretor-executivo da Redwood, afirmou estar “extremamente preocupado” com relatos sobre a nova abordagem. Em publicação nas redes sociais, o executivo advertiu que, caso a OpenAI expanda o nível de recorrência, “a monitorabilidade por cadeia de pensamento pode ser completamente destruída”.

A cadeia de pensamento, mesmo imperfeita, é hoje uma ferramenta fundamental para identificar eventuais comportamentos inadequados em agentes de IA. Registros desse tipo ajudaram pesquisadores a entender a origem de respostas consideradas problemáticas em sistemas recentes.

Com a recorrência opaca, o modelo executa processos internos repetidos em vez de seguir passos claramente ordenados, o que dificulta a observação do caminho lógico adotado até chegar a determinada conclusão.

Risco de “corrida para o fundo”

Outro nome de destaque na área, Zvi Mowshowitz, sugeriu que podem ser necessárias regras mais rígidas para evitar uma “corrida para o fundo do poço” entre laboratórios. Segundo ele, técnicas que obscurecem o raciocínio contrariam esforços de empresas como a própria OpenAI e a Anthropic para preservar a transparência dos modelos.

Nova técnica de “recorrência opaca” no modelo Astra da OpenAI acende alerta sobre monitoramento - Imagem do artigo original

Imagem: Evolf

A OpenAI nega qualquer intenção de tornar o processamento totalmente inacessível – prática apelidada de “neuralese” –, e afirma planejar sistemas extensivos de monitoramento da cadeia de pensamento em futuros lançamentos.

Por enquanto, a restrição imposta ao Astra ameniza parte das críticas. Mesmo assim, especialistas temem que um aumento significativo da recorrência em versões posteriores torne o acompanhamento de decisões internas cada vez mais complexo, justamente à medida que a capacidade dos modelos avança.

Com informações de Olhar Digital

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *