User Insights da Cloudflare: quando o modelo de IA é demais

User Insights da Cloudflare: quando o modelo de IA é demais

O AI Gateway da Cloudflare passou a mostrar quando um modelo de IA é mais potente do que a tarefa exige. Como funciona, o que muda no custo e o que auditar no time.

O User Insights é uma visão do AI Gateway da Cloudflare que mostra quem usa IA na empresa, para qual tarefa e com qual modelo. A novidade, anunciada no blog da Cloudflare em 30 de setembro de 2026, é a marcação de “model overkill”: conversas em que o modelo escolhido é mais potente do que a tarefa pedia, como um resumo de texto mandado para um modelo grande de raciocínio. O recurso é gratuito para quem já usa o AI Gateway.

Na prática, é a primeira vez que um fornecedor grande de infraestrutura entrega, de graça, um relatório que responde à pergunta que todo gestor de orçamento de IA faz em algum momento: estamos pagando caro por tarefa barata?

O que é o User Insights do AI Gateway?

O User Insights é uma camada de análise sobre os logs do AI Gateway (o proxy da Cloudflare por onde passam as chamadas para OpenAI, Anthropic, Google e outros provedores). Até aqui, o painel mostrava nome do modelo e contagem de requisições. Agora ele agrupa o uso em categorias de tarefa, modelo, turno e usuário.

Segundo a Cloudflare, as visões novas são estas:

Visão O que mostra
Model overkill Conversas em que o modelo parece mais capaz do que a tarefa exige
Task analysis Uso dividido por tipo de tarefa: código, pesquisa, escrita, resumo, análise de dados
Turns analysis Quantas trocas cada tipo de tarefa precisa, com tempo, tokens e custo do fluxo inteiro
Potential Savings Requisições que um modelo mais rápido ou mais barato poderia atender sem perder qualidade
Identidade Uso por pessoa, time e ferramenta, incluindo Claude Code, Codex e OpenCode

A Cloudflare faz questão de dizer o que o recurso não é: não é ranking de modelos e não troca o modelo por você. Ele aponta onde olhar. A decisão continua com o time.

Como a Cloudflare descobre que o modelo é exagerado?

A Cloudflare classifica a conversa inteira, não a requisição solta. Um Worker dedicado lê os logs elegíveis do AI Gateway depois que a resposta já foi entregue, então a análise não adiciona latência para o usuário.

O classificador olha a trajetória da conversa: pedidos, respostas, chamadas de ferramenta e resultados. Para cada conversa, devolve uma categoria de trabalho, uma nota de confiança e quatro avaliações: complexidade da tarefa, ambiguidade da intenção, o que está em jogo e quanto a tarefa depende de contexto. Um resumo de e-mail interno sai com complexidade baixa e risco baixo. Se ele passou por um modelo de raciocínio de ponta, entra na lista de overkill.

Dois detalhes técnicos importam para quem vai apresentar isso ao jurídico ou à segurança:

  • O painel mostra categorias e agregados, não os prompts. Os metadados ficam em Durable Objects e o corpo dos logs no R2, separados, e a retenção segue a configuração que você já tem no AI Gateway.
  • Não é tempo real. A análise pode atrasar cerca de um dia em relação ao tráfego. Serve para enxergar padrão ao longo de semanas, não para alarme.

Quem consegue ver o uso por pessoa e por ferramenta?

A visão por pessoa funciona quando o AI Gateway está atrás do Cloudflare Access, o controle de acesso da Cloudflare, que é gratuito para times de até 50 usuários. Nesse cenário, o uso de ferramentas como Claude Code, Codex e OpenCode aparece associado a cada pessoa e time.

Para aplicações próprias, a regra é outra: o app precisa mandar um user_id e um session_id estáveis em cada chamada. Sem isso, o painel sabe o que foi pedido, mas não sabe quem pediu nem que duas chamadas fazem parte da mesma conversa.

Trabalhando numa multinacional, aprendi que o relatório que ninguém consegue atribuir a um time não muda orçamento nenhum. Se o seu app não manda identidade, o User Insights vira curiosidade.

O Auto Router já escolhe o modelo sozinho?

O Auto Router é a peça que transforma diagnóstico em ação: ele usa os mesmos sinais (trajetória, categoria, complexidade e adequação do modelo) para mandar cada requisição ao modelo certo, levando o custo em conta sem simplesmente escolher o mais barato.

O status, porém, não está claro. O próprio post da Cloudflare fala em beta fechado num trecho e em lançamento em beta público em outro. Antes de planejar em cima dele, confira no painel da sua conta se o recurso aparece e em que condição.

O que auditar no time depois de ligar o User Insights?

Audite primeiro as tarefas de volume alto e complexidade baixa, porque é ali que o modelo exagerado custa mais. Resumo, classificação, extração de campo e tradução simples são os suspeitos de sempre.

Um roteiro para as primeiras quatro semanas:

  1. Semana 1: ligue o recurso e não mexa em nada. Lembre que os dados chegam com cerca de um dia de atraso.
  2. Semana 2: abra a visão Potential Savings e liste as cinco categorias de tarefa com mais requisições marcadas.
  3. Semana 3: escolha uma delas e teste um modelo menor numa amostra real, comparando a saída lado a lado com a do modelo atual.
  4. Semana 4: se a qualidade se mantiver, troque o modelo só nessa tarefa e acompanhe o custo da categoria na visão Turns analysis.

Uma tarefa de cada vez, na moral. Trocar o modelo de tudo de uma vez é o jeito mais rápido de descobrir, pela reclamação do usuário, qual tarefa precisava do modelo grande.

Quem já usa IA para escrever conteúdo pode fazer a mesma pergunta fora da Cloudflare: o modelo que corrige a meta description precisa ser o mesmo que revisa um documento técnico inteiro? Na maioria dos fluxos de SEO que eu vejo, não precisa.

Como o User Insights se encaixa no resto da Cloudflare para IA?

O User Insights fecha uma sequência de lançamentos da Cloudflare voltados a quem roda IA em produção. O Clef entrega decisões tipadas em vez de texto, o Kitesurf é o navegador pensado para agentes e o Cache Transcoding corta o tamanho do cache. A lógica é a mesma nos quatro: a Cloudflare quer ser a camada por onde o tráfego de IA passa, e medir esse tráfego é o argumento para ficar nela.

Isso tem um lado que vale ter em mente. Quanto mais a análise de custo depende do gateway de um fornecedor, mais caro fica trocar de gateway depois. Para a maioria dos times pequenos, o ganho de visibilidade compensa. Para quem já tem observabilidade própria, o User Insights é uma segunda opinião, não um substituto.

Resumo: o que saber sobre o User Insights da Cloudflare

  • O User Insights é uma visão gratuita do AI Gateway da Cloudflare que mostra uso de IA por tarefa, modelo, turno e usuário.
  • A marcação de model overkill aponta conversas em que o modelo é mais potente do que a tarefa exige, e a visão Potential Savings lista onde um modelo mais barato daria conta.
  • A classificação roda depois da resposta, não adiciona latência e pode atrasar cerca de um dia.
  • O painel mostra categorias e agregados, não prompts; a retenção segue a configuração do AI Gateway.
  • Uso por pessoa exige AI Gateway atrás do Cloudflare Access (gratuito até 50 usuários) ou user_id e session_id enviados pelo app.
  • O Auto Router, que escolhe o modelo automaticamente, tem status de beta descrito de forma inconsistente pela própria Cloudflare.

O que fazer agora: se você já passa as chamadas de IA pelo AI Gateway, ligue o User Insights hoje e volte em uma semana. Se não passa, comece pelo inventário mais simples, uma planilha com tarefa, modelo e volume mensal, porque a pergunta que a Cloudflare automatizou dá pra fazer à mão.

Voltar ao Blog