Se você já assistiu aos X-Men, sabe que o poder do Professor Xavier não está apenas em ler mentes. O verdadeiro poder dele está no Cérebro, a máquina que amplifica suas habilidades e permite que ele encontre a agulha no palheiro em um mundo caótico. Sem o Cérebro, Xavier é apenas um telepata poderoso tentando ouvir uma voz no meio de um estádio lotado. Com o Cérebro, ele tem precisão cirúrgica.

No mundo dos dados, estamos vivendo o momento em que todo mundo descobriu que tem um telepata poderoso à disposição. A promessa dos LLMs para analytics é sedutora: aponte o modelo para o seu data warehouse, deixe os usuários fazerem perguntas em linguagem natural e veja a mágica acontecer. O problema é que, sem a infraestrutura certa, a mágica rapidamente se transforma em caos. O modelo alucina, escolhe a tabela errada, usa a definição antiga de “usuário ativo” e entrega uma resposta que parece certa, mas está fundamentalmente errada.

A Anthropic, criadora do Claude, resolveu esse problema internamente. Hoje, 95% das consultas de business analytics da empresa são automatizadas via Claude, com uma precisão agregada de aproximadamente 98%. O segredo deles não foi criar um modelo mágico que nunca erra. O segredo foi construir o Cérebro: uma arquitetura de dados e governança que direciona o poder do Claude com precisão absoluta.

Os Três Inimigos da Precisão

Para entender a solução da Anthropic, precisamos entender os vilões dessa história. Quando um agente de IA tenta responder a uma pergunta de negócio, ele não falha porque não sabe escrever SQL. Ele falha porque o ambiente de dados é ambíguo. A Anthropic identificou três modos de falha principais que causam a esmagadora maioria dos erros:

  • Ambiguidade de Entidade: O agente não consegue mapear um conceito (“receita do produto X”) para a tabela e coluna corretas porque existem dezenas de opções plausíveis no warehouse.
  • Desatualização (Staleness): As fontes de dados, definições de negócio e esquemas mudam constantemente. O conhecimento do agente fica obsoleto e ele começa a retornar respostas sutilmente erradas.
  • Falha de Recuperação: A informação certa está no modelo de dados e bem documentada, mas o espaço de busca é tão vasto que o agente simplesmente não a encontra.

A solução para esses problemas não é prompt engineering. É engenharia de dados.

A Fundação: Construindo a Mansão X

O primeiro passo da Anthropic foi focar nas fundações de dados. Se o seu warehouse tem quarenta tabelas que parecem conter a “receita”, o agente vai se perder. A solução é criar um conjunto pequeno e altamente governado de modelos lógicos: datasets canônicos que são a única fonte da verdade.

Isso significa aplicar práticas rigorosas de engenharia de dados. A modelagem dimensional, os testes shift-left e as verificações de frescor e completude continuam sendo essenciais. A diferença é que o consumidor final desses dados não é mais um cientista de dados sênior que sabe desviar das armadilhas do warehouse. O consumidor é um agente de IA agindo em nome de um usuário de negócios.

Para garantir que essas fundações se mantenham sólidas, a Anthropic adotou a co-localização de artefatos. Quase todo o código de dados (modelagem, camada semântica, documentação de referência) vive em um único repositório. Se uma mudança na modelagem quebrar um dashboard ou invalidar uma métrica documentada, a integração contínua (CI) sinaliza o erro e a correção é enviada no mesmo pull request. É como garantir que a planta da Mansão X esteja sempre atualizada antes de qualquer reforma.

Fontes da Verdade: O Mapa do Cérebro

Se as fundações de dados são o warehouse, as fontes da verdade são as superfícies de referência que o agente consulta para navegar por ele. É aqui que a ambiguidade é destruída.

A camada semântica é a primeira linha de defesa. Se uma pergunta mapeia de forma limpa para uma métrica definida, o agente chama uma função e obtém um número — o mesmo número que qualquer outro dashboard da empresa produziria. A Anthropic descobriu da pior forma que tentar usar um LLM para auto-gerar definições de métricas a partir de tabelas brutas não funciona; o modelo apenas codifica as ambiguidades existentes. A documentação pode ser gerada por IA, mas a definição deve ter um dono humano.

Quando a camada semântica não cobre a pergunta, o agente recorre à linhagem de dados e ao contexto de negócio. O contexto de negócio é frequentemente ignorado, mas é crucial. Um agente que não entende o negócio responderá o que o usuário perguntou, mas não o que ele quis dizer. Ele não saberá que “o lançamento do Q2” se refere a um produto específico. A Anthropic resolve isso alimentando o agente com um grafo de conhecimento da empresa, incluindo documentos indexados, roadmaps e a estrutura organizacional.

Skills: O Treinamento na Sala de Perigo

Se as fontes da verdade são o conhecimento declarativo do agente, as “skills” (habilidades) são o seu conhecimento procedural. Elas instruem o agente sobre quais fontes consultar, em que ordem, como navegar por dados ambíguos e como deve ser uma análise finalizada.

Na Anthropic, uma skill é uma pasta de arquivos markdown que o agente lê sob demanda. Sem essas skills, a precisão do Claude em responder perguntas de analytics não passava de 21%. Com as skills, esse número saltou para mais de 95%.

A estratégia principal aqui é criar skills em pares. Uma skill de conhecimento atua como um roteador de alto nível. Em vez de deixar o agente vasculhar um warehouse com um milhão de campos, a skill restringe o espaço de busca a algumas dezenas de arquivos curados antes mesmo de uma query ser escrita. É como o Professor Xavier direcionando a equipe exata de X-Men para uma missão específica, em vez de mandar todos os alunos da escola de uma vez.

Esses documentos de referência são escritos especificamente para serem lidos por um LLM. Eles descrevem a granularidade das tabelas, as armadilhas conhecidas (gotchas) e gatilhos de roteamento explícitos (por exemplo: “SE a pergunta for sobre lift de experimento… NÃO use para contagens brutas de eventos”).

Validação: O Teste de Fogo

A última peça do quebra-cabeça é a validação. Como você sabe se o seu agente está realmente acertando?

A Anthropic usa avaliações offline (evals) como pares de perguntas e respostas. Elas não dizem como o agente online vai performar, mas garantem que não há lacunas críticas . A regra de ouro é ancorar a verdade absoluta para que ela não mude: um eval escrito contra dados ao vivo fica obsoleto no momento em que o número subjacente muda. A solução é fixar cada eval a uma data de snapshot ou fazer o avaliador julgar a query do agente em vez do número final .

No ambiente online, a validação continua. A Anthropic implementou uma revisão adversarial: uma skill do Claude que desafia agressivamente todas as suposições subjacentes em uma resposta potencial. Isso aumentou a precisão em 6%, embora ao custo de maior latência e uso de tokens . Além disso, toda resposta carrega um rodapé de proveniência, indicando de qual camada a informação veio e quão frescos são os dados . Não torna a resposta mais correta, mas ajuda o consumidor a julgar o nível de confiança.

O Fator Mutante

A lição da Anthropic é clara: a precisão em analytics com IA não é um problema de geração de código. É um problema de contexto e verificação.

Apontar um LLM poderoso para um data warehouse desorganizado é como colocar o Professor Xavier no meio da Times Square sem o Cérebro. Ele vai ouvir muito barulho, mas não vai encontrar o que você precisa. A verdadeira revolução do self-service analytics não acontece quando o modelo fica mais inteligente. Ela acontece quando a engenharia de dados, a governança e o contexto de negócio se unem para criar a infraestrutura que permite que essa inteligência brilhe.

O futuro do analytics não é sobre quem tem o melhor modelo. É sobre quem constrói o melhor Cérebro para ele.

Referências:

How Anthropic enables self-service data analytics with Claude | Claude: https://claude.com/blog/how-anthropic-enables-self-service-data-analytics-with-claude