Um agente por caso insatisfatório: onde a IA ajuda e onde uma conta basta
Separamos os erros grosseiros de ensaio de proficiência em cinco assinaturas que o participante consegue conferir: vírgula, unidade, itens trocados, dígitos invertidos e viés analítico real. Comparamos uma regra aritmética, o Jev sozinho e a cascata (a regra decide os casos claros e o Jev só os ambíguos), em duas rodadas sintéticas com hipóteses registradas antes de rodar.
A mesma estrutura de um estudo de biologia em larga escala
Em outubro de 2026, OpenAI, PerturbAI e Scripps Research puseram milhares de agentes sobre um atlas de genes desligados em milhões de células de cérebro de camundongo. Cada agente cuidou de um gene: leu a resposta das células, buscou literatura e propôs um mecanismo. As fichas formaram um "atlas de inferência", e especialistas avaliaram o resultado sem saber a origem.
O que copiamos
- Uma unidade independente por agente: lá, um gene; aqui, um caso (participante × analito).
- Ficha com formato fixo, agregada num atlas consultável.
- Referência pública ligada a cada conclusão.
- Triagem por especialista antes de qualquer uso.
O que mudamos
- Toda ficha traz uma previsão para a rodada seguinte, congelada antes de ela ser lida. Sem previsão, o atlas gera hipóteses e não fecha nenhuma.
- Linha de base obrigatória: a solução mais simples (uma regra aritmética) disputa com a IA.
- Um gerador, um decisor e um verificador separados, e só o verificador conhece o gabarito.
A Controllab tem o equivalente ao atlas de genes: décadas de ensaio de proficiência por grupo de pares (método, equipamento, reagente) e o controle interno do mesmo laboratório. Poucos provedores têm as duas coisas.
Do resultado fora da faixa à ficha conferível
O código faz as contas, a regra decide o que é claro e o Jev decide só o que sobra. Nenhuma etapa antes do verificador enxerga o gabarito.
| Assinatura | O que aconteceu | Previsão para a próxima rodada |
|---|
Acerto da assinatura, por método
Porcentagem de casos em que a assinatura escolhida bate com o gabarito. A barra listrada é uma regra ajustada depois do teste (limiar 2,5): ela serve de alerta, não de resultado.
Previsão para a rodada seguinte
Cada assinatura prevê se o caso volta a aparecer na rodada 2: unidade e viés analítico repetem; vírgula, troca e dígito não. O traço preto marca o teto, que é a previsão feita a partir do gabarito, porque nem todo erro se comporta como a assinatura manda.
Hipóteses registradas antes de rodar
| # | Previsão | Medido | Veredito |
|---|
Analito × assinatura
Casos por célula, conforme a decisão da cascata. Clique numa célula para filtrar os casos abaixo. Com dado real, este quadro mostraria onde a devolutiva ao participante e o material de ensino rendem mais.
Os casos, um por agente
Cada ficha mostra o que o código mediu, o que o participante escreveu, o que cada método decidiu e o que aconteceu na rodada seguinte.
O que isto mostra e o que não mostra
Mostra
Não mostra
- Com que frequência cada assinatura ocorre na Controllab. Isso exige dado real anonimizado, ainda sem autorização.
- Que os comentários reais dos participantes são tão informativos quanto os sintéticos.
- Ganho para o participante. Isso só aparece num piloto com a área técnica.
Próximo passo proposto
- Responder se a causa investigada pelo participante volta para a Controllab e em que formato. Se o comentário não volta, o Jev não tem o que ler e a regra é a proposta inteira.
- Rodar a regra sobre uma amostra anonimizada de insatisfatórios "sem causa", depois de autorizado. Ela não custa crédito de IA e mede a frequência real de cada assinatura.
- Se houver comentário, levar os casos ambíguos ao Jev e entregar as fichas à área técnica sem dizer quem decidiu, para avaliação cega.