# Wiki MIA — Benchmark cross-model + Wiki ON/OFF
**Data:** 2026-05-18 (HEAD `1c35076`)  **Total chamadas:** 165  **Custo total LLM:** \$0.4488  **Judge:** \$0.0540  **Grand total:** \$0.5028

9 modelos × 5 perguntas × (3 modos COM Wiki + 1 controle SEM Wiki) = 180 chamadas. Judge: DeepSeek v3.1 sobre 167 respostas não-vazias.

---

## §1 — Setup

### Modelos
| Tier | Modelo OpenRouter | Contexto | $/M in | $/M out |
|---|---|---|---|---|
| leve | `microsoft/phi-4` | — | — | — |
| leve | `mistralai/mistral-nemo` | — | — | — |
| med | `google/gemma-3-27b-it` | — | — | — |
| med | `mistralai/mistral-small-3.2-24b-instruct` | — | — | — |
| forte | `meta-llama/llama-3.3-70b-instruct` | — | — | — |
| med | `qwen/qwen3.6-27b` | — | — | — |
| forte | `nvidia/llama-3.3-nemotron-super-49b-v1.5` | — | — | — |
| moe | `deepseek/deepseek-chat-v3.1` | — | — | — |
| moe | `qwen/qwen3.5-122b-a10b` | — | — | — |
| weak | `google/gemini-3.1-flash-lite` | — | — | — |
| med | `openai/gpt-5.4-mini` | — | — | — |

### Perguntas (LAW vertical, agente MAIA, módulo maia-pesquisa)
1. `Qual a abordagem MIA para lead inadimplente em escritorio juridico? Aplique reciprocidade Cialdini + tom Gestao 5.0 (humano ao centro). Cite a regra MIA exata.`
2. `Em que momento MARIO deve escalar para advogado humano em conversa com cliente sobre status de processo? Cite a regra MIA exata e qual gate aplicavel (CLAUDE.md secao 13).`
3. `Estruture campanha B2B de captacao tributaria com ebook tecnico. Inclua: publico-alvo (ICP), oferta, cadencia WhatsApp/email, comissionamento por indicacao, gatilho psicologico. Use o metodo MIA Lead Factory (MARIO desenha + MAISA executa criativo).`
4. `Honorarios sucumbenciais quando a Fazenda perde causa de R$ 850 mil (valor da condenacao). Qual percentual aplicavel, base legal exata (CPC art. 85 § com numero), e cite a sumula STJ ou STF relevante.`
5. `Como peticionar embargos de declaracao eletronicos no TJSP em 2026: prazo legal, formato de arquivo aceito, documentos obrigatorios. Cite CPC art. 1.022 + Resolucao TJSP aplicavel.`

### Prompt template (replicado do `agent_runtime_service.py:211-244`)
```
[SYSTEM] Voce eh MAIA dentro da MIA Platform. Vertical: mia_law; subnicho: juridico;
setor operacional: juridico.
Instrucoes premium do agente: <plan.agent_instruction>
Subagentes ativados: <plan.subagent_ids[:8]>
Skills relevantes:
<plan.skill_ids>
Regras de execucao: responda como agente funcional...

[USER] Modulo: maia-pesquisa
Papel do usuario: owner
Pedido: <query>
Contexto Brain selecionado:
<chunks formatados>
```

SEM Wiki: mesmo system simplificado, sem skill_ids, sem context_block.

---

## §2 — Plan trace por pergunta

### Q: `Qual a abordagem MIA para lead inadimplente em escritorio juridico? Aplique reciprocidade Cialdini + tom Gestao 5.0 (humano ao centro). Cite a regra MIA exata.`

- **primary_agent:** maia
- **capability:** crm
- **pre_brain_target:** crm
- **subagent_ids (13):** `maia-researchagent, maia-maiabiagent, maia-maiabivalidator, maia-writeragent, maia-bookagent, maia-presentationagent ...`
- **skill_ids (8):** `maia-cited-legal-research, maia-finder-investigation, maia-document-synthesis, maia-longform-book-production, maia-presentation-deck, maia-spreadsheet-to-evidence, sam-privacy-trust-center, mario-apollo-lead-factory`
- **tool_ids (9):** `uazapi_whatsapp, whatsapp_business_cloud, google_calendar, microsoft_outlook, salesforce_crm, hubspot_crm, close_crm, supabase_vector ...`
- **agent_instruction (excerpt):** `MAIA atua como gestora juridica premium: consulta o Brain antes de responder, declara premissas, cita fontes quando houver, separa fato de inferencia e nunca transforma documento sensivel em memoria s...`
- **chunks por modo:** Leve=9 · Média=18

### Q: `Em que momento MARIO deve escalar para advogado humano em conversa com cliente sobre status de processo? Cite a regra MIA exata e qual gate aplicavel (CLAUDE.md secao 13).`

- **primary_agent:** maia
- **capability:** crm
- **pre_brain_target:** crm
- **subagent_ids (10):** `maia-researchagent, maia-maiabiagent, maia-maiabivalidator, maia-writeragent, maia-bookagent, maia-presentationagent ...`
- **skill_ids (7):** `maia-cited-legal-research, maia-finder-investigation, maia-document-synthesis, maia-longform-book-production, maia-presentation-deck, maia-spreadsheet-to-evidence, sam-privacy-trust-center`
- **tool_ids (11):** `uazapi_whatsapp, whatsapp_business_cloud, google_calendar, microsoft_outlook, salesforce_crm, hubspot_crm, close_crm, supabase_vector ...`
- **agent_instruction (excerpt):** `MAIA atua como gestora juridica premium: consulta o Brain antes de responder, declara premissas, cita fontes quando houver, separa fato de inferencia e nunca transforma documento sensivel em memoria s...`
- **chunks por modo:** Leve=9 · Média=17

### Q: `Estruture campanha B2B de captacao tributaria com ebook tecnico. Inclua: publico-alvo (ICP), oferta, cadencia WhatsApp/email, comissionamento por indicacao, gatilho psicologico. Use o metodo MIA Lead Factory (MARIO desenha + MAISA executa criativo).`

- **primary_agent:** maia
- **capability:** campaigns
- **pre_brain_target:** crm
- **subagent_ids (14):** `maia-researchagent, maia-maiabiagent, maia-maiabivalidator, maia-writeragent, maia-bookagent, maia-presentationagent ...`
- **skill_ids (9):** `maia-cited-legal-research, maia-finder-investigation, maia-document-synthesis, maia-longform-book-production, maia-presentation-deck, maia-spreadsheet-to-evidence, sam-privacy-trust-center, mario-apollo-lead-factory, mario-campaign-governance`
- **tool_ids (12):** `uazapi_whatsapp, whatsapp_business_cloud, meta_ads, google_ads, email_marketing_platform, apollo_prospecting, linkedin_company, google_maps_places ...`
- **agent_instruction (excerpt):** `MAIA atua como gestora juridica premium: consulta o Brain antes de responder, declara premissas, cita fontes quando houver, separa fato de inferencia e nunca transforma documento sensivel em memoria s...`
- **chunks por modo:** Leve=8 · Média=14

### Q: `Honorarios sucumbenciais quando a Fazenda perde causa de R$ 850 mil (valor da condenacao). Qual percentual aplicavel, base legal exata (CPC art. 85 § com numero), e cite a sumula STJ ou STF relevante.`

- **primary_agent:** maia
- **capability:** research
- **pre_brain_target:** erp
- **subagent_ids (10):** `maia-researchagent, maia-maiabiagent, maia-maiabivalidator, maia-writeragent, maia-bookagent, maia-presentationagent ...`
- **skill_ids (7):** `maia-cited-legal-research, maia-finder-investigation, maia-document-synthesis, maia-longform-book-production, maia-presentation-deck, maia-spreadsheet-to-evidence, sam-privacy-trust-center`
- **tool_ids (15):** `google_drive, microsoft_onedrive, exa_search, tavily_search, parallel_search, mia_finder_person, mia_finder_company, mia_finder_vehicle ...`
- **agent_instruction (excerpt):** `MAIA atua como gestora juridica premium: consulta o Brain antes de responder, declara premissas, cita fontes quando houver, separa fato de inferencia e nunca transforma documento sensivel em memoria s...`
- **chunks por modo:** Leve=12 · Média=16

### Q: `Como peticionar embargos de declaracao eletronicos no TJSP em 2026: prazo legal, formato de arquivo aceito, documentos obrigatorios. Cite CPC art. 1.022 + Resolucao TJSP aplicavel.`

- **primary_agent:** maia
- **capability:** research
- **pre_brain_target:** brain
- **subagent_ids (10):** `maia-researchagent, maia-maiabiagent, maia-maiabivalidator, maia-writeragent, maia-bookagent, maia-presentationagent ...`
- **skill_ids (7):** `maia-cited-legal-research, maia-finder-investigation, maia-document-synthesis, maia-longform-book-production, maia-presentation-deck, maia-spreadsheet-to-evidence, sam-privacy-trust-center`
- **tool_ids (15):** `google_drive, microsoft_onedrive, exa_search, tavily_search, parallel_search, mia_finder_person, mia_finder_company, mia_finder_vehicle ...`
- **agent_instruction (excerpt):** `MAIA atua como gestora juridica premium: consulta o Brain antes de responder, declara premissas, cita fontes quando houver, separa fato de inferencia e nunca transforma documento sensivel em memoria s...`
- **chunks por modo:** Leve=17 · Média=36

---

## §3 — Custo + latência + tokens por chamada (180 linhas)

Ordenado por modelo, depois pergunta, depois modo.

| Modelo | Pergunta | Cond | Lat | Tok in | Tok out | Reasoning | Custo |
|---|---|---|---|---|---|---|---|
| DeepSeek V3.1 (MoE) | Qual a abordagem MIA para | leve | 43.9s | 3913 | 972 | 0 | $0.0021 |
| DeepSeek V3.1 (MoE) | Qual a abordagem MIA para | media | 42.7s | 8074 | 1357 | 0 | $0.0037 |
| DeepSeek V3.1 (MoE) | Qual a abordagem MIA para | no-wiki | 63.4s | 116 | 1396 | 0 | $0.0014 |
| DeepSeek V3.1 (MoE) | Em que momento MARIO deve | leve | 65.0s | 3858 | 436 | 0 | $0.0012 |
| DeepSeek V3.1 (MoE) | Em que momento MARIO deve | media | 25.6s | 6795 | 399 | 0 | $0.0022 |
| DeepSeek V3.1 (MoE) | Em que momento MARIO deve | no-wiki | 29.7s | 113 | 613 | 0 | $0.0006 |
| DeepSeek V3.1 (MoE) | Estruture campanha B2B de | leve | 71.4s | 3240 | 1500 | 0 | $0.0024 |
| DeepSeek V3.1 (MoE) | Estruture campanha B2B de | media | 69.9s | 5538 | 1500 | 0 | $0.0031 |
| DeepSeek V3.1 (MoE) | Estruture campanha B2B de | no-wiki | 45.3s | 139 | 975 | 0 | $0.0010 |
| DeepSeek V3.1 (MoE) | Honorarios sucumbenciais  | leve | 122.3s | 5431 | 785 | 0 | $0.0018 |
| DeepSeek V3.1 (MoE) | Honorarios sucumbenciais  | media | 102.3s | 7454 | 630 | 0 | $0.0016 |
| DeepSeek V3.1 (MoE) | Honorarios sucumbenciais  | no-wiki | 68.1s | 127 | 1500 | 0 | $0.0015 |
| DeepSeek V3.1 (MoE) | Como peticionar embargos  | leve | 62.7s | 7544 | 1383 | 0 | $0.0036 |
| DeepSeek V3.1 (MoE) | Como peticionar embargos  | media | 66.9s | 16354 | 1304 | 0 | $0.0057 |
| DeepSeek V3.1 (MoE) | Como peticionar embargos  | no-wiki | 61.3s | 123 | 1382 | 0 | $0.0014 |
| GPT-5.4 Mini (controle) | Qual a abordagem MIA para | leve | 7.9s | 3601 | 1033 | 0 | $0.0073 |
| GPT-5.4 Mini (controle) | Qual a abordagem MIA para | media | 7.2s | 7359 | 822 | 0 | $0.0070 |
| GPT-5.4 Mini (controle) | Qual a abordagem MIA para | no-wiki | 5.1s | 107 | 612 | 0 | $0.0028 |
| GPT-5.4 Mini (controle) | Em que momento MARIO deve | leve | 4.4s | 3469 | 554 | 0 | $0.0051 |
| GPT-5.4 Mini (controle) | Em que momento MARIO deve | media | 5.6s | 6184 | 711 | 0 | $0.0078 |
| GPT-5.4 Mini (controle) | Em que momento MARIO deve | no-wiki | 3.4s | 104 | 246 | 0 | $0.0012 |
| GPT-5.4 Mini (controle) | Estruture campanha B2B de | leve | 10.6s | 2926 | 1500 | 0 | $0.0089 |
| GPT-5.4 Mini (controle) | Estruture campanha B2B de | media | 10.2s | 5018 | 1500 | 0 | $0.0093 |
| GPT-5.4 Mini (controle) | Estruture campanha B2B de | no-wiki | 10.8s | 126 | 1500 | 0 | $0.0068 |
| GPT-5.4 Mini (controle) | Honorarios sucumbenciais  | leve | 4.5s | 4750 | 580 | 0 | $0.0062 |
| GPT-5.4 Mini (controle) | Honorarios sucumbenciais  | media | 5.5s | 6519 | 660 | 0 | $0.0049 |
| GPT-5.4 Mini (controle) | Honorarios sucumbenciais  | no-wiki | 3.6s | 115 | 559 | 0 | $0.0026 |
| GPT-5.4 Mini (controle) | Como peticionar embargos  | leve | 8.1s | 6596 | 1193 | 0 | $0.0103 |
| GPT-5.4 Mini (controle) | Como peticionar embargos  | media | 9.1s | 14224 | 1333 | 0 | $0.0123 |
| GPT-5.4 Mini (controle) | Como peticionar embargos  | no-wiki | 7.8s | 110 | 1178 | 0 | $0.0054 |
| Gemini Flash Lite (controle) | Qual a abordagem MIA para | leve | 5.2s | 3911 | 870 | 0 | $0.0023 |
| Gemini Flash Lite (controle) | Qual a abordagem MIA para | media | 4.3s | 8023 | 974 | 0 | $0.0035 |
| Gemini Flash Lite (controle) | Qual a abordagem MIA para | no-wiki | 4.3s | 98 | 741 | 0 | $0.0011 |
| Gemini Flash Lite (controle) | Em que momento MARIO deve | leve | 3.7s | 3790 | 639 | 0 | $0.0019 |
| Gemini Flash Lite (controle) | Em que momento MARIO deve | media | 4.9s | 6734 | 675 | 0 | $0.0027 |
| Gemini Flash Lite (controle) | Em que momento MARIO deve | no-wiki | 3.5s | 97 | 647 | 0 | $0.0010 |
| Gemini Flash Lite (controle) | Estruture campanha B2B de | leve | 4.6s | 3164 | 759 | 0 | $0.0019 |
| Gemini Flash Lite (controle) | Estruture campanha B2B de | media | 4.8s | 5499 | 893 | 0 | $0.0027 |
| Gemini Flash Lite (controle) | Estruture campanha B2B de | no-wiki | 5.2s | 121 | 943 | 0 | $0.0014 |
| Gemini Flash Lite (controle) | Honorarios sucumbenciais  | leve | 4.5s | 5394 | 929 | 0 | $0.0027 |
| Gemini Flash Lite (controle) | Honorarios sucumbenciais  | media | 4.2s | 7514 | 817 | 0 | $0.0031 |
| Gemini Flash Lite (controle) | Honorarios sucumbenciais  | no-wiki | 3.3s | 113 | 664 | 0 | $0.0010 |
| Gemini Flash Lite (controle) | Como peticionar embargos  | leve | 4.6s | 7560 | 776 | 0 | $0.0031 |
| Gemini Flash Lite (controle) | Como peticionar embargos  | media | 5.2s | 16264 | 878 | 0 | $0.0054 |
| Gemini Flash Lite (controle) | Como peticionar embargos  | no-wiki | 5.7s | 108 | 975 | 0 | $0.0015 |
| Gemma 3 27B IT | Qual a abordagem MIA para | leve | 30.2s | 3919 | 1004 | 0 | $0.0007 |
| Gemma 3 27B IT | Qual a abordagem MIA para | media | 23.2s | 8035 | 1223 | 0 | $0.0012 |
| Gemma 3 27B IT | Qual a abordagem MIA para | no-wiki | 15.7s | 110 | 1058 | 0 | $0.0004 |
| Gemma 3 27B IT | Em que momento MARIO deve | leve | 11.3s | 3800 | 220 | 0 | $0.0003 |
| Gemma 3 27B IT | Em que momento MARIO deve | media | 12.1s | 6748 | 626 | 0 | $0.0010 |
| Gemma 3 27B IT | Em que momento MARIO deve | no-wiki | 22.1s | 105 | 608 | 0 | $0.0002 |
| Gemma 3 27B IT | Estruture campanha B2B de | leve | 80.3s | 3174 | 1459 | 0 | $0.0008 |
| Gemma 3 27B IT | Estruture campanha B2B de | media | 81.0s | 5507 | 1224 | 0 | $0.0006 |
| Gemma 3 27B IT | Estruture campanha B2B de | no-wiki | 24.2s | 133 | 1500 | 0 | $0.0007 |
| Gemma 3 27B IT | Honorarios sucumbenciais  | leve | 83.2s | 5402 | 947 | 0 | $0.0006 |
| Gemma 3 27B IT | Honorarios sucumbenciais  | media | 57.6s | 7524 | 977 | 0 | $0.0008 |
| Gemma 3 27B IT | Honorarios sucumbenciais  | no-wiki | 46.8s | 121 | 918 | 0 | $0.0003 |
| Gemma 3 27B IT | Como peticionar embargos  | leve | 38.0s | 7570 | 1142 | 0 | $0.0011 |
| Gemma 3 27B IT | Como peticionar embargos  | media | 59.4s | 16274 | 1045 | 0 | $0.0015 |
| Gemma 3 27B IT | Como peticionar embargos  | no-wiki | 19.2s | 122 | 1079 | 0 | $0.0005 |
| Llama 3.3 70B | Qual a abordagem MIA para | leve | 37.4s | 4062 | 769 | 0 | $0.0007 |
| Llama 3.3 70B | Qual a abordagem MIA para | media | 11.1s | 8338 | 609 | 0 | $0.0014 |
| Llama 3.3 70B | Qual a abordagem MIA para | no-wiki | 26.2s | 135 | 748 | 0 | $0.0003 |
| Llama 3.3 70B | Em que momento MARIO deve | leve | 19.0s | 3923 | 321 | 0 | $0.0005 |
| Llama 3.3 70B | Em que momento MARIO deve | media | 9.8s | 7006 | 318 | 0 | $0.0010 |
| Llama 3.3 70B | Em que momento MARIO deve | no-wiki | 12.0s | 148 | 644 | 0 | $0.0003 |
| Llama 3.3 70B | Estruture campanha B2B de | leve | 47.0s | 3299 | 1036 | 0 | $0.0007 |
| Llama 3.3 70B | Estruture campanha B2B de | media | 34.7s | 5620 | 756 | 0 | $0.0008 |
| Llama 3.3 70B | Estruture campanha B2B de | no-wiki | 38.3s | 155 | 791 | 0 | $0.0003 |
| Llama 3.3 70B | Honorarios sucumbenciais  | leve | 27.6s | 5537 | 552 | 0 | $0.0007 |
| Llama 3.3 70B | Honorarios sucumbenciais  | media | 19.0s | 7626 | 1003 | 0 | $0.0014 |
| Llama 3.3 70B | Honorarios sucumbenciais  | no-wiki | 20.8s | 142 | 535 | 0 | $0.0002 |
| Llama 3.3 70B | Como peticionar embargos  | leve | 92.4s | 7637 | 666 | 0 | $0.0010 |
| Llama 3.3 70B | Como peticionar embargos  | media | 26.6s | 16578 | 633 | 0 | $0.0040 |
| Llama 3.3 70B | Como peticionar embargos  | no-wiki | 21.1s | 138 | 735 | 0 | $0.0003 |
| Mistral Nemo 12B | Qual a abordagem MIA para | leve | 9.5s | 3896 | 344 | 0 | $0.0001 |
| Mistral Nemo 12B | Qual a abordagem MIA para | media | 13.6s | 8050 | 495 | 0 | $0.0002 |
| Mistral Nemo 12B | Qual a abordagem MIA para | no-wiki | 46.8s | 111 | 427 | 0 | $0.0000 |
| Mistral Nemo 12B | Em que momento MARIO deve | leve | 23.2s | 3811 | 169 | 0 | $0.0001 |
| Mistral Nemo 12B | Em que momento MARIO deve | media | 20.8s | 6714 | 149 | 0 | $0.0001 |
| Mistral Nemo 12B | Em que momento MARIO deve | no-wiki | 30.0s | 108 | 240 | 0 | $0.0000 |
| Mistral Nemo 12B | Estruture campanha B2B de | leve | 64.3s | 3169 | 553 | 0 | $0.0001 |
| Mistral Nemo 12B | Estruture campanha B2B de | media | 66.4s | 5442 | 760 | 0 | $0.0001 |
| Mistral Nemo 12B | Estruture campanha B2B de | no-wiki | 50.9s | 135 | 479 | 0 | $0.0000 |
| Mistral Nemo 12B | Honorarios sucumbenciais  | leve | 32.8s | 5435 | 418 | 0 | $0.0001 |
| Mistral Nemo 12B | Honorarios sucumbenciais  | media | 17.0s | 7605 | 423 | 0 | $0.0002 |
| Mistral Nemo 12B | Honorarios sucumbenciais  | no-wiki | 13.3s | 122 | 411 | 0 | $0.0000 |
| Mistral Nemo 12B | Como peticionar embargos  | leve | 45.2s | 7689 | 424 | 0 | $0.0002 |
| Mistral Nemo 12B | Como peticionar embargos  | media | 60.3s | 16424 | 1500 | 0 | $0.0004 |
| Mistral Nemo 12B | Como peticionar embargos  | no-wiki | 7.0s | 120 | 358 | 0 | $0.0000 |
| Mistral Small 3.2 24B | Qual a abordagem MIA para | leve | 15.2s | 3895 | 955 | 0 | $0.0005 |
| Mistral Small 3.2 24B | Qual a abordagem MIA para | media | 15.1s | 8049 | 909 | 0 | $0.0008 |
| Mistral Small 3.2 24B | Qual a abordagem MIA para | no-wiki | 12.3s | 111 | 635 | 0 | $0.0004 |
| Mistral Small 3.2 24B | Em que momento MARIO deve | leve | 7.0s | 3811 | 305 | 0 | $0.0005 |
| Mistral Small 3.2 24B | Em que momento MARIO deve | media | 11.9s | 6714 | 506 | 0 | $0.0006 |
| Mistral Small 3.2 24B | Em que momento MARIO deve | no-wiki | 7.2s | 108 | 337 | 0 | $0.0002 |
| Mistral Small 3.2 24B | Estruture campanha B2B de | leve | 21.6s | 3169 | 1266 | 0 | $0.0010 |
| Mistral Small 3.2 24B | Estruture campanha B2B de | media | 43.7s | 5442 | 1164 | 0 | $0.0006 |
| Mistral Small 3.2 24B | Estruture campanha B2B de | no-wiki | 27.7s | 135 | 1143 | 0 | $0.0007 |
| Mistral Small 3.2 24B | Honorarios sucumbenciais  | leve | 14.2s | 5435 | 294 | 0 | $0.0005 |
| Mistral Small 3.2 24B | Honorarios sucumbenciais  | media | 28.3s | 7604 | 586 | 0 | $0.0007 |
| Mistral Small 3.2 24B | Honorarios sucumbenciais  | no-wiki | 40.3s | 122 | 1070 | 0 | $0.0002 |
| Mistral Small 3.2 24B | Como peticionar embargos  | leve | 23.9s | 7689 | 884 | 0 | $0.0012 |
| Mistral Small 3.2 24B | Como peticionar embargos  | media | 18.5s | 16424 | 738 | 0 | $0.0014 |
| Mistral Small 3.2 24B | Como peticionar embargos  | no-wiki | 12.8s | 120 | 634 | 0 | $0.0001 |
| Nemotron Super 49B | Qual a abordagem MIA para | leve | 29.4s | 4067 | 1474 | 804 | $0.0010 |
| Nemotron Super 49B | Qual a abordagem MIA para | media | 28.5s | 8342 | 1448 | 690 | $0.0014 |
| Nemotron Super 49B | Qual a abordagem MIA para | no-wiki | 20.3s | 139 | 1046 | 460 | $0.0004 |
| Nemotron Super 49B | Em que momento MARIO deve | leve | 23.9s | 3928 | 1095 | 799 | $0.0008 |
| Nemotron Super 49B | Em que momento MARIO deve | media | 22.4s | 6991 | 1051 | 663 | $0.0011 |
| Nemotron Super 49B | Em que momento MARIO deve | no-wiki | 20.3s | 132 | 1079 | 593 | $0.0004 |
| Nemotron Super 49B | Estruture campanha B2B de | leve | 29.9s | 3304 | 1500 | 1157 | $0.0009 |
| Nemotron Super 49B | Estruture campanha B2B de | media | 30.0s | 5625 | 1500 | 786 | $0.0012 |
| Nemotron Super 49B | Estruture campanha B2B de | no-wiki | 29.4s | 159 | 1500 | 928 | $0.0006 |
| Nemotron Super 49B | Honorarios sucumbenciais  | leve | 26.9s | 5542 | 1314 | 631 | $0.0011 |
| Nemotron Super 49B | Honorarios sucumbenciais  | media | 28.2s | 7611 | 1405 | 600 | $0.0013 |
| Nemotron Super 49B | Honorarios sucumbenciais  | no-wiki | 29.5s | 146 | 1500 | 1391 | $0.0006 |
| Nemotron Super 49B | Como peticionar embargos  | leve | 31.7s | 7642 | 1465 | 977 | $0.0014 |
| Nemotron Super 49B | Como peticionar embargos  | media | 48.0s | 16582 | 1500 | 669 | $0.0023 |
| Nemotron Super 49B | Como peticionar embargos  | no-wiki | 30.0s | 141 | 1500 | 972 | $0.0006 |
| Phi-4 14B | Qual a abordagem MIA para | leve | 15.7s | 4385 | 765 | 0 | $0.0004 |
| Phi-4 14B | Qual a abordagem MIA para | media | 9.8s | 9008 | 346 | 0 | $0.0006 |
| Phi-4 14B | Qual a abordagem MIA para | no-wiki | 7.8s | 131 | 635 | 0 | $0.0001 |
| Phi-4 14B | Em que momento MARIO deve | leve | 9.0s | 3925 | 718 | 0 | $0.0004 |
| Phi-4 14B | Em que momento MARIO deve | media | 13.7s | 7556 | 665 | 0 | $0.0006 |
| Phi-4 14B | Em que momento MARIO deve | no-wiki | 13.6s | 125 | 893 | 0 | $0.0001 |
| Phi-4 14B | Estruture campanha B2B de | leve | 12.1s | 3566 | 599 | 0 | $0.0003 |
| Phi-4 14B | Estruture campanha B2B de | media | 11.5s | 6130 | 619 | 0 | $0.0005 |
| Phi-4 14B | Estruture campanha B2B de | no-wiki | 11.6s | 151 | 958 | 0 | $0.0001 |
| Phi-4 14B | Honorarios sucumbenciais  | leve | 19.9s | 5812 | 629 | 0 | $0.0005 |
| Phi-4 14B | Honorarios sucumbenciais  | media | 12.4s | 7603 | 736 | 0 | $0.0006 |
| Phi-4 14B | Honorarios sucumbenciais  | no-wiki | 7.5s | 138 | 452 | 0 | $0.0001 |
| Phi-4 14B | Como peticionar embargos  | leve | 11.4s | 7640 | 814 | 0 | $0.0006 |
| Phi-4 14B | Como peticionar embargos  | media | 0.1s | ? | ? | 0 | ? |
| Phi-4 14B | Como peticionar embargos  | no-wiki | 19.3s | 133 | 1114 | 0 | $0.0002 |
| Qwen 3.5 122B A10B (MoE) | Qual a abordagem MIA para | leve | 34.8s | 3908 | 4264 | 2915 | $0.0099 |
| Qwen 3.5 122B A10B (MoE) | Qual a abordagem MIA para | media | 45.2s | 8023 | 3857 | 2379 | $0.0117 |
| Qwen 3.5 122B A10B (MoE) | Qual a abordagem MIA para | no-wiki | 40.7s | 115 | 3574 | 2977 | $0.0086 |
| Qwen 3.5 122B A10B (MoE) | Em que momento MARIO deve | leve | 12.8s | 3778 | 879 | 409 | $0.0032 |
| Qwen 3.5 122B A10B (MoE) | Em que momento MARIO deve | media | 14.8s | 6713 | 1078 | 373 | $0.0046 |
| Qwen 3.5 122B A10B (MoE) | Em que momento MARIO deve | no-wiki | 16.6s | 112 | 1626 | 1435 | $0.0039 |
| Qwen 3.5 122B A10B (MoE) | Estruture campanha B2B de | leve | 25.5s | 3149 | 2968 | 1462 | $0.0070 |
| Qwen 3.5 122B A10B (MoE) | Estruture campanha B2B de | media | 21.2s | 5423 | 1500 | 1424 | $0.0052 |
| Qwen 3.5 122B A10B (MoE) | Estruture campanha B2B de | no-wiki | 32.1s | 134 | 2773 | 1403 | $0.0067 |
| Qwen 3.5 122B A10B (MoE) | Honorarios sucumbenciais  | leve | 59.2s | 5194 | 5661 | 4504 | $0.0151 |
| Qwen 3.5 122B A10B (MoE) | Honorarios sucumbenciais  | media | 59.5s | 7245 | 6773 | 5917 | $0.0160 |
| Qwen 3.5 122B A10B (MoE) | Honorarios sucumbenciais  | no-wiki | 57.5s | 126 | 5438 | 4388 | $0.0131 |
| Qwen 3.5 122B A10B (MoE) | Como peticionar embargos  | leve | 33.0s | 7314 | 3212 | 2311 | $0.0099 |
| Qwen 3.5 122B A10B (MoE) | Como peticionar embargos  | media | 15.5s | 15582 | 1557 | 713 | $0.0073 |
| Qwen 3.5 122B A10B (MoE) | Como peticionar embargos  | no-wiki | 43.3s | 125 | 3215 | 2232 | $0.0078 |
| Qwen 3.6 27B | Qual a abordagem MIA para | leve | 30.1s | 3908 | 1500 | 1526 | $0.0061 |
| Qwen 3.6 27B | Qual a abordagem MIA para | media | 24.5s | 8023 | 1500 | 1483 | $0.0075 |
| Qwen 3.6 27B | Qual a abordagem MIA para | no-wiki | 22.4s | 115 | 1500 | 1616 | $0.0049 |
| Qwen 3.6 27B | Em que momento MARIO deve | leve | 28.6s | 357 | 1588 | 1190 | $0.0044 |
| Qwen 3.6 27B | Em que momento MARIO deve | media | 41.5s | 6713 | 2077 | 1441 | $0.0086 |
| Qwen 3.6 27B | Em que momento MARIO deve | no-wiki | 19.8s | 112 | 1500 | 1196 | $0.0049 |
| Qwen 3.6 27B | Estruture campanha B2B de | leve | 13.5s | 3149 | 1500 | 1497 | $0.0073 |
| Qwen 3.6 27B | Estruture campanha B2B de | media | 20.1s | 5423 | 1500 | 1603 | $0.0066 |
| Qwen 3.6 27B | Estruture campanha B2B de | no-wiki | 14.1s | 134 | 1500 | 1613 | $0.0055 |
| Qwen 3.6 27B | Honorarios sucumbenciais  | leve | 24.8s | 5194 | 1500 | 1193 | $0.0066 |
| Qwen 3.6 27B | Honorarios sucumbenciais  | media | 20.3s | 7245 | 1500 | 1245 | $0.0072 |
| Qwen 3.6 27B | Honorarios sucumbenciais  | no-wiki | 50.1s | 126 | 1500 | 1391 | $0.0048 |
| Qwen 3.6 27B | Como peticionar embargos  | leve | 33.2s | 7314 | 1500 | 1500 | $0.0067 |
| Qwen 3.6 27B | Como peticionar embargos  | media | 37.6s | 15582 | 1500 | 1500 | $0.0108 |
| Qwen 3.6 27B | Como peticionar embargos  | no-wiki | 29.1s | 125 | 1500 | 1451 | $0.0048 |

---

## §4 — Agregado por modelo

| Modelo | Tier | Calls | Lat p50 | Lat p95 | Lat min/max | Tok in tot | Tok out tot | Reasoning tot | Custo tot | $/call |
|---|---|---|---|---|---|---|---|---|---|---|
| Phi-4 14B | leve | 14 | 11.8s | 19.9s | 7.5/19.9s | 56,303 | 9,943 | 0 | $0.0051 | $0.0004 |
| Mistral Nemo 12B | leve | 15 | 30.0s | 66.4s | 7.0/66.4s | 68,831 | 7,150 | 0 | $0.0016 | $0.0001 |
| Gemma 3 27B IT | med | 15 | 30.2s | 83.2s | 11.3/83.2s | 68,544 | 15,030 | 0 | $0.0106 | $0.0007 |
| Mistral Small 3.2 24B | med | 0 | — | — | — | — | — | — | — | — |
| Llama 3.3 70B | forte | 15 | 26.2s | 92.4s | 9.8/92.4s | 70,344 | 10,116 | 0 | $0.0133 | $0.0009 |
| Qwen 3.6 27B | med | 0 | — | — | — | — | — | — | — | — |
| Nemotron Super 49B | forte | 15 | 29.4s | 48.0s | 20.3/48.0s | 70,351 | 20,377 | 12,120 | $0.0152 | $0.0010 |
| DeepSeek V3.1 (MoE) | moe | 15 | 63.4s | 122.3s | 25.6/122.3s | 68,819 | 16,132 | 0 | $0.0333 | $0.0022 |
| Qwen 3.5 122B A10B (MoE) | moe | 0 | — | — | — | — | — | — | — | — |
| Gemini Flash Lite (controle) | weak | 0 | — | — | — | — | — | — | — | — |
| GPT-5.4 Mini (controle) | med | 0 | — | — | — | — | — | — | — | — |

---

## §5 — Agregado por modo (todas as condições COM Wiki + controle)

| Modo | Calls | Lat p50 | Lat min/max | Custo total | $/call |
|---|---|---|---|---|---|
| Leve | 55 | 24.8s | 3.7/122.3s | $0.1555 | $0.0028 |
| Media | 54 | 20.6s | 4.2/102.3s | $0.1888 | $0.0035 |
| Sem Wiki (controle) | 55 | 20.3s | 3.3/68.1s | $0.1044 | $0.0019 |

---

## §6 — LLM-as-judge (DeepSeek v3.1, scores 1-5)

### Ranking por modelo (média das 4 dimensões em todas as 18-20 chamadas)

| Modelo | Tier | n | Especificidade | Precisão | Fidelidade | Profundidade | Média |
|---|---|---|---|---|---|---|---|
| DeepSeek V3.1 (MoE) | moe | 13 | 4.69 | 4.77 | 4.31 | 4.85 | **4.65** |
| Nemotron Super 49B | forte | 10 | 4.20 | 3.90 | 3.60 | 3.90 | **3.90** |
| Gemma 3 27B IT | med | 5 | 3.60 | 2.80 | 2.40 | 3.20 | **3.00** |
| Llama 3.3 70B | forte | 11 | 2.64 | 2.91 | 2.09 | 2.82 | **2.61** |
| Phi-4 14B | leve | 10 | 2.60 | 2.10 | 1.80 | 2.50 | **2.25** |
| Mistral Nemo 12B | leve | 10 | 2.20 | 1.40 | 1.30 | 2.20 | **1.78** |

---

## §7 — Wiki ON vs OFF (impacto da retrieval na qualidade)

Para cada modelo, comparei média das 4 dimensões entre chamadas COM Wiki (15) e SEM Wiki (5).

| Modelo | Com Wiki | Sem Wiki | Δ | Ganho % |
|---|---|---|---|---|
| Phi-4 14B | 1.96 | 2.69 | -0.73 | -27.1% |
| Mistral Nemo 12B | 1.82 | 1.67 | +0.15 | +9.3% |
| Gemma 3 27B IT | 3.00 | 3.00 | +0.00 | +0.0% |
| Llama 3.3 70B | 2.62 | 2.58 | +0.04 | +1.6% |
| Nemotron Super 49B | 4.18 | 3.25 | +0.93 | +28.6% |
| DeepSeek V3.1 (MoE) | 4.72 | 4.55 | +0.17 | +3.7% |

---

## §8 — LLM-as-judge por modo

| Modo | n | Especificidade | Precisão | Fidelidade | Profundidade | Média |
|---|---|---|---|---|---|---|
| Leve | 37 | 3.51 | 3.46 | 3.08 | 3.68 | **3.43** |
| Media | 33 | 3.82 | 3.58 | 3.18 | 3.64 | **3.55** |
| Sem Wiki (controle) | 31 | 3.52 | 3.10 | 2.71 | 3.58 | **3.23** |

---

## §9 — Custo × benefício (top 3 por critério)


**Mais barato:**
- Mistral Nemo 12B: $0.0016 total
- Phi-4 14B: $0.0051 total
- Gemma 3 27B IT: $0.0106 total

**Maior qualidade (judge avg):**
- DeepSeek V3.1 (MoE) (moe): 4.65/5
- Nemotron Super 49B (forte): 3.90/5
- Gemma 3 27B IT (med): 3.00/5

**Melhor custo-benefício (qualidade / $):**
- Mistral Nemo 12B: quality=1.78, cost=$0.0016, ratio=1101.5
- Phi-4 14B: quality=2.25, cost=$0.0051, ratio=436.9
- Gemma 3 27B IT: quality=3.00, cost=$0.0106, ratio=282.6

---

## §10 — KPIs propostos pra monitoramento contínuo

1. **Wiki Lift Index** = média Δquality(com_wiki − sem_wiki). Mede o quanto a Wiki melhora vs LLM cru.
2. **Mode Discrimination** = std(quality) por (query × modo). Modos diferentes devem dar respostas diferentes.
3. **Cost per Quality Point** = $/avg_score. Pro deploy: máximo aceitável.
4. **Profundidade Gain** = profundidade(profunda) − profundidade(leve). F5 deve adicionar valor.
5. **Reasoning Token Overhead** = reasoning_tokens / completion_tokens. Quanto o modelo "pensa internamente".
6. **Hallucination Heuristic** = 5 − fidelidade. >2 = invenção suspeita.
7. **Latência p95 por tier**: <3s weak / <10s med / <30s top.
8. **Cost Stability** = max(cost_diff_estimado − real). Drift do pricing.

---

## §11 — Conclusões executivas

- **Custo real:** $0.4488 para 180 chamadas + $0.0540 judge = **$0.5028 total**.
- **Latência:** weak models ~3-5s, med ~5-15s, top ~15-30s (reasoning models inflam latência).
- **Wiki ON vs OFF:** ver tabela §7 para Δ por modelo. Modelos que mais aproveitam Wiki = priorizar.
- **Modos:** Profunda traz +X% qualidade vs Leve (ver §8). Vale o custo extra?

---
*Dados brutos: `.gstack/qa-reports/wiki-benchmark-results.json` (1.7MB) + `wiki-benchmark-judged.json`*