[Pular para o conteúdo](https://academy.innguma.com/pt-br/metodo-governanca-e-une-166006/avaliar-e-melhorar-sem-cair-em-metricas-de-vaidade/#contenido)

Aula 4.4 · Trilha 04

# Avaliar e melhorar sem cair em métricas de vaidade

Como sabemos se o sistema de inteligência funciona e o que deveríamos mudar?

**Você leva** quadro de revisão mensal + registro de ações corretivas.

≈ 30 min · Intermediário

[Fazer a prática](https://academy.innguma.com/pt-br/metodo-governanca-e-une-166006/avaliar-e-melhorar-sem-cair-em-metricas-de-vaidade/#hazlo-tu-revision-de-rendimiento-20-minutos)[Exercício](https://academy.innguma.com/pt-br/metodo-governanca-e-une-166006/avaliar-e-melhorar-sem-cair-em-metricas-de-vaidade/#compruebalo)[Ler a aula](https://academy.innguma.com/pt-br/metodo-governanca-e-une-166006/avaliar-e-melhorar-sem-cair-em-metricas-de-vaidade/#medir-actividad-no-demuestra-valor)

Em 1 minuto

se um indicador não ajuda a decidir o que manter ou modificar, provavelmente é uma estatística, não uma ferramenta de governança.

## Medir atividade não demonstra valor

«Publicamos 300 alertas» é uma medida de produção, não necessariamente de inteligência. Uma função bem projetada precisa de uma combinação de indicadores **operacionais, de qualidade, de uso e de aprendizado**. Nenhum deve ser apresentado como prova absoluta de impacto estratégico.

| Dimensão | Pergunta | Indicador orientativo | Precaução |
| --- | --- | --- | --- |
| Operação | Monitoramos o que estava previsto? | % de verificações realizadas sobre as planejadas | Não mede a relevância das fontes |
| Cobertura | Conhecemos os pontos cegos? | Fontes críticas com estado revisado e lacunas declaradas | Não equivale a cobertura total |
| Qualidade | Classificamos adequadamente? | Erros detectados em amostra revisada, incluindo falsos negativos | Depende da amostra e dos critérios |
| Oportunidade | Chegamos quando ainda serve? | Tempo da detecção até a difusão relevante | Velocidade sem verificação também é um risco |
| Uso | O destinatário aproveita? | Produtos consultados e feedback documentado | Ler não equivale a decidir |
| Aprendizado | Mudamos o sistema depois de encontrar falhas? | Ações corretivas verificadas e encerradas | Encerrar tarefas não comprova eficácia |

Não recomendamos converter estas métricas em um índice universal de «qualidade da inteligência»: os objetivos de monitoramento, a criticidade dos riscos e as capacidades disponíveis variam consideravelmente.

Interativo · Relacione

### Que dimensão cada indicador mede?

Relacione cada indicador com sua dimensão.

Atividade: relacione cada indicador com sua dimensão (operação, cobertura, qualidade, oportunidade, uso ou aprendizado).

## A lógica da melhoria contínua

Uma revisão útil segue esta sequência: **observação do desempenho → problema concreto → causa provável → mudança proposta → responsável e prazo → verificação posterior**. Por exemplo, se uma notícia relevante ficou de fora por causa de um filtro, não basta ampliar as palavras-chave: é preciso revisar o critério, testar casos equivalentes, medir o aumento do ruído e verificar se isso também afeta outras fontes.

A IA pode ajudar a agrupar incidências, propor hipóteses de causa e redigir ações; não deveria autoavaliar, sem confronto, a confiabilidade de suas próprias conclusões.

Interativo · Explore passo a passo

### A sequência de melhoria, com um caso

Percorra os seis passos com o exemplo do filtro que deixou de fora uma notícia relevante.

A sequência de melhoria contínua em seis passos com um exemplo.

Caso Empresa A · simulação

Caso fictício

## Caso Empresa A: a métrica errada

A equipe comemora ter dobrado o número de notícias recebidas. No entanto, o briefing continua chegando depois das reuniões de investimento e omite informação oficial sobre um programa piloto. A revisão revela dois problemas distintos: o produto está mal sincronizado com a direção e a cobertura oficial é insuficiente. Mudam-se a data de entrega e o mapa de fontes antes de incorporar novos alertas.

Simulação educativa: informações e organizações fictícias.

Faça você mesmo

## Faça você mesmo · Revisão de desempenho (20 minutos)

Crie um quadro com uma métrica de cada dimensão, responsável e frequência de revisão. Depois escreva uma decisão de melhoria que você tomaria se o indicador piorasse durante dois ciclos. Assinale explicitamente o que você NÃO pode concluir com esse dado.

**Entregável:** quadro de revisão mensal + registro de ações corretivas.

**Erros habituais:** selecionar métricas só porque a ferramenta as mostra; premiar volume; não analisar a informação omitida; medir satisfação em vez de uso; declarar sucesso sem linha de base.

**Ideia para levar:** se um indicador não ajuda a decidir o que manter ou modificar, provavelmente é uma estatística, não uma ferramenta de governança.

R16 · Melhoria 

### Avaliação de maturidade e plano de 90 dias

Identificar melhorias verificáveis e atribuir a elas um ciclo curto.

[Ver o modelo →](https://academy.innguma.com/pt-br/biblioteca/avaliacao-de-maturidade-e-plano-de-90-dias/)

R04 · Qualidade 

### Teste de consultas e filtros

Verificar omissões e falsos positivos antes de ativar regras.

[Ver o modelo →](https://academy.innguma.com/pt-br/biblioteca/teste-de-consultas-e-filtros/)

Confira · resposta fechada

## Interprete as métricas

Descreva a mudança observada sem convertê-la em impacto causal.

1.  Verificações: de 18/20 para 19/20.
    
    **Ver a resposta**
    
    **Resposta: Mudança observada, sem prova causal.** É uma mudança observada. Para atribuí-la a uma intervenção seria preciso um teste com definições estáveis.
    
2.  Alertas considerados úteis: de 2/4 para 3/5.
    
    **Ver a resposta**
    
    **Resposta: Mudança observada, sem prova causal.** As amostras são pequenas e diferentes: descreva a mudança e que casos tinha cada amostra.
    
3.  Erros detectados: de 3/10 para 1/10.
    
    **Ver a resposta**
    
    **Resposta: Mudança observada, sem prova causal.** Distinga quais fontes foram omitidas; não conclua uma melhoria de precisão global.
    

Proponha um teste no próximo ciclo com definições estáveis, amostra pré-fixada e retorno do destinatário.

### E agora, a sua própria resposta

Esta parte exige julgamento profissional: não há correção automática. Complete o seu trabalho na prática, avalie-o com a rubrica da aula e compare-o com a solução orientativa.

O que a sua resposta deve incluir

-   Uma métrica por dimensão, com responsável e frequência.
-   Uma decisão de melhoria se o indicador piorar durante dois ciclos.
-   O que você NÃO pode concluir com cada dado.

Rubrica de autoavaliação (0–2 por critério)

Não é nota de certificação profissional nem critério normativo UNE.

Relação com a decisão

Procedência e limites

Continuidade e autoridade

Produto e destinatário

Verificação da melhoria

**Solução orientativa**

Descreva as mudanças observadas sem convertê-las em impacto causal; distinga quais fontes foram omitidas e que casos tinha cada amostra. Proponha um teste no próximo ciclo com definições estáveis, amostra pré-fixada e retorno do destinatário. Erro reprovador: afirmar que se comprovou uma melhoria empresarial ou de precisão global com estes dados de simulação.

Solução ilustrativa de um caso fictício: admite alternativas fundamentadas.

**Ampliação opcional Ampliação · Medir com denominadores e decisões**

Cada indicador deve ser declarado como uma ficha com **definição, numerador, denominador, período, fonte do dado, responsável, limiar orientativo e decisão associada**. Sem denominador, «14 incidências» pode indicar deterioração ou simplesmente um aumento de controles. Um percentual não é evidência sólida se não conhecemos sua base de comparação.

### Exemplo · Empresa A · Dados totalmente fictícios

| Indicador | Período 1 | Período 2 | Leitura prudente |
| --- | --- | --- | --- |
| Verificações críticas realizadas / previstas | 18/20 | 19/20 | Pequena melhoria operacional; investigar que duas e uma verificações foram omitidas |
| Alertas considerados úteis / alertas comentados pelo destinatário | 2/4 | 3/5 | Não extrapolar: amostras diferentes, poucos comentários |
| Erros relevantes encontrados em amostra de 10 registros | 3/10 | 1/10 | Sinal positivo, mas amostra mínima e possíveis diferenças de dificuldade |
| Ações cuja eficácia foi verificada / ações encerradas | 0/2 | 1/3 | Encerrar ações não equivale a corrigir a causa |

A forma como a conclusão é redigida importa. É legítimo dizer «a equipe registrou mais verificações realizadas e menos erros nesta amostra». É ilegítimo dizer «a inteligência melhorou 67 %» ou atribuir um investimento bem-sucedido a estes números sem evidência sobre outras causas.

### Distinguir três níveis de contribuição

1.  **Atividade:** o briefing foi produzido no prazo.
2.  **Uso:** o destinatário o leu, pediu esclarecimento e o incorporou a uma deliberação.
3.  **Influência plausível:** a decisão deixou registro de uma hipótese ou risco procedente do produto e do que mudou.

Não converta «influência plausível» em causalidade demonstrada. Documente limitações, desacordos e casos em que a recomendação não foi seguida: podem trazer mais aprendizado do que uma coleção de depoimentos positivos.

### Ampliação opcional · Dois ciclos e uma decisão

Redija uma ficha de um indicador de cobertura e outra de uso. Registre o denominador e construa duas explicações alternativas para uma melhoria aparente. Depois projete um teste que permita distingui-las. No caso fictício de 19/20 verificações, a única fonte decisiva ficou de fora? Se sim, o percentual agregado oculta um risco crítico. **Entrega:** ficha de métricas, hipóteses rivais e decisão de melhoria com data de teste. Leve os achados ao R16, sem converter o sistema em um ranking de pessoas.

## Referências e limites

-   UNE · Asociación Española de Normalización. *UNE 166006:2018. Gestión de la I+D+i: Sistema de vigilancia e inteligencia* (2018). [Documento](https://www.une.org/encuentra-tu-norma/busca-tu-norma/norma?c=N0059973) Marco de referência dos sistemas de vigilância e inteligência. É citada apenas como contexto, nunca como fonte de requisitos. Referência consultada em 2026-10-18.

-   A Empresa A é um caso fictício: seus dados, empresas e números não descrevem mercados nem organizações reais.
-   As cinco dimensões e a escala 0–3 são uma rubrica pedagógica da Academy: não reproduzem cláusulas da UNE 166006, não substituem uma auditoria e não permitem declarar conformidade.

Biblioteca · R16

## Avaliação de maturidade e plano de 90 dias

Vai aplicar? Baixe o modelo R16 · Avaliação de maturidade e plano de 90 dias e preencha com o seu caso.

- [Baixar R16 (Excel)](https://academy.innguma.com/pt-br/biblioteca/descargas/R16-avaliacao-de-maturidade-e-plano-de-90-dias.xlsx)
- [Voltar à trilha](https://academy.innguma.com/pt-br/metodo-governanca-e-une-166006/)

**Leve** 

-   [R16 · Avaliação de maturidade e plano de 90 dias](https://academy.innguma.com/pt-br/biblioteca/avaliacao-de-maturidade-e-plano-de-90-dias/)
-   [R04 · Teste de consultas e filtros](https://academy.innguma.com/pt-br/biblioteca/teste-de-consultas-e-filtros/)

Leitura aberta, sem cadastro.