Medir atividade não demonstra valor
«Publicamos 300 alertas» é uma medida de produção, não necessariamente de inteligência. Uma função bem projetada precisa de uma combinação de indicadores operacionais, de qualidade, de uso e de aprendizado. Nenhum deve ser apresentado como prova absoluta de impacto estratégico.
| Dimensão | Pergunta | Indicador orientativo | Precaução |
|---|---|---|---|
| Operação | Monitoramos o que estava previsto? | % de verificações realizadas sobre as planejadas | Não mede a relevância das fontes |
| Cobertura | Conhecemos os pontos cegos? | Fontes críticas com estado revisado e lacunas declaradas | Não equivale a cobertura total |
| Qualidade | Classificamos adequadamente? | Erros detectados em amostra revisada, incluindo falsos negativos | Depende da amostra e dos critérios |
| Oportunidade | Chegamos quando ainda serve? | Tempo da detecção até a difusão relevante | Velocidade sem verificação também é um risco |
| Uso | O destinatário aproveita? | Produtos consultados e feedback documentado | Ler não equivale a decidir |
| Aprendizado | Mudamos o sistema depois de encontrar falhas? | Ações corretivas verificadas e encerradas | Encerrar tarefas não comprova eficácia |
Não recomendamos converter estas métricas em um índice universal de «qualidade da inteligência»: os objetivos de monitoramento, a criticidade dos riscos e as capacidades disponíveis variam consideravelmente.
Interativo · Relacione
Que dimensão cada indicador mede?
Relacione cada indicador com sua dimensão.
Atividade: relacione cada indicador com sua dimensão (operação, cobertura, qualidade, oportunidade, uso ou aprendizado).
A lógica da melhoria contínua
Uma revisão útil segue esta sequência: observação do desempenho → problema concreto → causa provável → mudança proposta → responsável e prazo → verificação posterior. Por exemplo, se uma notícia relevante ficou de fora por causa de um filtro, não basta ampliar as palavras-chave: é preciso revisar o critério, testar casos equivalentes, medir o aumento do ruído e verificar se isso também afeta outras fontes.
A IA pode ajudar a agrupar incidências, propor hipóteses de causa e redigir ações; não deveria autoavaliar, sem confronto, a confiabilidade de suas próprias conclusões.
Interativo · Explore passo a passo
A sequência de melhoria, com um caso
Percorra os seis passos com o exemplo do filtro que deixou de fora uma notícia relevante.
A sequência de melhoria contínua em seis passos com um exemplo.
1. Observação
Observa-se o desempenho do sistema.
2. Problema concreto
A falha é formulada de forma precisa.
3. Causa provável
Levanta-se por que ocorreu.
4. Mudança proposta
Não basta ampliar palavras-chave: é preciso revisar o critério.
5. Responsável e prazo
Alguém concreto, com data.
6. Verificação posterior
Verificar que a mudança funcionou e não quebrou outra coisa.
Caso Empresa A · simulação
Caso fictícioCaso Empresa A: a métrica errada
A equipe comemora ter dobrado o número de notícias recebidas. No entanto, o briefing continua chegando depois das reuniões de investimento e omite informação oficial sobre um programa piloto. A revisão revela dois problemas distintos: o produto está mal sincronizado com a direção e a cobertura oficial é insuficiente. Mudam-se a data de entrega e o mapa de fontes antes de incorporar novos alertas.
Simulação educativa: informações e organizações fictícias.
Faça você mesmo
Faça você mesmo · Revisão de desempenho (20 minutos)
Crie um quadro com uma métrica de cada dimensão, responsável e frequência de revisão. Depois escreva uma decisão de melhoria que você tomaria se o indicador piorasse durante dois ciclos. Assinale explicitamente o que você NÃO pode concluir com esse dado.
Entregável: quadro de revisão mensal + registro de ações corretivas.
Erros habituais: selecionar métricas só porque a ferramenta as mostra; premiar volume; não analisar a informação omitida; medir satisfação em vez de uso; declarar sucesso sem linha de base.
Ideia para levar: se um indicador não ajuda a decidir o que manter ou modificar, provavelmente é uma estatística, não uma ferramenta de governança.
Avaliação de maturidade e plano de 90 dias
Identificar melhorias verificáveis e atribuir a elas um ciclo curto.
Ver o modelo →Teste de consultas e filtros
Verificar omissões e falsos positivos antes de ativar regras.
Ver o modelo →Confira · resposta fechada
Interprete as métricas
Descreva a mudança observada sem convertê-la em impacto causal.
Verificações: de 18/20 para 19/20.
Ver a resposta
Resposta: Mudança observada, sem prova causal. É uma mudança observada. Para atribuí-la a uma intervenção seria preciso um teste com definições estáveis.
Alertas considerados úteis: de 2/4 para 3/5.
Ver a resposta
Resposta: Mudança observada, sem prova causal. As amostras são pequenas e diferentes: descreva a mudança e que casos tinha cada amostra.
Erros detectados: de 3/10 para 1/10.
Ver a resposta
Resposta: Mudança observada, sem prova causal. Distinga quais fontes foram omitidas; não conclua uma melhoria de precisão global.
E agora, a sua própria resposta
Esta parte exige julgamento profissional: não há correção automática. Complete o seu trabalho na prática, avalie-o com a rubrica da aula e compare-o com a solução orientativa.
O que a sua resposta deve incluir
- Uma métrica por dimensão, com responsável e frequência.
- Uma decisão de melhoria se o indicador piorar durante dois ciclos.
- O que você NÃO pode concluir com cada dado.
Solução orientativa
Descreva as mudanças observadas sem convertê-las em impacto causal; distinga quais fontes foram omitidas e que casos tinha cada amostra. Proponha um teste no próximo ciclo com definições estáveis, amostra pré-fixada e retorno do destinatário. Erro reprovador: afirmar que se comprovou uma melhoria empresarial ou de precisão global com estes dados de simulação.
Solução ilustrativa de um caso fictício: admite alternativas fundamentadas.
Ampliação opcionalAmpliação · Medir com denominadores e decisões
Cada indicador deve ser declarado como uma ficha com definição, numerador, denominador, período, fonte do dado, responsável, limiar orientativo e decisão associada. Sem denominador, «14 incidências» pode indicar deterioração ou simplesmente um aumento de controles. Um percentual não é evidência sólida se não conhecemos sua base de comparação.
Exemplo · Empresa A · Dados totalmente fictícios
| Indicador | Período 1 | Período 2 | Leitura prudente |
|---|---|---|---|
| Verificações críticas realizadas / previstas | 18/20 | 19/20 | Pequena melhoria operacional; investigar que duas e uma verificações foram omitidas |
| Alertas considerados úteis / alertas comentados pelo destinatário | 2/4 | 3/5 | Não extrapolar: amostras diferentes, poucos comentários |
| Erros relevantes encontrados em amostra de 10 registros | 3/10 | 1/10 | Sinal positivo, mas amostra mínima e possíveis diferenças de dificuldade |
| Ações cuja eficácia foi verificada / ações encerradas | 0/2 | 1/3 | Encerrar ações não equivale a corrigir a causa |
A forma como a conclusão é redigida importa. É legítimo dizer «a equipe registrou mais verificações realizadas e menos erros nesta amostra». É ilegítimo dizer «a inteligência melhorou 67 %» ou atribuir um investimento bem-sucedido a estes números sem evidência sobre outras causas.
Distinguir três níveis de contribuição
- Atividade: o briefing foi produzido no prazo.
- Uso: o destinatário o leu, pediu esclarecimento e o incorporou a uma deliberação.
- Influência plausível: a decisão deixou registro de uma hipótese ou risco procedente do produto e do que mudou.
Não converta «influência plausível» em causalidade demonstrada. Documente limitações, desacordos e casos em que a recomendação não foi seguida: podem trazer mais aprendizado do que uma coleção de depoimentos positivos.
Ampliação opcional · Dois ciclos e uma decisão
Redija uma ficha de um indicador de cobertura e outra de uso. Registre o denominador e construa duas explicações alternativas para uma melhoria aparente. Depois projete um teste que permita distingui-las. No caso fictício de 19/20 verificações, a única fonte decisiva ficou de fora? Se sim, o percentual agregado oculta um risco crítico. Entrega: ficha de métricas, hipóteses rivais e decisão de melhoria com data de teste. Leve os achados ao R16, sem converter o sistema em um ranking de pessoas.
Referências e limites
- UNE · Asociación Española de Normalización. UNE 166006:2018. Gestión de la I+D+i: Sistema de vigilancia e inteligencia (2018). DocumentoMarco de referência dos sistemas de vigilância e inteligência. É citada apenas como contexto, nunca como fonte de requisitos.Referência consultada em 2026-10-18.
- A Empresa A é um caso fictício: seus dados, empresas e números não descrevem mercados nem organizações reais.
- As cinco dimensões e a escala 0–3 são uma rubrica pedagógica da Academy: não reproduzem cláusulas da UNE 166006, não substituem uma auditoria e não permitem declarar conformidade.
Biblioteca · R16
Avaliação de maturidade e plano de 90 dias
Vai aplicar? Baixe o modelo R16 · Avaliação de maturidade e plano de 90 dias e preencha com o seu caso.