Medir actividad no demuestra valor
«Publicamos 300 alertas» es una medida de producción, no necesariamente de inteligencia. Una función bien diseñada necesita una combinación de indicadores operativos, de calidad, de uso y de aprendizaje. Ninguno debe presentarse como prueba absoluta de impacto estratégico.
| Dimensión | Pregunta | Indicador orientativo | Precaución |
|---|---|---|---|
| Operación | ¿Vigilamos lo previsto? | % de comprobaciones realizadas sobre las planificadas | No mide relevancia de fuentes |
| Cobertura | ¿Conocemos puntos ciegos? | Fuentes críticas con estado revisado y lagunas declaradas | No equivale a cobertura total |
| Calidad | ¿Clasificamos adecuadamente? | Errores detectados en muestra revisada, incluidos falsos negativos | Depende de muestra y criterios |
| Oportunidad | ¿Llegamos cuando todavía sirve? | Tiempo desde detección hasta difusión relevante | Velocidad sin verificación también es un riesgo |
| Uso | ¿El destinatario lo aprovecha? | Productos consultados y feedback documentado | Leer no equivale a decidir |
| Aprendizaje | ¿Cambiamos el sistema tras encontrar fallos? | Acciones correctivas verificadas y cerradas | Cerrar tareas no acredita eficacia |
No recomendamos convertir estas métricas en un índice universal de «calidad de inteligencia»: los objetivos de vigilancia, la criticidad de los riesgos y las capacidades disponibles varían considerablemente.
Interactivo · Relaciona
¿Qué dimensión mide cada indicador?
Relaciona cada indicador con su dimensión.
Actividad: relaciona cada indicador con su dimensión (operación, cobertura, calidad, oportunidad, uso o aprendizaje).
La lógica de mejora continua
Una revisión útil sigue esta secuencia: observación del desempeño → problema concreto → causa probable → cambio propuesto → responsable y plazo → comprobación posterior. Por ejemplo, si una noticia relevante quedó fuera por un filtro, no basta con ampliar palabras clave: hay que revisar el criterio, probar casos equivalentes, medir el aumento del ruido y comprobar si también afecta a otras fuentes.
La IA puede ayudar a agrupar incidencias, proponer hipótesis de causa y redactar acciones; no debería autoevaluar sin contraste la fiabilidad de sus propias conclusiones.
Interactivo · Explora paso a paso
La secuencia de mejora, con un caso
Recorre los seis pasos con el ejemplo del filtro que dejó fuera una noticia relevante.
La secuencia de mejora continua en seis pasos con un ejemplo.
1. Observación
Se observa el desempeño del sistema.
2. Problema concreto
Se formula el fallo de forma precisa.
3. Causa probable
Se plantea por qué ocurrió.
4. Cambio propuesto
No basta con ampliar palabras clave: hay que revisar el criterio.
5. Responsable y plazo
Alguien concreto, con fecha.
6. Comprobación posterior
Verificar que el cambio funcionó y no rompió otra cosa.
Caso Empresa A · simulación
Caso ficticioCaso Empresa A: la métrica equivocada
El equipo celebra haber duplicado el número de noticias recibidas. Sin embargo, el briefing sigue llegando después de las reuniones de inversión y omite información oficial sobre un programa piloto. La revisión revela dos problemas distintos: el producto está mal sincronizado con dirección y la cobertura oficial es insuficiente. Se cambian la fecha de entrega y el mapa de fuentes antes de incorporar nuevas alertas.
Simulación educativa: información y organizaciones ficticias.
Hazlo tú
Hazlo tú · Revisión de rendimiento (20 minutos)
Crea un cuadro con una métrica de cada dimensión, responsable y frecuencia de revisión. Después escribe una decisión de mejora que tomarías si el indicador empeora durante dos ciclos. Señala explícitamente qué NO puedes concluir con ese dato.
Entregable: cuadro de revisión mensual + registro de acciones correctivas.
Errores habituales: seleccionar métricas solo porque la herramienta las muestra; premiar volumen; no analizar información omitida; medir satisfacción en lugar de uso; declarar éxito sin línea de base.
Idea para recordar: si un indicador no ayuda a decidir qué mantener o modificar, probablemente es una estadística, no una herramienta de gobierno.
Evaluación de madurez y plan de 90 días
Identificar mejoras verificables y asignarles un ciclo corto.
Ver la plantilla →Prueba de consultas y filtros
Comprobar omisiones y falsos positivos antes de activar reglas.
Ver la plantilla →Compruébalo · respuesta cerrada
Interpreta las métricas
Describe el cambio observado sin convertirlo en impacto causal.
Comprobaciones: de 18/20 a 19/20.
Ver la respuesta
Respuesta: Cambio observado, sin prueba causal. Es un cambio observado. Para atribuirlo a una intervención haría falta una prueba con definiciones estables.
Alertas consideradas útiles: de 2/4 a 3/5.
Ver la respuesta
Respuesta: Cambio observado, sin prueba causal. Las muestras son pequeñas y distintas: describe el cambio y qué casos tenía cada muestra.
Errores detectados: de 3/10 a 1/10.
Ver la respuesta
Respuesta: Cambio observado, sin prueba causal. Distingue qué fuentes se omitieron; no concluyas una mejora de precisión global.
Y ahora, tu propia respuesta
Esta parte necesita juicio profesional: no hay corrección automática. Completa tu trabajo en la práctica, valóralo con la rúbrica de la lección y compáralo con la solución orientativa.
Qué debe incluir tu respuesta
- Una métrica por dimensión, con responsable y frecuencia.
- Una decisión de mejora si el indicador empeora durante dos ciclos.
- Qué NO puedes concluir con cada dato.
Solución orientativa
Describe los cambios observados sin convertirlos en impacto causal; distingue qué fuentes se omitieron y qué casos tenía cada muestra. Propón una prueba en el siguiente ciclo con definiciones estables, muestra prefijada y devolución del destinatario. Error que suspende: afirmar que se ha probado una mejora empresarial o de precisión global con estos datos de simulación.
Solución ilustrativa de un caso ficticio: admite alternativas razonadas.
Ampliación opcionalProfundización · Medir con denominadores y decisiones
Cada indicador debe declararse como una ficha con definición, numerador, denominador, periodo, fuente del dato, responsable, umbral orientativo y decisión asociada. Sin denominador, «14 incidencias» puede indicar deterioro o simplemente un aumento de controles. Un porcentaje no es evidencia sólida si no conocemos su base de comparación.
Ejemplo · Empresa A · Datos totalmente ficticios
| Indicador | Periodo 1 | Periodo 2 | Lectura prudente |
|---|---|---|---|
| Comprobaciones críticas realizadas / previstas | 18/20 | 19/20 | Mejora operativa pequeña; investigar qué dos y una comprobación se omitieron |
| Alertas consideradas útiles / alertas comentadas por destinatario | 2/4 | 3/5 | No extrapolar: muestras distintas, pocos comentarios |
| Errores relevantes hallados en muestra de 10 registros | 3/10 | 1/10 | Señal positiva, pero muestra mínima y posibles diferencias en dificultad |
| Acciones cuya eficacia se comprobó / acciones cerradas | 0/2 | 1/3 | Cerrar acciones no equivale a corregir la causa |
La forma en que se redacta la conclusión importa. Es legítimo decir «el equipo ha registrado más comprobaciones realizadas y menos errores en esta muestra». Es ilegítimo decir «la inteligencia mejoró un 67 %» o atribuir una inversión exitosa a estas cifras sin evidencia sobre otras causas.
Distinguir tres niveles de contribución
- Actividad: se produjo el briefing a tiempo.
- Uso: el destinatario lo leyó, pidió aclaración y lo incorporó a una deliberación.
- Influencia plausible: la decisión dejó constancia de una hipótesis o riesgo procedente del producto y de qué cambió.
No convertir «influencia plausible» en causalidad demostrada. Documenta limitaciones, desacuerdos y casos donde la recomendación no se siguió: pueden aportar más aprendizaje que una colección de testimonios positivos.
Ampliación opcional · Dos ciclos y una decisión
Redacta una ficha de un indicador de cobertura y otra de uso. Registra el denominador y construye dos explicaciones alternativas para una mejora aparente. Después diseña una prueba que permita distinguirlas. En el caso ficticio de 19/20 comprobaciones, ¿quedó fuera la única fuente decisiva? Si es así, el porcentaje agregado oculta un riesgo crítico. Entrega: ficha de métricas, hipótesis rivales y decisión de mejora con fecha de prueba. Lleva los hallazgos a R16, sin convertir el sistema en un ranking de personas.
Referencias y límites
- UNE · Asociación Española de Normalización. UNE 166006:2018. Gestión de la I+D+i: Sistema de vigilancia e inteligencia (2018). DocumentoMarco de referencia de los sistemas de vigilancia e inteligencia. Solo se cita como contexto, nunca como fuente de requisitos.Referencia consultada el 2026-10-18.
- Empresa A es un caso ficticio: sus datos, empresas y cifras no describen mercados ni organizaciones reales.
- Las cinco dimensiones y la escala 0–3 son una rúbrica pedagógica de Academy: no reproducen cláusulas de UNE 166006, no sustituyen una auditoría y no permiten declarar conformidad.
Biblioteca · R16
Evaluación de madurez y plan de 90 días
¿Lo aplicas? Descarga la plantilla R16 · Evaluación de madurez y plan de 90 días y complétala con tu caso.