Comprende y combate el exceso de alertas

Alertas perdidas o pasadas por alto

Como en el ejemplo anterior del desafortunado adolescente hospitalizado, el mayor riesgo del exceso de alertas es que estas se pierdan o se ignoren. Cuando un sistema de alerta ha dado la voz de alarma demasiadas veces o no diferencia las alertas peligrosas (como una dosis un 3800 % superior a la adecuada) de las que tienen menor importancia (como una dosis un 0,1 % superior a la adecuada), los trabajadores se condicionan a prestar menos atención a esas alertas.

En los equipos de DevOps y operaciones de TI, esto puede aumentar los incidentes y tener graves consecuencias en los ingresos, los costes y la reputación de la marca.

Tiempos de respuesta lentos

El exceso de alertas también afecta a los tiempos de respuesta. Aunque las alertas no se pierdan o se pasen por alto constantemente, puede que sí se haga de manera eventual. Al fin y al cabo, si las últimas 10 alertas que llegaron eran falsas alarmas, ¿es igual de probable que un empleado de guardia interrumpa su cena o se despierte por la undécima alerta que por la primera? ¿O estaría justificado que primero terminara de cenar?

Agotamiento

Las alertas constantes, las interrupciones del sueño y las bandejas de entrada llenas son la combinación perfecta para el agotamiento de los empleados y pueden provocar una mayor rotación de personal, una menor satisfacción laboral y una disminución de la productividad.

Cómo evitar el exceso de alertas

El exceso de alertas es un verdadero problema en diversos sectores y tiene consecuencias nefastas. Entonces, ¿cómo se puede evitar que se pasen por alto las alertas, se ralenticen los tiempos de respuesta y se agoten los empleados? Los expertos señalan los propios procesos y políticas de las alertas como el camino que se debe seguir.

Define umbrales inteligentes

Una forma de evitar que las alertas saturen a los profesionales de guardia es definir unos umbrales inteligentes. La pregunta clave aquí es: ¿todas las alertas requieren atención inmediata? ¿Todas las alertas son iguales? ¿Qué incidencias necesitan una alerta inmediata y cuáles se pueden tratar durante el horario normal de trabajo?

La respuesta estriba siempre en encontrar el equilibrio. Porque muy pocas alertas pueden significar que se pasan por alto algunos incidentes, pero demasiadas también pueden provocar que estos se pierdan debido al exceso de alertas.

Encontrar el equilibrio es difícil para cualquier empresa tecnológica, pero si no se intenta, los sistemas suelen pecar de exceso de alertas y crean situaciones como la que desembocó en una dosis un 3800 % superior a la adecuada.

El sector aeronáutico parece estar a la cabeza en la lucha contra el exceso de alertas y, en parte, se debe a que han fijado unos umbrales altos. El ordenador puede llevar un seguimiento de más de 10 000 puntos de datos, pero el porcentaje de vuelos con alguna alerta, incluso las de menor importancia, es inferior al 10 %.

Como señala el capitán Chesley “Sully” Sullenberger en un artículo del blog Backchannel de Medium:

“En las cabinas, ahora los avisos se ordenan según su prioridad para eludir el exceso de alarmas... Nos esforzamos mucho para evitar los falsos positivos porque son de lo más perjudicial que puede haber en un sistema de alerta. Esto hace que la gente no los tenga en cuenta”.

Establece prioridades de alerta por niveles

Si no todas las alertas son iguales, tampoco deberían aparecer por igual en el formulario de aprobación de un médico, la bandeja de entrada de un desarrollador o el panel de un piloto. El establecimiento de prioridades en las alertas y el uso de señales visuales, sonoras y sensoriales para indicar su importancia pueden reducir el exceso de alertas en gran medida.

En el caso de la dosis un 3800 % superior a la debida, gran parte del problema fue que el sistema tenía umbrales de alerta muy bajos y cada alarma presentaba la misma prioridad. Una alerta por una sobredosis del 0,1 % parecía lo mismo que otra por una sobredosis del 3800 %. Además, como el 50 % de las solicitudes de medicación generaban estas alertas, los médicos se habían habituado a ignorarlas todas.

Una vez más, el sector aeronáutico es un buen ejemplo no solo de cómo establecer de forma tajante los niveles de prioridad, sino también de cómo indicar con claridad la prioridad con diversas señales visuales y sensoriales. La única vez que aparece una alerta roja (con luces rojas, un mensaje de texto en rojo, una advertencia de voz y una vibración en el mecanismo de dirección) en el panel de un piloto es cuando el avión está en peligro inminente de entrar en pérdida y el piloto debe actuar de inmediato. Nadie quiere que se pasen por alto estas alertas y, por ello, tienen su propia categoría especial.

Otras alertas, incluso las que suenan alarmantes para los que volamos a menudo, como el incendio de un motor o la pérdida de presión en la cabina, se reducen a advertencias (sucesos que afectarán a la trayectoria de vuelo del avión), precauciones (sucesos que se deben poner rápidamente en conocimiento del piloto, pero quizás no requieran una intervención inmediata) y avisos (sucesos en los que no es necesario actuar, pero el piloto debe saber que ha ocurrido algo).

A medida que disminuye la importancia de las alertas, también lo hacen las señales visuales, sonoras y sensoriales en torno a ellas. Las advertencias comportan luces rojas, mensajes de texto en rojo y alertas de voz (pero no la vibración en el mecanismo de dirección). Las precauciones suelen desencadenar luces y mensajes de texto en ámbar. Y los avisos consisten en mensajes de texto en ámbar, sin luces.

Los pilotos saben al momento, en función de estas señales, a qué alertas tienen que darles prioridad y cuáles pueden dejarse de lado dentro de lo razonable durante unos instantes si están ocupados con otra tarea importante o una serie de alertas que tiene prioridad.

Asegúrate de que las alertas sean procesables

Las alertas poco precisas demandan más atención y tiempo que las alertas específicas y procesables. En el caso de los trabajadores que ya están saturados por la ingente cantidad de alertas, exigir más concentración y atención provoca que la productividad baje y se pasen por alto algunas alertas.

Este es otro punto en el que podemos aprender del sector aeronáutico. Para cada tipo de alerta que aparece en el panel del piloto, hay también una checklist procesable que se corresponde con la alerta.

Agrupa las alertas redundantes

Las alertas redundantes son uno de los principales culpables del exceso de alertas. Según un estudio, por cada recordatorio de la misma alerta, la atención de la persona responsable descendía un 30 %. Otro estudio reveló que más del 60 % de las alertas de los sistemas de seguridad eran redundantes.

La agrupación de estas alertas y la reducción de los recordatorios en la medida de lo posible pueden ayudar a mantener una carga de alertas más manejable, lo que mejora la atención de los trabajadores.

Crea horarios equilibrados

Incluso con umbrales inteligentes y sistemas por niveles, las empresas (en particular, las grandes) pueden tener que gestionar un elevado número de alertas.

Una vez optimizados los sistemas, también resulta útil analizar los procesos y las personas. ¿Dispones de suficientes profesionales de guardia? ¿El peso de las alertas recae demasiado en una sola persona o equipo y puede compartirse esa carga? ¿Qué frecuencia tienen las alertas? ¿Hay ciertos momentos que necesitan mayor o menor cobertura?

Unifica la información

Un profesional de DevOps cualquiera utiliza al menos cinco herramientas para llegar a la raíz de las incidencias de rendimiento. Esto conlleva varias ubicaciones, estilos y tipos de alerta, así como una gran cantidad de trabajo duplicado. Si cada uno de los cinco sistemas tiene una alerta similar, la carga de trabajo de revisión de las alertas aumentará en un 500 %.

Cuanto más puedas agrupar las alertas y la información, más podrás reducir el agotamiento que provoca clasificar esas alertas y la información correspondiente.

Da prioridad a la revisión y la mejora continuas

No existe una solución única para el exceso de alertas y los riesgos que conlleva. Resulta esencial que revises tus procesos, alertas y sistemas con regularidad para asegurarte de encontrar el equilibrio adecuado.

¿Se pasa por alto alguna alerta? En tal caso, ¿por qué? ¿Has fijado unos umbrales demasiado altos o bajos? ¿Las señales visuales no funcionan? ¿Los trabajadores han normalizado las alertas y cambiar su diseño aumentaría la atención? Estas preguntas y otras similares se deberían volver a plantear cada cierto tiempo.

Descubre las ventajas que brinda la consolidación de alertas de Jira Service Management con Opsgenie y cómo actúan las funciones de flexibilidad y personalización de alertas.