Close

Gestión de incidentes para equipos de alta velocidad

Comprende y combate el exceso de alertas

En 2013, un chico de 16 años que se encontraba en uno de los mejores hospitales de Estados Unidos recibió una dosis de su medicación un 3800 % superior a la debida.

El sistema de alerta del hospital detectó la orden de dicha sobredosis y envió alertas a un médico y a un farmacéutico. Sin embargo, poco después, se administró la sobredosis y comenzaron las convulsiones, el entumecimiento de todo el cuerpo y la lucha por la vida del chico.

Vista previa del PDF del libro sobre guardias

Descárgate nuestro libro sobre guardias

Aprende a crear e implementar un programa eficaz con esta guía esencial.

¿Cómo pudo ocurrir esto, en particular, cuando el sistema de seguridad detectó el problema antes de que la medicación llegara a la cabecera del paciente?

La respuesta es el exceso de alertas.

Tanto el médico como el farmacéutico pasaron por alto la alerta del sistema porque ese mismo sistema genera alertas para alrededor del 50 % de los cientos de recetas con las que tratan a diario. Habían asimilado que la mayoría de esas alertas eran falsas alarmas y, como mecanismo de adaptación, habían empezado a echarles un vistazo por encima en el mejor de los casos.

De este modo, un chico que debería haber tomado una sola pastilla ingirió 38. Aunque finalmente sobrevivió, le quedaron importantes secuelas.

Historias como estas son muy habituales (y, con demasiada frecuencia, tienen desenlaces fatales) en los hospitales y el sector aeronáutico. De hecho, según una encuesta de 2013, 19 de cada 20 hospitales consideran que el exceso de alertas es su principal preocupación en materia de seguridad.

Aunque los riesgos son diferentes, el exceso de alertas es también muy común entre los equipos de TI y DevOps, ya que supervisan la tecnología ininterrumpida que impulsa nuestros negocios.

¿Qué es el exceso de alertas?

El exceso de alertas, también conocido como “exceso de alarmas”, se da cuando hay tal avalancha de alertas que las personas encargadas de responder a ellas se insensibilizan, lo que hace que se pierdan o pasen por alto algunas alertas, o bien que se retrasen las respuestas.

El principal problema, según la mayoría, es el gran número de alertas. Es fácil responder a una sola alerta, aunque interrumpa el trabajo normal o el tiempo libre de un empleado de guardia. Pero hacer frente a varias de ellas seguidas resulta más difícil. Además, cuanto más aumente el número, más probable será que un empleado se salte algo importante.

Esta incidencia se ve agravada por el hecho de que muchas alertas son falsas alarmas. En el sector médico, según algunas investigaciones, entre el 72 y el 99 % de todas las alertas clínicas son falsas alarmas. En materia de seguridad, una encuesta reveló que el 52 % de las alertas eran falsas alarmas y el 64 % eran innecesarias.

Este elevado número de falsas alertas enseña a los trabajadores a dar por hecho que la mayoría de los avisos serán falsas alarmas y a actuar en consecuencia, al igual que el médico y el farmacéutico mencionados anteriormente cerraron la alerta de sobredosis del sistema al asumir que era otra alarma sin importancia.

Tres etapas del exceso de alertas
Tres etapas del exceso de incidentes

La psicología del exceso de alertas

El exceso de alertas es uno de los 10 principales problemas de seguridad de los hospitales, ya que desconectar mentalmente de las alarmas frecuentes es una respuesta psicológica habitual ante una avalancha de alertas.

El motivo de ello es lo que llamamos “normalización”, “insensibilización” o “habituación”, tres conceptos que, en esencia, significan lo mismo: cuanto más te expongas a algo, más lo tolerarás, normalizarás e ignorarás.

Esto se aplica tanto al trabajo como a la vida privada. Por ejemplo, las películas románticas con protagonistas masculinos muy insistentes influyen de forma considerable en la tolerancia de las mujeres al acoso en la vida real. La normalización de la falta de interés por la junta tórica principal del transbordador espacial Challenger provocó su explosión en el año 1986. Y cuando el Parque Nacional del Bosque Petrificado de Arizona colocó carteles para disuadir a la gente de robar la madera petrificada del parque, fueron contraproducentes, ya que normalizaron el robo y aumentaron los casos.

Al igual que un flujo interminable de llamadas de broma puede llevar a bloquear un número o apagar el teléfono, la aparición constante de alarmas falsas, innecesarias o sin importancia suele hacer que se pasen por alto. Es la naturaleza humana.

Y no es solo la normalización de las alertas en general lo que está en juego. La repetición de la misma alerta causa un agotamiento aún mayor. Según un estudio, para los médicos, la probabilidad de aceptar una alerta descendía un 30 % por cada recordatorio.

Los riesgos del exceso de alertas

Alertas perdidas o pasadas por alto

Como en el ejemplo anterior del desafortunado adolescente hospitalizado, el mayor riesgo del exceso de alertas es que estas se pierdan o se ignoren. Cuando un sistema de alerta ha dado la voz de alarma demasiadas veces o no diferencia las alertas peligrosas (como una dosis un 3800 % superior a la adecuada) de las que tienen menor importancia (como una dosis un 0,1 % superior a la adecuada), los trabajadores se condicionan a prestar menos atención a esas alertas.

En los equipos de DevOps y operaciones de TI, esto puede aumentar los incidentes y tener graves consecuencias en los ingresos, los costes y la reputación de la marca.

Tiempos de respuesta lentos

El exceso de alertas también afecta a los tiempos de respuesta. Aunque las alertas no se pierdan o se pasen por alto constantemente, puede que sí se haga de manera eventual. Al fin y al cabo, si las últimas 10 alertas que llegaron eran falsas alarmas, ¿es igual de probable que un empleado de guardia interrumpa su cena o se despierte por la undécima alerta que por la primera? ¿O estaría justificado que primero terminara de cenar?

Agotamiento

Las alertas constantes, las interrupciones del sueño y las bandejas de entrada llenas son la combinación perfecta para el agotamiento de los empleados y pueden provocar una mayor rotación de personal, una menor satisfacción laboral y una disminución de la productividad.

Cómo evitar el exceso de alertas

El exceso de alertas es un verdadero problema en diversos sectores y tiene consecuencias nefastas. Entonces, ¿cómo se puede evitar que se pasen por alto las alertas, se ralenticen los tiempos de respuesta y se agoten los empleados? Los expertos señalan los propios procesos y políticas de las alertas como el camino que se debe seguir.

Define umbrales inteligentes

Una forma de evitar que las alertas saturen a los profesionales de guardia es definir unos umbrales inteligentes. La pregunta clave aquí es: ¿todas las alertas requieren atención inmediata? ¿Todas las alertas son iguales? ¿Qué incidencias necesitan una alerta inmediata y cuáles se pueden tratar durante el horario normal de trabajo?

La respuesta estriba siempre en encontrar el equilibrio. Porque muy pocas alertas pueden significar que se pasan por alto algunos incidentes, pero demasiadas también pueden provocar que estos se pierdan debido al exceso de alertas.

Encontrar el equilibrio es difícil para cualquier empresa tecnológica, pero si no se intenta, los sistemas suelen pecar de exceso de alertas y crean situaciones como la que desembocó en una dosis un 3800 % superior a la adecuada.

El sector aeronáutico parece estar a la cabeza en la lucha contra el exceso de alertas y, en parte, se debe a que han fijado unos umbrales altos. El ordenador puede llevar un seguimiento de más de 10 000 puntos de datos, pero el porcentaje de vuelos con alguna alerta, incluso las de menor importancia, es inferior al 10 %.

Como señala el capitán Chesley “Sully” Sullenberger en un artículo del blog Backchannel de Medium:

“En las cabinas, ahora los avisos se ordenan según su prioridad para eludir el exceso de alarmas... Nos esforzamos mucho para evitar los falsos positivos porque son de lo más perjudicial que puede haber en un sistema de alerta. Esto hace que la gente no los tenga en cuenta”.

Establece prioridades de alerta por niveles

Si no todas las alertas son iguales, tampoco deberían aparecer por igual en el formulario de aprobación de un médico, la bandeja de entrada de un desarrollador o el panel de un piloto. El establecimiento de prioridades en las alertas y el uso de señales visuales, sonoras y sensoriales para indicar su importancia pueden reducir el exceso de alertas en gran medida.

En el caso de la dosis un 3800 % superior a la debida, gran parte del problema fue que el sistema tenía umbrales de alerta muy bajos y cada alarma presentaba la misma prioridad. Una alerta por una sobredosis del 0,1 % parecía lo mismo que otra por una sobredosis del 3800 %. Además, como el 50 % de las solicitudes de medicación generaban estas alertas, los médicos se habían habituado a ignorarlas todas.

Una vez más, el sector aeronáutico es un buen ejemplo no solo de cómo establecer de forma tajante los niveles de prioridad, sino también de cómo indicar con claridad la prioridad con diversas señales visuales y sensoriales. La única vez que aparece una alerta roja (con luces rojas, un mensaje de texto en rojo, una advertencia de voz y una vibración en el mecanismo de dirección) en el panel de un piloto es cuando el avión está en peligro inminente de entrar en pérdida y el piloto debe actuar de inmediato. Nadie quiere que se pasen por alto estas alertas y, por ello, tienen su propia categoría especial.

Otras alertas, incluso las que suenan alarmantes para los que volamos a menudo, como el incendio de un motor o la pérdida de presión en la cabina, se reducen a advertencias (sucesos que afectarán a la trayectoria de vuelo del avión), precauciones (sucesos que se deben poner rápidamente en conocimiento del piloto, pero quizás no requieran una intervención inmediata) y avisos (sucesos en los que no es necesario actuar, pero el piloto debe saber que ha ocurrido algo).

A medida que disminuye la importancia de las alertas, también lo hacen las señales visuales, sonoras y sensoriales en torno a ellas. Las advertencias comportan luces rojas, mensajes de texto en rojo y alertas de voz (pero no la vibración en el mecanismo de dirección). Las precauciones suelen desencadenar luces y mensajes de texto en ámbar. Y los avisos consisten en mensajes de texto en ámbar, sin luces.

Los pilotos saben al momento, en función de estas señales, a qué alertas tienen que darles prioridad y cuáles pueden dejarse de lado dentro de lo razonable durante unos instantes si están ocupados con otra tarea importante o una serie de alertas que tiene prioridad.

Asegúrate de que las alertas sean procesables

Las alertas poco precisas demandan más atención y tiempo que las alertas específicas y procesables. En el caso de los trabajadores que ya están saturados por la ingente cantidad de alertas, exigir más concentración y atención provoca que la productividad baje y se pasen por alto algunas alertas.

Este es otro punto en el que podemos aprender del sector aeronáutico. Para cada tipo de alerta que aparece en el panel del piloto, hay también una checklist procesable que se corresponde con la alerta.

Agrupa las alertas redundantes

Las alertas redundantes son uno de los principales culpables del exceso de alertas. Según un estudio, por cada recordatorio de la misma alerta, la atención de la persona responsable descendía un 30 %. Otro estudio reveló que más del 60 % de las alertas de los sistemas de seguridad eran redundantes.

La agrupación de estas alertas y la reducción de los recordatorios en la medida de lo posible pueden ayudar a mantener una carga de alertas más manejable, lo que mejora la atención de los trabajadores.

Crea horarios equilibrados

Incluso con umbrales inteligentes y sistemas por niveles, las empresas (en particular, las grandes) pueden tener que gestionar un elevado número de alertas.

Una vez optimizados los sistemas, también resulta útil analizar los procesos y las personas. ¿Dispones de suficientes profesionales de guardia? ¿El peso de las alertas recae demasiado en una sola persona o equipo y puede compartirse esa carga? ¿Qué frecuencia tienen las alertas? ¿Hay ciertos momentos que necesitan mayor o menor cobertura?

Unifica la información

Un profesional de DevOps cualquiera utiliza al menos cinco herramientas para llegar a la raíz de las incidencias de rendimiento. Esto conlleva varias ubicaciones, estilos y tipos de alerta, así como una gran cantidad de trabajo duplicado. Si cada uno de los cinco sistemas tiene una alerta similar, la carga de trabajo de revisión de las alertas aumentará en un 500 %.

Cuanto más puedas agrupar las alertas y la información, más podrás reducir el agotamiento que provoca clasificar esas alertas y la información correspondiente.

Da prioridad a la revisión y la mejora continuas

No existe una solución única para el exceso de alertas y los riesgos que conlleva. Resulta esencial que revises tus procesos, alertas y sistemas con regularidad para asegurarte de encontrar el equilibrio adecuado.

¿Se pasa por alto alguna alerta? En tal caso, ¿por qué? ¿Has fijado unos umbrales demasiado altos o bajos? ¿Las señales visuales no funcionan? ¿Los trabajadores han normalizado las alertas y cambiar su diseño aumentaría la atención? Estas preguntas y otras similares se deberían volver a plantear cada cierto tiempo.

Descubre las ventajas de la consolidación de Jira Service Management con Opsgenie y cómo actúan las funciones de flexibilidad y personalización de alertas.