Close

Zarządzanie incydentami dla dynamicznych zespołów

Istota zmęczenia alertami i jego zwalczanie

W 2013 roku u 16-latka w jednym z wiodących szpitali w Stanach Zjednoczonych przedawkowano przyjmowany przez niego lek o 3800%.

Wbudowany system ostrzegania szpitala wygenerował powiadomienie o zleceniu zbyt dużej dawki i wysłał alerty do lekarza oraz farmaceuty. Mimo to, niedługo później chłopcu podano zbyt dużą dawkę, po czym wystąpiły drgawki, doszło do odrętwienia całego ciała i rozpoczęła się walka o życie dziecka.

Podgląd książki o dyżurach domowych w PDF

Pobierz naszą książkę o dyżurach domowych

Z tego praktycznego przewodnika dowiedz się, jak opracować i wdrożyć efektywny program

Jak mogło do tego dojść, mimo że system bezpieczeństwa wychwycił problem, zanim jeszcze lek dotarł na salę pacjenta?

Odpowiedzią jest zmęczenie alertami.

Zarówno lekarz, jak i farmaceuta zignorowali alert z systemu, ponieważ ten sam system generuje alerty w przypadku mniej więcej 50% spośród setek recept, z jakimi mają do czynienia każdego dnia. Nauczyli się, że większość z tych alertów to fałszywe alarmy, a ich mechanizm radzenia sobie z tą sytuacją polegał na co najwyżej pobieżnym spojrzeniu na alert.

W związku z tym chłopiec, który powinien zażyć jedną pigułkę, przyjął ich 38. Choć ostatecznie udało się uratować życie chłopca, konsekwencje zdrowotne tej sytuacji okazały się poważne.

Takie historie są powszechne w szpitalach i przemyśle lotniczym, a ich skutki nazbyt często bywają śmiertelne. W badaniu z 2013 roku stwierdzono, że 19 na 20 szpitali wskazało zmęczenie alertami jako najważniejszy problem związany z bezpieczeństwem.

Choć zagrożenia są inne, zmęczenie alertami jest równie powszechne w zespołach IT i DevOps, które monitorują technologie zapewniające pełną dostępność, na których opierają się nasze firmy.

Na czym polega zmęczenie alertami?

Ze zmęczeniem alertami, nazywanym również zmęczeniem alarmami, mamy do czynienia wówczas, gdy przytłaczająca liczba alertów powoduje u osób odpowiedzialnych za reagowanie na te alerty zmniejszenie wrażliwości na nie, prowadząc do pomijania lub ignorowania alertów bądź wydłużenia czasu reakcji.

Większość osób uważa, że głównym problemem jest sama liczba alertów. Na pojedynczy alert łatwo jest odpowiedzieć, nawet jeśli przerywa on normalny tok pracy lub czas wolny pracownika pełniącego dyżur domowy. Z dziesiątkami alertów nadchodzących jeden po drugim jest znacznie trudniej. Im większa będzie ich liczba, tym większe prawdopodobieństwo, że pracownik przegapi coś ważnego.

Problem dodatkowo potęguje fakt, że wiele z tych alertów to fałszywe alarmy. Badanie przeprowadzone w branży medycznej wykazało, że około 72–99% alertów klinicznych to fałszywe alarmy. Jedno z badań sondażowych przeprowadzonych w branży ochrony wskazuje, że 52% alertów to fałszywe alarmy, a 64% okazało się nadmiarowe.

Przy tak dużej liczbie fałszywych alertów pracownicy zaczynają zakładać, że większość alertów będzie fałszywa, i zaczynają postępować stosownie do tego założenia, tak jak lekarz i farmaceuta w powyższym przykładzie, którzy zamknęli alert systemowy informujący o zbyt dużej dawce, zakładając, że to kolejny nieistotny alarm.

Trzy etapy zmęczenia alertami
Trzy etapy zmęczenia incydentami

Psychologia zmęczenia alertami

Zmęczenie alertami jest jednym z 10 najważniejszych problemów dotyczących bezpieczeństwa w szpitalach, ponieważ psychiczne odcinanie się od częstych alarmów jest typową reakcją psychologiczną na przytłaczającą liczbę alertów.

Przyczyną tego jest zjawisko, które możemy nazwać normalizacją, desensytyzacją lub habituacją — pod tymi trzema pojęciami kryje się zasadniczo jedno: im większa ekspozycja na jakiś bodziec, tym w większym stopniu zaczynami go tolerować, normalizować i ignorować.

Dotyczy to zarówno pracy, jak i innych sfer życia. Na przykład oglądanie filmów romantycznych, w których główny bohater jest szczególnie uporczywy, w wymiernym stopniu wpływa na tolerancję kobiet na zachowania prześladowcze w rzeczywistości. Normalizacja braku reakcji na informacje o problemach z głównym O-ringiem w promie kosmicznym Challenger ostatecznie doprowadziła do jego wybuchu w 1986 roku. A gdy władze parku narodowego Skamieniały Las w Arizonie umieściły znaki mające zniechęcać ludzi do kradzieży skamieniałych kawałków drewna z parku, osiągnęły efekt przeciwny do zamierzonego — doszło do normalizacji kradzieży i zwiększenia jej wskaźnika.

Tak jak niekończący się strumień telefonów od żartownisiów może skłonić Cię do zablokowania numeru lub wyłączenia telefonu, tak niekończący się strumień fałszywych, nadmiarowych lub mało ważnych alarmów często skłania do ignorowania ich. To leży w ludzkiej naturze.

I mamy tutaj do czynienia nie tylko z normalizacją alertów w ogóle. Wielokrotne otrzymywanie tego samego alertu dodatkowo zwiększa zmęczenie alertami. Jedno z badań wykazało, że wśród klinicystów z każdym kolejnym przypomnieniem prawdopodobieństwo zaakceptowania alertu spadało o 30%.

Zagrożenia, do jakich prowadzi zmęczenie alertami

Nieodebrane lub zignorowane alerty

Jak pokazuje powyższy przykład niefortunnie hospitalizowanego nastolatka, największym ryzykiem wynikającym ze zmęczenia alertami jest pomijanie lub ignorowanie alertów. Gdy system ostrzegania śle zbyt wiele komunikatów lub nie rozróżnia alertów niebezpiecznych (takich jak przekroczenie dawki o 3800%) od mniej istotnych (takich jak przekroczenie dawki o 0,1%), u pracowników rozwija się reakcja warunkowa polegająca na zwracaniu mniejszej uwagi na te alerty.

W zespołach DevOps i IT może to prowadzić do zwiększenia liczby incydentów, co z kolei przekłada się na poważne konsekwencje w sferze przychodów, kosztów oraz reputacji marki.

Wydłużenie czasu reakcji

Zmęczenie alertami wpływa również na czasy reakcji. Nawet jeśli alerty nie będą pomijane lub trwale ignorowane, mogą zostać zignorowane tymczasowo. W końcu jeśli ostatnich 10 alertów okazało się fałszywym alarmem, czy pracownik pełniący dyżur domowy odejdzie od stołu czy wstanie z łóżka, aby sprawdzić 11 alert, z takim samym entuzjazmem, jak przy pierwszym alercie? A może uzna, że lepiej najpierw dokończyć posiłek?

Wypalenie

Ciągłe alerty, pobudki i przepełnione skrzynki odbiorcze to prosta droga do wypalenia pracownika, co w konsekwencji może prowadzić do większej rotacji, mniejszego zadowolenia z pracy czy mniejszej produktywności.

Jak uniknąć zmęczenia alertami?

Zmęczenie alertami stanowi poważny problem w wielu branżach — niesie ze sobą również poważne konsekwencje. Jak zatem unikać zignorowanych alertów, wydłużonych czasów reakcji i wypalenia pracowników? Eksperci upatrują rozwiązania w procesach obsługi alertów oraz samych zasadach.

Ustawienie inteligentnych progów

Jednym ze sposobów zapobiegania przytłoczeniu alertami specjalistów pełniących dyżur domowy, jest ustawienie dla nich inteligentnych progów. Kluczowe pytanie w tym przypadku brzmi: czy każdy alert wymaga podjęcia natychmiastowych działań? Czy wszystkie tworzone alerty są równie ważne? Które zgłoszenia wymagają natychmiastowego alertu, a z którymi można się uporać w standardowych godzinach pracy?

Odpowiedzią jest zawsze znalezienie równowagi. Zbyt mała liczba alertów może prowadzić do przegapienia incydentów, jeśli jednak będzie ich zbyt wiele, incydenty również mogą przemknąć niezauważone wskutek zmęczenia alertami.

Znalezienie złotego środka jest trudne dla każdej firmy technologicznej, jednak bez podjęcia próby jego wyznaczenia szala zazwyczaj przechyla się na stronę zbyt dużej liczby alertów, co prowadzi do takich sytuacji, jak przegapienie dawki przekroczonej o 3800%.

Lotnictwo wydaje się przecierać szlaki w dziedzinie skutecznego zwalczania zmęczenia alertami, co częściowo jest efektem wysoko ustawionych progów. Komputer może śledzić ponad 10 000 punktów danych, jednak alerty — nawet mało istotne — odnotowuje się w trakcie mniej niż 10% lotów.

Jak wskazuje kapitan Chesley „Sully” Sullenberger w artykule z Medium Backchannel:

„Ostrzeżenia w kokpitach mają teraz przypisane priorytety, więc nie doznajesz zmęczenia alarmami… Ciężko pracujemy nad unikaniem fałszywych alarmów, ponieważ są one jedną z najgorszych rzeczy, jaka może się przydarzyć systemowi ostrzegania. Sprawiają, że ludzie po prostu je wyciszają”.

Ustawienie priorytetów alertów z podziałem na poziomy

Jeśli nie wszystkie tworzone alerty są równie ważne, nie powinny pojawiać się w jednakowy sposób w formularzu zatwierdzenia lekarza, skrzynce odbiorczej programisty czy na panelu pilota. Ustawienie priorytetów alertów i zastosowanie oznaczeń wizualnych, dźwiękowych i sensorycznych do sygnalizacji poziomu istotności może w znacznym stopniu ograniczyć zmęczenie alertami.

W przypadku z przekroczeniem dawki o 3800% dużą część problemu stanowił fakt, że w systemie ustawiono bardzo niskie progi ostrzegania, a wszystkie alerty miały przypisany jednakowi priorytet. Przekroczenie dawki o 0,1% było sygnalizowane takim samym alertem, jak przekroczenie jej o 3800%. A biorąc pod uwagę fakt, że 50% wniosków o leki generowało takie alerty, klinicyści nauczyli się ignorować je wszystkie.

Raz jeszcze branża lotnicza daje dobry przykład, nie tylko agresywnie wyznaczając poziomy swoich priorytetów, ale także wyraźnie sygnalizując priorytety przy pomocy sygnałów wizualnych i sensorycznych. Alert czerwony — któremu towarzyszą czerwone kontrolki, czerwony komunikat tekstowy, ostrzeżenie głosowe oraz drgania wolantu — pojawia się w kokpicie tylko w sytuacji, gdy istnieje bezpośrednie niebezpieczeństwo zatrzymania silników samolotu, a pilot musi niezwłocznie podjąć działania. Nikt nie chce, aby tego rodzaju alerty zostały zignorowane, dlatego przewidziano dla nich specjalną kategorię.

Inne alerty — nawet takie, które brzmią alarmująco dla częstych podróżników, na przykład pożar silnika czy spadek ciśnienia w kabinie — mają status jedynie ostrzeżeń (zdarzeń, które wpłyną na tor lotu samolotu), przestróg (zdarzeń, o których pilot musi się niezwłocznie dowiedzieć, ale niekoniecznie wymagają podjęcia natychmiastowych działań) oraz porad (zdarzeń, które nie wymagają podjęcia działań, jednak pilot powinien wiedzieć, że coś się stało).

Im mniejszy poziom ważności alertu, tym mniej towarzyszących mu sygnałów wizualnych, dźwiękowych i sensorycznych. Ostrzeżenia są sygnalizowane czerwonymi kontrolkami, komunikatami tekstowymi i alertami głosowymi (nie towarzyszą im wibracje wolantu). Przestrogi zazwyczaj sygnalizowane są pomarańczowymi kontrolkami i komunikatami tekstowymi. Natomiast porady mają postać pomarańczowych komunikatów tekstowych i nie towarzyszą im żadne kontrolki.

Dzięki tym wskazówkom piloci wiedzą natychmiast, które alerty wymagają szczególnej uwagi, a które rozsądniej będzie zignorować na chwilę, gdy akurat trzeba się zająć innym ważnym zadaniem lub szeregiem alertów o wyższym priorytecie.

Nadanie alertom praktycznego charakteru

Nieprecyzyjne alerty wymagają większego skupienia, uwagi oraz więcej czasu niż konkretne, praktyczne alerty. Wymaganie od pracowników, którzy już są zmęczeni samą liczbą alertów, jeszcze większej koncentracji i uwagi jest prostą drogą do obniżenia produktywności i pomijania alertów.

Pod tym względem również możemy się wiele nauczyć od branży lotniczej. Do każdego rodzaju alertu wyświetlanego w kokpicie dostępna jest również praktyczna lista kontrolna odpowiadająca jego treści.

Konsolidacja nadmiarowych alertów

Jednym z podstawowych czynników przyczyniających się do zmęczenia alertami są alerty nadmiarowe. Jedno z badań wykazało, że z każdym kolejnym przypomnieniem tego samego alertu uwaga odbiorcy alertu spada o 30%. Według innego badania ponad 60% wszystkich alertów w systemach bezpieczeństwa to alerty nadmiarowe.

Skonsolidowanie tych alertów i ograniczenie liczby przypomnień w miarę możliwości może pomóc w utrzymaniu obciążenia alertami na łatwiejszym do przetworzenia poziomie, dzięki czemu pracownicy będą bardziej uważni.

Tworzenie zbilansowanych harmonogramów

Jednak duża liczba alertów może występować nawet w firmach (zwłaszcza dużych), które wprowadzą inteligentne progi i systemy warstwowe.

Po zoptymalizowaniu systemów dobrze jest również przyjrzeć się procesowi oraz ludziom. Czy masz dostateczną liczbę specjalistów do pełnienia dyżurów domowych? Czy obciążenie alertami nie spada w zbyt dużym stopniu na jedną osobę lub jeden zespół, choć można by je podzielić? Jak często pojawiają się alerty? Czy w konkretnych godzinach nie należałoby zmniejszyć lub zwiększyć obsady?

Konsolidacja informacji

Typowy specjalista DevOps używa co najmniej pięciu narzędzi, aby ustalić pierwotną przyczynę problemów z wydajnością. To oznacza wiele lokalizacji, stylów i rodzajów alertów. Oznacza to również wiele dublujących się prac. Jeśli w każdym z pięciu systemów funkcjonują podobne alerty, w praktyce będzie to oznaczać zwiększenie obciążenia koniecznością przeglądania alertów o 500%.

Im bardziej zdołasz skonsolidować alerty i informacje, w tym większym stopniu ograniczysz zmęczenie przedzieraniem się przez te alerty i powiązane z nimi informacje.

Ważna rola ciągłego sprawdzania i doskonalenia

Nie ma jednego, uniwersalnego rozwiązania problemu zmęczenia alertami i powiązanych z nim zagrożeń. Istotne jest regularne sprawdzanie procesów, alertów i systemów, aby mieć pewność, że zachowują one właściwą równowagę.

Czy alerty są pomijane? Jeśli tak, dlaczego? Czy progi nie są ustawione zbyt wysoko lub zbyt nisko? Czy sygnały wizualne nie działają? Czy pracownicy znormalizowali alerty, a zmiana ich charakteru mogłaby zwiększyć ich uwagę? Te i inne podobne pytania należy zadawać sobie regularnie.

Poznaj korzyści, jakie przynosi zastosowanie kombinacji rozwiązań Jira Service Management i Opsgenie, oraz sprawdź w praktyce elastyczną obsługę alertów i funkcje dostosowywania.