Close

Путь к успешному управлению инцидентами начинается здесь

Просмотр тем

Усталость от оповещений: что это такое и как с этим бороться

В 2013 году 16-летний подросток в одной из лучших больниц США получил 38-кратную дозу своего лекарства.

Специальная система оповещения больницы выявила предписание ввести чрезмерную дозу, и оповещения об этом были направлены доктору и фармацевту. Тем не менее спустя некоторое время чрезмерная доза была введена, и у мальчика начались судороги и онемение всего тела. Врачи боролись за его жизнь.

Книга о дежурствах: предварительный просмотр PDF-документа

Загрузите нашу книгу о дежурствах

Из этого базового руководства вы узнаете, как создать и реализовать эффективную программу

Как такое могло произойти? Ведь система безопасности выявила проблему раньше, чем лекарство попало в палату мальчика.

Всему виной усталость от оповещений.

И врач, и фармацевт проигнорировали предупреждение системы, потому что она создает оповещения практически на каждый второй из сотен рецептов, с которыми они имеют дело каждый день. Они привыкли, что большая часть предупреждений оказывалась ложной тревогой. В их психике сработал защитный механизм, и в лучшем случае они мельком просматривали эти оповещения.

Поэтому мальчик вместо одной таблетки принял тридцать восемь. И хотя в итоге он выжил, последствия для его здоровья оказались серьезными.

Подобные случаи нередки и слишком часто заканчиваются летальным исходом в больницах и авиационной отрасли. В действительности, согласно результатам исследования 2013 г., в 19 из 20 больниц усталость от чрезмерного количества оповещений считается главной проблемой безопасности.

Специалисты ИТ и DevOps тоже испытывают подобную усталость, ведь им приходится контролировать постоянно активную технологию, лежащую в основе деятельности их компаний. Хотя в этой отрасли с усталостью сопряжены другие риски.

Что такое усталость от оповещений?

Усталость от оповещений (т. е. сигналов тревоги) возникает, когда из-за чрезмерного количества оповещений у людей, ответственных за реагирование на инциденты, притупляются чувства и они начинают пропускать или игнорировать оповещения или реагировать на них с задержкой.

Большинство сходится во мнении, что основная проблема кроется в самом количестве оповещений. Реагировать на одно оповещение несложно, даже если из-за него дежурному приходится прервать обычную работу или досуг. Реагировать на десяток оповещений подряд сложнее. И чем больше их становится, тем больше риск того, что сотрудник упустит нечто важное.

Проблему усугубляет то, что многие оповещения оказываются ложной тревогой. Согласно одному исследованию, в сфере здравоохранения процент ложных сигналов тревоги в связи с лечением колеблется от 72 % до 99 %. В сфере безопасности, как показал один опрос, 52 % оповещений были ложной тревогой, а 64 % — дублирующими.

Поскольку во многих случаях оповещения оказываются ложной тревогой, сотрудники привыкают к этому и ведут себя соответствующе. Характерным было и поведение врача и фармацевта в приведенном выше примере, которые проигнорировали оповещение о передозировке в системе, приняв его за очередной ничего не значащий сигнал.

Три стадии усталости от оповещений
Три стадии усталости от инцидентов

Усталость от оповещений с точки зрения психологии

Усталость от оповещений входит в десятку основных проблем безопасности в больницах, так как мысленное отстранение от частых оповещений является типичной психологической реакцией на чрезмерное количество оповещений.

Причиной этого является то, что мы называем возведением в норму, потерей чувствительности или привыканием. Эти три понятия по существу означают одно и то же: чем больше вы подвергаетесь чему-то, тем более терпимо вы к этому относитесь, тем больше это становится для вас нормой и тем чаще вы игнорируете это.

Это относится как к работе, так и к жизни вне работы. Например, романтические фильмы, в которых главные мужские персонажи чересчур настойчивы, значительно влияют на терпимость женщин к проявлениям сталкинга в реальной жизни. Проблема с основным уплотнительным кольцом шаттла «Челленджер» долго игнорировалась. В результате космический челнок взорвался в 1986 году. В национальном парке Петрифайд-Форест штата Аризона разместили таблички с надписями о недопустимости кражи окаменелой древесины из парка. Они возымели обратный эффект: кража стала нормой и ее случаи участились.

Если вы стали жертвой телефонного хулигана, который вам постоянно звонит, скорее всего, вы заблокируете номер или отключите телефон. А если вам будут без конца поступать ложные, дублирующие друг друга и незначительные оповещения, вы, скорее всего, начнете игнорировать их. Таковая человеческая природа.

И дело не только в привыкании к оповещениям в целом. Повторение одного и того же оповещения приводит к еще большей усталости. Согласно результатам одного исследования вероятность того, что лечащий врач подтвердит оповещение, снижалась на 30 % с каждым напоминанием.

Риски, сопряженные с усталостью от оповещений

Пропуск или игнорирование оповещений

На примере с несчастным госпитализированным подростком было показано, что худшим последствием усталости от оповещений является пропуск или игнорирование оповещений. Когда система оповещений слишком часто поднимает ложную тревогу или не может отличить опасные ситуации (например, 38-кратная передозировка) от незначительных (например, превышение дозы на 0,1 %), сотрудники привыкают уделять меньше внимания этим оповещениям.

Если говорить о командах ИТ и DevOps, то усталость может привести к увеличению числа инцидентов и серьезным последствиям в плане доходов, затрат и репутации бренда.

Медленное реагирование

Усталость от оповещений влияет и на скорость реагирования. Даже если оповещения не проходят мимо внимания и на них не закрывают глаза вообще, их могут игнорировать какое-то время. Ведь если последние десять оповещений оказались ложной тревогой, станет ли дежурный откладывать обед или сон, ожидая одиннадцатого оповещения так же бдительно, как и первого? Или найдет оправдание, чтобы отвлечься и пообедать?

Выгорание

Постоянный поток оповещений, прерванный сон и переполненные почтовые ящики — таков рецепт выгорания сотрудников. Все это ведет к повышению текучести кадров, снижению удовлетворенности работой и производительности.

Как избежать усталости от оповещений

Усталость от оповещений является серьезной проблемой в различных отраслях и зачастую грозит катастрофическими последствиями. Так как не игнорировать оповещения, не замедлять реагирование и избежать выгорания? Эксперты считают, что ключ к решению этой проблемы лежит в самих процессах и политиках оповещения.

Установка продуманных пороговых значений

Одним из способов не допустить переутомления ваших дежурных специалистов от оповещений является установка продуманных пороговых значений. Важно ответить для себя на следующий вопрос: каждое ли оповещение требует незамедлительной реакции? Одинаково ли важны все оповещения? О каких неполадках нужно оповещать немедленно, а какие проблемы можно решить в обычное рабочее время?

Ответом всегда должен быть некий компромисс. Потому что если оповещений слишком мало, инциденты будут происходить незамеченными, но если оповещений будет слишком много, то инциденты тоже будут пропущены из-за усталости.

Найти компромисс будет нелегко любой технологической компании. Но если вы не попытаетесь его найти, вы, вероятнее всего, столкнетесь с чрезмерным количеством оповещений, из-за чего будут возникать ситуации наподобие той, что привела к 38-кратной передозировке.

Наибольших успехов в борьбе с усталостью от оповещений, похоже, добились в сфере авиации. Отчасти это связано с тем, что там установили высокие пороговые значения. Компьютер может отслеживать более 10 000 единиц данных, но какие-либо оповещения, включая маловажные, создаются для менее чем 10 % рейсов.

Издание Backchannel в статье на платформе Medium приводит следующие слова капитана Чесли Салленбергера по прозвищу Салли:

«Сейчас предупреждения в кабинах пилотов сортируют по важности, чтобы не было усталости от оповещений… Мы прилагаем много усилий, чтобы не допускать ложной тревоги, потому что нет ничего хуже для любой системы предупреждения, чем ложная тревога. Из-за нее люди просто перестают обращать внимания на сигналы этой системы».

Выделение нескольких уровней приоритета оповещений

Если не все оповещения одинаково важны, они не должны одинаково отображаться в форме согласования врача, почтовом ящике разработчика или на приборной доске пилота. Расстановка приоритетов между оповещениями и использование визуальных, звуковых и сенсорных подсказок для указания важности могут значительно снизить усталость от оповещений.

В примере с 38-кратной передозировкой по большому счету проблема заключалась в том, что в системе были заданы очень низкие пороговые значения тревоги и каждое оповещение считалось одинаково важным. Оповещение о превышении дозы на 0,1 % выглядело так же, как и оповещение о 38-кратной передозировке. Оповещения создавались для каждого второго запроса на медикаментозную терапию, и поэтому врачи привыкли их игнорировать.

И снова авиационная отрасль подает хороший пример: в ней не только скрупулезно делят оповещения на категории в зависимости от их приоритета, но и используют разнообразные визуальные и сенсорные подсказки для однозначного указания важности. Сигнал о высшем («красном») уровне опасности — когда зажигаются красные индикаторы, текстовое сообщение написано красным шрифтом, воспроизводится голосовое предупреждение и вибрирует механизм управления — подается на приборную панель пилота только в том случае, если для самолета возникает непосредственная опасность сваливания и пилот должен немедленно принять меры. Такие оповещения нельзя игнорировать, поэтому им отводится специальная категория.

Другие оповещения — даже те, что нам, привыкшим часто летать, кажутся пугающими, например о возгорании двигателя или разгерметизации салона, — относятся к более низким категориям предупреждений (когда происходит событие, которое повлияет на курс полета), предостережений (когда происходит событие, о котором пилот должен быть незамедлительно поставлен в известность, но сразу принимать меры необязательно) и указаний (когда происходит событие, не требующее принимать какие-либо меры, но пилот должен знать, что что-то произошло).

Для менее важных оповещений применяются менее агрессивные визуальные, звуковые и сенсорные подсказки. Предупреждения подчеркиваются красными индикаторами, текстовыми сообщениями и голосовыми оповещениями (но механизм управления не вибрирует). Чтобы обозначить предостережение, обычно загораются индикаторы желтого цвета и выводятся текстовые сообщения. Указания выдаются в виде текстовых сообщений, написанных желтым шрифтом. Индикаторы не загораются.

Благодаря этим подсказкам пилоты сразу понимают, какие оповещения требуют сиюминутного внимания, а какие можно игнорировать в пределах разумного промежутка времени, пока экипаж выполняет другое важное задание или расставляет приоритеты между несколькими полученными подряд оповещениями.

Нужны действенные оповещения

Неконкретные предупреждения требуют большей сосредоточенности, внимания и времени, чем конкретные, действенные оповещения. Если от сотрудников, и без того уставших от чрезмерного количества оповещений, требовать большей сосредоточенности и концентрации внимания, их работоспособность снизится и оповещения будут оставаться незамеченными.

В этом случае на выручку снова приходит опыт авиационной отрасли. Каждой категории оповещений, подаваемых на приборную панель пилота, соответствует контрольный список, предусматривающий конкретные меры.

Объединение дублирующих оповещений

Дублирующие оповещения — один из главных источников усталости от оповещений. Согласно результатам одного исследования, с каждым напоминанием об одном и том же предупреждении концентрация внимания получателя снижалась на 30 %. Судя по выводам другого исследования, более 60 % всех оповещений в системах безопасности были дублирующими.

Если объединить эти оповещения и сократить количество напоминаний, насколько это возможно, нагрузкой оповещений станет проще управлять и концентрация внимания сотрудников повысится.

Адекватные графики

Иногда продуманных пороговых значений и многоуровневых систем оповещения недостаточно, чтобы свести количество оповещений в компании (особенно в крупной компании) к адекватному значению.

Когда вы оптимизировали системы, полезно обратить свое внимание на процесс и сотрудников. Достаточно ли у вас дежурных специалистов? Не слишком ли большая нагрузка в плане оповещений ложится на одного человека или команду и можно ли эту нагрузку как-то распределить? Насколько часто возникают оповещения? Не требуется ли увеличить или уменьшить количество дежурных в определенное время суток?

Объединение информации

Типичный специалист DevOps использует не менее пяти инструментов, чтобы добраться до сути проблем с производительностью. В каждом инструменте оповещения отображаются по-разному, в разных разделах и разных форматах. Это также значит, что приходится выполнять много похожих задач. Если бы в каждой из пяти систем оповещение выводилось одинаково, задача по просмотру оповещений стала бы в пять раз проще.

Чем больше оповещений и информации вы можете объединить, тем меньше будет усталость от попыток классифицировать эти оповещения и сопутствующую информацию.

Отдайте приоритет постоянной проверке и улучшению

Универсальной «волшебной таблетки» от усталости от оповещений и рисков, которые она в себе несет, увы, не существует. Важно регулярно проверять процессы, оповещения и системы, чтобы поддерживать все в идеальном равновесии.

Остаются ли оповещения незамеченными? Если да, то почему? Не слишком ли высоко или низко установлены ваши пороговые значения? Работают ли ваши визуальные подсказки? Не привыкли ли сотрудники к оповещениям? Не стоит ли изменить дизайн оповещений, чтобы повысить концентрацию внимания? К этим и подобным вопросам следует регулярно возвращаться.

Узнайте, чем так ценна возможность объединения оповещений Jira Service Management и Opsgenie, и убедитесь на практике в гибкости настройки оповещений.

продолжение темы
Improving on call