Усталость от оповещений: что это такое и как с этим бороться

Пропуск или игнорирование оповещений

На примере с несчастным госпитализированным подростком было показано, что худшим последствием усталости от оповещений является пропуск или игнорирование оповещений. Когда система оповещений слишком часто поднимает ложную тревогу или не может отличить опасные ситуации (например, 38-кратная передозировка) от незначительных (например, превышение дозы на 0,1 %), сотрудники привыкают уделять меньше внимания этим оповещениям.

Если говорить о командах ИТ и DevOps, то усталость может привести к увеличению числа инцидентов и серьезным последствиям в плане доходов, затрат и репутации бренда.

Медленное реагирование

Усталость от оповещений влияет и на скорость реагирования. Даже если оповещения не проходят мимо внимания и на них не закрывают глаза вообще, их могут игнорировать какое-то время. Ведь если последние десять оповещений оказались ложной тревогой, станет ли дежурный откладывать обед или сон, ожидая одиннадцатого оповещения так же бдительно, как и первого? Или найдет оправдание, чтобы отвлечься и пообедать?

Выгорание

Постоянный поток оповещений, прерванный сон и переполненные почтовые ящики — таков рецепт выгорания сотрудников. Все это ведет к повышению текучести кадров, снижению удовлетворенности работой и производительности.

Как избежать усталости от оповещений

Усталость от оповещений является серьезной проблемой в различных отраслях и зачастую грозит катастрофическими последствиями. Так как не игнорировать оповещения, не замедлять реагирование и избежать выгорания? Эксперты считают, что ключ к решению этой проблемы лежит в самих процессах и политиках оповещения.

Установка продуманных пороговых значений

Одним из способов не допустить переутомления ваших дежурных специалистов от оповещений является установка продуманных пороговых значений. Важно ответить для себя на следующий вопрос: каждое ли оповещение требует незамедлительной реакции? Одинаково ли важны все оповещения? О каких неполадках нужно оповещать немедленно, а какие проблемы можно решить в обычное рабочее время?

Ответом всегда должен быть некий компромисс. Потому что если оповещений слишком мало, инциденты будут происходить незамеченными, но если оповещений будет слишком много, то инциденты тоже будут пропущены из-за усталости.

Найти компромисс будет нелегко любой технологической компании. Но если вы не попытаетесь его найти, вы, вероятнее всего, столкнетесь с чрезмерным количеством оповещений, из-за чего будут возникать ситуации наподобие той, что привела к 38-кратной передозировке.

Наибольших успехов в борьбе с усталостью от оповещений, похоже, добились в сфере авиации. Отчасти это связано с тем, что там установили высокие пороговые значения. Компьютер может отслеживать более 10 000 единиц данных, но какие-либо оповещения, включая маловажные, создаются для менее чем 10 % рейсов.

Издание Backchannel в статье на платформе Medium приводит следующие слова капитана Чесли Салленбергера по прозвищу Салли:

«Сейчас предупреждения в кабинах пилотов сортируют по важности, чтобы не было усталости от оповещений… Мы прилагаем много усилий, чтобы не допускать ложной тревоги, потому что нет ничего хуже для любой системы предупреждения, чем ложная тревога. Из-за нее люди просто перестают обращать внимания на сигналы этой системы».

Выделение нескольких уровней приоритета оповещений

Если не все оповещения одинаково важны, они не должны одинаково отображаться в форме согласования врача, почтовом ящике разработчика или на приборной доске пилота. Расстановка приоритетов между оповещениями и использование визуальных, звуковых и сенсорных подсказок для указания важности могут значительно снизить усталость от оповещений.

В примере с 38-кратной передозировкой по большому счету проблема заключалась в том, что в системе были заданы очень низкие пороговые значения тревоги и каждое оповещение считалось одинаково важным. Оповещение о превышении дозы на 0,1 % выглядело так же, как и оповещение о 38-кратной передозировке. Оповещения создавались для каждого второго запроса на медикаментозную терапию, и поэтому врачи привыкли их игнорировать.

И снова авиационная отрасль подает хороший пример: в ней не только скрупулезно делят оповещения на категории в зависимости от их приоритета, но и используют разнообразные визуальные и сенсорные подсказки для однозначного указания важности. Сигнал о высшем («красном») уровне опасности — когда зажигаются красные индикаторы, текстовое сообщение написано красным шрифтом, воспроизводится голосовое предупреждение и вибрирует механизм управления — подается на приборную панель пилота только в том случае, если для самолета возникает непосредственная опасность сваливания и пилот должен немедленно принять меры. Такие оповещения нельзя игнорировать, поэтому им отводится специальная категория.

Другие оповещения — даже те, что нам, привыкшим часто летать, кажутся пугающими, например о возгорании двигателя или разгерметизации салона, — относятся к более низким категориям предупреждений (когда происходит событие, которое повлияет на курс полета), предостережений (когда происходит событие, о котором пилот должен быть незамедлительно поставлен в известность, но сразу принимать меры необязательно) и указаний (когда происходит событие, не требующее принимать какие-либо меры, но пилот должен знать, что что-то произошло).

Для менее важных оповещений применяются менее агрессивные визуальные, звуковые и сенсорные подсказки. Предупреждения подчеркиваются красными индикаторами, текстовыми сообщениями и голосовыми оповещениями (но механизм управления не вибрирует). Чтобы обозначить предостережение, обычно загораются индикаторы желтого цвета и выводятся текстовые сообщения. Указания выдаются в виде текстовых сообщений, написанных желтым шрифтом. Индикаторы не загораются.

Благодаря этим подсказкам пилоты сразу понимают, какие оповещения требуют сиюминутного внимания, а какие можно игнорировать в пределах разумного промежутка времени, пока экипаж выполняет другое важное задание или расставляет приоритеты между несколькими полученными подряд оповещениями.

Нужны действенные оповещения

Неконкретные предупреждения требуют большей сосредоточенности, внимания и времени, чем конкретные, действенные оповещения. Если от сотрудников, и без того уставших от чрезмерного количества оповещений, требовать большей сосредоточенности и концентрации внимания, их работоспособность снизится и оповещения будут оставаться незамеченными.

В этом случае на выручку снова приходит опыт авиационной отрасли. Каждой категории оповещений, подаваемых на приборную панель пилота, соответствует контрольный список, предусматривающий конкретные меры.

Объединение дублирующих оповещений

Дублирующие оповещения — один из главных источников усталости от оповещений. Согласно результатам одного исследования, с каждым напоминанием об одном и том же предупреждении концентрация внимания получателя снижалась на 30 %. Судя по выводам другого исследования, более 60 % всех оповещений в системах безопасности были дублирующими.

Если объединить эти оповещения и сократить количество напоминаний, насколько это возможно, нагрузкой оповещений станет проще управлять и концентрация внимания сотрудников повысится.

Адекватные графики

Иногда продуманных пороговых значений и многоуровневых систем оповещения недостаточно, чтобы свести количество оповещений в компании (особенно в крупной компании) к адекватному значению.

Когда вы оптимизировали системы, полезно обратить свое внимание на процесс и сотрудников. Достаточно ли у вас дежурных специалистов? Не слишком ли большая нагрузка в плане оповещений ложится на одного человека или команду и можно ли эту нагрузку как-то распределить? Насколько часто возникают оповещения? Не требуется ли увеличить или уменьшить количество дежурных в определенное время суток?

Объединение информации

Типичный специалист DevOps использует не менее пяти инструментов, чтобы добраться до сути проблем с производительностью. В каждом инструменте оповещения отображаются по-разному, в разных разделах и разных форматах. Это также значит, что приходится выполнять много похожих задач. Если бы в каждой из пяти систем оповещение выводилось одинаково, задача по просмотру оповещений стала бы в пять раз проще.

Чем больше оповещений и информации вы можете объединить, тем меньше будет усталость от попыток классифицировать эти оповещения и сопутствующую информацию.

Отдайте приоритет постоянной проверке и улучшению

Универсальной «волшебной таблетки» от усталости от оповещений и рисков, которые она в себе несет, увы, не существует. Важно регулярно проверять процессы, оповещения и системы, чтобы поддерживать все в идеальном равновесии.

Остаются ли оповещения незамеченными? Если да, то почему? Не слишком ли высоко или низко установлены ваши пороговые значения? Работают ли ваши визуальные подсказки? Не привыкли ли сотрудники к оповещениям? Не стоит ли изменить дизайн оповещений, чтобы повысить концентрацию внимания? К этим и подобным вопросам следует регулярно возвращаться.

Узнайте, какими преимуществами можно воспользоваться при объединении Jira Service Management и Opsgenie, а также убедитесь на практике в гибкости настройки оповещений.