O que são alertas de incidentes de TI?

Automatize o monitoramento

A melhor maneira de identificar itens com rapidez e eficácia é automatizar o monitoramento.

O banco de dados está respondendo mais devagar do que o habitual? Os usuários estão enfrentando tempos de carregamento mais lentos do que a média no aplicativo? Algum sistema essencial parou de funcionar? Um dos técnicos fez uma solicitação que parece um sinal vermelho? O sistema deveria acompanhar itens como os mencionados acima no automático e informar quando eles surgem.

Estabeleça limites de alertas inteligentes

Todo alerta precisa de atenção imediata? Para a maioria das empresas, a resposta é não, e é por esse motivo que você precisa definir limites de alertas sensatos.

Saber se vale a pena acordar um desenvolvedor no meio da noite ou ver se pode esperar até de manhã pode ser a diferença entre desenvolvedores felizes com tempos de resposta rápidos e equipes fadigadas por excesso de alertas que passam os fins de semana procurando um emprego novo.

Elimine a repetição de alertas

Um estudo sobre fadiga de alerta descobriu que, entre médicos em um ambiente de hospital, a atenção aos alertas caía 30% toda vez que um alerta duplicado chegava. E é provável que os resultados do estudo sejam os mesmos para os desenvolvedores. Quanto mais a gente vê o mesmo alerta, menos a gente presta atenção nele. É por esse motivo que a melhor prática aqui é eliminar a duplicação de alertas e minimizar lembretes.

Estabeleça níveis de prioridade e gravidade

Claro que alguns alertas são mais importantes do que outros. É bem provável que uma interrupção do site vá ter precedência sobre uma pequena lentidão em um recurso muito pouco usado. É muito provável que uma invasão mal-intencionada tenha mais prioridade do que uma imagem que não esteja renderizando como deveria no aplicativo.

Não só o sistema deve reconhecer prioridade e gravidade de alertas, mas também deve comunicar essa prioridade com clareza às pessoas responsáveis pela resolução de incidentes. A melhor prática aqui é usar pistas visuais, audíveis e sensoriais para indicar com rapidez e clareza em que as equipes devem se concentrar em seguida.

Torne os alertas acionáveis

Saber o que está errado é bom. Saber o que fazer em seguida é melhor. É por essa razão que, se os alertas não forem acionáveis, eles deveriam ser.

Este é um ponto em que as equipes de DevOps podem aprender com o setor da aviação. Quando um alerta aparece no painel do piloto durante um voo, ele vem com uma lista de verificação acionável. Criar esse tipo de informação no sistema de alertas reduz o tempo de diagnóstico e ajuda os desenvolvedores a se moverem com rapidez pelo processo.

É ainda mais útil quando o desenvolvedor está trabalhando no meio da noite, com os olhos cansados, e não no seu melhor momento.

Como escolher a tecnologia de alertas certa

Desenvolver um sistema de alertas de TI que siga essas práticas recomendadas é ser estratégico e se antecipar aos alertas. Também é escolher a tecnologia certa para implementar. Ao escolher um fornecedor, a gente recomenda procurar por:

Vários canais de alerta

Em geral, o e-mail é o canal de escolha quando se trata de alertas. Mas a verdade é que o e-mail nem sempre é a melhor saída. Para alertas urgentes, talvez você queira ou precise de SMS, notificações por push para dispositivos móveis ou até mesmo chamadas de voz. Procure um sistema que permita alertar de várias maneiras.

Alertas mais completos

Alertas acionáveis são alertas com informações detalhadas. O que significa que uma mensagem de texto curta nem sempre é o bastante. Cuidado com os limites rigorosos de caracteres e procure uma tecnologia que permita anexar gráficos, logs, runbooks e listas de verificação para oferecer contexto adicional a um alerta e informar o desenvolvedor o que fazer a seguir.

Personalizar ações de alerta

A maioria da tecnologia de alertas permite que você adicione uma observação ao alerta ou a encerre. Mas, às vezes, há etapas durante o processo. Como escalonar o alerta para investigação adicional, criar um ticket de serviço ou reiniciar um servidor. Procure soluções tecnológicas que permitam que você faça mais do que apenas abrir e encerrar.

Ações automatizadas

Para alguns alertas, o que fazer a seguir é complicado e requer a visão de um desenvolvedor experiente. Para outros, o caminho a seguir é claro.

Para alertas com etapas seguintes claras (testes de diagnóstico, ações corretivas), você vai precisar de um sistema que tenha acionamento automático dessas respostas para os alertas que atendam aos critérios predefinidos.

Por exemplo, se um banco de dados ficar lento, talvez você configure o sistema de alerta para alternar para um banco de dados de backup. Se a primeira etapa para corrigir o item A for sempre reiniciar um servidor, talvez você configure o sistema de alerta para reiniciar o servidor e monitorar o resultado antes de enviar um alerta no meio da noite.

Classificação e personalização de alertas

Quando os alertas surgirem, a equipe deve organizar, marcar com informações adicionais e filtrar os alertas.

Acompanhamento do ciclo de vida do alerta

Na análise retrospectiva do incidente, é importante saber quando o alerta chegou, quem o recebeu, quando o viu e que ação foi tomada. Qualquer tecnologia escolhida deve ter monitoramento automático dessas informações. Assim fica mais simples entender o que está e não está funcionando, melhorar os KPIs e documentar incidentes passados para que as equipes de plantão possam aprender com eles e consultar esses aprendizados para incidentes futuros.

Políticas de alerta e notificação

Se a prática recomendada aqui for definir limites inteligentes para os alertas e garantir que itens leves não estejam acordando os desenvolvedores no meio do sono REM deles, você precisa de uma tecnologia que permita suprimir, atrasar e agilizar alertas com base no conteúdo e no tempo deles.

Monitoramento em tempo real para o monitoramento

Como você sabe, a qualquer momento, que os sistemas de alertas estão funcionando?

A resposta, com a tecnologia certa, deve ser que a tecnologia tem o próprio sistema de monitoramento. Com o Opsgenie, a gente faz o monitoramento com uma ferramenta chamada Heartbeats, que verifica com frequência se as ferramentas de monitoramento estão ativas e conectadas e as tarefas personalizadas são concluídas no prazo. Se o sinal cair, o sistema avisa você em instantes.