効果的なインシデント管理のためのエスカレーション ポリシー

階層エスカレーション

階層エスカレーションは、インシデントがチームまたは個人の経験レベルまたは年功序列に基づいて渡される際に行われます。

たとえば、最初のオンコールの応答者は、チームにとって新人の経験の浅い開発者である場合があります。階層的な組織において、これらの応答者が課題を解決できない場合は、その課題をより上級の開発者に渡します。この上級開発者も課題を解決できない場合は、再度より上級の開発者に渡します。このエスカレーションは課題が解決するまで続行されます。

機能エスカレーション

機能エスカレーションは、年功序列ではなく、スキルやシステムに関する知識に基づいて、インシデントを解決するのに最も適したチームまたは人物にインシデントが渡されるときに行われます。

たとえば最初のオンコールの応答者は、製品 X のバック エンドに焦点を当てたチームに属する、経験の浅い開発者である場合があります。中核となる問題が製品 Y との統合から発生している可能性があることが分かった場合、このインシデントを製品 Y チームに属する別の経験の浅い開発者にエスカレートできます。

自動エスカレーション

Opsgenie などのプラットフォームで作業しているチームの場合、主要なオンコール担当者がアラートを認識していない、またはアラートをクローズしない場合は、インシデントを自動的にエスカレートするようにシステムに指示するルールを設定できます。

チームによっては、エスカレーション方式のなかで 1 つのエスカレーション方式を好む場合がありますが、これらは互いに矛盾するものではありません。また、多くのチームは、階層エスカレーション、機能エスカレーション、自動エスカレーションを混合して使用しています。

エスカレーション マトリクス

エスカレーション マトリクスとは、エスカレーションを行う時期、各エスカレーション レベルでインシデントを処理する担当者を定義するドキュメントまたはシステムのことです。

この用語は、多くの業界で使用されています。人事部門が、社内の課題に関するエスカレーション マトリクスを採用している場合があります。コール センターが、カスタマー サービスの課題に関するエスカレーション マトリクスを採用している場合があります。また、IT チームと DevOps チームが、エンジニアがインシデントをエスカレートする方法と時期を把握できるように、マトリクスを 1 つ以上採用している場合があります。

マトリクスの詳細のレベルは、会社ごとに大きく異なります。一部の組織では、単純な階層チャートを採用して、各開発者が必要に応じてスキル レベルのより高い開発者にエスカレートしています。他の組織では、インシデントの種類や重大度レベル別に連絡すべきチームを開発者に指示する、状況に応じたマトリクスを採用しています。インシデント管理のほとんどの事例と同様に、組織のマトリクスを開発する方法についてはすべてに適した答えはありません。

エスカレーション ポリシーは厳格な一連のルールではなく、ガイドラインとして扱う

テクノロジーは静的なものでも、チームでもありません。Google では、SRE が特定のケースに異なるエスカレーション戦略が必要だと考える場合は、自由に主観的な判断ができるようにするように提案しています。ここでのポイントは、柔軟性のないルールを作成するのではなく、ほとんどの状況に該当するガイドラインを作成することです。

オンコール スケジュールを定期的に監査する

スケジュールにギャップがありますか? オンコールに対応する適切な人材がいますか? オンコールの第 2 階層と第 3 階層に適切な人材がいますか? より迅速なインシデント管理を実現するには、オンコール スケジュールとエスカレーション ポリシーが連携している必要があります。

エスカレーションのスマートしきい値を設定する

すべてのインシデントが同等に作成されるわけではありません。つまり、すべてのインシデントが同じエスカレーション ポリシーに従えるということではなく、その必要もありません。

軽微なインシデントの場合は、勤務時間になるまでオンコール エンジニアに通知する必要はありません。重大なインシデントの場合は、おそらく何時であってもオンコール エンジニアが必要になるでしょう。複数のインシデントが発生した場合にエンジニアは、最初に取り組むべき内容やインシデントをすぐに第 2 のエンジニアにエスカレートする必要があるかどうかを把握する必要があります。

これに関しては、システムのアップタイムを最大限に確保して、SLA の約束と SLO の目標を達成することと、エンジニアが疲れ切り、働き過ぎ、睡眠時間を奪われ、アラートによる疲弊が生じないようにすることとの、バランスを取る必要があります。

エスカレーションの明確なプロセスを設定する

エスカレートする開発者は、適切なチームまたは担当者に直接連絡するか、ヘルプ デスクを経由する必要があるでしょうか? 開発者が使用する必要があるシステムは利用可能でしょうか? エスカレーションの追跡方法は? インシデントを次の担当者に確実に引き継ぐために、最初の対応者が負う責任はどのようなものでしょうか?

これらの質問には、ポリシーによって明確に対処してすべてのオンコール開発者に明確に伝達し、エスカレーションを円滑に実行してインシデントをより迅速に解決する必要があります。