IT統括本部 Ｓｋｙスタイル部 プラットフォーム課における、社内システムのインシデント対応改善の取り組みを紹介します。対応の属人化や初動対応の遅れといった課題を解決するため、内製したAIエージェントを導入。GitHub Issueを活用した状況確認の自動化や、ポストモーテムへの転記に使える要約機能などを構築し、初動対応のスピード向上と属人化軽減を図るプロセスを解説します。（IT統括本部 Ｓｋｙスタイル部）
はじめに
IT統括本部 Ｓｋｙスタイル部 プラットフォーム課では社内システムの運用管理を担当しており、日々発生するシステムインシデントへの対応を行っています。
今回は、私たちのインシデント対応の流れをご紹介するとともに、その中で進めている「AIエージェントを活用した初動対応の迅速化・属人化解消」の取り組みについてお伝えします。
インシデント対応の流れと抱えていた課題
インシデント対応の流れ
私たちの部署における、インシデント対応の基本的なフローは以下のとおりです。
1. アラート検知：
Zabbix、VictoriaMetrics、Amazon CloudWatchなどの監視ツールでアラートが発生する。
2. 通知の集約：
アラート情報をPagerDutyに集約。エラーレベルの高いものやインシデントの可能性のある事象について、自社で内製しているチャットツール（SKYWIZ）を介して担当者・関係者へ通知する。
3. 一次対応：
事実確認を行い、一次対応や関係者への報告を行う。
4. 調査と復旧：
原因究明を進め、復旧対応を実施する。
5. 振り返り：
対応完了後、インシデントの振り返り（ポストモーテム）を行う。
直面していた運用上の課題
監視から通知へのフローはある程度ツールでカバーできていたものの、運用を進めるなかで以下のような課題がありました。
- 対応の属人化：
過去に対応実績のある既知のインシデントであっても、アラート内容を見て即座に動けるメンバーが限られていた。 - 初動の遅れ：
特に未知のトラブルの場合、切り分けの勘所や確認すべきポイントを判断するのに時間を要してしまい、初動の段階で停滞しやすい。 - ナレッジ共有の不足：
ナレッジが対応メンバー個人の経験としてとどまりやすく、担当者によって対応の質に差が生じていた。
そこで、アラート情報に含まれる「発生場所」や「概要」を基に、AIエージェントが自動で初期の状況確認を行う仕組みを考案しました。人間の初動対応を支援することで、対応スピードの向上と属人化の解消を目指しています。
AIエージェントによる初動対応の仕組み
現在、内製したAIエージェントを活用して、以下のような流れで初動対応を行っています。
1. GitHub Issueの起票：
運用担当者が、アラート情報のリンクを含むGitHub Issueを手動で起票する。
2. 自動状況確認：
AIエージェントがアラート情報から対象のワークロードを特定し、ログやメトリクスの管理ツールに自動接続して状況を確認する。
3. 情報の記録：
AIエージェントが確認したログやメトリクスの情報を、GitHub Issue上にコメントとして自動で記録する。
4. 対応とエスカレーション：
担当者がGitHub Issueに蓄積された情報を確認し、追加調査や開発担当チームへのエスカレーションを行う。
仕組みとしては、まず最初に自社のチャットツール（SKYWIZ）にアラートが連携されます。この際、運用担当者が所定のフォーマットに沿ってGitHub Issueを作成すれば、AIエージェントがそのアラート情報を元に自動で調査を開始してくれるようになっています。
現在は、監視ツールの誤検知（ノイズ）を完全に排除しきれていないため、あえて手動での起票というプロセスを踏んでいますが、ゆくゆくは起票自体も自動化したいと考えています。
また、情報を記録・管理するツールとしてGitHub Issueを選定した理由は、運用担当と開発担当のやりとりをエージェントの記録と同じ場所に残したかったためです。開発担当メンバーにとってもなじみのあるGitHub Issueを記録場所とすることで、円滑な連携を実現しています。
現場に定着させるための工夫：ポストモーテム作成の支援
新しい運用フローを現場に定着させるためには、実際に作業を行う運用担当者側にも明確なメリットがある設計にすることが重要です。
インシデント発生後の「振り返り（ポストモーテム）」では、障害発生から復旧に至るまでの時系列のアクションと判断プロセスの正確な記録が求められます。従来は、担当者がチャットの履歴をさかのぼったり関係者に当時の動きをヒアリングしながら作成していたため、多大な時間と手間がかかっていました。
そこで、AIエージェントによる調査が完了した際、GitHub Issue上のやりとりや調査ログを自動で時系列に整理し、ポストモーテムへそのまま転記できる要約テキストを生成する機能を組み込みました。これにより、振り返りシートの作成負荷が大幅に軽減されました。
今後の展望
現時点では障害対応時間の詳細な削減数値までは集計できていないものの、体感レベルでは初動対応が大幅に迅速化されたと感じています。
これまでは手動でログを検索（Grep）していたような地道な初期調査をAIエージェントが代替してくれるため、経験が浅いメンバーであっても、迅速に原因を特定し、解決へと進められる事例が増えています。
現在はセキュリティや権限管理の観点から慎重な設計を行っているため、復旧作業そのものは人間が行っています。今後はAIエージェントの適用範囲を広げ、最終的には「発生検知から復旧までのプロセスをAIが自律的に行い、人間は最終的な結果確認のみを行う」状態を目指して、さらなる機能拡張を進めていきます。
