キャリア採用トップ
データ推進室
Case08 クラウドエンジニア × 事業領域横断

Case08

複数の事業領域にまたがる

監視・アラート通知基盤を改善し、

それぞれの事業領域に最適化された

モニタリングを実現

01Outline

事例のアウトライン

幅広いサービスのモニタリングを横断で行っていたものの、システムに「必要な」アラートが十分に設定されておらず、一方でシステムに「不要な」アラートまで一律設定されている状態でした。

そこで、各サービスを熟知した開発者が自由に監視やアラート通知の条件を設定できる基盤を開発しました。

これにより、社内の開発者は各種メトリクスや指標を活用して、サービス品質の向上に役立てることができるようになりました。

02Issue

直面していた課題

クラウドエンジニアが監視を担当するサービスは幅広く、社内・カスタマー・クライアント向けのWebアプリケーションや、データ連携・基盤系システム、複数の事業領域横断のプロダクトなど、多岐に渡っています。
従来、これらの監視業務はインフラチームが複数サービスを横断して担当しており、その結果、監視やアラート通知の条件設定がサービスごとに最適化されていないという課題がありました。
これらの課題に対して、それぞれのサービスやシステムに最も詳しい関係者が自ら必要な監視を設定できる状態を目指したのが、今回のプロジェクトです。

03Solution

実現した解決策

各種メトリクスの収集・保存、ダッシュボードの作成、アラート通知設定や条件・通知内容を自由に設定できる仕組みを、オープンソースおよびクラウドサービスを組み合わせて開発し、運用の仕組みも整理しました。
これにより、監視基盤でサービスに必要な情報を集約・可視化し、開発者は各種メトリクスや指標を参考にしてサービス品質の向上に役立てられるようになりました。また、サービス関係者が自らアラート通知条件を設定することで、必要な情報や通知を必要な時に必要な人だけが受け取れるようになりました。

04Technical Background

技術的な背景

1.メトリクスの収集・保存・可視化
・オープンソースの監視ツールであるVictoriaMetricsを中心に構成
・メトリクスを収集するExporterもオープンソースのものに加え、独自実装も利用し、多様なニーズに応えられるように設計
・収集したメトリクスを可視化するダッシュボードツールには、オープンソースのGrafanaを採用

2.アラート通知・管理
・Slack・メール・架電でのアラート通知に対応
・アラート・インシデントの管理画面も開発

3. 監視全体の運用整理
・監視設定リポジトリにプルリクエストベースでアラート・通知設定（例：通知手段・通知先）やダッシュボードの設定を行える CI/CD フローを構築し、GitHub Enterpriseのリポジトリ上で管理
・アラートの Runbook(対応手順)をMarkdownファイルとして整理し、上記設定と同様にリポジトリ上で管理
・一部の監視設定については、自動で追加・削除のプルリクエストが生成される仕組みも構築

05Outcome

得られた成果

サービスに必要な情報を集約し、誰でも自由にモニタリングやアラート通知の設定を行える基盤を提供する事で、社内の開発者は各種メトリクスや指標を活用し、サービス品質の向上に役立てられるようになりました。また、サービス関係者が自らアラート通知条件を設定することで、必要な情報・通知を必要な時に必要な人だけが受け取れるようになり、平時・非常時のサービス運営の改善・効率化に繋がりました。

事例紹介Case Study