2014.11.18

KCPS における故障発生時のオペレーションについて お客様の期待に応える

KDDI クラウドプラットフォームサービス(以下、KCPS)のサービス運用を担当している佐藤優です。IaaSとしてのお客様故障窓口であり、メンテナンス情報の提供、オプションでご契約頂いたお客様システムの個別運用等を担当しています。KCPSでは、インターネット上に構築されるWebシステムに限らず、閉域網と組み合わせたイントラサーバ用途で多くのお客様にご利用頂いており、キャリアが提供するクラウドとして稼働率だけでなく高い運用品質が要求されます。例えばKDDIでは、故障発生時にはネットワークサービス同様、直ちにお客様へ(場合によりSIer様にも)電話またはメールにより能動連絡を実施します。それを24時間365日可能とする運用体制とシステムを確保すると共に、KDDIの運用担当者は、日夜お客様のご期待に応えるべく運用サービスの改善に取り組んでおり、今回はその一例をご紹介したいと思います。

迅速な故障連絡

故障連絡

これまでのお客様の声から、故障発生時に特に重要視されていると感じるのは、故障発生連絡(「初報」及び「経過報」)の迅速さです。万一、お客様のサービスに影響が生じた際、お客様側で様々な復旧プランを用意されている場合は特にですが、故障範囲はどこなのか、いつ復旧見込みなのか、といった情報がお客様の復旧方針を判断する材料となり、これが遅れるとお客様サービスの復旧の遅れにつながりかねません。KCPSでは、過去の故障時に、大規模なクラウド基盤に分散しているお客様サービスの故障影響範囲の特定に時間がかかり、数時間にわたり故障連絡が遅れるという失態から、一部のお客様に多大なご迷惑をお掛けしました。その反省から迅速な故障連絡を確実に実施するためには、故障発生時点で故障箇所とお客様契約をリアルタイムに関連付ける仕組みが重要となります。監視ツールなどでシステム上の故障影響範囲を特定する検知ロジックだけでは、お客様影響を素早く把握することが難しいため、事前に故障箇所からお客様影響範囲を特定するためのシステムを独自に開発し、導入いたしました。

本システムにより、故障発生時(二重故障を含む)には、30分以内にお客様へ通知を行える運用を実現し、運用効率、習熟度のさらなる向上に努めています。

 お問い合わせ対応の品質向上

サービス運用部門では、お客様満足度を向上するために様々な(8つの)運用のKPIを定めて改善活動を実施しています。その一つが窓口でのお問い合わせのクローズ率向上です。お客様からのお問い合わせに迅速に回答するには、窓口の担当者がR&D部門へエスカレーションせずに、お客様にその場で不具合事象を伺いながら、スピーディに問題箇所を特定し解決するのが、もっとも効果的です。しかし、KCPSのお問い合わせでは、お客様側で自由にご利用頂くゲストOSとIaaS基盤の問題を切り分けることが、他のサービスに比べ難しくなります。そのため、日々のお問い合わせ情報は、解決後直ちに共有することで、どのようなヒアリング項目やご提案が問題を最短で解決するのに役立つのかを、即座にナレッジ化する様にしています。地道な取り組みですが、この積み重ねにより窓口でのクローズ率の向上を図り、少しでも早くお客様の問題解決にあたりたいと考えています。

 ログ解析基盤の導入

KCPSの規模が増大するに従い、仮想システム上で遅延等の問題をお問い合わせ頂いた場合、窓口の担当者が見たいログ情報や稼働状況をすぐに見ることができないと、素早い調査が出来ず解決に時間がかかります。また、KCPSはIaaSであるため仮想マシンまでの提供となり、ゲストOSの調査を直接行えないため、調査対象の仮想マシンに関連する物理、ハイパーバイザ層のリソース状況、ログの調査を、大量の情報から検索したり傾向を可視化する必要があります。そのため、KCPSではログ解析基盤を導入し、大量のデータから重要なものだけを見つけ出す、また時系列から傾向や異常・急上昇を発見する取組みを行っています。

 更なる改善に向けて

最後に

サービス運用に関する取組みについて、いくつか簡単に紹介させて頂きましたが、今後も様々な故障事象やお問い合わせに対して、これまでの経験・ナレッジを活かすと共に新たな取り組み(故障検知とヘルスチェック機能を組み合わせる等)により、更に改善して行きたいと考えています。
また、一旦故障が発生しご迷惑をお掛けしたお客様には、故障レポートを作成し、故障原因や対策を明確にすることで、少しでも安心してご利用を継続頂けるように努めております。勿論、故障を発生させないことを第一に、今後とも関連部門が一丸となって取り組んでまいります。

カテゴリ
タグ

KDDI株式会社 プラットフォーム開発本部
アジャイル開発センター

佐藤 優

新着記事
タグ
アーカイブ
カテゴリー
Contact
TOP