2014.09.22

多種多様な社内ログを有効活用!KDDIの取組みレポート

top
はじめまして。ログ管理サービス担当の小山です。少し前の話になりますが、 今年のW杯は残念無念でしたね。W杯は、ログ観点でも話題だったのをご存知でしょうか。”勝利法則”に変化が!これも蓄積データあってこそですね。クラウドサービス提供を推進しているKDDIでも、今まで以上に様々なシステムで起こっていることをもっと簡単に管理・活用したいということから、”ログ”というキーワードを中心に、社内ログ管理と監視の効率化推進の取り組みを行っています。まずはKDDI社内の取り組みについてレポートしていきます。

KDDI戦略に見るログの立ち位置とは

3M戦略
KDDIの法人向けサービス部門は、通信を含めたクラウドサービス提供を推進しています。ネットワークのログ、デバイスのログ、そしてクラウドサービス(SaaS/IaaS/DaaS etc)のログなど、多岐にわたるログが存在しています。通信品質だけでなく、クラウドサービス品質にも目を向けています。お客様に提供するサービスをより良くするために、多種多様なログをもっと簡単・便利に運用監視に適用し、品質向上の取り組みをしています。クラウドサービスはマッシュアップが一つのキーワードとして上げられます。サービスを組み合わせて提供するのであれば、そのログも当然統合するのが運用・監視の面でも有効であると考えています。止まらないクラウドサービスを目標に、お客様へ”継続”、”安定供給”を行います。ログの活用といっても、データ種別や見せる側の要望によりその活用方法は多岐にわたります。でも、ログ種別ごとにシステム構築を行うことはナンセンスですね。最終出力は違えどソースデータの分割損や、集計時の集約損といった無駄の排除、新着ログと塩漬け(たぶん使わないけど保存しておきたい・保存しなければいけない)ログの効率的利用を行うことで、予兆監視も可能とするような運用監視の取り組みも進めています。

ログ管理ソフトをちょっと紹介。

狼煙

通信技術の歴史は「狼煙」から始まり今に至ります。追跡者には灰は格好の痕跡情報として意味を持っていたのでしょう。ログの管理という切り口で見れば、歴史的に見ても、まだまだ始まったばかりです。関連法令で見てみると、2003年から関係法令などが出された「個人情報保護法」や「日本版SOX法(内部統制強化の時代)」により、ログの重要性が高まってきました。直近では「パーソナルデータの利活用に関する制度改正大綱」(以下パーソナルデータ大綱)が6月24日に決定されたことは記憶に新しいですね。

さて、ログ管理の重要性が高まる中、ログ管理の商用アプリとして
(1)運用機能統合管理アプリ
・1994年 日立製作所が 「JP1」を発売
・1995年 富士通が「Mp Walker/JM」を発売(後の「Systemwalker
・1996年 IBMがチボリシステムズ社を買収し「TIVOLI Software」ブランドとする
※その他「WebSAM(NEC)」、「Senju(NRI)」、「NetADM(ヌリテレコム)」、「NetCrunch(AdRem Software)」など様々な製品群が販売されています。何れも、ログ管理だけではなく「運用管理ツール」という位置付けの製品であり、その導入には大きな投資を必要としました。

(2)ログ監視特化アプリ
汎用サーバによるシステム構築が増えるにつれ、シンプルな監視機能を提供するOSSの需要が高まってきました。大きく異なるのは、基本”監視”を行うことに特化したソフトになります。
・「Nagios」(OSSでは歴史があり日本語の情報も充実)
・「ZABBIX」(コミュニティも活発で、商用サポートも可能)
・「Hinemos」(NTT-DATA開発の純国産)
・「Zenoss」(Nagiosプラグインが使え、商用サポートVerもあり)
※その他「Hobbit Monitor(Xymon)」、「Groundwork Monitor」、「Hyperic HQ」、「Cacti」などがあります。

(3)ログ監視+検索・解析アプリ
そして、昨今、ログ監視ではなく「ログ検索・分析」を主眼としたアプリケーションが注目を集めていることは皆さんご存知でしょう。
・「Splunk/Hunk」(商用)
・「Logstorage」(商用:純国産)
・「ElasticSearch」(OSS)
これらは、ログの中身までを検索・解析を行うことが可能なソフトウェアです。刻々と変わる外部環境に対するログの変化をリアルタイムに検索・解析を行うことが可能となっています。特に運用者向けサポートツールとしてその需要が高まっています。

(4)番外編(国産系サービスの世界での躍進)
ログ管理ではありませんが、BigDataの最先端国産サービスとして、世界を舞台に躍進しています。
・「Treasure Data Service」:収集・保存・分析のための環境をワンストップで提供
・「FlyData」:オンプレ環境からクラウド環境(Amazon Redshiftnado)へのデータ移行サービス
両サービスとも、日本人技術者が米国シリコンバレーで起業し、日本へ逆輸入されているサービスです。
このブログでは、(2)、(3)を中心とし、周辺技術の一要素である「Hadoop」や「分散ストレージ」も織り交ぜお伝えいたします。

まずはシステムログを「見える化」することから始めてみよう!

見える化

システムログは意味のある文字列です。でも、実際にシステムを運用する担当や作業決裁者が全てのログを理解しているわけではありません。開発者だって全てのログを完全に把握できているとは言えません。一人で複数システムを担当し、誇大化したシステムを完全に掌握するのは大変難しいことです。また、コストダウンによる運用機能の簡易化はどんな企業にもある大命題です。そこで、まずは見える化です。文字データを別次元から見てみました。ログの見える化?売り上げデータとかの見える化ならわかるけど、ログデータの見える化ってどういうこと?となりますね。
図がその時のキャプチャした見える化第1弾です。KDDIファイルストレージサービスKDDI Business App NAVIサイトのアクセスに関するログ可視化です。今までであれば、都度ログを取得解析し表示させなければいけませんが、リアルタイムに表示ができ、常に最新情報を確認できます。アクセスログやシステムログを可視化するだけでも、アクセス最繁時間帯の的確把握や時間ごとのリソース状況、アクセス元端末種別がすぐに判明します。これにより、アクセス回線の増設が必要なのか、サーバリソースの増設が必要なのかが判断できてしまいますね。(実際はもっと複数情報の比較が必要ですが)使われ方などを営業担当に展開することで、より効率的な利用方法などの助言を行うなど、日々のりテンション活動に生かすことも可能です。リアルタイム表示により、サービス運用者でも役立つ情報となります。監視はある一定の閾値やシステムアラームが出なければ気が付くことができませんが、閾値を越えなければ影響ができないというものではありません。システムリソースや帯域のリアルタイム確認によりその兆候を把握することができるでしょう。初回ということで、今回はこのあたりで。次回以降、ログ見える化方法や、システム構築のための技術検討内容などお伝えできればと思っています。

KDDI Cloud Blogにて、「ログ管理ブログ」カテゴリの開幕です。見事に韻を踏めています。幸先の良いスタートとこれまた勝手に喜んでおります。世間では字の如く「ビッグデータ」がビッグに語られていますが、その実態は「UFO」ならぬ「UUO:未確認利用物体(Unidentified Utilization Object)」です。このモヤモヤを吹き飛ばすべく、KDDIによるUUO駆逐作戦をこれより開始します。※ログ活用に関連した「Hadoop、分散ストレージ技術、表示解析(BI)技術 etc...」についてもサブ作戦として展開します。

カテゴリ
タグ

KDDI株式会社 ソリューション推進本部
クラウドソリューション部

小山 顕慶

新着記事
タグ
アーカイブ
カテゴリー
TOP