2011/03/04

Flume-Cassandra Log Processing Systemのオープンソースリリースについて

先日、3月3日(木)、GeminiのUSチームから、FlumeとCassandraを利用したリアルタイムのログ処理システムをオープンソースとしてリリースしたことを発表しました。
http://www.geminimobile.com/news/press-releases/press-release-3.html

日本語で発表しなかったのは、未だFlumeについては、日本において関心を持っている方が少なく、話題に上ることも少ないであろうと考えたためです。しかし、NOSQLやCassandraのコミュニティでお付き合いいただいている方々から早速いくつかのTweetをいただき、感激しているところです。


また、今回のリリース前に、DataStaxのCEOであるMatt Pfeilと話している際、これは「Big DataとRealtime」を強みとするNOSQLデータベースであるCassandraとしても、ぜひとも応援したいとのことで、コメントを寄せてくれました。さらに、発表後、米国側ではFlumeのコミュニティからも早速メールが届き、MeetUpで話をしてくれないかという依頼も飛び込みました。


実は3月には、この他にもいくつかのNOSQL関連の発表が控えていますので、注目していてください。なお、ご参考のために、発表内容の翻訳をご紹介しておきます。


Gemini Releases Real Time Log Processing based on Flume and Cassandraの和訳
Gemini Mobile Technologies ("Gemini") は、本日、FlumeCassandraを利用したReal-time Log Processing System (“Flume-Cassandra Log Processor”)をオープンソースとしてリリースしたことを発表しました。 このFlume-Cassandra Log Processorは、商用システムからの大量のログを収集し、グラフィックレポートにリアルタイムで処理することを可能にします。加えて、複数のデータセンターからのログを同時に統合し、単一のデータベースで分析することもできます。予見することが難しいリアルタイムでの分析能力を持つ、GeminiFlume-Cassandra Log Processor は、オンライン運用から得られるビジネスインテリジェンスの品質と時間を大幅に改善します。このローコストでかつ小さな手間がもたらす劇的な拡張性は、NOSQLNot Only SQL)技術が可能とするものであり、それはGoogleFacebookAmazonにおけるクラウド・ストレージ技術に端を発するものです。 
ログはリアルタイムでユーザのオンライン行動や利用を記録します。Webサービス・プロバイダー、通信事業者、Eコマース・プロバイダー、そして企業のWebサイトは顧客体験とビジネスを改善するためにログを分析しています。伝統的なシステムはログをオフラインで分析してきました。なぜならば、ログファイルはリレーショナル・データベースにはあまりにも大きく、ログが生成されてから数日から数週間をかけてレポートを作成することが一般的でした。GeminiのソリューションはFlumeを用いて、都度ログをストリームし、データはリアルタイム、つまりログイベントから1秒以内でCassandra NOSQLデータベースに格納されていきます。オフライン分析もCassandraをクエリ―し、MapReduceを動作することにより可能です。このFlume-Cassandra Log Processor は、数台のPCから複数のクラスターに拡張でき、数百テラバイトのログを格納し、分析し、自動的に期限切れのデータを消去します。 
「ビジネスインテリジェンスは企業やサービス・プロバイダーにとって、個人にとって、また効果的なWeb体験をお客様に提供するための重要な構成要素です」とGeminiの共同創立者兼COO、マイケル・ツォーは語っています。「私たちのFlume-Cassandra Log Processorは、以前では困難であったデータ量と速度で、リアルタイムにビジネスインテリジェンスを提供します。私たちは、コミュニティが容易にカスタマイズ、改善できるよう、喜んでこれをオープンソースとしてリリースします」。 
Geminiのリアルタイム・ログ処理ソリューションは、big dataの問題をリアルタイムで解決できるCassandraの能力を、とても印象的に示しています」。DataStaxCEOであり、Apache Cassandraの商用リーダーであるMatt Pfeil, CEOは語っています。「Cassandraは、急速にWebと企業アプリケーションにとって拡張性が高いプラットフォームとしての機運が高まっています。私たちは自らが革新を続けることと、Geminiとの協力関係に大いに期待しているところです」。 

このFlume-Cassandra Log Processor は、Githubからダウンロードできます。 https://github.com/geminitech/logprocessing
FlumeCassandraは次のサイトになります