2011/03/28

NOSQL, Cassandra, Hibariのハンズオントレーニングを開催いたします

来月の4月25日(月)、26日(火)、27日(水)の3日間、NOSQLのハンズオントレーニングを開催いたします。このような状況であり、ご予定を調整することが難しいかもしれず、また更なる不測の事態についても心配され、広くご案内をせずにおりました。

しかし、以前より希望されていた方々より、参加できる旨のご連絡をいただき、開催することにいたしました。日程は次のとおりとなります。

2011年4月25日(月)13時~17時 NOSQL Technologies Overview
http://nosqltechoverview.eventbrite.com/

2011年4月26日(火)10時~17時 Cassandra Hands-on
http://cassandrahandson.eventbrite.com/

2011年4月27日(水) 13時~17時 Hibari Hands-on
http://hibarihandson.eventbrite.com/

そして、このたび初めて、Hibariのハンズオントレーニングを実施いたします。Hibariは、SourceforgeからGitHubに移行し、以前は複雑であったインストールをパッケージ化し、さらにアプリケーション開発者向けに新たにドキュメントを準備しました。
http://hibari.github.com/hibari-doc/hibari-app-developer-guide.en.html

すでにお試しいただいている方もおり、そのフィードバックもいただきながら、更新も続けています。また、当日までに日本語版も準備できるように関係者と相談をしているところです。

このようなタイミングでのお知らせとなりましたが、3月末までにお申し込みいただければ料金も40%のディスカウントになります。ぜひ、ご検討いただければ幸いです。

今回4回目となりますが、これまでご参加いただきました方々と、とてもよいご縁ができ、私どもにとってたいへんに素晴らしい機会となっております。皆様にお会いできることを心から楽しみにしています。

2011/03/15

Gemini Mobile announced a test version of software for large-scale cloud service (Translation of businessnetwork.jp articles)

The very good article of "Cloudian" is posted in the Japanese web site of  businessnetwork.jp. Here is the translation of this article.
http://businessnetwork.jp/Detail/tabid/65/artid/1148/Default.aspx

 Gemini Mobile announced a test version of software for large-scale cloud service
writer: Hiroshi Isobe (Editorial Office)
date: Mar 14, 2011

 Gemini Mobile Technologies, a company that provides messaging software for telecom operators (herein after "Gemini") developed and started to provide on Mar 11, 2011 a test version of software, called "Cloudian", for Internet service providers (ISP's) and cloud service providers (CSP's) to build large-scale distributed systems.

 Cloudian is a package of software to provide a flexible operating system for multiple customers to use a large-scale, Amazon S3 based, distributed storage system. It can support flexible service by assigning storage as required and providing volume-based billing capabilities. Its storage is scalable from only two PC's to hundreds of PC's across multiple data centers. Users can assign which data to be stored in which storage area. Also, private storage clusters can be easily configured as per service level agreement (SLA) per user.

 This type of storage is generally called "on-demand cloud storage." The most recognized example is "Amazon S3" provided by Amazon.com. On-demand cloud storage is characterized with an service operation to allow multiple users to use a part of storage whenever necessary and pay for what they have used. It is indeed a core menu of huge public cloud service provided by Amazon.com and Google.

 In Japan, however, many cloud services provided in the country are in effect similar with "hosting", "ASP" and "SaaS" services and not publicly shared on-demand cloud storage as provided by major web services in the US, e.g., Amazon.com, Google, and Facebook. Typically cloud service in Japan is meant to have IT systems of big companies in data centers or to allocate hardware assets, e.g., servers, to each customer (tenant) for their use. Such approach in Japan is often complained for costly initial investment and fixed fees, regardless of actual usage.

 In this background, recently there were two announcements in 2011, which would suggest full-fledged takeoff of Amazon-like, on-demand cloud storage in Japan. One was made by Amazon.com themselves. They announced the operation of a data center for cloud service in Japan. Amazon S3 already has a number of users in Japan. Until today data had to be physically stored in data centers outside Japan, which was the cause of concern about information management and latency among Japanese users. Now that they have a data center in Japan to wipe away these concerns, their opportunity to drive the usage in Japan is higher than ever.

 Another announcement was made by IIJ (Internet Initiative Japan) on "IIJ GIO storage service FV/S" (a beta program for test), a cloud storage service with API of HTTPS/REST interface (equivalent to Amazon S3). The service is based on volume charge and is expected to grow into one that can vie with Amazon S3.
 Cloudian announced by Gemini is believed to be good news for ISP's and CSP's who would like to start similar service with these cloud services.

Cloudian supports Amazon S3, and users can use Amazon S3 REST API. There are a growing number of web services that use Amazon S3 REST API in Japan, too. Gemini says Cloudian can help drastic reduction of development by allowing users to use the software without change to their existing applications.

 In the back end, Cloudian can use highly performing (data processing), scalable, available, NOSQL (Not Only SQL) databases. Currently it supports Cassandra database. Gemini also developed a log analysis system for real-time, large log collection, storage and analysis by using Cassandra (Flume-Cassandra Real-time Log Processor) and started to provide it as open source software last week, which is already gathering attentions in the community. In the future Gemini plans to also support Hibari, a NOSQL database developed by Gemini, and other NOSQL databases as well as their native API's on Cloudian.

 Cloudian package configuration

2011/03/11

Cloudian (クラウディアン)のプレスリリースを行いました

2011年3月11日(金)、GeminiはCloudian(クラウディアン)のプレスリリースを行いました。

http://www.geminimobile.jp/news/press-releases/press-release-4.html

Cloudianは、Amazon S3準拠のマルチテナント・クラウド・ストレージ・システムのソフトウェア製品です。最小2台の汎用PCサーバーから数百台にまで水平拡張でき、数百というマルチテナントが物理的に同じストレージ・サーバー・クラスターを共有できるため、ISPやCSP(クラウド・サービス・プロバイダー)が従量制型のストレージ・サービスを経済的に提供できるようになります。

2011/03/07

Flume-Cassandra Log Processing Systemのオープンソースリリースについて(2)

先週3月3日(木)に英語版でプレスリリースをしましたFlume-Cassandra Log Processing Systemのオープンソースリリースについて、ITProに記事が掲載されましたので、ご紹介いたします。

ジェミナイ、分散KVS「Cassandra」を使ったリアルタイムログ解析システムをOSS化

日本のプレゼン資料になります。ご興味のある方はぜひご覧ください。

2011/03/04

Flume-Cassandra Log Processing Systemのオープンソースリリースについて

先日、3月3日(木)、GeminiのUSチームから、FlumeとCassandraを利用したリアルタイムのログ処理システムをオープンソースとしてリリースしたことを発表しました。
http://www.geminimobile.com/news/press-releases/press-release-3.html

日本語で発表しなかったのは、未だFlumeについては、日本において関心を持っている方が少なく、話題に上ることも少ないであろうと考えたためです。しかし、NOSQLやCassandraのコミュニティでお付き合いいただいている方々から早速いくつかのTweetをいただき、感激しているところです。


また、今回のリリース前に、DataStaxのCEOであるMatt Pfeilと話している際、これは「Big DataとRealtime」を強みとするNOSQLデータベースであるCassandraとしても、ぜひとも応援したいとのことで、コメントを寄せてくれました。さらに、発表後、米国側ではFlumeのコミュニティからも早速メールが届き、MeetUpで話をしてくれないかという依頼も飛び込みました。


実は3月には、この他にもいくつかのNOSQL関連の発表が控えていますので、注目していてください。なお、ご参考のために、発表内容の翻訳をご紹介しておきます。


Gemini Releases Real Time Log Processing based on Flume and Cassandraの和訳
Gemini Mobile Technologies ("Gemini") は、本日、FlumeCassandraを利用したReal-time Log Processing System (“Flume-Cassandra Log Processor”)をオープンソースとしてリリースしたことを発表しました。 このFlume-Cassandra Log Processorは、商用システムからの大量のログを収集し、グラフィックレポートにリアルタイムで処理することを可能にします。加えて、複数のデータセンターからのログを同時に統合し、単一のデータベースで分析することもできます。予見することが難しいリアルタイムでの分析能力を持つ、GeminiFlume-Cassandra Log Processor は、オンライン運用から得られるビジネスインテリジェンスの品質と時間を大幅に改善します。このローコストでかつ小さな手間がもたらす劇的な拡張性は、NOSQLNot Only SQL)技術が可能とするものであり、それはGoogleFacebookAmazonにおけるクラウド・ストレージ技術に端を発するものです。 
ログはリアルタイムでユーザのオンライン行動や利用を記録します。Webサービス・プロバイダー、通信事業者、Eコマース・プロバイダー、そして企業のWebサイトは顧客体験とビジネスを改善するためにログを分析しています。伝統的なシステムはログをオフラインで分析してきました。なぜならば、ログファイルはリレーショナル・データベースにはあまりにも大きく、ログが生成されてから数日から数週間をかけてレポートを作成することが一般的でした。GeminiのソリューションはFlumeを用いて、都度ログをストリームし、データはリアルタイム、つまりログイベントから1秒以内でCassandra NOSQLデータベースに格納されていきます。オフライン分析もCassandraをクエリ―し、MapReduceを動作することにより可能です。このFlume-Cassandra Log Processor は、数台のPCから複数のクラスターに拡張でき、数百テラバイトのログを格納し、分析し、自動的に期限切れのデータを消去します。 
「ビジネスインテリジェンスは企業やサービス・プロバイダーにとって、個人にとって、また効果的なWeb体験をお客様に提供するための重要な構成要素です」とGeminiの共同創立者兼COO、マイケル・ツォーは語っています。「私たちのFlume-Cassandra Log Processorは、以前では困難であったデータ量と速度で、リアルタイムにビジネスインテリジェンスを提供します。私たちは、コミュニティが容易にカスタマイズ、改善できるよう、喜んでこれをオープンソースとしてリリースします」。 
Geminiのリアルタイム・ログ処理ソリューションは、big dataの問題をリアルタイムで解決できるCassandraの能力を、とても印象的に示しています」。DataStaxCEOであり、Apache Cassandraの商用リーダーであるMatt Pfeil, CEOは語っています。「Cassandraは、急速にWebと企業アプリケーションにとって拡張性が高いプラットフォームとしての機運が高まっています。私たちは自らが革新を続けることと、Geminiとの協力関係に大いに期待しているところです」。 

このFlume-Cassandra Log Processor は、Githubからダウンロードできます。 https://github.com/geminitech/logprocessing
FlumeCassandraは次のサイトになります






2011/03/02

NTTソフトウェア株式会社様オンサイトにてNOSQL トレーニングを開催しました

先週、2月25日(金)、NTTソフトウェア株式会社様の研修施設がある横浜事務所にて、オンサイトにおけるNOSQLトレーニングを開催いたしました。

NTTソフトウェア株式会社様では、「NOSQLには以前から取り組んでおり、最近になってニーズが多く寄せられており取り組みを拡大している」とのお話を伺い、オープンソース推進室から社内希望者を募っていただいたところ、大阪からのWebカメラによる参加も含め、30名近くの出席がありました。10秒程度のビデオですが、その模様をご紹介します。


NOSQL Technologies Overview Training from geminimobile on Vimeo.

トレーニングは、NOSQLのTipping Point(ブレイクするきっかけ)となったGoogleのBig Table、AmazonのDynamoの論文の技術概説を行い、そのうえで現存のNOSQLデータベースである、Cassandra、HBASE、MongoDB、Hibariについて、それぞれの特徴を説明し、技術の比較を行いました。また、YCSB論文のパフォーマンス比較についてもご紹介しました。

余談ですが、Hibariが「YCSB論文のパフォーマンス比較に入っていない」とのうれしいご質問もいただきました。Geminiでは数回パフォーマンス比較を行っており、「NOSQL AFTERNOON IN JAPAN」と「Erlang User Conference」で発表をしています。Basho Benchというツールを用いて比較しており、昨年発表したプレゼン資料にありますのでご参照ください。
さいごに、CassandraとYCSBのデモをご覧いただき、半日のトレーニングを終了しました。終了後のサーベイで、「NOSQLが普及するためにどうしたらよいか?」という点をお伺いしたところ、次のようなご意見をいただきました。今後の活動の参考にしたいと思います。
  • イベントやセミナーの開催、宣伝活動による啓蒙
  • 日本語ドキュメントの充実、Web情報の整備
  • 多くの実際の適用事例を紹介
  • NOSQLの適用分野、SQLとの棲み分けを明確にしてゆくこと
  • NOSQLの適用シーン、適用モデルを明確にしてゆくこと
  • RDBMSのように活用方法を定型化、定式化
また、オープンソース推進室には、「今まさにやっている業務へのヒントとなった」、「すぐに業務に活用できる」といった声が寄せられたとのことで、「全体的に成功であった」とのフィードバックもいただきました。私たちとしても、たいへんに熱心に聞いていただき、内容を良く理解した的確な質問をいただき、今回のトレーニングのために米国から講師を出張させて本当に良かったと思っているところです。

このNOSQLのトレーニングは、昨年開始以来、回数を重ね次回は第4回目となりますが、4月後半の開催に向け準備を進めているところです。ご関心のある方は、ぜひ、bigdata at geminimobile.comまでご連絡いただければ幸いです。事前にご案内をさせていただきます。