2012/11/25

クラウドにおけるオープンソース勢力がアマゾンに対抗 〜 シリコンバレー「Cloud&BigData Expo」会議報告


「ビッグデータとクラウド・ストレージ」 連載 第五回

イベント・企業編3: 
オープンソースの逆襲 ~クラウド&ビッグデータ会議 ゆるめの報告


エノテック・コンサルティング代表
海部美知


◆ オープンソース勢力の集会


今回は、シリコンバレー(サンタクララ)で11月5~8日に開催されたCloud & Big Data Expoに行ってみた。全部を見ることはできなかったが、少々雰囲気はわかった。

連載第二回では、ラスベガスでの会議に集まっていた、米国全土に面的にひろがる地域密着型ホスティング業者の保守的で実直な様子が「シリコンバレーと全く対照的」とお伝えした。その比較対象である「シリコンバレー」のそのまた極端な反対側の端っこの典型、といった雰囲気が、まさにこの会議だった。というのも、ここは、クラウドにおける「オープンソース」勢力の集まりなのだ。

ラスベガスでの会議のような、短髪をきちんと分けた背広にネクタイの男性は少数で、長髪・ヒゲ・ポニーテールなどは当たり前、それどころかまるで「ラストエンペラー」かと思うような辮髪の人までいた。

シリコンバレーのオープンソース・コミュニティは、大手企業の支配を嫌い、誰でも参加できる真の民主主義を標榜する「イデオロギー」の香りが強い。会議の参加者は、ざっと見渡したところ、他の技術系イベントと比べてiPhoneが少なく、オープンソースであるAndroid保有者の比率が高いような印象を受けたのも面白かった。

また、アジア系の人が多かったのも特徴で、地元のアジア/インド系開発者だけでなく、韓国企業や日系企業の人も多数来場していた。


◆ オープンスタックのアマゾン対抗同盟


クラウドのオープンソース・ソフトウェアの主力は「オープンスタック(OpenStack)」だ。これは、ラックスペース社とNASA(アメリカ航空宇宙局)が2010年にプロジェクトをスタートし、Apacheライセンスで公開されている、クラウド・コンピューティングを構築するためのオープンソース・ソフトウェアである。この会議も、オープンスタック・ファウンデーションとラックスペースがメイン・スポンサーとなっている。

ラックスペースは、1998年創業のホスティング大手で、IaaS(Infrastructure as a Service)分野でアマゾンに次ぐ二番手である。アマゾンが独自方式で圧倒的シェアをもつ現状に対し、多くの味方を集めてオープンソースで対抗しようとしている。いわば、スマートフォンOSにおいて、iOSに対抗するグーグルが、Open Handset Allianceを母体としてオープンソースのAndroidを運営しているのと全く同じ構図だ。

オープンスタックには、ラックスペースとNASAの他、AT&T、IBM、レッドハット、シスコ、インテル、VMware、NECなど、数多くの主要企業がメンバーとして参加している。

Cloud & Big Data会議で、初日にオープンスタック、ラックスペース、レッドハットなどの講演を聞いたが、いずれも「オープン」が思想の共通のトーンであった。「特定のホスティング・サービスにロックインされず、自由にデータの移動ができたり、自社のニーズに合わせてカスタマイズできる」といったポータビリティ+アジリティの利点を強調し、皆あえて言わないけれど「アマゾンと違って」という枕詞が無言でついている、ように聞こえた。

◆ ビッグデータのためのオープンスタック


とはいえ、アップルとグーグルのようにいがみあっているわけではない。オープンスタックではラックスペースのサービス機能が主に提供されているようだが、S3からユーザーが移行したり、後々S3へと移行したりすることが容易にできるよう一部、基礎的な機能に互換性をもたせている。

S3と同様、オープンスタックも、スケールアウトしやすいことを主眼とした、ビッグデータ時代のクラウドストレージである。

オープンスタックは、3つの要素で構成されている。

① Compute:プロビジョン・マネージメント
② Storage:オブジェクト・ストレージとブロック・ストレージ
③ Network:ネットワーク管理

現在のところオープンスタック陣営は「卸売」的立場の企業が多い。例えばオープンスタックのウェブサイトで紹介されている「ユーザー」としては、シスコ傘下のウェブ会議サービス「WebEx」がフィーチャーされおり、他は大学・研究機関などが目立つ。

成熟するまでにもう少し時間が必要とも言われていることから、消費者にもブランドが浸透している「ネットフリックス」のような、有名どころの一般企業ユーザーはオープンスタック陣営にはまだおらず、参加メンバーは、企業ユーザーのプライベート・クラウドや、ホスティング事業者のクラウド・サービスを構築するサービスの提供を考えているようだ。

会議の展示フロアでは、VMware、インテル、マイクロソフト、アカマイなどの要素技術ベンダーや、ベライゾンのホスティング部門(テレマーク)、AT&Tなどが大きなブースを出していた。

◆ 日本企業の登場


展示フロアには、こうした地元米国の主力企業だけでなく、ベンチャーや中堅企業も多く、これに混じってJETROの日本ブースやオランダ・パビリオンもあった。

日本ブースでは、モバイル・M2M向けクラウド・ソリューションのインヴェントイット、高頻度トランザクション向けデータベース・クラスタリング・ソフトウェアのMurakumo、忘れにくく破られにくいパスワード認証システムのセキュアメトリックス、システム開発のためのルールベース技術のなうデータ研究所の日本企業4社が出展。すでに米国企業の提携先がある企業も、これから米国でのデビューを目指すものもある。

また、クラウディアンも提携先であるシトリックスのブースでプレゼンテーションを行った。クラウド構築のためのオープンソース・プロジェクトとしては、オープンスタックの他にもう一つ、クラウドスタック(CloudStack)がある。シトリックスはこれをベースとした「クラウドプラットフォーム(CloudPlatform)」というプロダクトを、ホスティング事業者のクラウド・サービスや企業ユーザーのプライベート・クラウド向けに提供している。クラウディアンのクラウド・ストレージ・プラットフォームは、このプロダクトと統合・連携して利用することもできる。

クラウド・ビッグデータ分野では、ストレージの日立などといったハードウェア企業以外はあまり展示会で日本企業を見かけなかったが、ソフトウェア分野でも米国での活動が少しずつ見られるようになったのは嬉しいかぎりである。

海部美知(かいふ・みち)


エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。



「Cloudianセミナー2012」の登録受付開始です。



本セミナーでは、Cloudianの活用事例をご紹介します。日本を代表するクラウドサービス事業者であるニフティ、NTTコミュニケーションズのクラウド・オブジェクトストレージサービスにおける事例、グローバルに事業展開する「Oxygen Cloud」、「リバーベッド・ホワイトウォーター」におけるCloudian活用事例に加え、クララオンラインがCloudianとクラウド・ゲートウェイを使った社内ファイルシステムをデモを交えて紹介します。
座席数に限りがありますので早めにお申し込みください。

参加希望の方は、以下のサイトから事前登録(無料)をお願いいたします。

http://cloudian2012.eventbrite.com/

2012/11/23

「Cloudianセミナー2012」開催のお知らせ



2012年12月10日(月)、「Cloudianセミナー2012」を開催します。

 本セミナーでは日本を代表するクラウドプロバイダー、「ニフティ」と「NTTコミュニケーションズ」がCloudian(クラウディアン)を活用したクラウドストレージ・サービスについて紹介します。

 またグローバルで活躍する「Oxygen Cloud」と「リバーベッド・ホワイトウォータ−」におけるCloudianの活用と、クララオンラインがクラウドストレージ・ゲートウェイによる社内ファイルシステムについてデモを交えて紹介します。

 アジェンダは次のとおりです。


 参加をご希望の際には、以下のサイトから事前登録(無料)をお願いいたします。皆様のご参加をお待ちしております。

http://cloudian2012.eventbrite.com/



2012/11/12

Cloudianに関する記事のまとめ

最近、Cloudian(クラウディアン)をご紹介いただく記事が増えてきています。CloudianのFacebookページにて、可能な限りリアルタイムでご紹介するようにしていますが、こちらのブログでもまとめてみました。


NTTコム、IaaSの「Cloudn」に月7.35円/1GBからのストレージサービス追加 ITPro

NTTコミュニケーションズ(NTTコム)「Bizホスティング Cloudn」に、ストレージサービスの「Bizホスティング Cloudn Object Storage」を追加した。「Amazon S3」と互換性のあるAPI(アプリケーション・プログラミング・インターフェース)を備える。クラウディアンが開発した分散ストレージソフト「Cloudian」を採用した。



「クラウドストレージとしてS3互換のメリットを提供する - クラウディアン」 マイナビニュース

2011年3月にCloudianの試験版を、そして同7月から商用版をリリース。2012年8月に、社名も製品名をより知ってもらうことを目的に製品名と同じクラウディアンへと変更した。


クラウディアン、Amazon S3互換クラウドストレージ製品を NTT Com が採用 Bizline

「Cloudian」は、Amazon S3互換のクラウドストレージを構築するソフトウェア製品。サービスプロバイダや企業が、汎用サーバーで高信頼性・マルチテナントのデータストレージシステムを構築できる。


NTT Comのオブジェクトストレージサービスに「Cloudian」が採用 クラウドWatch

「Cloudian」は、クラウドストレージ構築のためのパッケージソフト。特長は、「急速に成長し、エコシステムも発達、クラウドストレージの事実上の業界標準となっている」というAmazon S3に高度な互換性を持つ点。 S3の基本的なAPI(Put/Get/Head/Deleteなど)に対応するだけでなく、大きなオブジェクトを分割して保管する「マルチパート・アップロード」や、オブジェクトの格納場所(リージョン)を指定する「ロケーション・コンストレイン」、オブジェクトへのアクセスを制御する「アクセスコントロールリスト」といった高度なS3 APIに対応する。


日本発、S3互換クラウドストレージ構築パッケージ「Cloudian」 @IT

今後はパブリッククラウド以上の市場規模を持つプライベートクラウド市場に注力する。また、CloudStackとの連携も進める。パートナー企業のネットワークを活用したグローバルでの展開も視野に入れる。

また、この@ITではクラウディアンのチームが執筆した「NOSQLの基礎知識(ビッグデータを活かすデータベース技術)」の一部を紹介する連載が@ITで開始。多くのTweetやFacebookの「いいね!」をいただいています。

KVS系NoSQLのまとめ(Hibari、Dynamo、Voldemort、Riak編) (1/4) @IT



日本語記事ではありませんが、英語記事でもCloudianは紹介されています。

Cloudian hopes to woo enterprises with free edition of storage platform InfoWorld

(Cloudianにより)サービスプロバイダーは、パブリッククラウドやマネジドプライベートクラウドを展開でき、エンタープライズはプライベートクラウドか、オンプレミスとAmazonのクラウドをハイブリッド(混合)したクラウドを構築できる。


Cloudian’s Cloud Storage Software Powering NTT’s Cloud Storage in Japan, USA WEB HOST INDUSTRY REVIEW

Cloudianは業界では名前を知られていないかもしれないが、世界中で利用できるAmazonS3互換のクラウド・オブジェクト・ストレージ基盤構築のための最初の重要なグローバルパートナーシップにより全てを変えることがになるだろう。



ブログ記事も掲載されています。

The Five Minute Interview – Cloudian DataStax Blog

クラウドストレージ基盤を提供するのであれば、拡張性があり弾力的で、またお客様のニーズに応じて信頼性高く拡張できることが求められます。重要なことは、絶対的な信頼性とデータの保護。これが鍵です。お客様のデータを失うことは決してできません。Cassandraの利点は、絶対的な信頼性があり、複数データセンター間での複製、単一故障点が無く、私たちの拡張性テストにおいて示した性能にあります。

Building a Cloud: It All Starts with Storage The Citrix Blog

Cloudianは、S3の高度機能を全て備え、オブジェクトストレージ技術を使うことでコストを低減し、Citrix CloudPlatformをはじめもっとも広範囲に亘り利用されるセカンダリストレージと統合できることを含む、ハイブリッドクラウドモデルが可能となる重要な機能を提供するよう設計されています。


2012/11/07

「オススメ能力」で大きな差をつけるビッグデータ・ユーザーの雄、ネットフリックスの事例 〜 ニューヨーク「Strata+HadoopWorld」会議から


「ビッグデータとクラウド・ストレージ」 連載第四回
イベント・企業編2: ネットフリックス映像配信を支えるS3
~ビッグデータ会議 ゆるめの報告


エノテック・コンサルティング代表
海部美知


◆ 「データ」に集まる人と熱気


10月23~25日、ハリケーン・サンディに襲われる直前のニューヨークで開催された「Strata + HadoopWorld」に参加した。Strataカンファレンスは、ウェブ業界の思想家ティム・オライリーが始めたもので、2011年から春(シリコンバレー)と秋(ニューヨーク)に開催されており、今回が4回目。これと、ビッグデータを扱うためのオープンソース・ソフトウェアHadoopのカンファレンスが今回は合同開催となった。

Strataの西と東では、少々傾向が違う。西はウェブ産業の議論が中心だが、東では政府、金融、メディアなどバラエティが多くなる。昨年は東はかなり規模が小さく、ホテルの半フロアに収まる程度だったものが、今年は倍以上のフロア規模になり、それでも人がぎっしりで、これ以上は消防法の限界を超えるということで3日前に参加申し込みは締め切られた。まだまだホテルでやっている程度の規模ながら、参加者は2500人程度とのことだ。

西でも東でも、昨年はコンセプト的な話が多く、キーノートに有名人が何人も登壇したのに対し、今年は「Hadoop World」と合同ということもあり、有名人どころかオライリー自身も講演せず、ひたすら「この技術をこう使う」といった、エンジニア向けの実践的な話が続く。それでも満員御礼ということが業界の熱気を示しており、また一方で、「データ・エンジニア/サイエンティスト」が極端な人手不足となる中、これだけのHadoopエンジニアが集まる会場は企業の垂涎の的で、スポンサー企業もたくさん集まる。いわば、一大リクルート・イベントになった感がある。

◆ ビッグデータ・ユーザーの雄、ネットフリックスの事例


さて、このStrata+Hadoop Worldや、Cassandra Summitといったビッグデータ系のカンファレンスでは、メイン・スポンサーであるソフトウェアベンダー(HadoopではCloudera、CassandraではData Staxなど)が最も目立つのは当然で、その次に存在感を示すのがグーグル、アマゾンなどのプラットフォーム・ベンダーである。

こうした提供側でなく、純粋に「企業ユーザー」としてどこにでも講演に招かれるメジャー・プレイヤーが、オンライン映画・テレビ番組配信サービスのネットフリックスである。今回もいつものように、ネットフリックスのエンジニアがワークショップで自社システム構築の苦労を語った。

ネットフリックスは、もとはネットでオーダーして郵送で受け取るDVDレンタルから始まり、その後徐々にオンライン・ストリーミングの比重を増やしている。現在、米国ではオンライン映像配信は数多く存在し、ネットフリックスの「固定会費制」、アップルiTunesの「個別番組ダウンロード販売」、Huluや地上波メジャー局の「CMつき無料配信」、ケーブル専門チャンネルの「テレビ有料加入者へのオマケ(TVEverywhereと呼ばれる)」が入り乱れ、それぞれビジネスモデルが異なるので単純な比較が難しいが、有料配信だけを見ると、最近ではネットフリックスがアップルを抜いてトップに立ったと言われている。

90年代の第一次バブル以来、数多くのオンライン映画配信が試みられてすべて失敗しているのに、ネットフリックスがなぜ成功したのか、これまでいろいろな説明がされている。その中で、DVDレンタルですでに数多くの会員を持っていたことと並び、「ビッグデータ技術を徹底的に活用したオススメの能力」がポイントであると私は思っている。

例えばグーグルとヤフーの検索結果は、素人目にはそれほど劇的に違わないように見えるが、この少しの違いが原因で長い間に少しずつグーグルを好むユーザーが増え、気がついたら大きな差がついていた。これと同じように、ネットフリックスも長い間に根気よくユーザーのデータを積み重ね、オススメ能力を少しずつ向上させてユーザーの利便を向上させ、気がついたら他とは大きな差がついた。

アメリカでも映画・テレビ業界の人は、「配信」の部分を電波やDVDでなくネットに置き換えるという部分しか理解していない傾向があるが、実際にはネット配信の最大の強みは、こうしたオススメ・検索・ソーシャルなどの「ネットのインテリジェンス」の部分であると私は思っている。そして、この頭脳を支えるのがビッグデータ技術だ。

◆ ユーザーデータからオススメへ


私自身はネットフリックスもHuluもアップルもケーブルのTVEverywhereもすべて使ってみているが、「オススメ」の精度とインターフェースでは、ネットフリックスは他とは比べ物にならない。他は提供側が見せたいモノ(ランキングトップ10、最新番組など)がフィーチャーされて、オススメはオマケであるのに対し、ネットフリックスの画面はすべて、パーソナライズされたオススメだけでほとんど埋め尽くされている。

今年春のStrataでの講演では、ネットフリックスがどのようなデータをどう使っているかの話があった。アカウントに登録されている情報(住所など)、過去の視聴履歴、見たコンテンツにつける評価のほか、ストリーミングならば、何月何日何時何分に何を見て、どこで止めて何分後に再開したとかやめてしまったとか、どの端末(パソコンかiPadかXboxか・・)で見たなど、さらに細かいデータがとれる。「オススメ」の最も一般的なやり方は、「この映画を見た人はこういうのも見ています」というものだが、こうした詳細情報を利用してもっと精度を高めている。

一つの例として、こんな話があった。ユーザーは普通、一家庭で一つのアカウントとなる。数人がそれぞれ好きなものをオーダーするので、好みの傾向が一貫しない。しかしネットフリックスでは、ユーザーの利用データをもとに、どういった家族構成かをほぼ把握することができる。週末の昼間Xboxでアニメーションを見るのは子供、平日の深夜近くにiPadでコメディ番組を見るのはお父さん、などとだいたい推測ができるわけだ。これに応じてオススメを出す。

もちろん、画面に「お兄ちゃん向けにはコレ」などと、ユーザーが気持ち悪くなりがちな表示はせず、「SFアクションのオススメ」「アート系外国映画のオススメ」「あなたの町のトップ映画」などのように上手に表現している。画面をあけると、思わず「あ、これちょっと面白そうかな」という映画やテレビ番組のポスターがすぐに目に入る。そして、ポスターをクリックすれば、その場でストリーミングで映画が見られるというわけだ。

◆ アマゾンS3でスケールアウト


ネットフリックスは、アマゾン・クラウドサービスの大口ユーザーであることも知られている。秋のStrataでの講演では「データセンターの管理はわが社の仕事ではない」ため、アマゾンのS3を利用していると説明があった。急速にユーザー数が伸びて処理量が爆発的に急増し、自社のデータセンターからあふれて新設が追いつかないために、2009年から2010年にかけて、ストレージだけでなく多くの処理をAWS(Amazon Web Service)に移行し、現在はほぼ100%クラウド化されている。クラウド移行前の2008年には7テラバイトだった同社のデータ量は、現在では160テラバイトになっているという。

S3は、映像データとユーザー行動データの両方に使われている。ユーザーからのオーダーはNOSQLデータベースCassandra(カサンドラ)で処理され、そのユーザーデータは一日に一度、取り出してS3に移す。余談ながら、ネットフリックスのチームはこの処理に大変苦労し、いい加減イヤになるほどだったので、この処理のための独自のツールを創りだし、それにAegisthus(アイギストス)と命名したそうだ。アイギストスとは、ギリシア神話でトロイアの悲劇の王女カサンドラを殺した人物の名前である。

S3に格納されたユーザーデータは、Hadoop系各種ツールを使って分析され、その結果はまたS3に格納される。S3は一般的には「Pay as you go(従量制)」と思われているが、ネットフリックスほどの大口では決まった使用量を常時確保できる契約になっている。西海岸の夜中には、ユーザーへの動画ストリームが激減するので、その空きを利用して、真夜中からバッチ処理を動かす。

講演では、「適切なツールを適切なジョブに」ということが強調されていた。どのようなビジネス形態であって、何が重要であるかにより、適したツールや技術は異なる。単にデータの量や企業規模ではなく、自社のニーズや優先順位をよく見極めて、ビッグデータ技術戦略を決めることが重要ということが言えそうだ。

ネットフリックスは、以前はORACLEでデータを処理していた

やがてS3にデータを格納し、Hadoopで処理を始める

Cassandraで処理したデータをS3に移行するAegisthusを開発


最後はお約束の"We're hiring!"・・


海部美知(かいふ・みち)

エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。





Cloudian(クラウディアン)について

Cloudian(クラウディアン)は日本、米国、中国に拠点を持ちグローバルに展開しているソフトウェア開発会社クラウディアングループが開発提供するクラウドストレージを構築できるパッケージソフトウェア製品です。

Cloudianで構築するクラウドストレージは、事実上の標準であるAmazon S3互換のAPIを提供しており、数百から千種類に及ぶAmazon S3対応アプリケーション、ツール、アプライアンス、サービスを利用することができます。

Cloudianは、「ニフティクラウドストレージ」、NTTコミュニケーションズ「Bizホスティング Cloudn(クラウド・エヌ)オブジェクトストレージ」を始めとする国内外の商用クラウドサービスに採用されているほか、プライベート、ハイブリッドクラウドにおいても利用することができます。

Cloudianセミナー2012

2012年12月10日(月)Cloudianの使用事例について各社が紹介する「Cloudianセミナー2012」を開催します。登録開始までもうしばらくお待ちください!