2012/12/28

2013年はクラウド化による「サーバー人vs.ストレージ人」に注目?


「ビッグデータとクラウド・ストレージ」 連載 第七回

トレンド編4: ストレージ業界「2012年の主要動向」より



エノテック・コンサルティング代表
海部美知


年の瀬ということで、ストレージ業界についての今年のまとめ記事があった。アメリカ人はなんでも「トップ10」にするのが大好きだが、ここでは10件にするために少々無理している様子もあるので、主な点だけを取り上げて、少々ご紹介する。ご興味のある方は、ぜひ元記事を参照していただきたい。

◆ 2012年の採点表


この記事はComputerworld誌のストレージ業界専門家、Chris Poelker氏のコラム。一年前に自身で書いた2012年の予測を自分で採点し、それぞれについて来年の動きを予測しているものだ。

非常におおまかに言えば、おなじみに「クラウド化」が大きな流れであり、それに対応するためのストレージ分野での個別動向が下記のようなところに表れていると見ることができる。

1. 「組み込み型ストレージ」の躍進


この点はおそらく同氏が最近最も強く感じていることのようで、この一つ前の記事でも詳しく言及しており、2012年の予測が「ばっちり当たった」と述べている。

Poelker氏の言う組み込み型(Embedded)ストレージとは、サーバーとストレージをそれぞれ別に購入してSANを構築するのではなく、両方を組み合わせたモジュール型クラウド・パッケージにしたもののことである。これは、企業が自前のIT部門でストレージを運営するというスタイルから、パブリックやプライベートのクラウドにサーバーもストレージも置くというスタイルへの移行が背景となっている。

従来、米国の企業ITシステムでは、サーバーとストレージは別々に購入し、サーバー担当とストレージ担当が異なる人で予算も別々、というケースが多かった。しかし、クラウド化が本格化した2009年頃から、データセンターにストレージもサーバーもデータベースもすべて置くようになり、その統合インフラ化でコスト削減を目指す動きが出てきた。そこで、データセンター・インフラストラクチャ・マネージメント(DCIM)ソリューションが注目されるようになった。

特に大企業ユーザーの場合、カスタマイズするにしても、両方を個別に購入して専用担当者を置くコストや運用の複雑さに比べ、パッケージのレファレンス・アーキテクチャを使って構築するほうが、メリットが大きいと考えられるようになってきている。

Poelker氏は、2013年もこの傾向がさらに続くと予測する。小さめの組織では、引き続きサーバーとストレージを別のベンダーから購入するであろうが、全体の傾向としてはモジュール型への移行が続くと見る。この趨勢は、下記のいくつかの動きとも強く関連している。

2. ストレージ仮想化の進展


サーバーの仮想化に比べ、ストレージの仮想化はまだそれほど進まなかたっということで、この点については同氏は「やや時期尚早だった」と自ら評している。しかし今後の趨勢としては、「SANからクラウド/オブジェクト・ストレージ」「モバイルのクラウド化」の流れは止まらない。モバイルでは、端末のストレージ容量が小さいためにクラウド側にストレージを置く傾向がより強く、「ストレージをアプリケーションの近くに持っていく」目的のためには、マルチベンダーのデータセンターの中では、ストレージでも仮想化が進行すると予測される。

ストレージ仮想化では、まだ強力なリーダー的存在のベンダーが定まっていないため、今後どこがそのポジションを取るか、2013年に気をつけておく必要がありそうだ。

3. ファイバーチャネルの落日


ファイバーチャネル・ベースのSANは過去のものとなる、というPoelker氏の予測については、これも「時期尚早」との自己評価だ。しかしこちらも、徐々にIPベースのクラウド・ストレージへの移行が進んでいくだろうと予測している。

前述のパッケージシステム化の流れの中で、ストレージ・ベンダーとネットワークやサーバーのベンダーと提携する動きが多くなり、最近ではストレージを直接ブレードサーバーに接続できるようにし、SANを不要にした製品も出てきている。

4. ソリッド・ステート・ドライブ(SSD)の普及


この予測は大当たりとの自己評価。SSDのコストが下がりサイズが小さくなるにつれ、アクセス頻度の高い上位階層のストレージはSSDとなっていき、メカニカルなハードディスクは、よりアクセス頻度の低いアーカイブ向け階層に利用されるようになっていくと予測され、2013年もこの傾向が続くだろう。

しかし、最も下の階層においては、テープはしぶとく生き続けるという2012年予測も「大当たり」であった。蓄積データ量がどんどん増加し、コンプライアンスのための保存義務も増加する中で、テープは今後まだまだ利用されると見られる。

ストレージ形態の選択肢が増えて、どの目的にどういったストレージを利用するかの戦略がより多彩になる、と考えることができるだろう。


◆ さて、2013年の展望は?


全体として、クラウド化への対応というトップの動きから玉突きのようにいろいろな動きが起こっていることになる。モバイルのクラウド化、ビッグデータの進化、SSDの価格低下など種々の傾向から見て、こうした大きな趨勢は2013年にはますます加速することはあっても、ストップする様子は見えない。

Poelker氏によると、サーバーとストレージの統合運用という動乱の中で、「サーバー人」と「ストレージ人」の勢力争いでどちらが勝つのかは予測がつかないが、運用担当者としてはとにかく「いつも腕を磨いて最新のスキルを身につけておくのが得策」だという。レファレンス・アーキテクチャや統合パッケージによって、データセンター構築はよりシンプルになるかもしれないが、新しい統合運用環境の中では予想外の問題が起こりかねない。データ量やアプリケーションがどんどん増加していくことも間違いないので、「新しい動きに頑張ってついていくべき」という点については、おそらく誰も異論がないだろう。

ということで、ますますデータがビッグになっていく2013年に向け、引き続きこのコラムをどうぞ宜しくお願いいたします。


海部美知(かいふ・みち)


エノテック・コンサルティングCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。

2012/12/23

Cloudian(クラウディアン)2012年の振り返り


2012年、残りもあとわずかです。

先週のクラウディアンは、グローバルチームが日本に集まり2日間にわたり様々な議論をしました。
その際、2012年の振り返りの資料を作成しましたのでご紹介します。

こうして振り返ってみると、本当にいろいろなことがありました。
都度、このブログ、Facebook、Twitter等でお知らせしてきました。
多くの方にこのブログにもアクセスしていただきました。

Cloudian(クラウディアン)に関心、興味を持っていただき、ありがとうございます。
関係者一同、心から御礼申し上げます。




2012/12/22

クラウド・オブジェクトストレージの「今」:ビデオインタビュー

この数ヶ月の間に、東京×2、大阪、福岡の4回に亘り、デル様が中心となり運営しているOSCA(TM)(Open Standard Cloud Association)主催のセミナー・イベントにて、クリエーションライン様とともにCloudian(クラウディアン)について紹介する機会がありました。


いずれの回も好評とのことで、そのご縁からDellテックセンターブログにて開始した「クラウド・トレンド・トーク powered by OSCA」の記念すべき第1回として、「クラウド・オブジェクトストレージの「今」をテーマとしたビデオインタビューが行われました。今後、クラウドの代表的な企業へのインタビューの連載を計画しているとのことです。

ブログでは、「特に Cloudian は既に国内大手プロバイダで採用されているということからも、風格のようなものを感じました。」といったインタビューの感想もご紹介いただいています。ぜひご覧ください。⇨こちら

ビデオインタビューは、約5分間×4本の約20分です。ここではインタビューのサマリーを簡単に紹介しておきます。

OSCA クラウド・トレンド・トーク 第1回 (1/4)
現在のオブジェクトストレージストレージの市場動向、お客様の関心や検討状況についてお話しています。技術が成熟し、お客様側での理解も深まると同時に、ニフティ様やNTTコム様での商用事例が後押しとなり、企業での活用における引き合いが増えて来ていると紹介しました。




OSCA クラウド・トレンド・トーク 第1回 (2/4)
なぜ、クラウド・オブジェクトストレージに注目が集まり始めたかについてお話しています。クラウドやビッグデータに向う大きな業界の流れがその背景にあります。オブジェクトストレージは大量のデータを取り扱ったり、複数データセンターでDRに備えるクラウド的な環境に最適な技術であると紹介しています。




OSCA クラウド・トレンド・トーク 第1回 (3/4)
Amazon S3に互換するメリットについてお話しています。情報が多く、経験が共有されていることから検証、導入、運用がスムースに行えること、S3エコシステムと呼ばれるようにS3を使用したアプリケーションやツールがすでにたくさんあることから、パブリックとプライベートで同じアプリケーションでハイブリッドで利用できるといった利点があると説明しています。




OSCA クラウド・トレンド・トーク 第1回 (4/4)
今後、企業でストレージを導入する際に検討すべきことについてお話しています。従来は、基幹系システムと同じストレージベンダーをデータのバックアップにも使わざるを得ないというハードウェアベンダー・ロックインとう状況がおこりがちでした。しかし、バックアップには、より容量単価の安い拡張性の高いストレージを求める傾向があり、今後はパブリッククラウドとプライベートクラウドのストレージと組み合わせて利用することが増えてくるだろうと説明しています。




インタビューのさいごは、オブジェクトストレージは、以前からコンセプトはありましたが具体的なイメージが湧きにくかったものの、Cloudian(クラウディアン)のような製品が登場し注目を集め、大手事業者での採用事例が続くことで、本格的に普及する時代を迎えるだろうと、インタビューをリードしていただいたデル社、布谷様のまとめによりインタビューは締めくくられています。さらに同社、小泉様に撮影編集いただきこのようなビデオインタビューが公開されることになりました。

私たちが知る限りでは、このようにベンダー同士で対談するという企画はたいへんに珍しく、ユニークでかつ面白い試みだと思います。企業のIT部門、クラウドサービス企画部門、R&D部門などでの導入検討の際の参考にでもなればたいへんにうれしいです。




2012/12/11

「Cloudianセミナー2012」レポート(後半)




セミナーの後半冒頭、リバーベッドのTim様よりリバーベッド社の概要について紹介がありました。同社はWAN最適化の分野で世界的に圧倒的なシェアを占めているとのことです。これに続き、寺前様より「リバーベッド・ホワイトウォーター」について説明がありました。企業内のファイルシステムとクラウド間にホワイトウォーターをゲートウェイとして設置することで、企業ITシステムのバックアップ・アーカイブにパブリッククラウドを利用できるようになります。これにより、従来はデータのバックアップを最終的に磁気テープとしてデータセンターに保管するか、バックアップ用のストレージ装置のディスクに保管していたものが、ストレージ単価の安いクラウドに安全に保管できるようになります。そして、ホワイトウォーターにはインターネット経由を経由する際の安全性を保つ暗号化のほか、伝送効率を高めるための圧縮化など多彩な機能が備わっていると紹介がありました。



続いて、NTTコミュニケーションズの大野様より、「Bizホスティング Cloudn」として2012年6月にサービス開始したコンピューティング・サービスと、Cloudianを採用し同年10月にサービス開始したObject Storageの紹介がありました。業界最安値水準の料金は、0.1円単位でのコスト削減と、大規模に展開する計画に基づき実現したとのことです。さらに、ベンダーロックインを避けるため、ハードウェアのストレージ製品を使うことは当初より対象外としていました。ソフトウェア製品であるCloudian採用の決め手は、Amazon S3に対する互換性の高さ、課金・統計などの機能が予めパッケージされ、豊富な商用実績があり他製品に比べ速く商用化できるという点にあったと説明がありました。さいごに、簡単に利用できることについてデモによる紹介がありました。(なお、当日のプレゼンは、preziで画面がぐるぐる回っていました。)


セミナーのさいごには、クララオンラインのギベス様から、企業がオブジェクトストレージに移行するには、まだハードルが高いという見解が示されました。この課題を解決するため、本年12月に発売の「Storagebox」というクラウド・ゲートウェイ装置をクララオンラインが複数関係者を取りまとめて開発。この装置を設置することで、企業は、API(Application Programming Interface)を意識することなく、Cloudianを採用するクラウドストレージサービスを社内共有ファイルサーバーであるかのように利用できます。この「Storagebox」はB-Plats様より近く販売開始されるとのことです。


約3時間に亘る「Cloudianセミナー2012」は、クラウディアンのMike Tsoが締めくくりました。


最後のスライドには、感謝の言葉とともに「Cloudian "S3 in the box"」。

本日の講演者のいずれのお話からも、今後、企業においても従来の専用ストレージ装置にに加え、パブリッククラウドとプライベートクラウドをハイブリッドに利用し、いわゆるビッグデータ化するデータのストレージを始めるであろうと予感させるものでした。企業においても簡単に利用できる「S3機能の箱詰」、これが来年のクラウディアンのテーマです。

「Cloudianセミナー2012」 レポート(前半)


2012年12月10日(月)、100名を越える出席者を迎え、Cloudian(クラウディアン)の活用事例を紹介する「Cloudianセミナー2012」を開催しました。

セミナーでは、Cloudianを採用しクラウドストレージサービスを提供する、ニフティ様(「ニフティクラウドストレージ」)と、NTTコミュニケーションズ様(「Bizホスティング Cloudn(クラウド・エヌ)、Object Storage」)から、サービスの紹介に加え、Cloudian採用の経緯などについて説明がありました。

また、グローバルで製品展開しているエンタープライズ向けクラウド製品である、「Oxygen Cloud」について日商エレクトロニクス様から、「リバーベッド・ホワイトウォーター」についてリバーベッド様から、さらに、手軽に企業内システムからクラウドを利用できる「StorageBox」を使ったファイルシステム構築についてクララオンライン様から紹介がありました。

当日の模様は、以下のBCN Bizlineのほか、Yahoo!ニュース朝日デジタルSearchinaにも記事掲載されていますので、ぜひご覧ください。

クラウディアン、クラウドストレージのセミナーを開催


さて、セミナーはクラウディアン株式会社の太田のご挨拶からはじまりました。スマートフォンなどの普及に伴い、業務において個人デバイスを利用するBYOD(Bring Your Own Device)が加速しています。企業のIT担当部門は、外部に重要なデータが流出するリスクを管理するため、デバイスだけではなく、自社でプライベートクラウドを構築し管理することも重要になります。この大きなトレンドについて、BYOND(Bring Your Own ”Network” and Device)という造語を使い説明しました。


講演者のトップとなるニフティの小池様からは、ニフティクラウドストレージの紹介の後、お客様からの要望の多かったS3互換のクラウドストレージの自社開発を計画していたところCloudianに出会い、2カ月という短い期間で商用開始に至ったと、採用経緯を丁寧に説明いただきました。また、ニフティクラウドストレージは性能面でアマゾン東京リージョンとほとんど差が無いという試験結果も披露いただきました。さいごには、クラウドでは規模が重要であることから、(Cloudianを核として)「事業者が連携したクラウド連合を実現したい」との提言がありました。


次に、日商エレクトロニクスの藤井様からは、すでに世界の企業8000社で利用されているOxygen Cloudの紹介がありました。Oxygen Cloudは、いわゆるオンラインストレージ、ファイル共有のためのアプリケーションです。日本ではパブリッククラウドとして利用する場合にはニフティクラウドストレージを利用することができます。一方、企業内に限定して利用する場合には、Cloudianを使ったプライベートクラウドのアプリケーションとして利用することができます。同社の飯田様より、Oxygen Cloudのデモがあり、わかりやすく機能全般を知ることができました。



2012/12/08

AWSを使ったオバマのケチケチ「マネーボール」作戦を企業も活用へ


「ビッグデータとクラウド・ストレージ」 連載 第六回
トレンド編3: オバマの「マネーボール」作戦とAWS



エノテック・コンサルティング代表
海部美知


◆ 大統領選を制したビッグデータ


11月のアメリカ大統領選では、民主党オバマ大統領側がITとネットによる情報収集力をフル活用し、接戦と伝えられた選挙戦を制する原動力となったともっぱらの評判だ。

2008年の選挙の時は、どちらかというと「有権者にリーチする新しい手段」として、フェースブック・ツイッター・ユーチューブ・スマートフォンなどを、「情報を配信する線」として活用することが中心だった。これに対し、今回の選挙ではソーシャルによる情報配信はもはや当たり前で、それよりも「情報収集・解析・予測・絞り込み」、つまり「線」ではなく「脳」の部分にビッグデータ手法を活用し、もっと高度な使い方をした。

・資金集め: 過去の支持者データベースや外部データを活用し、寄付する可能性の高い人のリストを作り、寄付を呼びかけたり、対象の年令・性別・土地柄に合わせて資金集めパーティの目玉セレブを選択し、カリフォルニアではジョージ・クルーニーを招いて大成功を収めたなどが知られる。

・投票の呼びかけ: 膨大なシミュレーションに基づき、それぞれのターゲットに合わせた発信者と内容のメッセージが送られた。たまたま私の手元には、ミシェル・オバマ夫人から「投票に行きましょう」というツイッターのダイレクトメッセージ が届いた。ちなみに対抗するロムニー候補からは、2500ドルの寄付を依頼する紙の手紙が来た。ロムニー氏の場合は、おそらく、大学の名簿から私の名前と住所を引っ張ったと思われるが、この対照に思わず笑ってしまった。

・テレビCMや遊説: 伝統的な選挙運動についても、どの場所でどのような演説をするか、支持してくれそうな視聴者層にリーチするにはどの番組にどんな広告を出すか、といったことも細かくデータ解析ではじき出した。

◆ ケチケチ勝つ「マネーボール」作戦を支えたAWS


こうした戦法は、「データ解析を駆使して小が大に勝つ」の代名詞となった例の映画にちなんで「マネーボール」作戦ともよばれる。

ARS Technicas誌記事によると、人件費まで含めたキャンペーン中のITへの支出額は、オバマ陣営はロムニー陣営の2/3に過ぎなかったという。オバマ陣営は、前回の選挙以来バラバラだった数多くの支持者リストを統合し、外部のデータも活用し、膨大なデータを扱い膨大な回数の演算をしながらも、無料のオープンソース・ソフトを徹底的に使い倒してコストは最小限に抑えた。

そんなケチケチ作戦を支えたインフラが、アマゾン・ウェブ・サービス(AWS)だった。チームがつくったソフトウェアは99.99%AWSでホストされ、コストを下げサーバー管理の手間を省いた。アマゾンにホストされたアプリケーションの数は200以上、しかしアマゾンへの支払額は$257,287.97で、大規模な運用の割に少ない。(キャンペーン中の経費明細が記事の中で詳細に公開されている。)そして、選挙の直前にトラフィックが極端に上がり、終わったらほとんどを撤去するという使い方にAWSは最適、というよりAWSがなければほぼ不可能とすら言えるだろう。

AWSに関するブログでは、キャンペーン中に支援依頼の電話をかけるための管理ツールの例が示されている。同時に利用するユーザー数は7000人、投票日直前に電話件数が急激に増え、最後の4日間だけで200万本の電話をかけたが、このためのツールがAWSでホストされた。この間突然データ量が増え、選挙が終わればゼロとなる。

S3(Simple Storage Service)は、さまざまなクラウド・サービスから成るAWSの一つの構成要素であり、サーバー障害に備えたバックアップにも利用された。ウェブサイトのスナップショットを定期的にとり、S3に保存しておいて、障害があれば最新のスナップショットにリダイレクトされる。投票日の前にハリケーン・サンディが東海岸を襲ったのは、ちょうどよい予行演習になったとのことだ。

◆ 企業にも活用されるAWS・S3


このように、アマゾンAWSおよびS3は、ウェブサービスだけでなく、政府や企業にも使われるようになっている。

オバマ選挙運動のビッグデータ・チームは、11月末に開催されたアマゾンの開発者会議re:Inventに登場した。私は参加できなかったが、見るからにナントカな人々である。

このre:Inventでの講演で、ポリシー・ベースのアーカイブサービスが紹介されている。企業の基幹系システムの場合、アクセス頻度の高い「Tier1」データは高速でアクセスできるSANに保存、その後一定の期間が過ぎるなど、なんらかのポリシーに基づき「Tier2」に移され、さらにその後ディスクやテープに落として倉庫に保管となる。高速アクセスのできるストレージほど高価だからだ。これが最近では、Tier2にS3を利用し、さらに数時間後に取り出せればよいという、ディスク・テープの代わりとなるGlacierというサービスも提供されている。

re: Inventは今回が初回であったが、ZDNetによると、参加者6000人という盛況だったようだ。この会議での報告によると、現在AWSは190地域に数千の顧客を持ち、S3のオブジェクト数は今年6月の1兆個からすでに1.3兆個に達し、一秒あたり83.5万件のリクエストを処理し、370万のクラスタを持つという。2011年に81件であった新サービス・機能は2012年では158件に増加、一日に50億ドル級の世界企業一社分の容量を増やし続けている。

一方で、今年にはいってすでに23回の値下げをしてきたが、今回24回目の値下げを発表した。グーグルとの競争などがその背景にある。

こうしたパワーに支えられ、S3は高い堅牢性と無制限の容量を提供し、政府や企業のITシステムにも浸透しつつある。従来、企業の基幹システムでは、安全性への懸念などから、クラウドの利用は必ずしも進んでいなかったが、最近は用途により、パブリック・クラウドやプライベート・クラウドを使い分けるメリットが認識されてきた。

オバマのマネーボール作戦のように、クラウドに適した用途にうまく安価なパブリック・クラウドを活用することで、企業のサーバーやストレージのコストを大幅に下げ、競争に勝ち抜き、より高いマージンを確保することが、今後ますます重要になっていくだろう。


海部美知(かいふ・みち)


エノテック・コンサルティングCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。



お知らせ:「Cloudianセミナー2012」満席につき登録終了いたしました。




本セミナーでは、Cloudianの活用事例をご紹介します。日本を代表するクラウドサービス事業者であるニフティ、NTTコミュニケーションズのクラウド・オブジェクトストレージサービスにおける事例、グローバルに事業展開する「Oxygen Cloud」、「リバーベッド・ホワイトウォーター」におけるCloudian活用事例に加え、クララオンラインがCloudianとクラウド・ゲートウェイを使った社内ファイルシステムをデモを交えて紹介します。



2012/12/04

Cloudian(クラウディアン)のプレゼン資料@Cassandra Conference

2012年11月29日(木)、東京にて開催されたCassandra Conference 2012 in TokyoにおけるCloudian(クラウディアン)のプレゼンテーション資料を紹介します。

当日には、本年5月に発売以来Amazonのデータベース入門書部門で半年間に亘り1位を続けた「NOSQLの基礎知識(ビッグデータを活かすデータベース技術)」の著者の一人が、同書に掲載した複数のNOSQLデータベースの性能比較結果についても説明をしました。

また、Cassandraの採用理由だけではなく、大きなオブジェクト処理やディスク利用効率における課題を解決するために独自開発したHyperStoreについても紹介しています。


2012/12/03

CCE(Cloudian Certified Engineer)資格者が50名を越えました

2012年11月26日、27日、S3互換クラウドストレージを構築できるパッケージソフトウェア製品、Cloudian(クラウディアン)の技術トレーニングを開催しました。このたびは、既存のCloudianパートナー企業からに加え、新たにCloudianのパートナーへの参加準備をしている企業と、プライベートクラウドにCloudianを利用することを検討している企業のエンジニアに参加いただきました。2日間に亘るトレーニングを無事終了し、参加者全員が終了後の試験に合格。この結果、CCE(Cloudian Certified Engineer)は、新たに7名が加わり、全員で52名となりました。

CCE資格者には以下のような証明書が授与されています。


Cloudianはニフティ、NTTコミュニケーションズといった日本を代表するクラウド事業者のクラウドストレージサービスに採用されていますが、汎用サーバーをハードウェアとして使い、低コストでオブジェクトストレージが構築できるため、プライベートクラウドや企業向けのストレージとして利用されることが増えてゆくと見ています。

CCEは、Cloudianを販売し技術サポートを提供するCloudianパートナーが必ず取得する資格ですが、今後はCloudianパートナー企業に留まらず、一般のユーザーのお客様でもCCEを取得するエンジニアが増えてゆくであろうと期待しているところです。

2012/11/25

クラウドにおけるオープンソース勢力がアマゾンに対抗 〜 シリコンバレー「Cloud&BigData Expo」会議報告


「ビッグデータとクラウド・ストレージ」 連載 第五回

イベント・企業編3: 
オープンソースの逆襲 ~クラウド&ビッグデータ会議 ゆるめの報告


エノテック・コンサルティング代表
海部美知


◆ オープンソース勢力の集会


今回は、シリコンバレー(サンタクララ)で11月5~8日に開催されたCloud & Big Data Expoに行ってみた。全部を見ることはできなかったが、少々雰囲気はわかった。

連載第二回では、ラスベガスでの会議に集まっていた、米国全土に面的にひろがる地域密着型ホスティング業者の保守的で実直な様子が「シリコンバレーと全く対照的」とお伝えした。その比較対象である「シリコンバレー」のそのまた極端な反対側の端っこの典型、といった雰囲気が、まさにこの会議だった。というのも、ここは、クラウドにおける「オープンソース」勢力の集まりなのだ。

ラスベガスでの会議のような、短髪をきちんと分けた背広にネクタイの男性は少数で、長髪・ヒゲ・ポニーテールなどは当たり前、それどころかまるで「ラストエンペラー」かと思うような辮髪の人までいた。

シリコンバレーのオープンソース・コミュニティは、大手企業の支配を嫌い、誰でも参加できる真の民主主義を標榜する「イデオロギー」の香りが強い。会議の参加者は、ざっと見渡したところ、他の技術系イベントと比べてiPhoneが少なく、オープンソースであるAndroid保有者の比率が高いような印象を受けたのも面白かった。

また、アジア系の人が多かったのも特徴で、地元のアジア/インド系開発者だけでなく、韓国企業や日系企業の人も多数来場していた。


◆ オープンスタックのアマゾン対抗同盟


クラウドのオープンソース・ソフトウェアの主力は「オープンスタック(OpenStack)」だ。これは、ラックスペース社とNASA(アメリカ航空宇宙局)が2010年にプロジェクトをスタートし、Apacheライセンスで公開されている、クラウド・コンピューティングを構築するためのオープンソース・ソフトウェアである。この会議も、オープンスタック・ファウンデーションとラックスペースがメイン・スポンサーとなっている。

ラックスペースは、1998年創業のホスティング大手で、IaaS(Infrastructure as a Service)分野でアマゾンに次ぐ二番手である。アマゾンが独自方式で圧倒的シェアをもつ現状に対し、多くの味方を集めてオープンソースで対抗しようとしている。いわば、スマートフォンOSにおいて、iOSに対抗するグーグルが、Open Handset Allianceを母体としてオープンソースのAndroidを運営しているのと全く同じ構図だ。

オープンスタックには、ラックスペースとNASAの他、AT&T、IBM、レッドハット、シスコ、インテル、VMware、NECなど、数多くの主要企業がメンバーとして参加している。

Cloud & Big Data会議で、初日にオープンスタック、ラックスペース、レッドハットなどの講演を聞いたが、いずれも「オープン」が思想の共通のトーンであった。「特定のホスティング・サービスにロックインされず、自由にデータの移動ができたり、自社のニーズに合わせてカスタマイズできる」といったポータビリティ+アジリティの利点を強調し、皆あえて言わないけれど「アマゾンと違って」という枕詞が無言でついている、ように聞こえた。

◆ ビッグデータのためのオープンスタック


とはいえ、アップルとグーグルのようにいがみあっているわけではない。オープンスタックではラックスペースのサービス機能が主に提供されているようだが、S3からユーザーが移行したり、後々S3へと移行したりすることが容易にできるよう一部、基礎的な機能に互換性をもたせている。

S3と同様、オープンスタックも、スケールアウトしやすいことを主眼とした、ビッグデータ時代のクラウドストレージである。

オープンスタックは、3つの要素で構成されている。

① Compute:プロビジョン・マネージメント
② Storage:オブジェクト・ストレージとブロック・ストレージ
③ Network:ネットワーク管理

現在のところオープンスタック陣営は「卸売」的立場の企業が多い。例えばオープンスタックのウェブサイトで紹介されている「ユーザー」としては、シスコ傘下のウェブ会議サービス「WebEx」がフィーチャーされおり、他は大学・研究機関などが目立つ。

成熟するまでにもう少し時間が必要とも言われていることから、消費者にもブランドが浸透している「ネットフリックス」のような、有名どころの一般企業ユーザーはオープンスタック陣営にはまだおらず、参加メンバーは、企業ユーザーのプライベート・クラウドや、ホスティング事業者のクラウド・サービスを構築するサービスの提供を考えているようだ。

会議の展示フロアでは、VMware、インテル、マイクロソフト、アカマイなどの要素技術ベンダーや、ベライゾンのホスティング部門(テレマーク)、AT&Tなどが大きなブースを出していた。

◆ 日本企業の登場


展示フロアには、こうした地元米国の主力企業だけでなく、ベンチャーや中堅企業も多く、これに混じってJETROの日本ブースやオランダ・パビリオンもあった。

日本ブースでは、モバイル・M2M向けクラウド・ソリューションのインヴェントイット、高頻度トランザクション向けデータベース・クラスタリング・ソフトウェアのMurakumo、忘れにくく破られにくいパスワード認証システムのセキュアメトリックス、システム開発のためのルールベース技術のなうデータ研究所の日本企業4社が出展。すでに米国企業の提携先がある企業も、これから米国でのデビューを目指すものもある。

また、クラウディアンも提携先であるシトリックスのブースでプレゼンテーションを行った。クラウド構築のためのオープンソース・プロジェクトとしては、オープンスタックの他にもう一つ、クラウドスタック(CloudStack)がある。シトリックスはこれをベースとした「クラウドプラットフォーム(CloudPlatform)」というプロダクトを、ホスティング事業者のクラウド・サービスや企業ユーザーのプライベート・クラウド向けに提供している。クラウディアンのクラウド・ストレージ・プラットフォームは、このプロダクトと統合・連携して利用することもできる。

クラウド・ビッグデータ分野では、ストレージの日立などといったハードウェア企業以外はあまり展示会で日本企業を見かけなかったが、ソフトウェア分野でも米国での活動が少しずつ見られるようになったのは嬉しいかぎりである。

海部美知(かいふ・みち)


エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。



「Cloudianセミナー2012」の登録受付開始です。



本セミナーでは、Cloudianの活用事例をご紹介します。日本を代表するクラウドサービス事業者であるニフティ、NTTコミュニケーションズのクラウド・オブジェクトストレージサービスにおける事例、グローバルに事業展開する「Oxygen Cloud」、「リバーベッド・ホワイトウォーター」におけるCloudian活用事例に加え、クララオンラインがCloudianとクラウド・ゲートウェイを使った社内ファイルシステムをデモを交えて紹介します。
座席数に限りがありますので早めにお申し込みください。

参加希望の方は、以下のサイトから事前登録(無料)をお願いいたします。

http://cloudian2012.eventbrite.com/

2012/11/23

「Cloudianセミナー2012」開催のお知らせ



2012年12月10日(月)、「Cloudianセミナー2012」を開催します。

 本セミナーでは日本を代表するクラウドプロバイダー、「ニフティ」と「NTTコミュニケーションズ」がCloudian(クラウディアン)を活用したクラウドストレージ・サービスについて紹介します。

 またグローバルで活躍する「Oxygen Cloud」と「リバーベッド・ホワイトウォータ−」におけるCloudianの活用と、クララオンラインがクラウドストレージ・ゲートウェイによる社内ファイルシステムについてデモを交えて紹介します。

 アジェンダは次のとおりです。


 参加をご希望の際には、以下のサイトから事前登録(無料)をお願いいたします。皆様のご参加をお待ちしております。

http://cloudian2012.eventbrite.com/



2012/11/12

Cloudianに関する記事のまとめ

最近、Cloudian(クラウディアン)をご紹介いただく記事が増えてきています。CloudianのFacebookページにて、可能な限りリアルタイムでご紹介するようにしていますが、こちらのブログでもまとめてみました。


NTTコム、IaaSの「Cloudn」に月7.35円/1GBからのストレージサービス追加 ITPro

NTTコミュニケーションズ(NTTコム)「Bizホスティング Cloudn」に、ストレージサービスの「Bizホスティング Cloudn Object Storage」を追加した。「Amazon S3」と互換性のあるAPI(アプリケーション・プログラミング・インターフェース)を備える。クラウディアンが開発した分散ストレージソフト「Cloudian」を採用した。



「クラウドストレージとしてS3互換のメリットを提供する - クラウディアン」 マイナビニュース

2011年3月にCloudianの試験版を、そして同7月から商用版をリリース。2012年8月に、社名も製品名をより知ってもらうことを目的に製品名と同じクラウディアンへと変更した。


クラウディアン、Amazon S3互換クラウドストレージ製品を NTT Com が採用 Bizline

「Cloudian」は、Amazon S3互換のクラウドストレージを構築するソフトウェア製品。サービスプロバイダや企業が、汎用サーバーで高信頼性・マルチテナントのデータストレージシステムを構築できる。


NTT Comのオブジェクトストレージサービスに「Cloudian」が採用 クラウドWatch

「Cloudian」は、クラウドストレージ構築のためのパッケージソフト。特長は、「急速に成長し、エコシステムも発達、クラウドストレージの事実上の業界標準となっている」というAmazon S3に高度な互換性を持つ点。 S3の基本的なAPI(Put/Get/Head/Deleteなど)に対応するだけでなく、大きなオブジェクトを分割して保管する「マルチパート・アップロード」や、オブジェクトの格納場所(リージョン)を指定する「ロケーション・コンストレイン」、オブジェクトへのアクセスを制御する「アクセスコントロールリスト」といった高度なS3 APIに対応する。


日本発、S3互換クラウドストレージ構築パッケージ「Cloudian」 @IT

今後はパブリッククラウド以上の市場規模を持つプライベートクラウド市場に注力する。また、CloudStackとの連携も進める。パートナー企業のネットワークを活用したグローバルでの展開も視野に入れる。

また、この@ITではクラウディアンのチームが執筆した「NOSQLの基礎知識(ビッグデータを活かすデータベース技術)」の一部を紹介する連載が@ITで開始。多くのTweetやFacebookの「いいね!」をいただいています。

KVS系NoSQLのまとめ(Hibari、Dynamo、Voldemort、Riak編) (1/4) @IT



日本語記事ではありませんが、英語記事でもCloudianは紹介されています。

Cloudian hopes to woo enterprises with free edition of storage platform InfoWorld

(Cloudianにより)サービスプロバイダーは、パブリッククラウドやマネジドプライベートクラウドを展開でき、エンタープライズはプライベートクラウドか、オンプレミスとAmazonのクラウドをハイブリッド(混合)したクラウドを構築できる。


Cloudian’s Cloud Storage Software Powering NTT’s Cloud Storage in Japan, USA WEB HOST INDUSTRY REVIEW

Cloudianは業界では名前を知られていないかもしれないが、世界中で利用できるAmazonS3互換のクラウド・オブジェクト・ストレージ基盤構築のための最初の重要なグローバルパートナーシップにより全てを変えることがになるだろう。



ブログ記事も掲載されています。

The Five Minute Interview – Cloudian DataStax Blog

クラウドストレージ基盤を提供するのであれば、拡張性があり弾力的で、またお客様のニーズに応じて信頼性高く拡張できることが求められます。重要なことは、絶対的な信頼性とデータの保護。これが鍵です。お客様のデータを失うことは決してできません。Cassandraの利点は、絶対的な信頼性があり、複数データセンター間での複製、単一故障点が無く、私たちの拡張性テストにおいて示した性能にあります。

Building a Cloud: It All Starts with Storage The Citrix Blog

Cloudianは、S3の高度機能を全て備え、オブジェクトストレージ技術を使うことでコストを低減し、Citrix CloudPlatformをはじめもっとも広範囲に亘り利用されるセカンダリストレージと統合できることを含む、ハイブリッドクラウドモデルが可能となる重要な機能を提供するよう設計されています。


2012/11/07

「オススメ能力」で大きな差をつけるビッグデータ・ユーザーの雄、ネットフリックスの事例 〜 ニューヨーク「Strata+HadoopWorld」会議から


「ビッグデータとクラウド・ストレージ」 連載第四回
イベント・企業編2: ネットフリックス映像配信を支えるS3
~ビッグデータ会議 ゆるめの報告


エノテック・コンサルティング代表
海部美知


◆ 「データ」に集まる人と熱気


10月23~25日、ハリケーン・サンディに襲われる直前のニューヨークで開催された「Strata + HadoopWorld」に参加した。Strataカンファレンスは、ウェブ業界の思想家ティム・オライリーが始めたもので、2011年から春(シリコンバレー)と秋(ニューヨーク)に開催されており、今回が4回目。これと、ビッグデータを扱うためのオープンソース・ソフトウェアHadoopのカンファレンスが今回は合同開催となった。

Strataの西と東では、少々傾向が違う。西はウェブ産業の議論が中心だが、東では政府、金融、メディアなどバラエティが多くなる。昨年は東はかなり規模が小さく、ホテルの半フロアに収まる程度だったものが、今年は倍以上のフロア規模になり、それでも人がぎっしりで、これ以上は消防法の限界を超えるということで3日前に参加申し込みは締め切られた。まだまだホテルでやっている程度の規模ながら、参加者は2500人程度とのことだ。

西でも東でも、昨年はコンセプト的な話が多く、キーノートに有名人が何人も登壇したのに対し、今年は「Hadoop World」と合同ということもあり、有名人どころかオライリー自身も講演せず、ひたすら「この技術をこう使う」といった、エンジニア向けの実践的な話が続く。それでも満員御礼ということが業界の熱気を示しており、また一方で、「データ・エンジニア/サイエンティスト」が極端な人手不足となる中、これだけのHadoopエンジニアが集まる会場は企業の垂涎の的で、スポンサー企業もたくさん集まる。いわば、一大リクルート・イベントになった感がある。

◆ ビッグデータ・ユーザーの雄、ネットフリックスの事例


さて、このStrata+Hadoop Worldや、Cassandra Summitといったビッグデータ系のカンファレンスでは、メイン・スポンサーであるソフトウェアベンダー(HadoopではCloudera、CassandraではData Staxなど)が最も目立つのは当然で、その次に存在感を示すのがグーグル、アマゾンなどのプラットフォーム・ベンダーである。

こうした提供側でなく、純粋に「企業ユーザー」としてどこにでも講演に招かれるメジャー・プレイヤーが、オンライン映画・テレビ番組配信サービスのネットフリックスである。今回もいつものように、ネットフリックスのエンジニアがワークショップで自社システム構築の苦労を語った。

ネットフリックスは、もとはネットでオーダーして郵送で受け取るDVDレンタルから始まり、その後徐々にオンライン・ストリーミングの比重を増やしている。現在、米国ではオンライン映像配信は数多く存在し、ネットフリックスの「固定会費制」、アップルiTunesの「個別番組ダウンロード販売」、Huluや地上波メジャー局の「CMつき無料配信」、ケーブル専門チャンネルの「テレビ有料加入者へのオマケ(TVEverywhereと呼ばれる)」が入り乱れ、それぞれビジネスモデルが異なるので単純な比較が難しいが、有料配信だけを見ると、最近ではネットフリックスがアップルを抜いてトップに立ったと言われている。

90年代の第一次バブル以来、数多くのオンライン映画配信が試みられてすべて失敗しているのに、ネットフリックスがなぜ成功したのか、これまでいろいろな説明がされている。その中で、DVDレンタルですでに数多くの会員を持っていたことと並び、「ビッグデータ技術を徹底的に活用したオススメの能力」がポイントであると私は思っている。

例えばグーグルとヤフーの検索結果は、素人目にはそれほど劇的に違わないように見えるが、この少しの違いが原因で長い間に少しずつグーグルを好むユーザーが増え、気がついたら大きな差がついていた。これと同じように、ネットフリックスも長い間に根気よくユーザーのデータを積み重ね、オススメ能力を少しずつ向上させてユーザーの利便を向上させ、気がついたら他とは大きな差がついた。

アメリカでも映画・テレビ業界の人は、「配信」の部分を電波やDVDでなくネットに置き換えるという部分しか理解していない傾向があるが、実際にはネット配信の最大の強みは、こうしたオススメ・検索・ソーシャルなどの「ネットのインテリジェンス」の部分であると私は思っている。そして、この頭脳を支えるのがビッグデータ技術だ。

◆ ユーザーデータからオススメへ


私自身はネットフリックスもHuluもアップルもケーブルのTVEverywhereもすべて使ってみているが、「オススメ」の精度とインターフェースでは、ネットフリックスは他とは比べ物にならない。他は提供側が見せたいモノ(ランキングトップ10、最新番組など)がフィーチャーされて、オススメはオマケであるのに対し、ネットフリックスの画面はすべて、パーソナライズされたオススメだけでほとんど埋め尽くされている。

今年春のStrataでの講演では、ネットフリックスがどのようなデータをどう使っているかの話があった。アカウントに登録されている情報(住所など)、過去の視聴履歴、見たコンテンツにつける評価のほか、ストリーミングならば、何月何日何時何分に何を見て、どこで止めて何分後に再開したとかやめてしまったとか、どの端末(パソコンかiPadかXboxか・・)で見たなど、さらに細かいデータがとれる。「オススメ」の最も一般的なやり方は、「この映画を見た人はこういうのも見ています」というものだが、こうした詳細情報を利用してもっと精度を高めている。

一つの例として、こんな話があった。ユーザーは普通、一家庭で一つのアカウントとなる。数人がそれぞれ好きなものをオーダーするので、好みの傾向が一貫しない。しかしネットフリックスでは、ユーザーの利用データをもとに、どういった家族構成かをほぼ把握することができる。週末の昼間Xboxでアニメーションを見るのは子供、平日の深夜近くにiPadでコメディ番組を見るのはお父さん、などとだいたい推測ができるわけだ。これに応じてオススメを出す。

もちろん、画面に「お兄ちゃん向けにはコレ」などと、ユーザーが気持ち悪くなりがちな表示はせず、「SFアクションのオススメ」「アート系外国映画のオススメ」「あなたの町のトップ映画」などのように上手に表現している。画面をあけると、思わず「あ、これちょっと面白そうかな」という映画やテレビ番組のポスターがすぐに目に入る。そして、ポスターをクリックすれば、その場でストリーミングで映画が見られるというわけだ。

◆ アマゾンS3でスケールアウト


ネットフリックスは、アマゾン・クラウドサービスの大口ユーザーであることも知られている。秋のStrataでの講演では「データセンターの管理はわが社の仕事ではない」ため、アマゾンのS3を利用していると説明があった。急速にユーザー数が伸びて処理量が爆発的に急増し、自社のデータセンターからあふれて新設が追いつかないために、2009年から2010年にかけて、ストレージだけでなく多くの処理をAWS(Amazon Web Service)に移行し、現在はほぼ100%クラウド化されている。クラウド移行前の2008年には7テラバイトだった同社のデータ量は、現在では160テラバイトになっているという。

S3は、映像データとユーザー行動データの両方に使われている。ユーザーからのオーダーはNOSQLデータベースCassandra(カサンドラ)で処理され、そのユーザーデータは一日に一度、取り出してS3に移す。余談ながら、ネットフリックスのチームはこの処理に大変苦労し、いい加減イヤになるほどだったので、この処理のための独自のツールを創りだし、それにAegisthus(アイギストス)と命名したそうだ。アイギストスとは、ギリシア神話でトロイアの悲劇の王女カサンドラを殺した人物の名前である。

S3に格納されたユーザーデータは、Hadoop系各種ツールを使って分析され、その結果はまたS3に格納される。S3は一般的には「Pay as you go(従量制)」と思われているが、ネットフリックスほどの大口では決まった使用量を常時確保できる契約になっている。西海岸の夜中には、ユーザーへの動画ストリームが激減するので、その空きを利用して、真夜中からバッチ処理を動かす。

講演では、「適切なツールを適切なジョブに」ということが強調されていた。どのようなビジネス形態であって、何が重要であるかにより、適したツールや技術は異なる。単にデータの量や企業規模ではなく、自社のニーズや優先順位をよく見極めて、ビッグデータ技術戦略を決めることが重要ということが言えそうだ。

ネットフリックスは、以前はORACLEでデータを処理していた

やがてS3にデータを格納し、Hadoopで処理を始める

Cassandraで処理したデータをS3に移行するAegisthusを開発


最後はお約束の"We're hiring!"・・


海部美知(かいふ・みち)

エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。





Cloudian(クラウディアン)について

Cloudian(クラウディアン)は日本、米国、中国に拠点を持ちグローバルに展開しているソフトウェア開発会社クラウディアングループが開発提供するクラウドストレージを構築できるパッケージソフトウェア製品です。

Cloudianで構築するクラウドストレージは、事実上の標準であるAmazon S3互換のAPIを提供しており、数百から千種類に及ぶAmazon S3対応アプリケーション、ツール、アプライアンス、サービスを利用することができます。

Cloudianは、「ニフティクラウドストレージ」、NTTコミュニケーションズ「Bizホスティング Cloudn(クラウド・エヌ)オブジェクトストレージ」を始めとする国内外の商用クラウドサービスに採用されているほか、プライベート、ハイブリッドクラウドにおいても利用することができます。

Cloudianセミナー2012

2012年12月10日(月)Cloudianの使用事例について各社が紹介する「Cloudianセミナー2012」を開催します。登録開始までもうしばらくお待ちください!

2012/10/28

クラウド脳の「記憶」、クラウドストレージはカンバン方式


「ビッグデータとクラウド・ストレージ」 連載 第三回 トレンド編2: クラウド・ストレージとは


エノテック・コンサルティング代表

海部美知



◆ クラウド脳の「記憶」


「トレンド編」の第一回では、クラウドが「脳」となり、その中での「思考」活動がビッグデータであると書いたわけだが、脳のもう一つのはたらきである「記憶」にあたるのが「ストレージ」だ。今回は、「クラウド・ストレージ」を取り上げる。業界でSTaaS(Storage as a Service)と呼ばれるモノも、ほぼ同義である。

クラウド・ストレージとは、Dropboxをイメージしていただくとわかりやすいだろう。正確に言うと、Dropboxはエンドユーザーが使う「アプリケーション」であるのに対し、クラウド・ストレージはアプリケーションのプロバイダーが使う「インフラ」という違いがある。ここでは、どういう役割をするかという比喩として考えていただきたい。

Dropboxでは、ドキュメントを自分のコンピュータ上のフォルダーに入れるのと同じ操作で、Dropboxフォルダーに入れると、クラウド上にあるDropboxのサーバーに保存される。類似サービスは以前からあったが、特にDropboxが受けたのは、第一回に紹介した「クラウド+モバイル」という強力なコンビ結成のおかげだ。

従来のファイル共有サービスは「パソコン同士」であり、ログインが面倒などの理由で共有メンバーのノリが悪く、拒否反応があったりだんだん使われなくなることがしばしばあった。これに対し、Dropboxはスマートフォンのアプリとして提供されて、一人のユーザーの「パソコンとスマートフォンの間」でファイル共有が簡単にできるようになった。また、一定容量までならは無料という「フリーミアム」料金体系や、カメラを接続すると自動的に写真を吸い上げるなどの使いやすさも受けた。端末を買い換えたり紛失したりすることはパソコンよりもモバイルのほうが頻繁にあり、その場合に備えたバックアップ用にも使える。こうしたことから、広い層のコンシューマー・ユーザーにも浸透した。使い慣れた人が多くなれば、チームメンバー間での共有もやりやすくなる。同様のサービスで、企業ユーザー向けに特化したのBoxも人気を博している。

DropboxやBoxは、保存という機能を中心に、データや共有メンバーの管理などの機能を付加した、ストレージのパッケージサービスである。こうしたストレージ中心のもの以外に、例えばGメールは過去まで遡ってグーグルのサーバーに、あるいはフェイスブックにアップした写真はフェイスブックのサーバーに、それぞれ保存されている。このように、別目的のクラウドサービスの一部を形成するストレージもある。というより、クラウドサービスには必ず、何らかの形のストレージが不可欠である。

◆ 「カンバン方式」のクラウド・ストレージ


クラウディアンでは、こうしたDropboxのような上位レイヤーのファイル保存・共有サービスを「オンライン・ストレージ」、アプリケーション・プロバイダーが自社サービスの一部として、メールや写真などをクラウドに保存するためのインフラ・サービスを「クラウド・ストレージ」と呼びわけるよう、提唱している。以下は、後者「クラウド・ストレージ」の話である。

例に挙げたGメールのグーグルやフェイスブックは、自社でストレージのインフラを保有・運用している。しかし、各種オンライン・サービスを提供するプロバイダーが、あえて自前のインフラを持たず、専門業者から借りることを選択するケースは多い。例えばオンライン映画配信のNetflixは、膨大な量の映像と顧客データを持つが、ストレージは外部のものを利用している。このような外部ストレージがクラウド・ストレージである。

コンサルティング会社451Groupによると、クラウド・ストレージの市場規模(世界)は、2011年の13億ドルから2015年には60億ドルに成長すると予測されている。このうち、純粋にストレージ主体のサービスが大半(7.5→47億ドル)を占め、残りがバックアップとアーカイビング(5.5→13億ドル)となっている。



クラウド・ストレージの定義もいろいろあるが、451では要件として

  1. オンデマンドでストレージ容量を設定できる 
  2. ホスティング環境にあり、インターネット経由でデータにアクセスできる

の2つを挙げており、特徴的なのが1.である。

クラウドサービスでは、急激に活動が増えたり減ったりすることが多く、ピーク時の必要容量に十分な規模のストレージを最初から用意したら、値段が高い割にほとんどの時はガラガラに空いてるという、「田舎の高速道路」状態となってしまう。そうでなく、必要なときに必要なだけ注文でき、すぐに使える、といういわば「カンバン方式のハードディスク」がクラウド・ストレージ(またはSTaaS)の特徴である。2.だけならば従来型のホスティングでもよいのだが、1.があるのが従来との主な違いで、こうしたカンバン方式の拡張のことを業界では「スケールアウト」と呼んでいる。

前回にも書いたように、この世界で圧倒的な巨人がアマゾンである。シリコンバレーのWebベンチャー企業の中で、アマゾンのお世話になっていないところはないに近い。突然ユーザーが爆発的に増えることもあり容量の予測がしづらく、でもお金はあまりない、というベンチャーには、「カンバン方式」で容量を調達でき、料金が安いアマゾンのクラウド・ストレージはうってつけだ。顧客はベンチャーだけでなく、前述のNetflixもアマゾンを使っており、大企業顧客も多い。451の調査レポートで名前が挙がっているベンダーの中で、クラウド・ストレージの売上額が年間1億ドルを超えるのはアマゾンだけだ。正確な売上額のデータは手元にないが、前回の記事にあるように、アマゾンの市場シェアはほぼ50%と見られている。

これに、セールスフォース・ドットコム、ラックスペース、マイクロソフト、HPなどが続いている。

◆ アマゾンのストレージ方式


アマゾンのクラウド・ストレージは、アマゾン・ウェブ・サービス(AWS)の一部で、商品名は「S3 」(Simple Storage Service)であり、前回書いたように、クラウド・ストレージのデファクトスタンダードのような存在になっている。

S3は、オブジェクト・ストレージという技術方式を採用している。ストレージには、データをどのような形式で保存するかにより、以下の3つの方式がある。


  1. ブロック・ストレージ: データを一定の大きさに切り分けて、そのまま機械的に、つまり「0と1」のまま保存する。伝送距離が非常に短く、高速であることが重要なSAN(Storage Area Network)で使われる。
  2. ファイル・ストレージ: 関連あるデータのセットをひとまとめにして「ファイル」とし、ファイル名やファイル形式などのメタデータを付加して、そのファイルの位置づけを「フォルダー」や「ディレクトリ」などの形で階層構造的に規定して保存する。パソコンでの操作でお馴染みの方式で、NAS(Network Attached Storage)で使われる。
  3. オブジェクト・ストレージ: データそのものとメタデータを合わせたものを「オブジェクト」とし、これにOID (Object ID)を付加して、すべてのオブジェクトをフラットに保存する。


ファイル・ストレージは、パソコンと同じで、紙のフォルダーとのアナロジーで感覚的に理解しやすいが、目的のデータにアクセスするためにはフォルダー構造の上から下へとたどり、そこから別のフォルダーに移るのに今度はまた上まで戻る、という手間がかかる。メタデータがファイルの外にあり、上位フォルダー名が他のファイルとも共有されていて、複数ファイルの同時並行作業がやりづらい、といった問題もあり、効率がよくない。

これに対しオブジェクト・ストレージでは、オブジェクトへのアクセスに必要なのはOIDだけで、いわば箱にタグをつけ、タグの番号を見て箱全体を引っ張り出す要領で、階層をたどる必要がない。メタデータも、まとめて箱の中にはいっている。OID一つにはオブジェクト一つだけしか紐付いていないので、複数の箱に同時並行でアクセスでき、効率がよいためコストが安く済み、スケールしやすい。ただし、これは「箱の中味が変わらない限り」という但し書きがつく。

こうした特徴から、「箱」の中味がほとんど変わらない静的なデータの塊、例えば画像、動画、eメールなどを保存しておく目的で、スケールアウトしやすさと低コストが重要であるクラウド・ストレージには、オブジェクト・ストレージが適しているわけだ。

【クラウディアンのホワイトペーパー「クラウドサービスの大きな成長機会「オブジェクトストレージ」「クラウドストレージの基礎知識」を参照】


◆ チャレンジャーたち


さて、このアマゾン一人勝ちの状況に、正面から挑戦しようとしているプレイヤーは、まだそれほど多くない。米国では、マイクロソフトやHPなどが、自社が強みを持つ大企業ユーザー向けに頑張っているが、少し違う顧客層が対象である。アマゾンへの挑戦者という意味ではグーグルが挙げられる程度で、それも中小顧客中心でまだシェアも小さい。欧州ではLunaCloud(ルナクラウド)という会社がアマゾン型のサービスで登場している。

日本では、「ニフティクラウド」やYahoo!クラウドが同様のサービスを提供しており、このたびNTTコミュニケーションズも参戦を発表した。詳細は下記を参照してほしい。

「Bizホスティング Cloudn」におけるオブジェクトストレージの提供開始について~ビッグデータに最適な拡張性と堅牢性を備え、月額7.35円/GBから低価格で利用可能~


海部美知(かいふ・みち)


エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。






Cloudian(クラウディアン)について


Cloudian(クラウディアン)は日本、米国、中国に拠点を持ちグローバルに展開しているソフトウェア開発会社クラウディアングループが開発提供するクラウドストレージを構築できるパッケージソフトウェア製品です。

Cloudianで構築するクラウドストレージは、事実上の標準であるAmazon S3互換のAPIを提供しており、数百から千種類に及ぶAmazon S3対応アプリケーション、ツール、アプライアンス、サービスを利用することができます。

Cloudianは、「ニフティクラウドストレージ」、NTTコミュニケーションズ「Bizホスティング Cloudn(クラウド・エヌ)オブジェクトストレージ」を始めとする国内外の商用クラウドサービスに採用されているほか、プライベート、ハイブリッドクラウドにおいても利用することができます。






2012/10/17

Cloudian(クラウディアン)の差別化ポイント

2012年10月15日、OSCA第2回クラウドソリューションセミナーにて、クラウディアンはCloudianパートナー企業のクリエーションライン様とともに、Cloudian(クラウディアン)のご紹介をしました。

クラウディアンからは、Cloudianの概要と「Cloudianの差別化ポイント」を中心にお伝えしました。Cloudianはクラウド環境に最適な分散オブジェクトストレージですが、数多くのアプリケーション、アプライアンス、ユーティリティ、ツールが簡単に利用できるよう、オープンに広く公開され、いまやクラウドストレージの事実上の標準とも言えるAmazon S3に互換するAPIを備えています。

最近ではCloudianに追随する製品も見かけるようになりましたが、CloudianはPUT、GET、DELETEといった基本的なAPIだけではなく、マルチパート・アップロード、ロケーション・コンストレイント、バージョニングといった高度なS3 APIも備えており、すでに商用環境にあることをお話しました。

また、独自機能として、バケットのデータ格納量が仮想的に無制限となるバーチャルバケット、ディスクの利用効率と性能を向上するHyperStore(ハイパーストア)、サービス運用に必要な統計・課金・管理・監視機能などがパッケージ化されていることについてもご紹介しています。

このプレゼン資料をSlideshareにアップロードしています。



Cloudianパートナー企業のクリエーションライン様からは国内外のCloudianの採用事例と他製品との比較検証結果について説明がありました。この詳細についてはクリエーションライン様に直接お問合わせいただければ幸いです。

ご出席の皆様、このような機会を与えていただいた事務局の皆様に、この場を借りまして心より感謝申し上げます。

2012/10/03

「クラウド」の裾野を支えるしたたかな人たち 箱モノからクラウドへ



イベント・企業編1: 箱モノからクラウドへ ~ ホスティング・クラウド会議 ゆるめの報告


エノテック・コンサルティング代表
海部美知



◆ 「クラウド」の裾野を支えるしたたかな人たち


9月19~20日、ラスベガスで開催された「Hosting and Cloud Transformation Summit 2012」に初めて行ってみた。

私は米国の各種カンファレンスに出席する機会が多いが、行けばそれぞれの業界の個性や雰囲気がよくわかって面白い。今回は、シリコンバレーのテック系カンファレンスとあまりに違うことが印象的だった。

シリコンバレーでは、アジア人・ヨーロッパ人、男性女性が雑多に混ざり、服装はジーンズのビジネス・カジュアル、展示は華やかで先進的なイメージだが、ここでは朴訥な白人男性が背広で集まり、展示も地味な「産業用」だ。これは実は「通信系」によくある空気で、アメリカ全土を面的にカバーするサービスは、こうした雰囲気の地方の中小サービスプロバイダーが裾野を支えている。

アメリカでは、90年代に「長距離ディスカウント・キャリア」や「CLEC(新規参入地域キャリア)」が百花繚乱し、全米で数千社が存在した。その筆頭がワールドコムだったのだが、彼らの多くはいわゆる「マネーゲーム」的な人たちではない。実直な地域密着商売をコツコツ続け、その後業態をいろいろに変化させて生き残ってきたが、その一つがホスティング業界であるわけだ。

そして、これらの地道なインフラストラクチャーの土台が、華やかなソーシャルやゲームなどのサービスを支えている。


◆ 好調なホスティング業界


ホスティング事業は地道なサービスといっても、その商売は順風満帆、というのが会議のトーンだった。2000年代初頭、ネットバブル崩壊で大量な供給過剰となったが、その後順調に需要が増大して在庫解消が進み、現在は「ちょうど需給が均衡している状態」というのが、この分野専門の投資銀行DHキャピタルの見解だ。ホスティング専業事業者の株価収益倍率(EBITDA倍率)は軒並み15~20倍で、堅実な業界としては高評価を得ている。

従来型のホスティングは、いわば「箱モノ商売」であるため、箱がちょうどよい程度に一杯の状態が続けば、安定収益が持続できる。ただ、この先さらに需要(=保存データ量)が急増すると予測されており、箱からあふれてしまう可能性がある。

カンファレンス主催者であるThe 451 Groupの講演では、この先のデータ量急増の要因として「モノのインターネット(Internet of Things, IoT)」と、それを含む「ビッグデータ」が挙げられた。これに対し、正直なところ聴衆の反応は今ひとつ「ピンと来ない」といった様子で、ここでも「ビッグデータの大波だ、データが多すぎてストレージが足りない」というシリコンバレーの切実な雰囲気とのギャップが感じられた。シリコンバレーのような逼迫状況は、まだ地方には及んでいないということだろう。

「モノのインターネット」について解説するThe 451 Groupのリサーチャー、レイチェル・シャルマーズ


◆ 箱モノからクラウドへ


それでも、この波は着実に、徐々に広がっている。

カンファレンスでのThe 451 Groupの講演によると、インターネット・インフラストラクチャーの売り上げは、2010年390億ドルから2013年には680億ドルと、年率20%で成長すると予測している。これらのうち、現時点で売り上げの大きな部分を占めるのは、従来型のマネージド・ホスティングやマルチテナント・データセンターであるが、成長率が最も高いのは「クラウド・コンピューティング」分野で、年率62%の成長を示している。

これら各種のホスティング・サービスの詳細説明については後の回に譲るが、おおまかに言えば、従来型が「箱モノ」であるのに対し、「クラウド」はもっと拡張性が高く、フレキシブルなサービス提供形態である。

ビッグデータの性質は「3V」、すなわち「Volume(物量)」「Velocity(速度)」「Variability(変化性)」とよく表現される。短期で急速に量が変化し、突然バーストしたり、内容が変化したりするのが特徴で、これに対応できるよう、データセンター側も可変性の高い「クラウド」型になっていく必要がある、というのがThe 451 Groupの講演の主旨であった。

カルテック天文学マイク・ブラウン教授のゲスト講演。ブラウン氏による小惑星発見が「冥王星追放」につながったことで知られる。この分野で、どのように文字通り「天文学的」な量のビッグデータを扱って研究を行なっているかの裏話が面白かった。


さらに、データセンター管理の分野においても、単に箱をメンテするだけでなく、上位レイヤーの部分までを意識した管理が必要であるとの議論が興味深かった。例えば、電力管理といった物理的な部分でも、ヴァーチャルマシンの一部で電力が落ちた場合、どの部分に切り替えて立ち上げるかわかっていなければ対応できない。アプリケーションまで視野に入れた総合的なマネージメントが求められてきている。

欧州企業シュナイダーによる、「上位レイヤーを理解したデータセンターの電力マネージメント」の説明スライド


◆ アマゾンの存在感


さて、今度は少々視点を変えて、「クラウド・サービス」というくくりで考えてみると、おおまかに「SaaS(Software as a Service)」「PaaS(Platform as a Service)」「IaaS(Infrastructure as a service)」という3つのレイヤーがある。このうち、ホスティング業界が担当する部分が「IaaS」である。

The 451 Groupの講演では、IaaS分野のほぼ半分のシェアをアマゾンが占めており、圧倒的に強いことが示された。これに、ラックスペース、ベライゾン・ビジネスなどがかなり引き離されてついていっている。(数字は公表されなかった)このため、クラウド・ストレージの業界では、アマゾンのS3(Simple Storage Service)がデファクト標準であると言ってよい。

会議ではアマゾン自身はスポンサーになっておらず、全くプレゼンスはなかった。一方で、多くの講演やパネルでよく引き合いに出され、そこでは「自分たちの主要事業であるマネージド・ホスティングが、アマゾンのS3に侵食されてしまうのでは」という不安が感じられた。上述の「ビッグデータ」に対する懐疑的な雰囲気も、もしかしたらこのことが背景となっているのかもしれない。The 451 Groupはそれに対して「実際には、マネージド・ホスティングとクラウドはそれぞれ得意分野が違うので、共存していくはず」と主張していた。

◆ Cloudianコミュニティ版


さて、このコラムのスポンサーであるクラウディアン社は、このカンファレンスにて、無料版「Cloudianコミュニティ版」を発表した。

Cloudianのソフトウェアを使うと、アマゾン以外のホスティング・プロバイダーや企業ユーザーが、自前でS3対応「アマゾン・スタイル」のクラウド・ストレージ・システムを構築することができる。

「コミュニティ版」では、通常エディションとすべて同じ機能を使うことができ、ストレージ容量100テラバイトまで無料である。

同サービスの詳細については、クラウディアン社のウェブサイトを参照してほしい。


海部美知(かいふ・みち)


エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。






Cloudian(クラウディアン)について


Cloudian(クラウディアン)は日本、米国、中国に拠点を持ちグローバルに展開しているソフトウェア開発会社Cloudianグループが開発提供するクラウドストレージを構築できるパッケージソフトウェア製品です。

Cloudianで構築するクラウドストレージは、事実上の標準であるAmazon S3に互換する豊富なAPIを備えており、数百から千種類に及ぶAmazon S3対応アプリケーション、ツール、アプライアンス、サービスを利用することができます。

Cloudianは、「ニフティクラウドストレージ」を始めとするクラウド事業者の商用クラウドサービスに採用されているほか、プライベート、ハイブリッドクラウドにおいても利用することができます。









2012/09/28

講義資料:実機によるRiakとHibariのNOSQLハンズオン

2012年9月28日、日本OSS推進フォーラム勉強会の第2回が開催されました。第1回目には「NOSQLの基礎知識(ビッグデータを活かすデータベース技術)」の著者、クラウディアン株式会社の河野達也がNOSQLの概要について、同書の図表なども用いながら講義をいたしました。

第2回目となる講義は、Basho Technologies(バショー・テクノロジーズ)がオープンソースとしてリリースしたRiak(リアク)とクラウディアン株式会社が2010年にオープンソースとしてリリースしたHibari(ヒバリ)を使い、実機を用いた基本操作を通じてNOSQLデータベースについて学ぶというものでした。

講義は国立情報学研究所(NII)のクラウド環境を利用させていただきました。
写真は講義の様子です。





この講義の資料をSlideshareにアップしてあります。




偶然ですが、先日、バショーの日本法人の設立発表があったためか、遅ればせながら日本でもRiakの名前を見かけるようになりました。

Riakは、Hibariと同じくErlangというプログラミング言語で開発されています。このErlangの専門家は他の言語に比べ世界的に少ないためか、元クラウディアンの開発者や技術者が米国バショーだけではなく、設立したばかりの日本法人でも活躍しています。最近では、Cloudianに追随し、Amazon S3に互換するAPIのクラウドストレージ製品を開発しているとも発表しています。そんな縁ですので、まさに時宜を得た題材だったかもしれません。

2012/09/20

Cloudianのブロシャーを刷新しました

2012年8月、社名をクラウディアン株式会社に変更したことに伴い、これまでの製品ブロシャーなどを順次更新しています。これが新しいCloudian(クラウディアン)のブローシャーの表紙です。



ご希望の方は、ZDNet Japanの企業情報センター、ホワイトペーパーのページからダウンロードができます。こちらからどうぞ。

2012/09/18

ネットにおける脳の高度な知的活動が「ビッグデータ」




ビッグデータとクラウドストレージ」連載第1回
トレンド編1: データ爆発とビッグデータの時代

エノテック・コンサルティング代表
海部美知



◆ アナログ・データとデジタル・データ



人類はその数千年にわたる歴史の中で、膨大な「アナログ・データ」を蓄積してきた。玄奘法師の持ち帰った経典、写本された源氏物語、グーテンベルクが印刷した聖書から、現代の膨大な数の書籍・書類・写真・絵画・図表・音楽レコード・ビデオテープまで、考えていくと非常に多彩なアナログ・データがあり、現在でも日々刻々増えている。

一方、近年はデジタル・データが爆発的な勢いで増えているのはご存知のとおりだ。今や、映像も音楽も書籍も写真も、個人の通信も、デジタルのほうが普通になった。

では、全世界に存在するデータを、アナログとデジタルに分類すると、どちらのほうが多いと思われるだろうか?

その答えは、「いつ時点か」による。コンサルティング会社マッキンゼーが2011年5月に出したビッグデータに関するレポート があり、この中に「全蓄積データに占めるデジタルデータの比率」グラフ が掲載されている。これによると、さすがに人類数千年の歴史の蓄積で、2000年時点ではアナログが75%と圧倒的に多い。しかし2007年には、なんとデジタルが94%となり、わずか7年の間に奇跡の大逆転が起こった。人類ウン千年の蓄積を数年でデジタルデータが追い越し、はるかに抜き去ったというわけだ。

アナログとデジタルのデータ比率
(McKinsey Global Institute, Big data: The next frontier for innovation, competition, and productivity May 2011 by James Manyika, Michael Chui, Brad Brown, Jacques Bughin, Richard Dobbs, Charles Roxburgh, Angela Hung Byers に基づきクラウディアンが作成。統計数字はサイエンス誌のヒルバートとロペスの論文から引用されており、数字の根拠は、実際のデータ量ではなく、「ストレージ」の大きさを推定してバイト数で表したもの。)

デジタル技術は80年代のパソコン時代から徐々に立ち上がり、90年代にはインターネットバブルが起こった。この時期にすでに、手紙は電子メール、写真はデジカメ、音楽はCD、映像はDVDに変わった。それでもまだ2000年にはアナログのほうが圧倒的に多かったのに、それがここ10年でこれほどまでに爆発的にデジタル・データが増えたというのは、一体どういうことだろうか。


◆ バブル崩壊が生み出した「ユーザー生成コンテンツ」


1990年代に登場したインターネットは、一番最初は「メール」という手紙の代替手段として広まり、その次は「カタログ」の代替としてのEコマースや、「新聞・雑誌」の代替としてのポータルサイトが登場した。この頃はまだ、ネットのスピードも遅く、技術も未熟だったので、専門の会社が「カタログ」と製品の配送や、「新聞」記事の執筆・編集などをやり、それをネットを通じてユーザーに「片方向」で届けることが主体であった。

このネットバブルに乗って大量のインターネットのインフラが建設されたが、2000年のバブル崩壊で需要が激減して大幅な供給過剰となり、回線やデータセンターなどの価格が暴落した。

その後、大幅に安くなったインフラを使って、新しいネット産業が、焼け跡の中から立ち上がった。ラリー・ペイジとサーゲイ・ブリンが、スタンフォード大学で検索エンジンの小さな会社を始めたのは1998年、グーグルが上場して大騒ぎになったのが2004年であり、グーグルはバブルの焼け跡の中で成長した。
この時期以降の新しいネット産業は、その後「ウェブ2.0」と呼ばれるようになる。これらは、メールやEコマースのような「既存の何かの代替」という発想ではなく、コスト構造も従来の仕組みとは全く違う、ネットでなければできないサービスであった。

ウェブ2.0とは、「カタログ」や「新聞」のような片方向の情報の流れではなく、ユーザー側からもさまざまな情報がシェアされたりフィードバックされたりする「双方向」になったウェブ上のサービスのことだ。ジャーナリストでもない一般人がブログで文字や写真をアップして情報発信したり、自分用につけるブックマークやタグを他の人とシェアしたりすることが可能になり、ユーザーが自ら進んで公開したデータがネット上にたくさん吐き出されるようになった。2005年には、ユーザー生成コンテンツの最高峰ともいえる、ユーチューブがサービスを開始した。

90年代には、特定の「提供者」がもっぱらデジタルデータを作っており、個人ユーザーはせいぜいメールを書く程度だったものが、ウェブ2.0以降、膨大な数の個人ユーザーが、デジタルデータを紡ぎだし、それがネットの中に集積されるようになった。

◆ クラウドにデータが集まって「脳」になる


グーグルの当時の会長だったエリック・シュミットが「クラウド・コンピューティング」という言葉を講演で使って話題になったのは、2006年のことだった。クラウド・コンピューティングとは、手元のコンピューターではなく、インターネットの中に、データやアプリケーションを置いて使う仕組みや考え方のことである。ネットワークの仕組みを絵で表すとき、インターネットは「雲」の形で表現されることが多いため、「雲のコンピューター」と名づけられた。この考え方そのものはかなり以前から構想されていたが、ネットの信頼性向上や、ユーザーがストレスなく使えるブロードバンドの普及などにより、環境がこの頃ようやく整ってきたために可能になった。

まずデータがアナログからデジタルになり、さらに各ユーザーのコンピューターではなく、クラウドにデータが公開されると、雲の中だけでいろいろな種類のデータを集めて、意味を取り出したり並べ替えたりすることができるようになり、データの「活用」が容易になった。もちろん、こうしたデータを利用するには、データを保有している各サービス提供者の合意やそのための仕組みが必要だが、それでも以前と比べれば格段に簡単に、データを集められるようになった。

80年代に単体のコンピューターだけが散らばっていた頃は単細胞生物だったものが、90年代にインターネットでつながってまず「神経」だけを持ったミミズのようなものになり、それがさらに進化して、2000年代には神経が集中する人間の「脳」がついにできたのである。

そして、このネットにおける脳の高度な知的活動が、「ビッグデータ」と呼ばれる技術群と考え方である。人間の脳は、情報を蓄積しておくストレージ容量が大きく、また情報がたくさん蓄積されていればいるほど、それを使った脳の活動が高度かつ盛んになり、高度なことができれば面白いからますます情報を吸収して貯めこんでいく。育ち盛りの子供がどんどん新しいことを覚えていくように、クラウドがデータを吸い込み蓄積する速度がどんどん加速する。

ビッグデータそのものの技術や考え方は、科学技術や金融などの世界では以前から使われているが、データ爆発の起源とその後の新しいビッグデータの潮流は、このように「クラウド」へのネット産業の動きが引き起こした。

◆ ソーシャルとモバイル


クラウドの「脳」に集まるデータの流入をさらに加速したのが、2007年頃からの「ソーシャル+モバイル」のコンビだ。

ウェブ2.0の流れを受けてさらに進化したものが、よりパーソナルな情報の流れを重視したソーシャル・ネットワーク・サービス(SNS)だ。初期の頃、アメリカならマイスペース、日本ならミクシィなどのSNSが人気を集めていたが、本格的な「ソーシャル・ブーム」の到来は、フェースブックとツイッターが広く知られてユーザーが急増し始めた2007~8年頃と言ってよいだろう。

フェースブックは、大学の学生同士が使う顔写真入りの学生名簿から始まったサービスで、ユーザーは自分の言いたいことや撮った写真などをネットにアップし、お互いに「友達」として登録した相手だけがこれらのコンテンツを見られる。オープンなメディアとしての性格が強いブログと比べ、クローズドな関係内だけで利用できることが新鮮であった。

これに対し、ツイッターは「マイクロ・ブログ」とも称されるように、ブログのように公開を前提としたサービスで、書き込める文字数が最大140字までという点が大きな特徴である。一見不便に見える文字数の制限が、実は一覧性が高いとか、書くほうも気軽に書けるなど、意外にメリットがあり、多くのユーザーに支持された。自分のウェブ画面には、自分が「フォロー」している人たちの書き込んだことが表示されるが、フォローするのに相手の承認は必要なく、オバマ大統領だろうがハリウッドのスターだろうが、勝手にフォローしてもOKなのが、フェースブックとは違う楽しみである。

ソーシャルとちょうど同じ頃に出現し、さらなる「燃料投下」をしたのが「モバイル」で、ソーシャルとモバイルは、相互に勢いをフィードしながら「両輪」として発展した。

日本では、iモードの頃から携帯電話に便利な機能がたくさん備わり、ネット接続もされていたが、アメリカでは、誰でも携帯で文字を打つようになったのは2000年代半ば、それ以上の高等なモバイル・ネットの利用は本当にごく最近の現象である。

最初に流行したのは、携帯でメールをやりとりする「ショート・メッセージ・サービス(SMS、テキスティングとも呼ばれる)」であった。テキスティングは、厳密に言えば音声電話と同じネットワークを使い、電話番号あてに音声の代わりに文字の信号を送るもので、インターネットを使っているわけではない。しかし、とにかく「携帯で文字が打てる」ということを広い層のアメリカ人が認識し、本格的に利用するようになったきっかけはこれであった。ちなみに、ツイッターの書き込み制限が「140文字」となっているのは、このテキスティングの文字数制限が140文字であることに由来しており、さらにテキスティングの140文字制限は「ハガキ」に書かれる標準的な文字数に由来すると言われている。

そして2005年にブラックベリーによる第一次スマートフォン・ブーム、2007年にiPhoneによる第二次スマートフォンブームが到来する。いずれもカメラとアルファベットのキーボードが使えるので、撮った写真をその場でフェースブックやツイッターにコメントつきでアップすることができる。このお手軽感は、それまでのアメリカにはなかったもので、若いユーザーは熱狂した。これが可能になったのは、この頃には3G携帯ネットワークがほぼ行き渡り、モバイルからでもストレスなく写真をアップロードできるようになったという背景もある。

スマートフォンは、閲覧のための画面としてはパソコンに比べて制約が大きいが、写真・動画+テキスト+音声のどれでも「入力」ができるという大きな強みがある。いつも手元に持っているパーソナル端末でもあり、場所も時間も制約なく利用できる。一般ユーザーでも手軽に複数メディアを入力できることで、ソーシャル・ネットワークの裾野が一気に広がり、データのアップロードが一気に増大したのである。ブログ時代と比べ、「ソーシャル+モバイル」時代には、コンテンツを作成してネットにアップする人の数は、世界中でざっと二桁ほど増えただろう。

◆ ビッグデータ力という差別化要因


こうして蓄積されたデジタルデータは、多くのネット事業の原材料として使われている。ビッグデータを使った絞り込みと予測のおかげで、有効・正確に、キーワード検索ができたり、ユーザーに合わせた広告を表示したり、いかにも欲しくなりそうな商品をリコメンドしたりできる。この力のおかげで、検索広告・レコメンデーション・フリーミアム・会員制サービスなどといったウェブ2.0以降のネットビジネスでマージンを生み出せるようになり、産業として成立した。

これらは原料となるデータが大きければ大きいほどより正確な結果を引き出すことができ、また一方で、より正確な結果を引き出すための技術力も勝負どころとなる。

グーグル、アマゾン、フェースブック、ネットフリックス、リンクトインなど、「ウェブ2.0」時代以降に成功しているネット企業の多くは、こうしたビッグデータの力をうまく活用しており、またそのための技術力とデータを効率的に集める仕組みを持っている。星の数ほどもあるネット企業の中で、これらの企業が勝ち抜いてこられたのは、より正確にユーザーのニーズに応えるための「ビッグデータ力」が原動力となっているのである。


海部美知(かいふ・みち)


エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。






Cloudian(クラウディアン)について

Cloudian(クラウディアン)は日本、米国、中国に拠点を持ちグローバルに展開しているソフトウェア開発会社Cloudianグループが開発提供するクラウドストレージを構築できるパッケージソフトウェア製品です。

Cloudianで構築するクラウドストレージは、事実上の標準であるAmazon S3のAPIに完全準拠しており、数百から千種類に及ぶAmazon S3対応アプリケーション、ツール、アプライアンス、サービスを利用することができます。

Cloudianは、「ニフティクラウドストレージ」を始めとするクラウド事業者の商用クラウドサービスに採用されているほか、プライベート、ハイブリッドクラウドにおいても利用することができます。


2012/09/17

海部美知forCloudian「ビッグデータとクラウドストレージ」連載開始です




海部美知さんの寄稿「海部美知forCloudian:ビッグデータとクラウドストレージ」、Cloudianのブログ「What is BIGDATA?」にて連載開始です。







海部美知さんには、先月の「Cassandra Summit 2012」で初めてお会いしました。「ビッグデータ」に関する執筆本の取材とのことでしたので、Cloudian(クラウディアン)の紹介をはじめ、いろいろとお話するなか意気統合。翌日、あらためてSFオフィス近くのレストランでロンドンオリンピック、なでしこ女子サッカー「日本対アメリカ」を見ながらランチをしました。その場で「クラウドストレージ」について、より多くの方々に理解してもらえるようなブログ執筆についてお願いしたところ快諾いただき、ここに実現することになりました。

少し古い話になりますが、当時一般的ではなかった「ウィスキー」が広く知られるようになったのは開高健、山口瞳によるコピーやエッセーが大きく貢献したと聞いたことを思い出します。私たちは、これからの時代の主流になると確信している「クラウドストレージ」において、その役割を海部美知さんに託してみようと考えています。

今後、ビッグデータ、クラウドストレージ、米国の最新動向などについて隔週で寄稿いただく予定です。新着情報は、以下でお知らせします。連載第1回目からリアルタイムでお楽しみください!

Cloudian Facebookページ:「いいね!」の皆様に新着投稿をお知らせいたします。

Cloudian Twitter :  「フォロー」の皆様にTwitterで新着投稿をお知らせいたします。


海部美知さんのプロフィールです。

海部美知(かいふ・みち)

エノテック・コンサルティン グCEO(最高経営責任者)。ホンダを経て1989年NTT入社。米国の現地法人で事業開発を担当。96年米ベンチャー企業のネ クストウエーブで携帯電話事業に携わる。98年に独立し、コンサルティング業務を開始。米国と日本の通信・IT(情報技術)・新 技術に関する調査・戦略提案・提携斡旋などを手がける。シリコンバレー在住。子育て中の主婦でもある。ブログ:Tech Mom from Silicon Valley。Twitter ID:@MichiKaifu。 著書に『パラダイス鎖国 忘れられた大国・日本』(アスキー新書)がある。



Cloudian(クラウディアン)について

Cloudian(クラウディアン)は日本、米国、中国に拠点を持ちグローバルに展開しているソフトウェア開発会社Cloudianグループが開発提供するクラウドストレージを構築できるパッケージソフトウェア製品です。

Cloudianで構築するクラウドストレージは、事実上の標準であるAmazon S3のAPIに完全準拠しており、数百から千種類に及ぶAmazon S3対応アプリケーション、ツール、アプライアンス、サービスを利用することができます。

Cloudianは、「ニフティクラウドストレージ」を始めとするクラウド事業者の商用クラウドサービスに採用されているほか、プライベート、ハイブリッドクラウドにおいても利用することができます。

2012/09/14

クラウディアンとHBase

 クラウディアン株式会社はNOSQLデータベースの「Hibari」を自社開発し2年前にオープンソースとしてリリースしています。また、Amazon S3完全準拠クラウドストレージのパッケージソフトウェア製品、CloudianにはNOSQLデータベースの「Cassandra」と「Redis」を利用し、さらに自社開発のHyperStoreにより性能とディスク利用効率を高めています。

 実はそれだけではありません。クラウディアンには「HBase」の専門家もいます。このたび、HBaseのエバンジェリストという肩書きをもつ河野達也がエンジニアリング・レビューを行ったHBaseの専門書、「HBase Administration Cookbook」が英国で出版されました。



 Amazonの「なか見!検索」でも次のプロフィールをご覧いただけます。「Basic Knowledge of NOSQL (NOSQLの基礎知識)」の著者としても紹介されています。


"Cloud n(クラウド・エヌ)を使ったCloudianトレーニング

 2012年9月12日、13日の2日間に亘り、第3回Cloudian Certified Engineer(CCE)トレーニングが開催されました。今回はCloudian(クラウディアン)のパートナー企業のほか、クラウドサービス事業者からもCloudianのトレーニングに参加いただきました。

 このたびのCloudianトレーニングではCloud n(クラウド・エヌ)を利用しました。第1回目はAmazon EC2、第2回目はニフティクラウドを利用しています。

 トレーニングでは、受講者それぞれに3台の仮想サーバー(講師も含め計36インスタンス)を用意しました。このCloud nの仮想サーバーを使いCloudianのインストール、S3 YCSBによる性能測定、Zabbixを使った監視、サーバー障害時の復旧運用を始め多彩な内容をハンズオンで学びました。

 トレーニング受講後の資格試験には受講者全員の10名が合格。資格者には以下のような資格証が授与されています。


 第1回目から数えるとCCE資格者は合計で45名となりました。今後、より多くの方にCloudianを理解していただくため、Cloudianパートナー企業以外の方々にも受講いただけるようにしたいとも考えています。受講を御希望の方はご連絡をいただければ幸いです。



 

2012/09/13

「なんちゃってクラウド」から本物のクラウドストレージへ

  最近、ビッグデータやクラウドに関する記事を見かけることが増えました。このいずれも専門用語のようですが明確な定義がないバズワードです。著者の場合は、ビッグデータとは、インターネットの技術者たちが突然押し寄せる大波(Big Wave)になぞらえ、大量に(Volume)、かつ迅速に(Velocity)に処理する必要性がある構造化されていない多種多様なデータ(Variety)を表現していると理解しています。

 しかし、どうもサービス企画関係者は利用履歴等の大量データ分析に基づくリコメンデーションといった、以前にはWeb2.0と呼ばれたサービスのビジネスモデルの総称として、また制度関係者はプライバシー侵害の代名詞のように「ビッグデータ」という言葉を使用していると聞いたことがあります。

 また、クラウドとは、クラウド・コンピューティングに由来しており、大規模分散処理のソフトウェア技術を利用しているべきと考えています。そうでない自称クラウドは、「なんちゃってクラウド」だと観ています。

 実際のところ、代表的なクラウドサービスを提供するGoogle、Amazon、Facebook、Twitter等々、「本物のクラウド」は、このビッグデータに対応するため、大規模分散処理技術による高い拡張性と経済性を備えたオブジェクトストレージを採用しています。これは「クラウドストレージ」とも呼ばれており、日本においても本物のクラウドストレージサービスが開始されています。また、プライベートクラウドやエンタープライズのためのストレージとしても高い関心を集めています。その特徴をここで紹介したいと思います。

高い拡張性と経済性
 「拡張性」とは、ある日突然想定もしないデータの波が押し寄せたとしても、柔軟にシステム全体が処理できるデータ容量を増やすことができるという性質です。従来型のNASやSANといった専用ストレージ装置は、その「箱」のサイズで格納できるデータ量が決まります。その箱が一杯になれば大きな箱に買換え、サービス停止が絶対に起こらないよう慎重に中身を移し替えるというサイクルを繰り返します。

 しかし、GoogleやAmazonといった代表的なインターネット企業達は、汎用的に利用される数テラバイトから数十テラバイトの内蔵ディスクをもつIAサーバーと、NOSQL(Not Only SQL)と総称される大規模分散処理のソフトウェア技術を使っています。最初は数台のサーバーから始め、データが増えるとともに数十台から数百台と追加し、それらを仮想的に統合して、たとえばシステム全体として数百テラバイトやペタバイトといったデータサイズをもつストレージとして利用しています。

 ここでは、ソフトウェアがデータを複数個に自動複製し他のサーバーにも格納することで、一部のサーバーが故障した際のデータ消失を防いでいます。また、新しいサーバーを追加、置換するだけで、自動的にデータの再配置や負荷の分散を行います。つまり、堅牢で高価なハードウェアを利用するのではなく複数の安価なハードウェアを分散、並列して利用し、「絶対に壊れない」ではなく「故障しても取り替えれば良い」という発想の転換により「経済性」を実現しています。

図1:大規模分散処理のイメージ



オブジェクトストレージである利点
 クラウドストレージは高い拡張性と経済性を備えることに加え、オブジェクトストレージが主流と言えます。オブジェクトとはテクスト、写真、動画、音楽、アプリケーション等々、構造が一定ではない多種多様なデータやファイル類です。オブジェクトストレージには、それぞれのオブジェクトが属性情報を示すメタデータを持ち、オブジェクトの認証IDがHTTPであり、階層構造ではなくフラットな構造にオブジェクトを格納します。

 特に、このフラットな構造は、頂点がサーバーやデータセンターの場所を示すことからデータ移動を柔軟に行いにくい階層構造と異なり、クラウドのように大量のファイルが自由自在に移動する可能性のある環境に適しています。また、オブジェクトを認証するIDがhttp://s3.cloudian.com/123456/abcdef/といったHTTPであることから、WAN(広帯域ネットワーク)経由で複数データセンター間におけるデータのやり取りを容易にしています。

図2:オブジェクトストレージの構造はフラット


クラウドストレージが日本でも本格化します
 このような特徴を持つクラウドストレージの代表的なサービスがAWS(Amazon Web Service)のAmazon S3(Simple Storage Service)です。2012年6月には1兆個のオブジェクトをストレージしていると発表したように、目覚ましい成長を見せています。

 日本でも昨年9月よりニフティが「ニフティクラウドストレージ」、本年9月にはYahoo!が「Yahooクラウドストレージ」を開始しています。このいずれもが高い拡張性と経済性をもつ本格的なクラウドストレージです。これらが本物のクラウドであることはAmazon S3と同様に1GB(ギガバイト)あたり10円~20円といった従量制の課金体系であることからもわかります。「なんちゃってクラウド」の場合は、ユーザー毎に「箱」を用意せざるを得ないため、提供する容量に制限があり、また使う使わないに限らず100GB単位や1TB単位といった「箱」のサイズを意識した課金単位となっています。

 クラウドストレージの分野は今後にぎやかになりそうです。GoogleやAmazonは自社開発したソフトウェアを利用していますが、”Cloudian(クラウディアン)は、Amazon S3のようなクラウドストレージを簡単に短期間に構築できるパッケージソフトウェア製品です。このCloudianはプライベートクラウドやエンタープライズの分野でも利用できます。そのため、様々な分野でクラウドストレージの採用事例が登場しそうです。今後しばらくこの動向に注目してみてはどうでしょう。

*クラウディアン株式会社執筆のホワイトペーパー「クラウドストレージの基礎知識」で、クラウドストレージについてわかりやすく解説しています。TechTargetジャパン又はZDNetZDNet Japanからダウンロードできます。ぜひご利用ください。