2010/07/24

Google's Big Table


Key Value Store、NoSQL、Non-Relational DBなどとさまざまな呼ばれ方をするBig Dataを処理する技術や製品は、このブログでご紹介をしているHibari、Hadoop/HBase、Cassandra以外にも、数多くあります。この主にKeyとValueというシンプルなデータモデルにより分散型処理をする技術が、特に最近、脚光を浴びています。

しかし、そもそも分散処理という概念や技術は長い歴史があり、特別新しいというものではありません。MITでコンピュータサイエンスを学んだ同僚が言うには、仮に分散処理派と集中処理派があるとすれば、しばらくはマシーン1台あたりの処理能力が飛躍的に高まったことで、集中処理派の時代が続いたそうです。しかし、インターネットの普及が分散処理派のプレゼンスを高めたといいます。

なかでもGoogleの貢献が大きく、特に、Googleが2006年に発表した論文、「Google's Big Table」に触発され、Hadoopを始めとする多くのキー・バリューやNoSQLと呼ばれる技術開発が活発になりました。

このブログにリンクしていますが"nosql summer reading"というコミュニティがあります。これは、このGoogleのBig Tableを始めとする様々なNoSQLの論文を関心ある仲間が集まって読むという読書会です。これは、プレゼンをしたり、一人が説明するという会ではなく、お互いに論文を読み、わからない点や面白いと思う点を話し合うといった形式で進めます。つい先日、東京でも第1回目を開催いたしました。プロから見ても、論文だけでは、どうやって作られているのかわからない謎がたくさんあったようです。利用した資料をスライドシェアにアップロードしています。

http://www.slideshare.net/geminimobile/bigtable-4820829