アーカイブ

‘hadoop’ カテゴリーのアーカイブ

DOA、RDB と Key Valueストア(KVS)について

2009 年 7 月 30 日 tdtsh コメントはありません

前々回前回、に引き続き、Key Valueストア(KVS)ネタ。

データの整合性(Consistency)を重視するRDB、データの可用性(Availability)とデータの分散化(Partition-tolerance)を重視するKVS。

要件によって向き不向きがある訳だけど、toCのWEBサービスを考える時、全部バランスよく、しかもコストを抑えつつ実現したい訳です。

RDBマンセーなわたしでさえ、KVSに軍配を上げざるを得ないんですね。

もちろん、SalesForceみたいなアプローチも悪くない。
でも、DOA的な観点から考えると、アレは邪道なんでしょうねぇ。

Key Valueストアがリレーショナルデータベースを駆逐するシナリオの妥当性:Azureの鼓動:ITmedia オルタナティブ・ブログ
概ね同意ですが、少なくともWEBアプリケーション、特に toC に関して言えば、Key Valueストアは破壊的イノベーションだと思います。

前回も参考にしたこの記事が、的を射た説明をしてくれている。

もう1つの、DBのかたち、分散Key-Valueストアとは (1/3) – @IT

RDBで負荷分散させようとすると……
例えばMySQLを使う場合、1テーブルのレコード件数が数百万~数千万件を超えるような規模になると、1台のDBサーバだけでは実用的なパフォーマンスが達成しにくくなります。そこで一般には、以下のような対策によってRDBのスケーラビリティを引き上げる努力が必要となります。
・RDBサーバのスケールアップ(大型サーバへの載せ替え)
・DBのレプリケーションやシャード(パーティション)分割によるクラスタ構築
・分散キャッシュ(Oracle RACやmemcachedなど)によるクラスタ構築
経験者ならばお分かりいただけるとおり、このどれもが結果的に「高コスト」となるソリューションです。

要するに、そういうことなんすよ・・・
私たちRDBMS屋は、ココが腕の見せ所のひとつであり、飯の種な訳だったんですが、GAE上のBigTableでいともあっさり解決できてしまう予感。

DOA+コンソーシアム(ディー・オー・エー・プラス コンソーシアム)
ひっそりと活動を続けるDOAコンソーシアムでは、Key Valueストアをどう捕らえているんだろう。

株式会社マジカジャパンの羽生章洋が書いてるブログ:端境期を感じるシステム開発 – livedoor Blog(ブログ)

Bigtableの使い方教えます – ひがやすを blog

夏椰の湧水-Spring from Kaya- … 正規化について(基本)
正規化を判りやすく解説してある。
1NF~BCNFまで。

夏椰の湧水-Spring from Kaya- … 正規化について(オプション)
4NF~5CNFまで。

HadoopとhBase

2009 年 7 月 4 日 tdtsh コメントはありません

アマゾン、ウィザードだけで使えるHadoopサービス開始 - @IT

http://www.atmarkit.co.jp/news/200904/02/aws.html

1インスタンス当たり0.015ドルから。

HadoopとはGoogleのMapReduceとGFS(Google File System)のオープンソースの実装、

それを支えるBigTableのオープンソース版が、hBaseです。

GoogleのMapReduce、GFE、BigTableって何ぞや?は、「Googleを支える技術」を一読ください。

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)
西田 圭介
技術評論社
売り上げランキング: 8233
おすすめ度の平均: 4.5

4 量との戦いは、質との戦い
5 グーグルの電気代は気にしたことなかった…
4 エンジニア向けグーグル本
4 「Google誕生」との併読がおすすめ
5 大変わかりやすい

CodeZineの連載

ちょっと古いけど、連載。

Hadoop、hBaseで構築する大規模分散データ処理システム:CodeZine – Windows・Macの便利・無料のツール・ソフトウェア情報まとめ

http://codezine.jp/article/detail/2448?p=2

Hadoopのインストールとサンプルプログラムの実行:CodeZine

http://codezine.jp/article/detail/2485?p=1

複数マシンへHadoopをインストールする:CodeZine

http://codezine.jp/article/detail/2699

blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術:CodeZine

http://codezine.jp/article/detail/2841

カテゴリー: hadoop, クラウド タグ:

キーバリュー(Key-Value)型 データベース(データストア)とは

2009 年 7 月 3 日 tdtsh コメントはありません

前回、クラウドでの新しいACID特性、BASEトランザクション、CAP定理に関する記事についてコメントを書いたけど、GoogleのMapReduceを支える分散Key-Valueストア(KVS)、BigTableについて書かれた記事をメモ。

もう1つの、DBのかたち、分散Key-Valueストアとは

クラウドを支える技術として、クラウドベンダーは頭の良い大学の研究費として多額の投資をしていると聞く。これからを担う若いデータベースエンジニアにとって、RDBは手段の一つ、あくまで one of them になっていくのかもしれません。

RDBMSに拘ってRDBMSでスケールさせる道を選ぶか、新しい概念を吸収できるか、おっさんDBエンジニアにとっては、軽く人生の岐路みたいな。

GoogleのMapReduce、GFE、BigTableって何ぞや?は、「Googleを支える技術」を一読ください。

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)
西田 圭介
技術評論社
売り上げランキング: 8233
おすすめ度の平均: 4.5

4 量との戦いは、質との戦い
5 グーグルの電気代は気にしたことなかった…
4 エンジニア向けグーグル本
4 「Google誕生」との併読がおすすめ
5 大変わかりやすい

カテゴリー: DBA, hadoop, クラウド タグ: