Apache Zookeeper は分散アプリケーションを構築する上で必要となる, 同期, 設定管理, グルーピング, 名前管理, などの機能を提供するサービスである. 要は, Zookeeper は以下の機構を提供してくれる, 協調アプリケーション向けに開発された, 分散型のメタストアである.(←これは完全に個人的な解釈であるため, 間違っているかもしれないが, 自分の中ではそんな感じのイメージである.) Sequential Consistency - クライアントからの更新を順番に1つずつ適用する. Atomicity - 成功 or 失敗. 中途半端な結果になることを避けてくれる. Single System Image - 高可用性を備えた分散型のメタストアなので複数のサーバを用いるが, 利用者から見ると透過的な1つのファイルシステムのように扱うことができる. Timelines - クライアントから読めるデータは常に最新のものである. データの更新は一つのマスターノードだけが行うようになっているので、データがノード間で矛盾した内容になることはない(ただし、最新のデータでない可能性はある)。 更新を担当するマスターノードが何らかの理由で停止した場合には、各ノード間でリーダー選出を行い、新たな更新ノードが選ばれる。

Apache Pigとは Hadoopでのクエリを実行するための言語で、Hadoop上でデータ操作を行う言語です。同様にHiveがありますが違いとしては手軽に使えて複雑な処理も可能であり柔軟性が高い、ですがHiveに比べるとパフォーマンスは低めです。

Bigtable-like, NoSQL database that runs on top of HDFS https://thinkit.co.jp/article/11882

https://en.wikipedia.org/wiki/Read%E2%80%93eval%E2%80%93print_loop REPLはread evaluate print loopで、要するにインタラクティブツールってこと。


トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2019-12-15 (日) 01:52:10 (1597d)