Hadoop本読書会 - 5章 MapReduceアプリケーションの開編集する

最終更新：ID:ZSR3+DY93g 2010年10月03日(日) 15:40:34履歴

Hadoop本 5章 MapReduceアプリケーションの開発の疑問点や気になる点について記述してください。
※記入者、該当ページ・該当行は忘れずに書いて下さい。

Configuration

  • [記入者] terurou
  • [該当箇所] 127〜130ページ（5.1 設定API）
  • Configurationは .addResouce() で複数のXMLを指定できる。後から追加したリソースで定義したプロパティが、先に定義したプロパティをオーバーライドする。
  • <final>true</final>が指定されたプロパティはオーバーライド不可になる。

変数の展開

  • [記入者] terurou
  • [該当箇所] 130ページ（5.1.2 変数の展開）
  • 記述内容が理解できなかった…。

-confオプションで設定ファイルの切り替え

  • [記入者] terurou
  • [該当箇所] 131〜133ページ（5.2.1 設定の管理）
  • hadoop -conf xxx.xml で設定ファイルが切り替えられるので、テストなどで実行環境を切り替える際に便利

ToolインタフェースとToolRunner

  • [記入者] terurou
  • [該当箇所] 133〜135ページ（5.2.2 GenericOptionParser、Tool、ToolRunner）
  • Toolインタフェース = Hadoopアプリケーションを実装する際にMainとなるもの、ToolRunnerクラス = Toolを実行するもの
  • 単にMapReduceプログラムを実行するだけならhadoopコマンドだけで済むが、テスト/デバッグを行う際にはToolを実装したほうが良いみたい。

mapper, reducerのUnit Test

  • [記入者] terurou
  • [該当箇所] 137〜140ページ（5.3 ユニットテストの作成）
  • mapper, reducerは処理結果をreturnで返すのではなく、OutputCollectorに対して書き込みを行うインタフェースになっているため、そのままでは処理結果の検証ができない。
  • MockitoなどのモックフレームワークでOutputCollectorのモックを作成すると良い。

ローカルJobRunner

  • [記入者] terurou
  • [該当箇所] 140〜142ページ（5.4.1 ローカルJobRunnerでのジョブの実行）
  • MapReduceプログラムのシンプルなテスト用途に設計された縮小バージョンのMapReduce実行エンジン。
  • デバッガ上で動作させ、ステップ実行することができる。
  • 完全なMapReduce実行エンジンとは異なり、reducerを1個しか（0個も可）実行できない制約がある。
  • 設定ファイルでmapred.job.trackerプロパティがlocalに設定されていると、ローカルJobRunnerが有効になる。

ミニクラスタ

  • [記入者] terurou
  • [該当箇所] 144〜146ページ（5.4.2 ドライバのテスト）
  • MiniDFSCluster, MiniMRClusterという、プログラムからプロセス内にクラスタを生成するクラスが存在する。
  • 完全なHDFS、MapReduceの構成に対しテストを実施できる。
  • Hadoop自身の自動テストスイートで広く使われている。
  • デバッグし辛い欠点がある。

クラスタ上で実行する際の基本手順

  • [記入者] terurou
  • [該当箇所] 146〜153ページ（5.5 ドライバのテスト）
  1. パッケージ（jar）化
  2. ジョブの起動 hadoop jar xxx.jar ...
  3. ジョブの実行状況のWeb UでのI監視　http://jobtracker-host:50030/
  4. 結果の取得、確認

エラーログの出力

Chukuwa

  • [記入者] terurou
  • [該当箇所] 154ページ（5.5.5 ジョブのデバッグ）
  • Hadoopのサブプロジェクト、ジョブが出力したログ分析にも使える。
  • 「Chukwa は、大規模分散システムを管理するためのオープンソースのデータ収集システムです。」

異常レコードの取り扱い

  • [記入者] terurou
  • [該当箇所] 157-159ページ（5.5.5 ジョブのデバッグ）
  • 大規模なデータに関する問題の多くでは、異常なレコードは廃棄してしまうのが標準のやり方
  • 特異点を求めるような場合に廃棄してしまっては元も子もないので、注意が必要
  • 単にプログラムバグの可能性もあるので、異常レコードを発見したらレコードをログに出力すべき

リモートデバッガの基本的な使用手順

  • [記入者] terurou
  • [該当箇所] 159-161ページ（5.5.6 リモートデバッガの利用）
  1. ジョブ実行時の生成される中間データを全て保存するように設定を変更する。keep.failed.task.fileをtrueに。
  2. ジョブを実行し、Web UIからエラーが発生したノードとタスク試行ID（attempt_）を記録する。
  3. エラーが発生したノードにログインし、タスク試行IDの中間データを探す。
  4. エラーが発生したタスクの中間データをIsolatedRunnerに渡して起動する。

ジョブのチューニング時のチェックポイント

  • [記入者] terurou
  • [該当箇所] 161ページ（5.6 ジョブのチューニング）
  • mapperの数 → 平均して数秒単位であれば、もっと長く実行されるように
  • reducerの数 → クラスタのreduceスロット数よりわずかに少なくなるように
  • combiner → 可能な限り利用して転送するデータ量を減らす
  • 中間データの圧縮 → ほとんどのケースでパフォーマンス改善
  • カスタムのシリアライゼーション → カスタムのWritableを使っている場合はRawComparatorを利用するように
  • シャッフルの調整

タスクのプロファイリング

  • [記入者] terurou
  • [該当箇所] 162ページ（5.6.1 ジョブのチューニング）
  • チューニングを行う際は、プロファイラを使って実行時間やメモリ使用量を取得しましょうね
  • ローカルJobRunnerに対してプロファイラをかけるのはあまり意味が無い。クラスタに対してプロファイラをかけるべき。

HPROFプロファイラ

  • [記入者] terurou
  • [該当箇所] 162-164ページ（5.6.1.1 HPROFプロファイラ）
  • JDK付属のプロファイラ
  • 設定を変更すると利用できる。

Hadoopのジョブ設計の原則

  • [記入者] terurou
  • [該当箇所] 165ページ（5.7 MapReduceのワークフロー）
  • ジョブは複雑にするのではなく、ジョブの数を増やせ

DAG（非循環有向グラフ）って何？

依存ジョブの実行

このエントリーをTumblrにポストClip to Evernoteこのエントリーをはてなブックマークに追加
Hadoop本読書会 - 5章 MapReduceアプリケーションの開 - 大規模分散技術勉強会 in 名古屋 先頭へ

このページへのコメント

MaQ8la <a href="http://gmgnyeakrypx.com/">gmgnyeakrypx</a>, [url=http://uaarsykwvfdr.com/]uaarsykwvfdr[/url], [link=http://qturljbxyion.com/]qturljbxyion[/link], http://juigasjqxzwx.com/

0
Posted by jlwyfjlhvq 2013年11月20日(水) 18:04:26 返信

sqSq5l <a href="http://qzdyzryrmjez.com/">qzdyzryrmjez</a>, [url=http://bhhoufvxhnep.com/]bhhoufvxhnep[/url], [link=http://nehemspwyyqz.com/]nehemspwyyqz[/link], http://ozzdxbtdqfds.com/

0
Posted by afuidaufnr 2013年11月14日(木) 13:33:00 返信

Hq9Ook <a href="http://yfugqrziqgrt.com/">yfugqrziqgrt</a>, [url=http://llvbmakqtzlo.com/]llvbmakqtzlo[/url], [link=http://iuzkyrcyecon.com/]iuzkyrcyecon[/link], http://rjucbkebevvo.com/

0
Posted by ujenba 2013年07月08日(月) 01:34:27 返信

コメントをかく


「http://」を含む投稿は禁止されています。

利用規約をご確認のうえご記入下さい
 

最近更新したページ

最新コメント

QRコード

アクセス解析中

どなたでも編集できます