技術評論社

第5回 Fair Schedulerに よる 複数ジョブの 同時実行

今回のテーマは、 Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、 どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、 デフォルトの設定とFair ...
技術評論社

第4回 投機的実行

今回のテーマは投機的実行です。投機的実行は、 MapやReduce Taskの処理の失敗を見越して、 空いているリソースを使って同じTaskを実行するものです。HadoopのMapReduce Jobの特徴的な機能としてよく取り上げられますが、 サンプルのJobを動かしてみる程度では ...