RADL ひよっこエンジニアの備忘録 2年目 奮闘記
reddit.epicplugins.com 
want to join? in seconds

YARN error (bug・・・)

今日、会社のHadoop(YARN)でこのようなエラーが出てジョブが実行できませんでした。


2016-03-14 19:44:13,735 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSAppAttempt: Reservation Exceeds Allowed number of nodes: app_id=application_1457949724740_0007 existingReservations=1 totalAvailableNodes=12 reservableNodesRatio=0.05 numAllowedReservations=1
2016-03-14 19:44:13,735 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSAppAttempt: Reservation Exceeds Allowed number of nodes: app_id=application_1457949724740_0007 existingReservations=1 totalAvailableNodes=12 reservableNodesRatio=0.05 numAllowedReservations=1
2016-03-14 19:44:13,735 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FSAppAttempt: Reservation Exceeds Allowed number of nodes: app_id=application_1457949724740_0007 existingReservations=1 totalAvailableNodes=12 reservableNodesRatio=0.05 numAllowedReservations=1

調べてみると、どうやらBugのようです。
YARNのスケジューラーでfairschedulerオプションの[multiple assignment]の部分を有効にしてしまうと起きてしまう。

https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Refresh-Dynamic-Resource-Pools-failing-with-quot-Reservation/td-p/35979

YARN 2.8.0以上で治っているらしい?のですが・・・
cloudera hadoop の最新版(CDH5.6)ではYARNのバージョンは2.6.0・・・

んー・・・2.8.0まで待つしかないのかな?

コメントを残す