RADL ひよっこエンジニアの備忘録 2年目 奮闘記
reddit.epicplugins.com 
want to join? in seconds

Container is running beyond physical memory limits.

Hadoop(YARN)を使っているとこんなエラーが出ることがあるかもしれない。


Container [pid=18902,containerID=container_1442291013058_0519_01_000002] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.7 GB of 2.1 GB virtual memory used. Killing container.

そんなときはmap実行中にphysical memory(物理メモリ)の制限値を超えた場合に出るエラーらしいので下記対応をすれば治るらしいっす。

mapreduce.map.memory.mb の値を大きくしてあげる。

yarnlimit

コメントを残す