hadoop任務分為map task和reduce task,當map task執行失敗后會重試,超過重試次數(mapred.map.max.attempts指定,默認為4),整個job會失敗,這是我們不想看到的。
解決辦法:
hadoop提供配置參數“
mapred.max.map.failures.percent”解決這個問題。
如果一個Job有
200
個map task,該參數設置為
5
的話,則單個
job最多允許
10
個map task(200 x 5% =10)失敗,這是我想要的。
把下面配置放到mapred-site.xml文件中,重啟jobtracker(hadoop-daemon.sh stop/start jobtracker ),這下大家滿足了吧^_^
- < property >
- < name > mapred.max.map.failures.percent </ name >
- < value > 5 </ value >
- </ property >
PS: reduce task有類似配置 mapred.max.reduce.failures.percent
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
