亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

hadoop 任務失敗重復次數的處理方法

系統 4065 0

hadoop任務分為map task和reduce task,當map task執行失敗后會重試,超過重試次數(mapred.map.max.attempts指定,默認為4),整個job會失敗,這是我們不想看到的。


    解決辦法:
  
hadoop提供配置參數“ mapred.max.map.failures.percent”解決這個問題。 如果一個Job有 200 個map task,該參數設置為 5 的話,則單個 job最多允許 10 個map task(200 x 5% =10)失敗,這是我想要的。
把下面配置放到mapred-site.xml文件中,重啟jobtracker(hadoop-daemon.sh stop/start jobtracker ),這下大家滿足了吧^_^

Xml代碼 收藏代碼
  1. < property >
  2. < name > mapred.max.map.failures.percent </ name >
  3. < value > 5 </ value >
  4. </ property >

PS: reduce task有類似配置 mapred.max.reduce.failures.percent

hadoop 任務失敗重復次數的處理方法


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 天天色网站 | 在线综合 亚洲 欧美中文字幕 | 亚洲成人精品视频 | 97国产精品国产品国语字幕 | 国产色网| 热99精品 | 四虎影院精品在线观看 | 久久精品国产精品亚洲红杏 | 日本操操操 | 久揄揄鲁一二三四区高清在线 | 国产成人小视频在线观看 | 99国产精品久久久久久久成人热 | 国产精品欧美一区二区 | 国产精品久久久久影院色 | 99毛片| 久久精品一区二区三区资源网 | 九九热在线精品视频 | 宅男看片午夜大片啪啪mv | 日韩在线一区二区 | 欧美中文字幕在线看 | 亚洲精品天堂一区二区三区 | 伊人网综合在线视频 | 国产视频一区在线观看 | 四虎影库网址 | 手机看片日韩高清国产欧美 | 狠狠色丁香婷婷综合小时婷婷 | 国产中文字幕在线 | 国内精品免费久久影院 | 九九视频九九 | 日韩爱爱网站 | 色在线播放 | 久久成年人| 四虎成人欧美精品在永久在线 | 欧美三级欧美成人高清www | 日韩高清在线播放不卡 | 欧美啪啪毛片一区二区 | 久久97久久 | 天天综合天天看夜夜添狠狠玩 | 精品无人乱码区1区2区3区 | 亚洲九九夜夜 | 国内精品久久久久影院日本 |