mapred.queue.namesdefault,queue1,queue2,queue3,que" />

亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

hadoop mapred-queue-acls 配置

系統 3981 0
hadoop作業提交時可以指定相應的隊列,例如:-Dmapred.job.queue.name=queue2

通過對mapred-queue-acls.xml和mapred-site.xml配置可以對不同的隊列實現不同用戶的提交權限.
先編輯mapred-site.xml,修改配置如下(增加四個隊列):

    
  1. < property >
  2. < name > mapred.queue.names </ name >
  3. < value > default, queue1,queue2,queue3,queue4 </ value >
  4. < description > Commaseparatedlistofqueuesconfiguredforthisjobtracker.
  5. Jobsareaddedtoqueuesandschedulerscanconfiguredifferent
  6. schedulingpropertiesforthevariousqueues.Toconfigureaproperty
  7. foraqueue,thenameofthequeuemustmatchthenamespecifiedinthis
  8. value.Queuepropertiesthatarecommontoallschedulersareconfigured
  9. herewiththenamingconvention,mapred.queue.$QUEUE-NAME.$PROPERTY-NAME,
  10. fore.g.mapred.queue.default.submit-job-acl.
  11. Thenumberofqueuesconfiguredinthisparametercoulddependonthe
  12. typeofschedulerbeingused,asspecifiedin
  13. mapred.jobtracker.taskScheduler.Forexample,theJobQueueTaskScheduler
  14. supportsonlyasinglequeue,whichisthedefaultconfiguredhere.
  15. Beforeaddingmorequeues,ensurethatthescheduleryou'veconfigured
  16. supportsmultiplequeues.
  17. </ description >
  18. </ property >

修改生效后通過jobtrack界面可以看到配置的隊列信息:

hadoop mapred-queue-acls 配置

要對隊列進行控制, 還需要編輯mapred-queue-acls.xml文件

    
  1. < property >
  2. < name > mapred.queue. queue1 .acl-submit-job </ name >
  3. < value > '' </ value >
  4. < description > Commaseparatedlistofuserandgroupnamesthatareallowed
  5. tosubmitjobstothe'default'queue.Theuserlistandthegrouplist
  6. areseparatedbyablank.Fore.g.user1,user2group1,group2.
  7. Ifsettothespecialvalue'*',itmeansallusersareallowedto
  8. submitjobs.Ifsetto''(i.e.space),nouserwillbeallowedtosubmit
  9. jobs.
  10. ItisonlyusedifauthorizationisenabledinMap/Reducebysettingthe
  11. configurationpropertymapred.acls.enabledtotrue.
  12. IrrespectiveofthisACLconfiguration,theuserwhostartedtheclusterand
  13. clusteradministratorsconfiguredvia
  14. mapreduce.cluster.administratorscansubmitjobs.
  15. </ description >
  16. </ property >

要配置多個隊列, 只需要重復添加上面配置信息,修改隊列名稱和value值,為方便測試,queue1禁止所有用戶向其提交作業.
要使該配置生效, 還需要修改mapred-site.xml,將mapred.acls.enabled值設置為true

    
  1. < property >
  2. < name > mapred.acls.enabled </ name >
  3. < value > true </ value >
  4. < description > SpecifieswhetherACLsshouldbechecked
  5. forauthorizationofusersfordoingvariousqueueandjobleveloperations.
  6. ACLsaredisabledbydefault.Ifenabled,accesscontrolchecksaremadeby
  7. JobTrackerandTaskTrackerwhenrequestsaremadebyusersforqueue
  8. operationslikesubmitjobtoaqueueandkillajobinthequeueandjob
  9. operationslikeviewingthejob-details(Seemapreduce.job.acl-view-job)
  10. orformodifyingthejob(Seemapreduce.job.acl-modify-job)using
  11. Map/ReduceAPIs,RPCsorviatheconsoleandwebuserinterfaces.
  12. </ description >
  13. </ property >

重啟hadoop, 使配置生效, 接下來拿hive進行測試:
先使用queue2隊列:

    
  1. set mapred.job.queue.name = queue2 ;
  2. hive >
  3. > selectcount(*)fromt_aa_pc_log;
  4. TotalMapReduce jobs = 1
  5. LaunchingJob1outof1
  6. Numberofreducetasksdeterminedatcompiletime:1
  7. Inordertochangetheaverageloadforareducer(inbytes):
  8. set hive.exec.reducers.bytes.per.reducer = < number >
  9. Inordertolimitthemaximumnumberofreducers:
  10. set hive.exec.reducers.max = < number >
  11. Inordertosetaconstantnumberofreducers:
  12. set mapred.reduce.tasks = < number >
  13. Starting Job = job_201205211843_0002 ,Tracking URL = http ://192.168.189.128:50030/jobdetails.jsp? jobid = job_201205211843_0002
  14. Kill Command =/opt/app/hadoop-0.20.2-cdh3u3/bin/hadoopjob -Dmapred.job.tracker = 192 .168.189.128:9020-killjob_201205211843_0002
  15. 2012-05-2118:45:01,593Stage-1 map = 0 %, reduce = 0 %
  16. 2012-05-2118:45:04,613Stage-1 map = 100 %, reduce = 0 %
  17. 2012-05-2118:45:12,695Stage-1 map = 100 %, reduce = 100 %
  18. Ended Job = job_201205211843_0002
  19. OK
  20. 136003
  21. Timetaken:14.674seconds
  22. hive >

作業成功完成

再來向queue1隊列提交作業:

    
  1. > set mapred.job.queue.name = queue1 ;
  2. hive > selectcount(*)fromt_aa_pc_log;
  3. TotalMapReduce jobs = 1
  4. LaunchingJob1outof1
  5. Numberofreducetasksdeterminedatcompiletime:1
  6. Inordertochangetheaverageloadforareducer(inbytes):
  7. set hive.exec.reducers.bytes.per.reducer = < number >
  8. Inordertolimitthemaximumnumberofreducers:
  9. set hive.exec.reducers.max = < number >
  10. Inordertosetaconstantnumberofreducers:
  11. set mapred.reduce.tasks = < number >
  12. org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.security.AccessControlException:Userp_sdo_data_01cannotperformoperationSUBMIT_JOBonqueuequeue1.
  13. Pleaserun"hadoopqueue-showacls"commandtofindthequeuesyouhaveaccessto.
  14. atorg.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:179)
  15. atorg.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:136)
  16. atorg.apache.hadoop.mapred.ACLsManager.checkAccess(ACLsManager.java:113)
  17. atorg.apache.hadoop.mapred.JobTracker.submitJob(JobTracker.java:3781)
  18. atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)
  19. atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
  20. atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
  21. atjava.lang.reflect.Method.invoke(Method.java:597)
  22. atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)
  23. atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1434)
  24. atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1430)
  25. atjava.security.AccessController.doPrivileged(NativeMethod)
  26. atjavax.security.auth.Subject.doAs(Subject.java:396)
  27. atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1157)
  28. atorg.apache.hadoop.ipc.Server$Handler.run(Server.java:1428)

作業提交失敗!

最后, 可以使用hadoop queue -showacls 命令查看隊列信息:

    
  1. [hadoop@localhostconf]$hadoopqueue-showacls
  2. Queueaclsforuser:hadoop
  3. Queue Operations
  4. =====================
  5. queue1administer-jobs
  6. queue2submit-job,administer-jobs
  7. queue3submit-job,administer-jobs
  8. queue4submit-job,administer-jobs

hadoop mapred-queue-acls 配置


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 2021久久精品永久免费 | 国产精品日韩在线观看 | 黄色福利在线观看 | 性欧美video另类bd | 热久久99精品这里有精品 | 波多野结衣免费一区二区三区香蕉 | 日本一级毛片 | 九九热在线视频观看这里只有精品 | 国产呦系列免费 | 日本黄色绿像 | 一级aa免费视频毛片 | 色噜噜视频 | 日本制服丝袜在线 | 成人精品一区二区三区中文字幕 | 久热这里只有精品6 | 狠狠干.com| 欧美日韩中文国产一区 | 色在线网站| 在线看一区二区 | 日本一区二区日本免费 | 日本一二三区免费 | 国产亚洲新品一区二区 | 成人影院观看 | 久久久久亚洲精品美女 | 婷婷综合色伊人阁 | 夜夜爽天天狠狠九月婷婷 | 久久中文字幕亚洲精品最新 | 色综合亚洲七七久久桃花影院 | 日韩高清不卡在线 | 五月天婷婷缴情五月免费观看 | 俄罗斯一级毛片免费视频 | 国内精品福利 | 日本高清在线精品一区二区三区 | 天堂网在线观看 | 国内精品区一区二区三 | 国产欧美精品区一区二区三区 | 久久午夜伦理 | 亚洲 欧美 日韩 在线 香蕉 | 日韩欧美一二区 | 99久久精品免费看国产高清 | 欧美大陆日韩一区二区三区 |