系統(tǒng):CentOs6? 64位
環(huán)境:1臺namenode???? 2臺datanode?? 用戶名全是gird
master???? 192.168.1.103
slave1????? 192.168.1.104
slave2????? 192.168.1.107
具體的安裝步驟如下:
1、下載jdk1.6以及hadoop1.2.1(去官網(wǎng)下載即可,都是64位)
2、使用filezilla將jdk和hadoop上傳至master服務(wù)器,jdk上傳至slave1服務(wù)器和slave2服務(wù)器
3、設(shè)置host,命令如下:
???? vi /etc/sysconfig/network????? 將HOSTNAME=master
???? vi /etc/hosts????? 設(shè)置如下內(nèi)容:
???? 192.168.1.103 master
???? 192.168.1.104 slave1
???? 192.168.1.107 slave2
???? slave1和slave2除了HOSTNAME為slave1和slave2????? hosts的配置一樣
???? 可以使用hostname來驗證是否已經(jīng)修改
???? 使用ping? master/slave1/slave2 來驗證是否通訊暢通
4、關(guān)閉防火墻
??? master、slave1、slave2分別使用root權(quán)限關(guān)閉防火墻,命令如下:
??? service iptables stop
??? chkconfig iptables off
5、SSH免密碼登錄
??? master、slave1、slave2分別使用grid用戶,在/home/grid下運行ssh-keygen -t rsa
??? master服務(wù)器使用
??? scp id_rsa.pub grid@192.168.1.104:/home/grid/.ssh/authorized_keys
??? scp id_rsa.pub grid@192.168.1.107:/home/grid/.ssh/authorized_keys
??? 然后再做免登錄直連自己的操作
??? 將/home/grid/.ssh/id_rsa.pub內(nèi)容復(fù)制到authorized_keys中
??? slave1和slave2也做同樣的操作
??? 最后的效果如下:
???
6、使用grid用戶在master上安裝hadoop,如下圖:
??
???
7、安裝jdk
?? sudo yum install jdk-6u31-linux-amd64.rpm --nogpgcheck
?? 有提示的話輸入"y"
8、進入hadoop安裝目錄下的conf中,進行一系列的配置,修改的文件有:
???? hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves
???? 1)修改hadoop-env.sh
?????
??????
???? 2)修改core-site.xml
????
?????
???? 3)修改hdfs-site.xml
????
?????
???? 4)修改mapred-site.xml
????
?????
???? 5)修改masters
????
????
???? 6)修改slaves
????
????
9、復(fù)制hadoop到slave1和slave2,如下圖:
??
??
????
????
10、在master中格式化HDFS,如下圖:
??
???
11、啟動hadoop,在如下圖:hadoop-1.2.1下運行./bin/start-all.sh
??
???
12、驗證hadoop是否啟動成功:
???
???
???
???????
????
總結(jié):在安裝的過程中遇到了很多的問題,前前后后弄了1天半,使用不同的用戶安裝了一次,不成功,然后重新刪除系統(tǒng),使用統(tǒng)一的grid用戶進行安裝配置,在啟動hadoop的時候提示輸入“yes”,還以為是沒有配置好免密碼登錄,可是驗證沒有問題,原來是這樣的,第一次啟動hadoop的時候提示輸入,第二次開始就不會提示了,再有其他的就是在格式化HDFS的時候,忘記切換用戶了,結(jié)果使用的是root,也導(dǎo)致不能正常啟動hadoop。
環(huán)境:1臺namenode???? 2臺datanode?? 用戶名全是gird
master???? 192.168.1.103
slave1????? 192.168.1.104
slave2????? 192.168.1.107
具體的安裝步驟如下:
1、下載jdk1.6以及hadoop1.2.1(去官網(wǎng)下載即可,都是64位)
2、使用filezilla將jdk和hadoop上傳至master服務(wù)器,jdk上傳至slave1服務(wù)器和slave2服務(wù)器
3、設(shè)置host,命令如下:
???? vi /etc/sysconfig/network????? 將HOSTNAME=master
???? vi /etc/hosts????? 設(shè)置如下內(nèi)容:
???? 192.168.1.103 master
???? 192.168.1.104 slave1
???? 192.168.1.107 slave2
???? slave1和slave2除了HOSTNAME為slave1和slave2????? hosts的配置一樣
???? 可以使用hostname來驗證是否已經(jīng)修改
???? 使用ping? master/slave1/slave2 來驗證是否通訊暢通
4、關(guān)閉防火墻
??? master、slave1、slave2分別使用root權(quán)限關(guān)閉防火墻,命令如下:
??? service iptables stop
??? chkconfig iptables off
5、SSH免密碼登錄
??? master、slave1、slave2分別使用grid用戶,在/home/grid下運行ssh-keygen -t rsa
??? master服務(wù)器使用
??? scp id_rsa.pub grid@192.168.1.104:/home/grid/.ssh/authorized_keys
??? scp id_rsa.pub grid@192.168.1.107:/home/grid/.ssh/authorized_keys
??? 然后再做免登錄直連自己的操作
??? 將/home/grid/.ssh/id_rsa.pub內(nèi)容復(fù)制到authorized_keys中
??? slave1和slave2也做同樣的操作
??? 最后的效果如下:
???

6、使用grid用戶在master上安裝hadoop,如下圖:
??

???
7、安裝jdk
?? sudo yum install jdk-6u31-linux-amd64.rpm --nogpgcheck
?? 有提示的話輸入"y"
8、進入hadoop安裝目錄下的conf中,進行一系列的配置,修改的文件有:
???? hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slaves
???? 1)修改hadoop-env.sh
?????

??????
???? 2)修改core-site.xml
????

?????
???? 3)修改hdfs-site.xml
????

?????
???? 4)修改mapred-site.xml
????

?????
???? 5)修改masters
????

????
???? 6)修改slaves
????

????
9、復(fù)制hadoop到slave1和slave2,如下圖:
??

??

????
????
10、在master中格式化HDFS,如下圖:
??

???
11、啟動hadoop,在如下圖:hadoop-1.2.1下運行./bin/start-all.sh
??

???
12、驗證hadoop是否啟動成功:
???

???

???

???????
????
總結(jié):在安裝的過程中遇到了很多的問題,前前后后弄了1天半,使用不同的用戶安裝了一次,不成功,然后重新刪除系統(tǒng),使用統(tǒng)一的grid用戶進行安裝配置,在啟動hadoop的時候提示輸入“yes”,還以為是沒有配置好免密碼登錄,可是驗證沒有問題,原來是這樣的,第一次啟動hadoop的時候提示輸入,第二次開始就不會提示了,再有其他的就是在格式化HDFS的時候,忘記切換用戶了,結(jié)果使用的是root,也導(dǎo)致不能正常啟動hadoop。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
