亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

安裝hadoop

張軍 9072 0

1. hadoop 生態概況

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。

用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力進行高速運算和存儲。

具有可靠、高效、可伸縮的特點。

Hadoop的核心是YARN,HDFS和Mapreduce

下圖是hadoop生態系統,集成spark生態圈。在未來一段時間內,hadoop將于spark共存,hadoop與spark

都能部署在yarn、mesos的資源管理系統之上

張軍博客


在linux上安裝步驟如下


1、關閉防火墻


#chkconfig iptables --list

#chkconfig iptables off

#service iptables status

#service iptables stop


2、配置IP地址


#cd /etc/sysconfig/network-scripts/

橋接模式

DEVICE=eth0

BOOTPROTO=none

HWADDR=00:0c:29:fb:e0:db

IPV6INIT=yes

NM_CONTROLLED=yes

ONBOOT=yes

IPADDR=192.168.0.10

TYPE=Ethernet

UUID="b6fd9228-061a-432d-80fe-f3597954261b"

NETMASK=255.255.255.0

DNS2=180.168.255.118

GATEWAY=192.168.0.1

DNS1=116.228.111.18

USERCTL=no

ARPCHECK=no


3、修改主機名


更改/etc下的hosts文件,在提示符下輸入vi /etc/hosts,然后將localhost.localdomain改為想要設置的主機名


4、安裝JKD1.8.151


在/etc/profile文件中寫入

export PATH

JAVA_HOME=/zhangjun/programe/jdk1.8.0_151

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH

export CLASSPATH


5、安裝hadoop3.0.0


在/etc/profile文件中寫入

export HADOOP_HOME=/zhangjun/programe/hadoop-3.0.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


6、使配置文件生效


#source /etc/profile


7、測試版本

張軍博客


張軍博客


8、重要目錄說明

Hadoop安裝包目錄下有幾個比較重要的目錄

sbin : 啟動或停止Hadoop相關服務的腳本

bin :對Hadoop相關服務(HDFS,YARN)進行操作的腳本

etc : Hadoop的配置文件目錄

share :Hadoop的依賴jar包和文檔,文檔可以被刪掉

lib :Hadoop的本地庫(對數據進行壓縮解壓縮功能的)


9、配置hadoop 

修改主機名

#cp /etc/sysconfig/network /etc/sysconfig/network.20171218.bak 

#vi /etc/sysconfig/network

NETWORKING=yes

#HOSTNAME=localhost.localdomain

HOSTNAME=hadoop

綁定主機名對應的IP地址

# cp /etc/hosts /etc/hosts.20171218.bak

#vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.10 hadoop

測試主機名

# ping hadoop

 張軍博客

創建用戶組hadoop

#groupadd hadoop

創建用戶hadoop并添加進用戶組hadoop

#useradd -g hadoop -d /home/hadoop -s /bin/bash -m hadoop

其含義如下:

-d, --home HOME_DIR

-g, --gid GROUP

-s, --shell SHELL

-m, --create-home

添加visudo權限

#visudo

其中

visudo <=> vi /etc/sudoers

配置ssh免密碼登錄

1) 驗證是否安裝ssh:ssh -version

顯示如下的話則成功安裝了

OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013

Bad escape character 'rsion'.

否則安裝ssh:sudo apt-get install ssh

2)ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

解釋一下,ssh-keygen代表生成密鑰;-t(注意區分大小寫)表示指定生成的密鑰類型;dsa是dsa密鑰認證的意思,即密鑰類型;-P用 于提供密語;-f指定生成的密鑰文件。(關于密鑰密語的相關知識這里就不詳細介紹了,里面會涉及SSH的一些知識,如果讀者有興趣,可以自行查閱資料。)

.ssh表示ssh文件是隱藏的。

在Ubuntu中,~代表當前用戶文件夾,這里即/home/u。

這個命令會在.ssh文件夾下創建兩個文件id_dsa及id_dsa.pub,這是SSH的一對私鑰和公鑰,類似于鑰匙及鎖,把id_dsa.pub(公鑰)追加到授權的key里面去。

3)cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

這段話的意思是把公鑰加到用于認證的公鑰文件中,這里的authorized_keys是用于認證的公鑰文件。

至此無密碼登錄本機已設置完畢。

4)現在可以登入ssh確認以后登錄時不用輸入密碼

#~$ ssh localhost

# ~$ exit

這樣以后登錄就不用輸入密碼了。

5)scp <本地文件名> <用戶名>@<ssh服務器地址>:<上傳保存路徑即文件名>

由于使用ssh,我們無法使用簡單的拖拽或者復制粘貼操作對本地計算機和ssh服務器上的文件進行交流。我們需要用到scp命令行。

舉例以說明。如果希望將當前目錄下的a.txt文件上傳到ssh服務器上test文件夾并改名為b.txt,其中ssh服務器網址為127.0.0.1,用戶名admin。代碼如下:

程序代碼

scp a.txt admin@127.0.0.1:./test/b.txt

下載也很簡單,只需要將“本地文件名”和后面服務器的信息對調即可。

scp hadoop-1.0.3.tar.gz hadoop02@10.130.26.18:~/


10、配置(本地單獨模式)standalone mode


10.1、在Hadoop的安裝目錄下,創建input目錄

#cd

#mkdir -p input


10.2、修改hadoop中hadoop-env.sh的JAVA_HOME路徑

原內容

export JAVA_HOME=${JAVA_HOME}

修改內容

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151

10.3、測試是否安裝成功hadoop

#hadoop

 張軍博客

說明已經成功安裝


10.4、單詞統計

創建輸入文件夾input放輸入文件

# /home/hadoop/input/

 張軍博客

#vim wordcount.txt

Hi, This is a test file.

Hi, I love hadoop and love you .

 張軍博客

運行單詞統計

# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /home/hadoop/input/wordcount.txt /home/hadoop/output/

 張軍博客

刪除output

#rm -rf /home/hadoop/output/

再次運行

 張軍博客

查看輸出文件

# cd /home/hadoop/output/

#ll

#more part-r-00000

 張軍博客


10.5、備份單機模式文件路徑



10.6、至此單機安裝完成




11、配置(偽分布式模式)pseudo-distributed mode


11.1、說明

Hadoop 可以在單節點上以偽分布式的方式運行,Hadoop 進程以分離的 Java 進程來運行,節點既作為 NameNode 也作為 DataNode,同時,讀取的是 HDFS 中的文件。


Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 中,偽分布式至少需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。


Hadoop的配置文件是 xml 格式,每個配置以聲明 property 的 name 和 value 的方式來實現。


11.2、關閉防火墻

#chkconfig iptables --list

#chkconfig iptables off

#service iptables status

#service iptables stop


11.3、修改IP地址及hostname

參考系統管理文檔

DEVICE=eth0

BOOTPROTO=none

IPV6INIT=yes

NM_CONTROLLED=yes

ONBOOT=yes

TYPE=Ethernet

USERCTL=no

HWADDR=00:0c:29:fb:e0:db

IPADDR=192.168.0.10

NETMASK=255.255.255.0

DNS2=8.8.8.8

GATEWAY=192.168.0.1

DNS1=8.8.8.8

只修改標紅的地方

[root@master soft]# more /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

BOOTPROTO=none

IPV6INIT=yes

NM_CONTROLLED=yes

ONBOOT=yes

TYPE=Ethernet

USERCTL=no

HWADDR=00:0c:29:fb:e0:db

IPADDR=192.168.0.10

NETMASK=255.255.255.0

DNS2=8.8.8.8

GATEWAY=192.168.0.1

DNS1=8.8.8.8

[root@master soft]# more /etc/sysconfig/network

NETWORKING=yes

#HOSTNAME=localhost.localdomain

HOSTNAME=master

[root@master soft]# more /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.10 master

 [root@master soft]#

 張軍博客



11.4、修改hadoop配置文件


Hadoop 的配置文件位于 /$HADOOP_HOME/etc/hadoop/ 中,偽分布式至少需要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。

Hadoop的配置文件是 xml 格式,每個配置以聲明 property 的 name 和 value 的方式來實現。

11.4.1、備份文件

[root@master hadoop]# cd $HADOOP_HOME/etc/hadoop

[root@master hadoop]# pwd

/home/hadoop/soft/hadoop-2.7.5/etc/hadoop

備份文件

[root@master hadoop]# cp core-site.xml bak.20171218.core-site.xml

[root@master hadoop]# cp hdfs-site.xml bak.20171218.hdfs-site.xml

[root@master hadoop]# cp yarn-site.xml bak.20171218.yarn-site.xml

[root@master hadoop]# cp yarn-env.sh bak.20171218.yarn-env.sh

復制文件

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

 張軍博客


11.5、修改hadoop中hadoop-env.sh的JAVA_HOME路徑


原內容

export JAVA_HOME=${JAVA_HOME}

修改內容

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151


11.6、修改hadoop中yarn-env.sh的JAVA_HOME路徑


原內容

export JAVA_HOME=${JAVA_HOME}

修改內容

export JAVA_HOME=/home/hadoop/soft/jdk1.8.0_151


11.6.1、修改core-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->


<!-- Put site-specific property overrides in this file. -->


<configuration>

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://master:9000</value>

</property>

<property>  

      <name>hadoop.tmp.dir</name>  

      <value>file:///home/hadoop/tmp</value>  

  </property> 

</configuration>


11.6.2、修改hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->


<!-- Put site-specific property overrides in this file. -->


<configuration>

    <property>  

     <name>dfs.replication</name>  

     <value>1</value>

   </property>  

   <property>  

     <name>dfs.namenode.name.dir</name>  

     <value>file:///home/hadoop/hdfs/name</value>  

   </property>  

   <property>  

     <name>dfs.datanode.data.dir</name>  

     <value>file:///home/hadoop/hdfs/data</value>  

   </property>

</configuration>


偽分布式雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行(官方教程如此),不過若沒有配置 hadoop.tmp.dir 參數,則默認使用的臨時目錄為 /tmp/hadoo-hadoop,而這個目錄在重啟時有可能被系統清理掉,導致必須重新執行 format 才行。所以我們進行了設置,同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否則在接下來的步驟中可能會出錯。


11.6.3、修改mapred-site.xml

文件默認不存在,只有一個模板,復制一份

# cp mapred-site.xml.template mapred-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->


<!-- Put site-specific property overrides in this file. -->


<configuration>

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

<property>

  <name>mapreduce.jobhistory.address</name>

  <value>master:10020</value>

</property>

<property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>master:19888</value>

</property>

</configuration>


11.6.4、修改yarn-site.xml

<?xml version="1.0"?>

<!--

  Licensed under the Apache License, Version 2.0 (the "License");

  you may not use this file except in compliance with the License.

  You may obtain a copy of the License at


    http://www.apache.org/licenses/LICENSE-2.0


  Unless required by applicable law or agreed to in writing, software

  distributed under the License is distributed on an "AS IS" BASIS,

  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

  See the License for the specific language governing permissions and

  limitations under the License. See accompanying LICENSE file.

-->

<configuration>

  <!-- Site specific YARN configuration properties -->

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

<property>

  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

  <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

  <name>yarn.resourcemanager.address</name>

  <value>master:8032</value>

</property>

<property>

  <name>yarn.resourcemanager.scheduler.address</name>

  <value>master:8030</value>

</property>

<property>

  <name>yarn.resourcemanager.resource-tracker.address</name>

  <value>master:8035</value>

</property>

<property>

  <name>yarn.resourcemanager.admin.address</name>

  <value>master:8033</value>

</property>

<property>

  <name>yarn.resourcemanager.webapp.address</name>

  <value>master:8088</value>

</property>

</configuration>


11.7、格式化namenode


# hdfs namenode -format

 張軍博客

 


11.8、jps查看進程


#jps

 張軍博客


11.9、啟動服務

#start-all.sh

[root@master hadoop]# jps

5425 Jps

[root@master hadoop]# start-all.sh

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

Starting namenodes on [master]

master: starting namenode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-namenode-master.out

localhost: starting datanode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-datanode-master.out

Starting secondary namenodes [0.0.0.0]

0.0.0.0: starting secondarynamenode, logging to /home/hadoop/soft/hadoop-2.7.5/logs/hadoop-root-secondarynamenode-master.out

starting yarn daemons

starting resourcemanager, logging to /home/hadoop/soft/hadoop-2.7.5/logs/yarn-root-resourcemanager-master.out

localhost: starting nodemanager, logging to /home/hadoop/soft/hadoop-2.7.5/logs/yarn-root-nodemanager-master.out

[root@master hadoop]# jps

5682 DataNode

5843 SecondaryNameNode

5559 NameNode

6103 NodeManager

6007 ResourceManager

6415 Jps

[root@master hadoop]#

 張軍博客


http://master:8088

http://192.168.0.10:8088

MapReduce的Web界面

http://master:50030

HDFS的Web界面

http://master:50070

張軍博客

張軍博客


 

 張軍博客

張軍博客

 

 














更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 很黄很色的小视频在线网站 | 噜噜色图| 亚洲视频一区二区在线观看 | 国自产拍在线视频天天更新 | 久久免费视频在线 | 日韩精品一区二区三区中文字幕 | 亚洲精品ccc| 国产伦一区二区三区四区久久 | 2021久久伊人精品中文字幕有 | 99热这里只有精品3 99热这里只有精品4 | 欧美亚洲图片 | 久久成人网18网站 | 国产精品美女久久久久网 | 色香视频在线 | 毛片免费全部免费观看 | 欧美韩国日本在线观看 | 爱爱视频在线免费观看 | 国产成人一区二区三区影院免费 | 黄页网站 播放器 日本 | 精品日韩一区二区三区 | 免费欧洲毛片a级视频老妇女 | 精品色综合| 四虎www免费人成 | 久久国产高清 | 久久久久无码国产精品一区 | 亚洲国产精品不卡毛片a在线 | 超清中文乱码字幕在线观看 | 成人在线日韩 | 欧美在线视频网站 | 久久精品国产福利国产秒 | 麻豆国内精品欧美在线 | 欧美日韩看片 | 国内精品久久久久久久亚洲 | 99久久免费精品高清特色大片 | 日本一级看片免费播放 | 日本一级特黄aa大片24免费 | 在线免费国产视频 | 国产精品资源在线观看 | 国产成人毛片精品不卡在线 | 天天干夜夜操美女 | 久久福利资源网站免费看 |