亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

hadoop 2.2.0的datanode中存儲block的多個文件

系統 3717 0

? ? hadoop的分布式文件系統HDFS的存儲方式是,將數據分成block,分布式存儲在整個hadoop集群的datanode中,每個block默認的大小是64M,這些block文件的具體存儲位置是在hadoop的配置文件中定義的,進入/home/hadoop2/hadoop2/etc/hadoop的配置文件目錄(hadoop版本為社區版2.2.0):

      
        vi
      
       /home/hadoop2/hadoop2/etc/hadoop/hdfs-
      
        site.xml




      
      <configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:
      
        9001
      
      </value>

</property>



<property>

<name>dfs.namenode.name.
      
        dir
      
      </name>

<value>
      
        file
      
      :/home/hadoop2/dfs/name</value>

</property>




      
        <property>

<name>dfs.datanode.data.
        
          dir
        
        </name>

<value>
        
          file
        
        :/home/hadoop2/dfs/data</value>

</property>
      
      



<property>

<name>dfs.replication</name>

<value>
      
        2
      
      </value>

</property>



<property>

<name>dfs.webhdfs.enabled</name>

<value>
      
        true
      
      </value>

</property>



</configuration>
    

其中,標黃色的屬性dfs.datanode.data.dir為block存儲路徑的設置選項。

? ? 正常情況下,我們如上圖中的設置自己設定的路徑就可以了;但是,隨著hdfs中的數據量越來越大,會出現datanode上block存儲路徑所在的掛載點空間不足的情況,本文中的情況就是 /home 掛載點的剩余空間即將不足了,但是在該datanode主機上,/ 掛載點還有非常多的剩余空間,我們希望將數據存儲到 / 掛載點的目錄下,防止 /home 掛載點被塞滿。

? ?這樣我們首先需要切換到root管理員用戶下,因為 / 掛載點的擁有者是root,我們的hadoop2用戶對該目錄沒有足夠的權限。接著我們在該目錄下創建一個存儲block的文件目錄:

      
        su
      
       -
      
        mkdir
      
       /hdfs/data
    

這樣還不能直接設置路徑,由于我們是用root用戶創建的目錄,該目錄的擁有者和組群都是root,hadoop2用戶沒有足夠權限,如果設置為datanode的block存儲路徑,將會拋出異常,導致datanode進程關閉,hadoop集群無法正常啟動。我們需要更改/hdfs目錄及其子目錄的擁有者和組群為hadoop2,如下:

      cd /




      
        chown
      
       hadoop2:hadoop2 -R /hdfs
    

?chown命令用于修改所有者,其中,hadoop2:hadoop2為擁有者和組群,-R為迭代修改所有子目錄和文件。

這樣我們就可以修改hdfs-site.xml文件的datanode的屬性為多個路徑:

      <property>

<name>dfs.datanode.data.
      
        dir
      
      </name>


      
        <value>
        
          file
        
        :
        
          ///
        
        
          home/hadoop2/dfs/data,/hdfs/data
        
        
          </value>
        
      
      

</property>
    

路徑之間只需用逗號 “ , ”分隔就可以了。

這樣設置后,重新啟動集群的dfs,bin/start-dfs.sh,通過jps命令查看集群的相關進程是否都正常啟動:

      
        jps




      
      
        6935
      
      
         HQuorumPeer


      
      
        
          6115
        
        
           SecondaryNameNode 
        
      
      
        6423
      
      
         NodeManager


      
      
        
          6317
        
        
           ResourceManager 
        
      
      
        18005
      
      
         Bootstrap


      
      
        
          5837
        
        
           NameNode 
        
        
          5956
        
        
           DataNode 
        
      
      
        7143
      
      
         HRegionServer


      
      
        7005
      
      
         HMaster


      
      
        2351
      
       Jps
    

標黃色的為啟動dfs后必須存在的進程,其他的進程為Hbase相關進程。這樣設置啟動以后,再往HDFS中寫入數據時,產生的block數據塊就會分別寫入兩個不同的目錄中,均勻分布,不會出現一個路徑的掛載空間不足的情況,如果再次占滿,可以再次掛載新的磁盤,繼續添加路徑。

另外,不同的datanode中,block的路徑屬性可以設置為不相同,不影響集群的正常運行。

?

轉載請注明出處: http://www.cnblogs.com/bxljoy/p/3863539.html ?

hadoop 2.2.0的datanode中存儲block的多個文件夾的負載均衡問題


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久久精品爱国产免费久久 | 亚洲国产精品婷婷久久 | 日产精品久久久一区二区 | 国产成人啪精品视频免费网 | 国产深夜福利视频观看 | 国产素人在线 | 永久免费的啪啪免费的网址 | 视频一区二区欧美日韩在线 | 久久精品国产精品亚洲艾 | 一区二区国产一区二区a4yy | a欧美在线 | 免费在线一级毛片 | 四虎永久免费紧急入口 | 四虎影视成人 | 久久婷婷丁香七月色综合 | 国产精品入口牛牛影视 | 在线播放免费一级毛片欧美 | 久久中精品中文 | 亚洲va欧美va | 99re这里有免费视频精品 | 国产九九在线 | 亚洲国产伦理 | 青青久在线视频免费视频 | 欧美日韩中文字幕一区二区高清 | 国内精品久久久久影院蜜芽 | 国产成人91高清精品免费 | 四虎影片 | 中文字幕日韩在线观看 | 99色播| 久久久夜| 亚洲黄色免费看 | 免费一级特黄特色黄大任片 | 美女久久久 | 久久国产精品一区二区 | 五月国产综合视频在线观看 | 热99在线观看 | 天天爱天天干天天 | 欧美成人另类 | 校园春色男人天堂 | 国产产一区二区三区久久毛片国语 | 中文字幕日本不卡 |