亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

libhdfs編譯,安裝,配置,使用

系統 1634 0

我是把hadoop 0.20.2安裝到/opt/hadoop目錄下,故 HADOOP_HOME=/opt/hadoop

而我系統安裝的是openjdk-1.6.0,主目錄 JAVA_HOME= /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64

一、編譯

?

        $cd /opt/hadoop
        
$ant compile-c++-libhdfs -Dislibhdfs=true

?

?

二、安裝、配置

就是解決gcc尋找頭文件、連接動態鏈接庫問題以及環境變量。
其中gcc尋找頭文件以及動態鏈接庫可以通過設置環境變量,也可以通過Makefile來完成。
而libhdfs需要用到的JAVA的相關東西只能通過環境變量設置。其實就是CLASSPATH需要必須通過環境變量來設置。

1)環境變量設置(CLASSPATH必須通過這個來設置,其它項可以通過Makefile完成)

GCC尋找頭文件方面需要用到的環境變量:
我這個版本libhdfs的頭文件hdfs.h在 $HADOOP_HOME/src/c++/libhdfs 下,而libhdfs是基于JNI的,所以JAVA的頭文件也在哪也要告訴GCC。
JAVA頭文件在$JAVA_HOME/include和$JAVA_HOME/include/linux下。
所以設置環境變量
      HADOOP_HOME=
      
        /opt/hadoop
      
      
JAVA_HOME= /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64

# 此項可以通過Makefile設置
C_INCLUDE_PATH= $HADOOP_HOME/src/c++/libhdfs:$JAVA_HOME/include:$JAVA_HOME/include/linux

?

?
其它環境變量:
在安裝JAVA的時候就要設置CLASSPATH變量,其值一般為
        CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      
我們在這基礎上,將$HADOOP_HOME/*.jar 以及 $HADOOP_HOME/lib/*.jar 全部添加到CLASSPATH環境變量中。雖然只是用到其中兩三個就行了,但我不知道到底是用哪個jar,所以就全部添加了。
?
具體環境變量的設置有兩種方法:

a)export設置立即生效,但只當次有效。重啟機器需要重新設置環境變量。

        $export HADOOP_HOME=/opt/hadoop
      

其它環境變量設置參照上面命令。

?

b)修改/etc/profile設置環境變量。修改完并非立即生效,而是重啟機器后有效,而且以后都有效。

        $gedit /etc/profile


      

?在這個文件中找到一行

        export PATH MAIL USER ...
      

?在這行的前面添加

        JAVA_HOME=
        
          你的JAVA主目錄

HADOOP_HOME
        
        =
        
          你的HADOOP主目錄


          
        # 此項可以通過Makefile設置
        
          
C_INCLUDE_PATH
= 那些頭文件所在目錄,用冒號:隔開 # 添加 $HADOOP_HOME /*.jar 到 CLASSPATH變量中 for i in $HADOOP_HOME/*.jar ; do   CLASSPATH=$CLASSPATH:$i done # 添加 $HADOOP_HOME/lib/*.jar 到 CLASSPATH變量中 for i in $HADOOP_HOME/lib/*.jar ; do   CLASSPATH=$CLASSPATH:$i done

?


?在這行的后面添加

        export PATH MAIL USER ... JAVA_HOME HADOOP_HOME C_INCLUDE_PATH


      

?注:其中...表示省略的變量,還有很多變量,各個系統不一樣,沒必須全面寫在這里,而且不是重點。

?

2)動態鏈接庫(可通過Makefile設置)

我這個版本JAVA的動態鏈接庫在$JAVA_HOME/jre/lib/amd64目錄下
libhdfs的動態鏈接庫在$HADOOP_HOME/build/c++/Linux-amd64-64/lib目錄下
在centos 6中設置動態鏈接庫的方法為
在/etc/ld.so.conf.d/目錄下新建一個.conf文件,然后在文件里填入鏈接庫所在目錄。
        $gedit /etc/ld.so.conf.d/hdfs.conf


      

在此文件中填入目錄

        /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/lib/amd64
        
/opt/hadoop/build/c++/Linux-amd64-64/lib

?保存,退出,然后執行命令使配置文件生效

        $ldconfig


      

?

3)通過Makefile設置相關項

Makefile寫法

        #指定hadoop安裝目錄
        
HADOOP_INSTALL=/opt/hadoop
#使用的平臺類型,32位的是Linux-i386-32,64位的是Linux-amd64-64
PLATFORM
=Linux-i386- 32

#JAVA安裝目錄 JAVA_HOME
= /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64
        
          
#尋找頭文件的目錄
CPPFLAGS
= -I$(HADOOP_INSTALL)/src/c++/ libhdfs -I $(JAVA_HOME)/include -I$(JAVA_HOME)/include/linux
#尋找動態鏈接庫的目錄
LIB
= -L$(HADOOP_INSTALL)/c++/Linux-i386- 32 /lib/ libjvm =/usr/lib/jvm/java- 6 -openjdk/jre/lib/i386/client/ libjvm.so LDFLAGS += - lhdfs testHdfs: testHdfs.c gcc testHdfs.c $(CPPFLAGS) $(LIB) $(LDFLAGS) $(libjvm) - o testHdfs clean: rm testHdfs

?

Makefile.am的寫法

        SUBDIRS=
        
          

HADOOP_INSTALL
        
        =/opt/hadoop
        
          

PLATFORM
        
        =Linux-amd64-
        
          64
        
        
          

JAVA_HOME
        
        =
        
          /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64
          
INCLUDES =-I$(HADOOP_INSTALL)/src/c++/libhdfs -I$(JAVA_HOME)/include -I$(JAVA_HOME)/include/ linux
LDADD
=-L$(HADOOP_INSTALL)/c++/$(PLATFORM)/ lib -lhdfs
export INCLUDES LDADD

?

?

?

三、使用

測試代碼

        /* testLibhdfs.c */
        

#include "hdfs.h" int main(int argc, char **argv) { hdfsFS fs = hdfsConnect("default", 0); const char* writePath = "/tmp/testfile.txt"; hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0); if(!writeFile) { fprintf(stderr, "Failed to open %s for writing!\n", writePath); exit(-1); } char* buffer = "Hello, World!"; tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1); if (hdfsFlush(fs, writeFile)) { fprintf(stderr, "Failed to 'flush' %s\n", writePath); exit(-1); } hdfsCloseFile(fs, writeFile); }

?編譯、運行:

        $gcc -o testLibhdfs testLibhdfs.c -lhdfs
        
$./testLibhdfs



libhdfs編譯,安裝,配置,使用


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 波多野结衣一区二区三区四区 | 一级毛片不卡免费看老司机 | 日本一级毛片视频网站 | 久久一区精品 | 久久精品亚洲一级毛片 | sihu永久在线播放地址 | 亚洲精品国产福利在线观看 | 澳门一级特黄录像免费播黄 | 99免费精品 | 国产精品久久久久久久久久日本 | 成人激情在线视频 | 日韩精品另类天天更新影院 | 成人一级毛片 | 成年女人免费看片 | 免费国产一区二区三区四区 | 91久久99热青草国产 | 国产色视频一区 | 成人私拍福利视频在线 | 奇米色在线视频 | 亚洲欧美成人综合 | 四虎永久免费地址 | 国产乱子伦一级毛片 | 久久精品女人天堂 | 国产一区二区久久精品 | 四虎永久网址在线观看 | 99热在线国产 | 久久一er精这里有精品 | 99视频观看 | 免费超级淫片日本高清视频 | 中文在线观看视频 | 精品哟啊呦v视频在线观看 精品哟哟国产在线观看 | 伊人久久婷婷丁香六月综合基地 | 久久国产精品-国产精品 | 欧美精| 一区二区福利视频 | 全免费毛片在线播放 | 色婷婷av777 色婷婷国产 | 久久99热国产这有精品 | 日日添日日摸 | 国产成人亚洲影视在线 | 日本爽|