第一個Hadoop下的Wordcount程序
這次的源碼是用的Hadoop實戰的源碼
首先將源碼拷貝進Linux下的工作目錄下,在/home/hadoop/workspace下。
導入兩個測試文件
echo "Hello World Bye World" ?file01
echo "Hello Hadoop Bye Hadoop" file02
創建一個Jar包目錄:mkdir FirstJar?
編譯Java文件至FirstJar下:javac -classpath /usr/hadoop/hadoop-XXX-core.jar -d FirstJar WordCount.java?
打包FirstJar:Java -cvf WordCount.jar -C FirstJar/ . ? (注意這個點不要漏掉)
在HDFS上創建輸入輸出目錄:hadoop dfs -mkdir input,hadoop dfs -mkdir output
上傳測試文件至HDFS:Hadoop dfs -put ?file0* ?input
運行Jar包:Hadoop jar WordCount.jar WordCount input output
需要說明的一點:Hadoop實戰源碼中有包目錄,編譯過程中若不刪除包目錄,在執行jar包是會發生找不到class類的錯誤,即便執行時在類前加上該目錄也找不到,具體愿意還待研究。
Linux 刪除目錄,文件:rm -rf dirname
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
