hive 中使用lzo
1 啟動hive 錯誤
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf? ?
??????? at java.lang.Class.forName0(Native Method)? ?
??????? at java.lang.Class.forName(Class.java:247)? ?
??????? at org.apache.hadoop.util.RunJar.main(RunJar.java:149)
解決方法是,安裝Hadoop時,修改Hadoop目錄下/conf/hadoop-env.sh時,添加HADOOP_CLASSPATH變量覆蓋了原有的變量,改成如下的形式即可:
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:
2 創(chuàng)建測試表
? create table lzo(name string)? STORED AS INPUTFORMAT 'com.hadoop.mapred.DeprecatedLzoTextInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';
3 壓縮測試數(shù)據(jù)
lzop users.txt
4 導(dǎo)入數(shù)據(jù)
? load data local inpath '/home/hadoop/tmp/tmplzo.txt.lzo' into table lzo;
4 測試
? select * from lzo;
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
