亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

hive集成hbase筆記

系統 3293 0

系統環境:

Hbase:0.90.3

hive:0.7.0

hive 0.7.0自帶的lib下包含文件“hbase-0.89.0-SNAPSHOT.jar”,我的hbase版本是0.90.3,首先拷貝hbase-0.90.3.jar到hive/lib下,然后刪除“hbase-0.89.0-SNAPSHOT.jar”。

創建hive表、hbase表:

?Xml代碼??

  1. CREATE?TABLE?hbase_table_1(key?int,?value?string)???
  2. ??STORED?BY?'org.apache.hadoop.hive.hbase.HBaseStorageHandler'??
  3. ??WITH?SERDEPROPERTIES?("hbase.columns.mapping"?=?":key,cf1:val")??
  4. ??TBLPROPERTIES?(" hbase.table.name "?=?"xyz");??

?其中屬性hbase.table.name值"xyz"為hbase的表名,屬性hbase.columns.mapping,"cf1:val"為列族名稱。

在hive 客戶端執行上面語句后,會在hive中生成表"hbase_table_1",在hbase中生成表"xyz"

?

導入測試數據:

Java代碼??
  1. hive>?CREATE?TABLE?pokes?(foo?INT,?bar?STRING);??
  2. hive>?LOAD?DATA?LOCAL?INPATH?'./examples/files/kv1.txt'?OVERWRITE?INTO?TABLE?pokes;??
  3. hive>?INSERT?OVERWRITE?TABLE?hbase_table_1?SELECT?*?FROM?pokes;??
  4. hive>?select?*?from?hbase_table_1;??

?

troubleshooting:

Java代碼??
  1. FAILED:?Error?in?metadata:?MetaException(message:org.apache.hadoop.hbase.MasterNotRunningException:?CNC-JN-R-541:60000??
  2. ????????at?org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation.getMaster(HConnectionManager.java:394)??
  3. ????????at?org.apache.hadoop.hbase.client.HBaseAdmin.<init>(HBaseAdmin.java:83)??
  4. ????????at?org.apache.hadoop.hive.hbase.HBaseStorageHandler.getHBaseAdmin(HBaseStorageHandler.java:74)??
  5. ????????at?org.apache.hadoop.hive.hbase.HBaseStorageHandler.preCreateTable(HBaseStorageHandler.java:158)??
  6. ????????at?org.apache.hadoop.hive.metastore.HiveMetaStoreClient.createTable(HiveMetaStoreClient.java:344)??
  7. ????????at?org.apache.hadoop.hive.ql.metadata.Hive.createTable(Hive.java:470)??
  8. ????????at?org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:3146)??
  9. ????????at?org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:213)??
  10. ????????at?org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:130)??
  11. ????????at?org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)??
  12. ????????at?org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1063)??
  13. ????????at?org.apache.hadoop.hive.ql.Driver.execute(Driver.java:900)??
  14. ????????at?org.apache.hadoop.hive.ql.Driver.run(Driver.java:748)??
  15. ????????at?org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:164)??
  16. ????????at?org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:241)??
  17. ????????at?org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:456)??
  18. ????????at?sun.reflect.NativeMethodAccessorImpl.invoke0(Native?Method)??
  19. ????????at?sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)??
  20. ????????at?sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)??
  21. ????????at?java.lang.reflect.Method.invoke(Method.java:597)??
  22. ????????at?org.apache.hadoop.util.RunJar.main(RunJar.java:156)??
  23. )??

?

出現這個錯誤的原因是我引入的hbase包和hive自帶的hive包沖突,刪除hive/lib下的?hbase-0.89.0-SNAPSHOT.jar, OK了。

?

?

FAILED: Error in metadata: MetaException(message:Column Family department is not defined in hbase table hello)

?

當使用hive相關管理已經存在的hbase 多列table時,出現上面錯誤,而且列族“department ”的確存在,最終發現原因是:在hive中使用CREATE EXTERNAL TABLE 創建表的時候,"hbase.columns.mapping"的值中不能包含空格

hive集成hbase筆記


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 国产视频一二 | 亚洲国产精品日韩在线观看 | 精品久久久影院 | 亚洲国产精久久久久久久 | 天天射天天干天天舔 | 欧美毛片日韩一级在线 | 免费一看一级毛片人 | 国产亚洲欧美久久久久 | 曰本性l交片视频视频 | 2021久久伊人精品中文字幕有 | 国产一区二区三区精品久久呦 | 99精品高清不卡在线观看 | 四虎影院国产精品 | 高清国产在线 | 毛片一级 | 国产午夜精品一区二区三区嫩草 | 五月婷婷在线视频 | 国产欧美亚洲精品一区 | 国产成人精品高清免费 | 成人爽a毛片在线视频网站 成人爽视频 | 亚洲一区二区三区四区热压胶 | 国产精品久久久久久福利69堂 | 国产小视频在线观看 | 一道本不卡免费视频 | 伊人五月 | 精品一区二区三区的国产在线观看 | 精品一区二区三区在线观看视频 | 久久毛片免费看一区二区三区 | 9999人体做爰大胆 | 久久视频免费看 | 狠狠久久久久综合网 | 国产女主播在线视频 | 国产精品视频免费的 | 一级毛片不卡片免费观看 | 久久久国产精品福利免费 | 97夜夜澡人人爽人人免费 | 手机看片精品高清国产日韩 | 国产精品视频偷伦精品视频 | 国产精品免费综合一区视频 | 久久久久成人精品一区二区 | 97在线视频免费播放 |