Hive和HBase整合
Hive和Hbase有各自不同的特征：hive是高延遲、結(jié)構(gòu)化和面向分析的，hbase是低延遲、非結(jié)構(gòu)化和面向編程的。Hive數(shù)據(jù)倉(cāng)庫(kù)在hadoop上是高延遲的。Hive集成Hbase就是為了使用hbase的一些特性。
Hive繼承HBase可以有效利用HBase數(shù)據(jù)庫(kù)的存儲(chǔ)特性，如行更新和列索引等。在集成的過(guò)程中注意維持HBase jar包的一致性。Hive集成HBase需要在Hive表和HBase表之間建立映射關(guān)系，也就是Hive表的列和列類型與HBase表的列族及列限定詞建立關(guān)聯(lián)。每一個(gè)在Hive表中的域都存在與HBase中，而在Hive表中不需要包含所有HBase中的列。HBase中的rowkey對(duì)應(yīng)到Hive中為選擇一個(gè)域使用 :key 來(lái)對(duì)應(yīng)，列族(cf:)映射到Hive中的其他所有域，列為(cf:cq)。
下面來(lái)簡(jiǎn)單實(shí)戰(zhàn)下：
創(chuàng)建HBase表
- create 'user1',{NAME => 'info',VERSIONS => 1}
向user表中插入一些數(shù)據(jù)
- put 'user1','1','info:name','zhangsan'
- put 'user1','1','info:age','25'
- put 'user1','2','info:name','lisi'
- put 'user1','2','info:age','22'
- put 'user1','3','info:name','wangswu'
- put 'user1','3','info:age','21'
使用scan命令來(lái)查看下user表中的數(shù)據(jù)
- scan 'user';
結(jié)果如下
ROW COLUMN+CELL
1 column=info:age, timestamp=1476773051604, value=25
1 column=info:name, timestamp=1476773046344, value=zhangsan
2 column=info:age, timestamp=1476773051685, value=22
2 column=info:name, timestamp=1476773051661, value=lisi
3 column=info:age, timestamp=1476773052632, value=21
3 column=info:name, timestamp=1476773051709, value=wangswu
3 row(s) in 0.0610 seconds
創(chuàng)建Hive中與HBase中對(duì)應(yīng)的表
- SET hbase.zookeeper.quorum=hadoop001;
- SET zookeeper.znode.parent=/hbase;
- ADD jar /opt/bigdata/hive-1.2.1-bin/lib/hive-hbase-handler-1.2.1.jar;
- // user1表
- CREATE EXTERNAL TABLE user1 (
- rowkey string,
- info map<STRING,STRING>
- ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
- WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:")
- TBLPROPERTIES ("hbase.table.name" = "user1");
- // user2表
- CREATE EXTERNAL TABLE user2 (
- rowkey string,
- name string,
- age int
- ) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
- WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:age")
- TBLPROPERTIES ("hbase.table.name" = "user2");
查詢user1，user2表數(shù)據(jù)
查詢user1表數(shù)據(jù)
- select * from user1;
結(jié)果如下
- OK
- 1 {"age":"25","name":"zhangsan"}
- 2 {"age":"22","name":"lisi"}
- 3 {"age":"21","name":"wangswu"}
- Time taken: 0.467 seconds, Fetched: 3 row(s)
查詢user2表數(shù)據(jù)
- select * from user2;
結(jié)果如下:
- OK
- 1 zhangsan 25
- 2 lisi 22
- 3 wangswu 21
- Time taken: 0.087 seconds, Fetched: 3 row(s)
hive插入數(shù)據(jù)到hbase
- INSERT INTO TABLE user1
- SELECT '4' AS rowkey,
- map('name','lijin','age','22') AS info
- from dual limit 1;
