HIVE HBASE 整合，hivehbase整合

HIVE HBASE 整合，hivehbase整合

一直想将hbase 与hive整合在一起，由于公司项目工期一期紧似一期，故一直推后，还不知道推到什么时候呢。

今天尝试编译hive,看着官方文档，感觉很简单：

1、svn co http://svn.apache.org/repos/asf/hive/trunk hive  先下载源代码吧。我下载最新代码0.14

2、cd hive ;  mvn  package -Phadoop-2,dist， 编译后需要一大堆测试信息，故去掉测试过程

 mvn  package -Phadoop-2,dist -Dtar -DskipTests, 

刚开始编译到common的时候报错， 进入common模块单独编译，要加入hadoop2，并且要有hadoop2的相关文件。

下载一大堆文件后，显示编译成功。

注意编译hadoop本地包的时候需要加入-Pnative     

3、在hbase中创建表：

public static void createTable(HBaseAdmin admin) {
        try {
            TableName tn = TableName.valueOf(TABLENAME);
            HTableDescriptor tableDescripter = new HTableDescriptor(tn);
            HColumnDescriptor column = new HColumnDescriptor("x");
//            column.setTimeToLive(600000);
//            column.setCompressionType(Compression.Algorithm.LZO);
            tableDescripter.addFamily(column);
            byte[][] regions = new byte[][]{
                Bytes.toBytes("1"),
                Bytes.toBytes("2"),
                Bytes.toBytes("3"),
                Bytes.toBytes("4"),
                Bytes.toBytes("5"),
                Bytes.toBytes("6"),
                Bytes.toBytes("7"),
                Bytes.toBytes("8"),
                Bytes.toBytes("9"),
                Bytes.toBytes("0")
            };
            admin.createTable(tableDescripter,regions);
        } catch (IOException ex) {
            Logger.getLogger(HbaseConfig.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

4、在hbase 中插入数据：

HbaseUtil util = new HbaseUtil();
        try (HTable table = new HTable(HbaseConfig.getConfig(), HbaseConfig.TABLENAME)) {
            for (int i = 0; i < 10; i++) {
                String dmpid = generateDmpid();
                String channel = "5030";
                String value = "dmpid" + dmpid;
                Put p = new Put(Bytes.toBytes(reverse(dmpid)));
                p.add(Bytes.toBytes("x"), Bytes.toBytes(channel), Bytes.toBytes(value));
                if (value != null && !"".equals(value) && !"null".equals(value)) {
                    p.add(Bytes.toBytes("x"), Bytes.toBytes("5020"), Bytes.toBytes(value));
                    //channel uid 
                }
                table.put(p);
                table.flushCommits();
            }
        }

5、在hive中创建关联表

使用以下命令启动hive:

hive --hiveconf hbase.zookeeper.quorum=host107,host108,host109

启动完成在hive控制台执行下面命令

CREATE EXTERNAL TABLE emaruser(key string, google string,tanx string,tencent string) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,x:5010,x:5020,x:5030")
TBLPROPERTIES("hbase.table.name" = "emar_user_relation");

6、在hive中查询成功

hive> select * from emaruser;
OK
0054308844100908791141  NULL    dmpid1411978090014488034500     NULL
0101677395300318791141  NULL    dmpid1411978130035937761010     dmpid1411978130035937761010
0529909431699808791141  NULL    dmpid1411978089961349099250     NULL
0816959407102198791141  NULL    dmpid1411978912017049596180     dmpid1411978912017049596180
2144264024543118791141  dmpid1411978113454204624412     dmpid1411978113454204624412     NULL
2309952861202198791141  NULL    dmpid1411978912021682599032     dmpid1411978912021682599032
3106277691400318791141  NULL    dmpid1411978130041967726013     dmpid1411978130041967726013
3109618614400318791141  NULL    dmpid1411978130044168169013     dmpid1411978130044168169013
3207091484943118791141  dmpid1411978113494841907023     dmpid1411978113494841907023     NULL
3265583421200318791141  NULL    dmpid1411978130021243855623     dmpid1411978130021243855623
3449017552200908791141  NULL    dmpid1411978090022557109443     NULL
3645762585202198791141  NULL    dmpid1411978912025852675463     dmpid1411978912025852675463
3660257098743118791141  dmpid1411978113478907520663     dmpid1411978113478907520663     NULL
3701620688943118791141  dmpid1411978113498860261073     dmpid1411978113498860261073     NULL
380639403302198791141   NULL    dmpid141197891203304936083      dmpid141197891203304936083

大功告成。

by the way

使用两个节点的客户端，hbase入库达到35000条/秒。集群6台服务器。

看看官方文档！