Hive动态分区，hive动态

Hive动态分区，hive动态

动态分区指不需要为不同的分区添加不同的插入语句，分区不确定，需要从数据中获取。

相关参数设置

set hive.exec.dynamic.partition=true; //使用动态分区
(可通过这个语句查看：set hive.exec.dynamic.partition;) 

set hive.exec.dynamic.partition.mode=nonstrict;//无限制模式 
如果模式是strict，则必须有一个静态分区，且放在最前面。

SET hive.exec.max.dynamic.partitions.pernode=10000;每个节点生成动态分区最大个数

set hive.exec.max.dynamic.partitions=100000;,生成动态分区最大个数，如果自动分区数大于这个参数，将会报错

set hive.exec.max.created.files＝150000; //一个任务最多可以创建的文件数目

set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数

一个分区的情况

create table dynpar(
name string
)
partitioned by (value string)
row format delimited 
fields terminated by '\t' 
lines terminated by '\n' 
stored as textfile
;

·

两个分区的情况

create table dynpar2(
name string
)
partitioned by (value string,dt string)
row format delimited 
fields terminated by '\t' 
lines terminated by '\n' 
stored as textfile
;

insert overwrite table dynpar2 partition(value,dt)
select 'test' as name, addr as value, name as dt
from testtable;

show partitions dynpar2;
select * from dynpar2;


如果模式是strict，则必须有一个静态分区，且放在最前面。
eg:
insert overwrite table dynpar2 partition(value='10001',dt)
select 'test' as name, name as dt
from testtable;
否则，不能够成功。

版权声明：本文为博主原创文章，未经博主允许不得转载。