Hive_参数传递

1、Hive的参数传递
1.1Hive命令行
查看hive命令的参数1.
hive -help
hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]
-i从文件初始化HQL。
-e 从命令行执行指定的HQL
-f执行HQL脚本
-v输出执行的HQL语句到控制台
-p <port> connect to Hive Server on port number
-hiveconf x=y Use this to set hive/hadoop configuration variables.设置hive运行时候的参数配置
1.2Hive参数配置方式
Hive参数大全：
开发Hive应用时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么设定的参数没有起作用？这通常是错误的设定方式导致的。
对于一般参数，有以下三种设定方式：
配置文件 hive-site.xml
命令行参数启动hive客户端的时候可以设置参数
参数声明进入客户端以后设置的一些参数
Hive的配置文件包括
用户自定义配置文件: $HIVE_CONF_DIR?hive-site.xml 默认配置文件：$ HIVE_CONF_DIR/hive-default.xml
用户自定义配置会覆盖默认配置
另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。配置文件的设定对本机启动的Hive进程都有效。
命令行参数：启动Hive（客户端或Server方式）时，可以在命令行添加-hiveconf param=value来设定参数，例如：
bin/hive --hiveconf hive.root.logger=INFO,console
这一设定只对本地启动的Session（对于Server方式启动，则是所有请求的Session）有效。
参数声明：可以在HQL中使用SET关键字设定参数，例如：
--设置mr中reduce个数
set mapreduce.job.reduces=100;
这一设定的作用域也是session级的。
上述三种设定方式的优先级依次递增。
即参数声明覆盖命令行参数，命令行参数覆盖配置文件设定。
注意某些系统级的参数，例如log4j相关的设定，必须用前两种方式设定，因为那些参数的读取在Session建立以前已经完成了。
参数声明>命令行参数>配置文件参数(hive)

1.3使用变量传递参数
实际工作当中，我们一般都是将hive的hql语法开发完成之后，就写入到一个脚本里面去，然后定时的通过命令hive -f 去执行hive的语法即可
然后通过定义变量来传递参数到hive的脚本当中去，那么我们接下来就来看看如何使用hive来传递参数。
hive0.9以及之前的版本是不支持传参
hive1.0版本之后支持hive -f传递参数
在hive当中我们一般可以使用 hivevar 或者 hiveconf 来进行参数的传递
1.3.1 hiveconf使用说明
hiveconf用于定义HIVE执行上下文的属性（配置参数），可覆盖覆盖hive-site.xml(hive-default.xml)中的参数值，如用户执行目录、日志打印级别，执行队列等。例如我们可以使用hiveconf来覆盖我们的hive属性配置，
hiveconf变量取值必须要使用hiveconf作为前缀参数，具体格式如下：
${hiveconf:key} bin/hive --hiveconf "mapred.job.queue.name=root.default" 1.3.2 hivevar使用说明 hivevar用于定义HIVE运行时的变量替换，类似于JAVA中的PreparedStatement，与$ {key}配合使用或者与 ${hivevar:key} 对于hivevar取值可以不使用前缀hivevar，具体格式如下： --使用前缀：$ {hivevar:key}
--不使用前缀：
${key} hive --hivevar name=zhangsan$ {hivevar:name}
也可以这样取值 ${name} 1.3.3define使用说明 define与hivevar用途完全一样，还有一种简写-d hive --hiveconf "mapred.job.queue.name=root.default" -d my="201912" --database myhive --执行SQL hive>select * from myhive.score2 where concat(year,month)=$ {my} limit 5;

1.3.4hiveconf与hivevar使用实践
需求：hive当中执行以下hql语句，并将'201807'、'80'、'03'用参数的形式全部都传递进去
select * from student left join score on student.s_id=score.s_id where score.month='201807' and score.s_score>80 and score.c_id=03;
第一步：创建student表并加载数据
create external table student (s_id string,s_name string,s_birth string,s_sex string) row format delimited fields terminated by '\t';
load data local inpath '/kkb/install/hivedatas/student.csv' overwrite into table student;
第二步：定义hive脚本
开发hql脚本，并使用hiveconf和hivevar进行参数传入
node01执行以下命令定义hql脚本
cd /kkb/install/hivedatas
vim hivevariable.hql