cdh6.3.2 hive集成 tez0.9.2

准备工作
hadoop版本：3.0.0-cdh6.3.2
hive版本：hive-2.1.1
linux环境:centos7.6
jdk1.8
maven-3.6以上
protobuf-2.5.0.tar.gz(只能是这个版本
Releases · protocolbuffers/protobuf · GitHub
tez-0.9.2源码
Apache Downloads
安装配置一下两个环境
解压:tar -zxvf apache-maven-3.6.3-bin.tar.gz配置环境变量:vim /etc/profileexport MVN_HOME=/usr/local/mavenexport PATH=$MVN_HOME/bin:$PATHsource /etc/profile(别忘记)验证:mvn -v解压:tar -zxvf protobuf-2.5.0.tar.gz编译:cd protobuf-2.5.0./configuremakemake install验证:protoc --version注：当configure校验不通过的时候,缺少哪些包就安装,一般需要安装gcc 安装tez0.9.2
解压:
tar -zxvf apache-tez-0.9.2-src.tar.gz 修改pom.xml
第一处:3.0.0-cdh6.3.2第二处:clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/Cloudera Repositoriesfalse第三处:clouderaCloudera Repositorieshttps://repository.cloudera.com/artifactory/cloudera-repos/第四处:com.sun.jerseyjersey-client1.19第五处:注:将这两个注释掉,如果有需要可以不用注释修改mapreduce的java文件
报错:tez-mapreduce编译时，报ApplicationReport.newInstance() 89行异常，使用另一个方法newInstance()方法vim tez-mapreduce/src/main/java/org/apache/tez/mapreduce/client/NotRunningJob.javareturn ApplicationReport.newInstance(unknownAppId, unknownAttemptId, "N/A","N/A", "N/A", "N/A", 0, null, YarnApplicationState.NEW, "N/A", "N/A",0, 0, 0, FinalApplicationStatus.UNDEFINED, null, "N/A", 0.0f, "TEZ_MRR", null);注:可以先进行编译,如果报这个错再进行修改这一步也行maven编译
mvn clean package -Dmaven.javadoc.skip=true -Dmaven.test.skip=true注:这样会跳过test编译,很快就编译完成编译完成
编译完位置
整合到hdfs
1.hadoop fs -mkdir /user/tez2.hadoop fs -put tez-0.9.2.tar.gz /user/tez整合到hive
1.创建tez-site.xml1.1cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib1.2mkdir tez1.3vim tez-site.xmltez.lib.uris${fs.defaultFS}/apps/tez-0.9.1/tez-0.9.1.tar.gztez.use.cluster.hadoop-libsfalse2.拷贝jar包tez-0.9.2-minimal文件夹下的jar及lib下的jar拷贝到tez中3.避免kryo的错误：java.lang.NoClassDefFoundError: com/esotericsoftware/shaded/org/objenesis/strategy/InstantiatorStrategy3.1 cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/auxlib3.2 mv hive-exec-2.1.1-cdh6.3.2-core.jar hive-exec-2.1.1-cdh6.3.2-core.jar.bck3.3 mv hive-exec-core.jar hive-exec-core.jar.bck4.配置hive的env配置文件4.1 添加:HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*4.2 部署客户端配置4.3 重启需要组件5 将tez分配到hive所在的节点上

hive使用lzo压缩后,解决tez和spark不能用的问题

1.在cdh中hive的高级配置里面,声明辅助的文件地址(也可以直接声明lzo所在的文件夹)2.在声明的辅助文件夹的地址下,放lzo的jar包3.在hive-env.sh的高级环境代码段填写HIVE_AUX_JARS_PATH=你声明的文件夹的地址4.重启hive.

【cdh6.3.2 hive集成 tez0.9.2】

验证

set hive.tez.container.size=3020;(注:根据服务器的性能适当调节)set hive.execution.engine=tez;
hue使用tez

hue使用的是hive的远程连接窗口,所以在配置值得在hiveservice2的环境高级代码段配置HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/conf:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/*:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/tez/lib/*重启hive组件

验证