You've already forked www.colben.cn
119 lines
3.2 KiB
Markdown
119 lines
3.2 KiB
Markdown
---
|
||
title: "hive2 tez 部署"
|
||
date: 2023-05-23T12:00:00+08:00
|
||
lastmod: 2023-05-23T12:00:00+08:00
|
||
keywords: []
|
||
tags: ["hadoop", "hive", "tez"]
|
||
categories: ["storage"]
|
||
---
|
||
|
||
## 环境
|
||
操作系统 | 主机名 | 地址 | 运行组件
|
||
---- | ---- | ---- | ----
|
||
Rocky8 | 编译服务器 | - | 编译工具
|
||
Rocky9 | hive-hs20 | 192.168.8.20/24 | Hive Server, Tez
|
||
Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
|
||
|
||
## 准备 protoc 2.5.0 环境
|
||
- 在**编译服务器**上执行如下操作
|
||
- 下载源码，解压
|
||
```bash
|
||
curl -LO https://github.com/protocolbuffers/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
|
||
tar zxf protobuf-2.5.0.tar.gz
|
||
cd protobuf-2.5.0.tar.gz
|
||
```
|
||
|
||
- 编译
|
||
```bash
|
||
mkdir /opt/protoc-2.5.0
|
||
./configure --prefix=/opt/protoc-2.5.0
|
||
make
|
||
make check
|
||
make install
|
||
```
|
||
|
||
## 编译 tez
|
||
- 在**编译服务器**上执行如下操作
|
||
- 下载 tez 部署包，解压
|
||
```bash
|
||
curl -LO https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.9.2/apache-tez-0.9.2-src.tar.gz
|
||
tar zxf apache-tez-0.9.2-src.tar.gz
|
||
cd apache-tez-0.9.2-src
|
||
```
|
||
|
||
- 编译
|
||
```bash
|
||
export PATH=/opt/protoc-2.5.0/bin:/opt/jdk8/bin:/opt/maven3/bin:$PATH
|
||
mvn clean package -DskipTests=true -Dtar -Dhadoop.version=2.10.2 -Dmaven.javadoc.skip=true -pl tez-dist -am
|
||
```
|
||
|
||
- 上传 tez-dist/target/tez-0.9.2-minimal.tar.gz 到**全部 hive 服务器**中
|
||
- 上传 tez-dist/target/tez-0.9.2.tar.gz 到 **hive-hs20** 中
|
||
|
||
## 部署 tez 环境
|
||
- 在 **hive-hs20** 执行如下操作
|
||
- 上传 tez-0.9.2.tar.gz 到 hdfs
|
||
```bash
|
||
hdfs dfs -mkdir /tez
|
||
hdfs dfs -put tez-0.9.2.tar.gz /tez/
|
||
```
|
||
|
||
- 创建 tez staging 目录
|
||
```bash
|
||
hdfs dfs -mkdir -p /hive/tez/staging
|
||
```
|
||
|
||
- 在**全部 hive 主机**上解压 tez 部署包
|
||
```bash
|
||
mkdir /opt/tez
|
||
tar zxf tez-0.9.2-minimal.tar.gz -C /opt/tez/
|
||
```
|
||
|
||
### 修改 yarn-site.xml
|
||
- 在**全部主机(包括 hadoop)**上执行如下操作
|
||
- 参考[在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中关闭 yarn 虚拟内存检查](/hdp2#修改 yarn-site.xml)
|
||
|
||
### 创建 tez-site.xml
|
||
- 在**全部主机(包括 hadoop)**上执行如下操作
|
||
- 创建 $HADOOP_HOME/etc/hadoop/tez-site.xml，参考内容如下
|
||
```xml
|
||
<configuration>
|
||
<property>
|
||
<name>tez.lib.uris</name>
|
||
<type>string</type>
|
||
<value>hdfs://hdp-nn:8020/tez/tez-0.9.2.tar.gz</value>
|
||
</property>
|
||
</configuration>
|
||
```
|
||
|
||
### 修改 hive-site.xml
|
||
- 在**全部 hive 主机**上执行如下操作
|
||
- 参考[在 $HIVE_HOME/etc/hadoop/yarn-site.xml 中配置 tez staging 目录](/hive2#创建 hive-site.xml)
|
||
|
||
### 修改 hive-env.sh
|
||
- 在**全部 hive 主机**上执行如下操作
|
||
- 编辑 $HIVE_HOME/conf/hive-env.sh，在文件最后增加如下内容
|
||
```bash
|
||
export TEZ_HOME=/opt/tez
|
||
TEZ_JARS=""
|
||
for jar in $(ls $TEZ_HOME | grep jar); do
|
||
TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
|
||
done
|
||
for jar in $(ls $TEZ_HOME/lib); do
|
||
TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
|
||
done
|
||
export HIVE_AUX_JARS_PATH=$TEZ_HOME/lib
|
||
export HADOOP_CLASSPATH=$TEZ_JARS
|
||
```
|
||
|
||
## 重启环境
|
||
- 重启 hadoop dfs 和 yarn 集群
|
||
- 重启 hive metastore 和 hiveserver2
|
||
|
||
## 设置引擎
|
||
- 设置 hive 引擎为 tez，执行 sql 语句
|
||
```sql
|
||
set set hive.execution.engine=tez;
|
||
```
|
||
|