diff --git a/content/post/hdp2.md b/content/post/hdp2.md
index ea59ad7..da05635 100644
--- a/content/post/hdp2.md
+++ b/content/post/hdp2.md
@@ -173,6 +173,16 @@ Rocky9 | hdp-slave11 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager
yarn.resourcemanager.webapp.address
hdp-rm:8088
+
+ yarn.nodemanager.resource.cpu-vcores
+ 6
+
+
+
+ yarn.nodemanager.resource.memory-mb
+ 12288
+ -->
yarn.log-aggregation-enable
@@ -226,27 +236,25 @@ Rocky9 | hdp-slave11 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager
```
### 创建临时目录和数据目录
-- 在 **hdp-nn** 上创建临时目录和数据目录
+- 在 **hdp-nn** 上创建数据目录
```bash
- mkdir /tmp/hdp
mkdir /data/hdp_nn
```
-- 在 **hdp-snn** 上创建临时目录和数据目录
+- 在 **hdp-snn** 上创建数据目录
```bash
- mkdir /tmp/hdp
mkdir /data/hdp_snn
```
-- 在 **hdp-rm** 上创建临时目录
- ```bash
- mkdir /tmp/hdp
- ```
-
- 在 **hdp-slaveXX** 上创建临时目录和数据目录
```bash
- mkdir /tmp/hdp #建议挂载独立盘
- mkdir /data/hdp_dn #建议挂载独立盘
+ mkdir /tmp/hdp /data/hdp_dn #建议都挂载独立盘
+ ```
+
+### 格式化 namenode
+- 在 **hdp-nn** 上执行如下操作
+ ```bash
+ hdfs namenode -format
```
## 启动 hadoop 集群
@@ -260,3 +268,6 @@ Rocky9 | hdp-slave11 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager
/opt/hdp/sbin/start-yarn.sh
```
+## 参考
+- [https://www.cnblogs.com/jpSpaceX/articles/15032931.html](https://www.cnblogs.com/jpSpaceX/articles/15032931.html)
+
diff --git a/content/post/hive2-tez.md b/content/post/hive2-tez.md
index 40973ba..6811bee 100644
--- a/content/post/hive2-tez.md
+++ b/content/post/hive2-tez.md
@@ -51,18 +51,12 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
- 上传 tez-dist/target/tez-0.9.2.tar.gz 到 **hive-hs20** 中
## 部署 tez 环境
-- 在 **hive-hs20** 执行如下操作
-- 上传 tez-0.9.2.tar.gz 到 hdfs
+- 在 **hive-hs20** 上 put tez-0.9.2.tar.gz 到 hdfs
```bash
hdfs dfs -mkdir /tez
hdfs dfs -put tez-0.9.2.tar.gz /tez/
```
-- 创建 tez staging 目录
- ```bash
- hdfs dfs -mkdir -p /hive/tez/staging
- ```
-
- 在**全部 hive 主机**上解压 tez 部署包
```bash
mkdir /opt/tez
@@ -86,10 +80,6 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
```
-### 修改 hive-site.xml
-- 在**全部 hive 主机**上执行如下操作
-- 参考[在 $HIVE_HOME/etc/hadoop/yarn-site.xml 中配置 tez staging 目录](/post/hive2/#创建-hive-sitexml)
-
### 修改 hive-env.sh
- 在**全部 hive 主机**上执行如下操作
- 编辑 $HIVE_HOME/conf/hive-env.sh，在文件最后增加如下内容
@@ -111,8 +101,9 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
- 重启 hive metastore 和 hiveserver2
## 设置引擎
-- 设置 hive 引擎为 tez，执行 sql 语句
+- 客户端连接 hive，设置引擎为 tez，执行 sql 语句
```sql
set hive.execution.engine=tez;
+ -- 后面操作数据时不再报 "WARNING: Hive-on-MR is deprecated in Hive 2 ..."
```
diff --git a/content/post/hive2.md b/content/post/hive2.md
index 5d4a86b..8f7dde2 100644
--- a/content/post/hive2.md
+++ b/content/post/hive2.md
@@ -25,8 +25,8 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
echo "192.168.8.3 hdp-dn" >> /etc/hosts
echo "192.168.8.10 hdp-slave10" >> /etc/hosts
echo "192.168.8.11 hdp-slave11" >> /etc/hosts
- echo "192.168.8.20 hdp-hs20" >> /etc/hosts
- echo "192.168.8.21 hdp-ms21" >> /etc/hosts
+ echo "192.168.8.20 hive-hs20" >> /etc/hosts
+ echo "192.168.8.21 hive-ms21" >> /etc/hosts
```
## 创建 mysql 数据库
@@ -34,9 +34,9 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
- 部署 mysql8.0，略过
- 创建用户及其数据库，参考 sql 如下
```sql
- create user hive@127.7.7.7 identified by 'Hive_1234';
+ create user hive@'%' identified by 'Hive_1234';
create database hive default charset utf8mb4;
- grant all on hive.* to hive@127.7.7.7;
+ grant all on hive.* to hive@'%';
```
## 复制 jdk 和 hadoop 环境
@@ -54,8 +54,8 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
- 下载 hive 2.3.9 部署包，解压
```bash
curl -LO https://archive.apache.org/dist/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz
- tar zxf apache-hive-2.3.9.tar.gz
- mv apache-hive-2.3.9 /opt/hive
+ tar zxf apache-hive-2.3.9-bin.tar.gz
+ mv apache-hive-2.3.9-bin /opt/hive
```
- 下载 mysql 连接库，解压到 hive 库目录下
@@ -76,7 +76,7 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
### 修改 hive-env.sh
- 编辑 $HIVE_HOME/conf/hive-env.sh，指定 HADOOP_HOME 环境变量
```bash
- export HADOOP_HOME=/opt/hdp
+ HADOOP_HOME=/opt/hdp
```
### 创建 hive-site.xml
@@ -86,7 +86,7 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
javax.jdo.option.ConnectionURL
- jdbc:mysql://127.7.7.7:3306/hive?createDatabaseIfNotExist=true&useSSL=false
+ jdbc:mysql://hive-ms21:3306/hive?createDatabaseIfNotExist=true&useSSL=false
@@ -136,14 +136,10 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
hive.execution.engine
tez
-->
-
- tez.am.staging-dir
- /hive/tez/staging
-
```
-## 初始化 hive 库
+### 初始化 hive 库
- 在 **hive-ms21** 上执行如下操作
```bash
schematool -dbType mysql -initSchema
@@ -164,10 +160,12 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
- 本地直接连接
```bash
hive
+ # 暂时忽略"WARNING: Hive-on-MR is deprecated in Hive 2 ..."
```
- beeline 连接，需要[在 $HADOOP_HOME/etc/hadoop/core-site.xml 中配置 proxyuser](/post/hdp2/#修改-core-sitexml)
```bash
beeline -u jdbc:hive2://hive-hs20:10000 -n root
+ # 暂时忽略"WARNING: Hive-on-MR is deprecated in Hive 2 ..."
```