update

2026-03-25 21:56:21 +08:00
parent 9386632288
commit 196342d9b8
3 changed files with 36 additions and 36 deletions
--- a/content/post/hdp2.md
+++ b/content/post/hdp2.md
@@ -173,6 +173,16 @@ Rocky9 | hdp-slave11 | 192.168.8.11/24 | /data/hdp-dn  | Datanode, NodeManager
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hdp-rm:8088</value>
      </property>
+      <!-- <property>
+        <!-- 设置 nodemanager 可用 6 核处理器 -->
+        <name>yarn.nodemanager.resource.cpu-vcores</name>
+        <value>6</value>
+      </property>
+      <property>
+        <!-- 设置 nodemanager 可用 12GB 内存 -->
+        <name>yarn.nodemanager.resource.memory-mb</name>
+        <value>12288</value>
+      </property> -->
      <property>
        <!-- (可选) 开启日志聚集功能，方便在Web UI上查看已完成任务的日志 -->
        <name>yarn.log-aggregation-enable</name>
@@ -226,27 +236,25 @@ Rocky9 | hdp-slave11 | 192.168.8.11/24 | /data/hdp-dn  | Datanode, NodeManager
    ```

 ### 创建临时目录和数据目录
- 在 **hdp-nn** 上创建临时目录和数据目录
+- 在 **hdp-nn** 上创建数据目录
    ```bash
-    mkdir /tmp/hdp
    mkdir /data/hdp_nn
    ```

- 在 **hdp-snn** 上创建临时目录和数据目录
+- 在 **hdp-snn** 上创建数据目录
    ```bash
-    mkdir /tmp/hdp
    mkdir /data/hdp_snn
    ```

- 在 **hdp-rm** 上创建临时目录
-    ```bash
-    mkdir /tmp/hdp
-    ```
-
 - 在 **hdp-slaveXX** 上创建临时目录和数据目录
    ```bash
-    mkdir /tmp/hdp #建议挂载独立盘
-    mkdir /data/hdp_dn #建议挂载独立盘
+    mkdir /tmp/hdp /data/hdp_dn #建议都挂载独立盘
+    ```
+
+### 格式化 namenode
+- 在 **hdp-nn** 上执行如下操作
+    ```bash
+    hdfs namenode -format
    ```

 ## 启动 hadoop 集群
@@ -260,3 +268,6 @@ Rocky9 | hdp-slave11 | 192.168.8.11/24 | /data/hdp-dn  | Datanode, NodeManager
    /opt/hdp/sbin/start-yarn.sh
    ```

+## 参考
+- [https://www.cnblogs.com/jpSpaceX/articles/15032931.html](https://www.cnblogs.com/jpSpaceX/articles/15032931.html)
+
--- a/content/post/hive2-tez.md
+++ b/content/post/hive2-tez.md
@@ -51,18 +51,12 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
 - 上传 tez-dist/target/tez-0.9.2.tar.gz 到 **hive-hs20** 中

 ## 部署 tez 环境
- 在 **hive-hs20** 执行如下操作
- 上传 tez-0.9.2.tar.gz 到 hdfs
+- 在 **hive-hs20** 上 put tez-0.9.2.tar.gz 到 hdfs
 	```bash
    hdfs dfs -mkdir /tez
    hdfs dfs -put tez-0.9.2.tar.gz /tez/
 	```

- 创建 tez staging 目录
-	```bash
-    hdfs dfs -mkdir -p /hive/tez/staging
-	```
-
 - 在**全部 hive 主机**上解压 tez 部署包
    ```bash
    mkdir /opt/tez
@@ -86,10 +80,6 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
    </configuration>
    ```

-### 修改 hive-site.xml
- 在**全部 hive 主机**上执行如下操作
- 参考[在 $HIVE_HOME/etc/hadoop/yarn-site.xml 中配置 tez staging 目录](/post/hive2/#创建-hive-sitexml)
-
 ### 修改 hive-env.sh
 - 在**全部 hive 主机**上执行如下操作
 - 编辑 $HIVE_HOME/conf/hive-env.sh，在文件最后增加如下内容
@@ -111,8 +101,9 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0, Tez
 - 重启 hive metastore 和 hiveserver2

 ## 设置引擎
- 设置 hive 引擎为 tez，执行 sql 语句
+- 客户端连接 hive，设置引擎为 tez，执行 sql 语句
    ```sql
    set hive.execution.engine=tez;
+    -- 后面操作数据时不再报 "WARNING: Hive-on-MR is deprecated in Hive 2 ..."
    ```

--- a/content/post/hive2.md
+++ b/content/post/hive2.md
@@ -25,8 +25,8 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
    echo "192.168.8.3  hdp-dn" >> /etc/hosts
    echo "192.168.8.10 hdp-slave10" >> /etc/hosts
    echo "192.168.8.11 hdp-slave11" >> /etc/hosts
-    echo "192.168.8.20 hdp-hs20" >> /etc/hosts
-    echo "192.168.8.21 hdp-ms21" >> /etc/hosts
+    echo "192.168.8.20 hive-hs20" >> /etc/hosts
+    echo "192.168.8.21 hive-ms21" >> /etc/hosts
    ```

 ## 创建 mysql 数据库
@@ -34,9 +34,9 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
 - 部署 mysql8.0，略过
 - 创建用户及其数据库，参考 sql 如下
    ```sql
-    create user hive@127.7.7.7 identified by 'Hive_1234';
+    create user hive@'%' identified by 'Hive_1234';
    create database hive default charset utf8mb4;
-    grant all on hive.* to hive@127.7.7.7;
+    grant all on hive.* to hive@'%';
    ```

 ## 复制 jdk 和 hadoop 环境
@@ -54,8 +54,8 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
 - 下载 hive 2.3.9 部署包，解压
    ```bash
    curl -LO https://archive.apache.org/dist/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz
-    tar zxf apache-hive-2.3.9.tar.gz
-    mv apache-hive-2.3.9 /opt/hive
+    tar zxf apache-hive-2.3.9-bin.tar.gz
+    mv apache-hive-2.3.9-bin /opt/hive
    ```

 - 下载 mysql 连接库，解压到 hive 库目录下
@@ -76,7 +76,7 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
 ### 修改 hive-env.sh
 - 编辑 $HIVE_HOME/conf/hive-env.sh，指定 HADOOP_HOME 环境变量
    ```bash
-    export HADOOP_HOME=/opt/hdp
+    HADOOP_HOME=/opt/hdp
    ```

 ### 创建 hive-site.xml
@@ -86,7 +86,7 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
      <property>
        <!-- mysql 地址 -->
        <name>javax.jdo.option.ConnectionURL</name>
-        <value>jdbc:mysql://127.7.7.7:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
+        <value>jdbc:mysql://hive-ms21:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
      </property>
      <property>
        <!-- mysql 驱动 -->
@@ -136,14 +136,10 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
        <name>hive.execution.engine</name>
        <value>tez</value>
      </property> -->
-      <property>
-        <name>tez.am.staging-dir</name>
-        <value>/hive/tez/staging</value>
-      </property>
    </configuration>
    ```

-## 初始化 hive 库
+### 初始化 hive 库
 - 在 **hive-ms21** 上执行如下操作
    ```bash
    schematool -dbType mysql -initSchema
@@ -164,10 +160,12 @@ Rocky9 | hive-ms21 | 192.168.8.21/24 | Hive Metastore, MySQL8.0
 - 本地直接连接
    ```bash
    hive
+    # 暂时忽略"WARNING: Hive-on-MR is deprecated in Hive 2 ..."
    ```

 - beeline 连接，需要[在 $HADOOP_HOME/etc/hadoop/core-site.xml 中配置 proxyuser](/post/hdp2/#修改-core-sitexml)
    ```bash
    beeline -u jdbc:hive2://hive-hs20:10000 -n root
+    # 暂时忽略"WARNING: Hive-on-MR is deprecated in Hive 2 ..."
    ```