colben/www.colben.cn
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

update

Browse Source
This commit is contained in:
colben
2026-04-07 09:58:27 +08:00
parent 78e8ced96b
commit 5cc3c258dd
2 changed files with 29 additions and 34 deletions
Download Patch File Download Diff File Expand all files Collapse all files

16
content/post/hdp2.md
View File

@@ -11,13 +11,13 @@ categories: ["hadoop"]
主机名 | 地址 | 本地数据目录 | 组件
---- | ---- | ---- | ----
编译服务器 | - | - | 各种编译工具
hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode, Spark
hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode Spark
hdp-snn | 192.168.8.2/24 | /data/hdp-snn | SecondaryNamenode
hdp-rm | 192.168.8.3/24 | - | ResourceManager
hdp-slave0 | 192.168.8.10/24 | /data/hdp-dn | Datanode, NodeManager, Spark
hdp-slave1 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager, Spark
hive-hs | 192.168.8.20/24 | - | HiveServer2, Tez
hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez
hdp-slave0 | 192.168.8.10/24 | /data/hdp-dn | Datanode NodeManager, Spark
hdp-slave1 | 192.168.8.11/24 | /data/hdp-dn | Datanode NodeManager Spark
hive-hs | 192.168.8.20/24 | - | HiveServer2 Tez
hive-ms | 192.168.8.21/24 | - | HiveMetastore Tez
hbase-m | 192.168.8.30/24 | - | HbaseMaster
hbase-bm | 192.168.8.31/24 | - | HbaseBackupMaster
hbase-rs0 | 192.168.8.32/24 | - | HbaseRigionServer
@@ -56,15 +56,13 @@ hbase-rs1 | 192.168.8.33/24 | - | HbaseRigionServer
```
### 部署 jdk8 环境
- 在**全部主机**上执行如下操作
- 上传**最新的 jdk8 安装包**，解压
- 在**全部主机**上下载**最新的 jdk8 安装包**，解压
```bash
tar zxf jdk-8u471-linux-x64.tar.gz
mv jdk1.8.0_471 /opt/jdk
# 无需配置 jdk 环境变量
```
- 无需配置 jdk 环境变量
### 部署 dfs 和 yarn 集群
- 在**全部主机**上执行如下操作
- 下载 hadoop 2.10.2 部署包，解压

47
content/post/hdp3.3.md
View File

@@ -8,15 +8,15 @@ categories: ["hadoop"]
---
## 环境
主机名 | 地址 | 数据目录 | 运行组件
主机名 | 地址 | 数据目录 | 组件
---- | ---- | ---- | ----
hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode
hdp-snn | 192.168.8.2/24 | /data/hdp-snn | SecondaryNamenode
hdp-rm | 192.168.8.3/24 | - | ResourceManager
hdp-slave0 | 192.168.8.10/24 | /data/hdp-dn | Datanode, NodeManager
hdp-slave1 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager
hive-hs | 192.168.8.20/24 | - | HiveServer2, Tez
hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez
hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode
hdp-snn | 192.168.8.2/24 | /data/hdp-snn | SecondaryNamenode
hdp-rm | 192.168.8.3/24 | - | ResourceManager
hdp-worker0 | 192.168.8.10/24 | /data/hdp-dn | Datanode NodeManager
hdp-worker1 | 192.168.8.11/24 | /data/hdp-dn | Datanode NodeManager
hive-hs | 192.168.8.20/24 | - | HiveServer2 Tez
hive-ms | 192.168.8.21/24 | - | HiveMetastore Tez
## 部署 hadoop 集群
### 服务器初始配置
@@ -30,36 +30,34 @@ hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez
192.168.8.1 hdp-nn
192.168.8.2 hdp-snn
192.168.8.3 hdp-dn
192.168.8.10 hdp-slave0
192.168.8.11 hdp-slave1
192.168.8.10 hdp-worker0
192.168.8.11 hdp-worker1
```
### ssh 免密登录
- 在 **hdp-nn** 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-slaveX
- 在 **hdp-nn** 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-workerX
```bash
ssh-copy-id hdp-nn
ssh-copy-id hdp-snn
ssh-copy-id hdp-slave0
ssh-copy-id hdp-slave1
ssh-copy-id hdp-worker0
ssh-copy-id hdp-worker1
```
- 在 **hdp-rm** 上配置 ssh 免密登录 hdp-rm 和 hdp-slaveX
- 在 **hdp-rm** 上配置 ssh 免密登录 hdp-rm 和 hdp-workerX
```bash
ssh-copy-id hdp-rm
ssh-copy-id hdp-slave0
ssh-copy-id hdp-slave1
ssh-copy-id hdp-worker0
ssh-copy-id hdp-worker1
```
### 部署 jdk8 环境
- 在**全部主机**上执行如下操作
- 上传**最新的 jdk8 安装包**，解压
- 在**全部主机**上下载**最新的 jdk8 安装包**，解压
```bash
tar zxf jdk-8u471-linux-x64.tar.gz
mv jdk1.8.0_471 /opt/jdk
# 无需配置 jdk 环境变量
```
- 无需配置 jdk 环境变量
### 部署 dfs 和 yarn 集群
- 在**全部主机**上执行如下操作
- 下载 hadoop 3.3.6 部署包，解压
@@ -237,10 +235,10 @@ hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez
</configuration>
```
- 编辑 $HADOOP_HOME/etc/hadoop/workers，替换成全部的 slave 主机，参考内容如下
- 编辑 $HADOOP_HOME/etc/hadoop/workers，替换成全部的 worker 主机，参考内容如下
```
hdp-slave0
hdp-slave1
hdp-worker0
hdp-worker1
```
### 格式化 namenode
@@ -287,8 +285,7 @@ hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez
```
### 部署 tez 环境
- 在 **hive-X** 上执行如下操作
- 下载 tez 0.10.4 安装包，解压
- 在 **hive-X** 上下载 tez 0.10.4 安装包，解压
```bash
curl -LO https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.10.4/apache-tez-0.10.4-bin.tar.gz
tar zxf apache-tez-0.10.4-bin.tar.gz