diff --git a/content/post/hdp2.md b/content/post/hdp2.md index 0c04532..6c9b5d5 100644 --- a/content/post/hdp2.md +++ b/content/post/hdp2.md @@ -11,13 +11,13 @@ categories: ["hadoop"] 主机名 | 地址 | 本地数据目录 | 组件 ---- | ---- | ---- | ---- 编译服务器 | - | - | 各种编译工具 -hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode, Spark +hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode Spark hdp-snn | 192.168.8.2/24 | /data/hdp-snn | SecondaryNamenode hdp-rm | 192.168.8.3/24 | - | ResourceManager -hdp-slave0 | 192.168.8.10/24 | /data/hdp-dn | Datanode, NodeManager, Spark -hdp-slave1 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager, Spark -hive-hs | 192.168.8.20/24 | - | HiveServer2, Tez -hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez +hdp-slave0 | 192.168.8.10/24 | /data/hdp-dn | Datanode NodeManager, Spark +hdp-slave1 | 192.168.8.11/24 | /data/hdp-dn | Datanode NodeManager Spark +hive-hs | 192.168.8.20/24 | - | HiveServer2 Tez +hive-ms | 192.168.8.21/24 | - | HiveMetastore Tez hbase-m | 192.168.8.30/24 | - | HbaseMaster hbase-bm | 192.168.8.31/24 | - | HbaseBackupMaster hbase-rs0 | 192.168.8.32/24 | - | HbaseRigionServer @@ -56,15 +56,13 @@ hbase-rs1 | 192.168.8.33/24 | - | HbaseRigionServer ``` ### 部署 jdk8 环境 -- 在**全部主机**上执行如下操作 -- 上传**最新的 jdk8 安装包**,解压 +- 在**全部主机**上下载**最新的 jdk8 安装包**,解压 ```bash tar zxf jdk-8u471-linux-x64.tar.gz mv jdk1.8.0_471 /opt/jdk + # 无需配置 jdk 环境变量 ``` -- 无需配置 jdk 环境变量 - ### 部署 dfs 和 yarn 集群 - 在**全部主机**上执行如下操作 - 下载 hadoop 2.10.2 部署包,解压 diff --git a/content/post/hdp3.3.md b/content/post/hdp3.3.md index b40dede..58ee1c2 100644 --- a/content/post/hdp3.3.md +++ b/content/post/hdp3.3.md @@ -8,15 +8,15 @@ categories: ["hadoop"] --- ## 环境 -主机名 | 地址 | 数据目录 | 运行组件 +主机名 | 地址 | 数据目录 | 组件 ---- | ---- | ---- | ---- -hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode -hdp-snn | 192.168.8.2/24 | /data/hdp-snn | SecondaryNamenode -hdp-rm | 192.168.8.3/24 | - | ResourceManager -hdp-slave0 | 192.168.8.10/24 | /data/hdp-dn | Datanode, NodeManager -hdp-slave1 | 192.168.8.11/24 | /data/hdp-dn | Datanode, NodeManager -hive-hs | 192.168.8.20/24 | - | HiveServer2, Tez -hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez +hdp-nn | 192.168.8.1/24 | /data/hdp-nn | Namenode +hdp-snn | 192.168.8.2/24 | /data/hdp-snn | SecondaryNamenode +hdp-rm | 192.168.8.3/24 | - | ResourceManager +hdp-worker0 | 192.168.8.10/24 | /data/hdp-dn | Datanode NodeManager +hdp-worker1 | 192.168.8.11/24 | /data/hdp-dn | Datanode NodeManager +hive-hs | 192.168.8.20/24 | - | HiveServer2 Tez +hive-ms | 192.168.8.21/24 | - | HiveMetastore Tez ## 部署 hadoop 集群 ### 服务器初始配置 @@ -30,36 +30,34 @@ hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez 192.168.8.1 hdp-nn 192.168.8.2 hdp-snn 192.168.8.3 hdp-dn - 192.168.8.10 hdp-slave0 - 192.168.8.11 hdp-slave1 + 192.168.8.10 hdp-worker0 + 192.168.8.11 hdp-worker1 ``` ### ssh 免密登录 -- 在 **hdp-nn** 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-slaveX +- 在 **hdp-nn** 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-workerX ```bash ssh-copy-id hdp-nn ssh-copy-id hdp-snn - ssh-copy-id hdp-slave0 - ssh-copy-id hdp-slave1 + ssh-copy-id hdp-worker0 + ssh-copy-id hdp-worker1 ``` -- 在 **hdp-rm** 上配置 ssh 免密登录 hdp-rm 和 hdp-slaveX +- 在 **hdp-rm** 上配置 ssh 免密登录 hdp-rm 和 hdp-workerX ```bash ssh-copy-id hdp-rm - ssh-copy-id hdp-slave0 - ssh-copy-id hdp-slave1 + ssh-copy-id hdp-worker0 + ssh-copy-id hdp-worker1 ``` ### 部署 jdk8 环境 -- 在**全部主机**上执行如下操作 -- 上传**最新的 jdk8 安装包**,解压 +- 在**全部主机**上下载**最新的 jdk8 安装包**,解压 ```bash tar zxf jdk-8u471-linux-x64.tar.gz mv jdk1.8.0_471 /opt/jdk + # 无需配置 jdk 环境变量 ``` -- 无需配置 jdk 环境变量 - ### 部署 dfs 和 yarn 集群 - 在**全部主机**上执行如下操作 - 下载 hadoop 3.3.6 部署包,解压 @@ -237,10 +235,10 @@ hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez ``` -- 编辑 $HADOOP_HOME/etc/hadoop/workers,替换成全部的 slave 主机,参考内容如下 +- 编辑 $HADOOP_HOME/etc/hadoop/workers,替换成全部的 worker 主机,参考内容如下 ``` - hdp-slave0 - hdp-slave1 + hdp-worker0 + hdp-worker1 ``` ### 格式化 namenode @@ -287,8 +285,7 @@ hive-ms | 192.168.8.21/24 | - | HiveMetastore, Tez ``` ### 部署 tez 环境 -- 在 **hive-X** 上执行如下操作 -- 下载 tez 0.10.4 安装包,解压 +- 在 **hive-X** 上下载 tez 0.10.4 安装包,解压 ```bash curl -LO https://mirrors.tuna.tsinghua.edu.cn/apache/tez/0.10.4/apache-tez-0.10.4-bin.tar.gz tar zxf apache-tez-0.10.4-bin.tar.gz