This commit is contained in:
2021-11-14 15:52:46 +08:00
parent 915c231124
commit 1e344dc204
112 changed files with 1039 additions and 1039 deletions

View File

@@ -7,14 +7,14 @@ tags: ["ceph"]
categories: ["storage"]
---
# 环境
## 环境
操作系统 | 主机名 | 公用地址 | 集群地址 | 数据裸盘 | ceph 版本
---- | ---- | ---- | ---- | ---- | ----
Rocky Linux 8.4 | ceph41 | 10.0.4.41 | 192.168.4.41 | /dev/sdb, /dev/sdc | 15.2.14
Rocky Linux 8.4 | ceph42 | 10.0.4.42 | 192.168.4.42 | /dev/sdb, /dev/sdc | 15.2.14
Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.14
# 关闭防火墙,配置 host
## 关闭防火墙,配置 host
- 在全部节点上执行如下操作
- 关闭 firewalld 和 SELinux
```bash
@@ -30,7 +30,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
echo "10.0.4.43 ceph43" >> /etc/hosts
```
# 配置 yum 源
## 配置 yum 源
- 在全部节点上执行如下操作
- 移动系统默认的 repo 文件到备份目录
```bash
@@ -103,7 +103,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
dnf makecache
```
# 配置时间同步
## 配置时间同步
- 在全部节点上执行如下操作
- 安装 chrony
```bash
@@ -134,7 +134,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
systemctl enable chronyd
```
# 安装 ceph
## 安装 ceph
- 在全部节点上执行如下操作
```bash
dnf install leveldb gdisk gperftools-libs python3-ceph-argparse nvme-cli
@@ -156,7 +156,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
osd_pool_default_min_size = 2
```
# 部署 mon
## 部署 mon
- 在 ceph41 上执行如下操作
- 这里创建了一堆傻逼密钥文件,没看懂啥意思,照搬官网
```bash
@@ -230,7 +230,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
ceph config set mon auth_allow_insecure_global_id_reclaim false
```
## 查看集群状态
### 查看集群状态
- 在任一节点上执行如下操作
```bash
ceph -s
@@ -254,7 +254,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
pgs:
```
# 部署 mgr
## 部署 mgr
- 在 ceph41 上执行如下操作
- 又是创建密钥文件,没看懂啥意思,照搬官网
```bash
@@ -297,7 +297,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
systemctl enable ceph-mgr@ceph43
```
## 查看集群状态
### 查看集群状态
- 在任一节点上执行如下操作
```bash
ceph -s
@@ -322,8 +322,8 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
pgs:
```
# 部署 osd
## 逻辑卷 osd
## 部署 osd
### 逻辑卷 osd
- 操作简单,推荐
- 直接创建并启动逻辑卷 osd
```bash
@@ -333,7 +333,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
- 上一步执行成功后,每个 ceph-osd 服务都已启动,且开机自动启动
## 裸设备 osd
### 裸设备 osd
- 操作麻烦,不推荐
- 在全部节点上执行如下操作
- 准备 osd
@@ -401,7 +401,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
' >> /etc/rc.d/rc.local
```
## 查看集群状态
### 查看集群状态
- 在任一节点执行如下操作
```bash
ceph -s
@@ -425,7 +425,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
pgs: 1 active+clean
```
# 部署 mds
## 部署 mds
- 只有 cephfs 会用到 mds
- 在 ceph41 上执行如下操作
- 创建密钥文件 ...... 照搬官网
@@ -469,7 +469,7 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
systemctl enable ceph-mds@ceph43
```
## 查看集群状态
### 查看集群状态
- 在任一节点上执行如下操作
```bash
ceph -s
@@ -494,15 +494,15 @@ Rocky Linux 8.4 | ceph43 | 10.0.4.43 | 192.168.4.43 | /dev/sdb, /dev/sdc | 15.2.
pgs: 1 active+clean
```
# 简单使用
## rbd
## 简单使用
### rbd
- 创建 rbd 池
```bash
ceph osd pool create rbd 128 128
ceph osd pool application enable rbd rbd
```
## cephfs
### cephfs
- 创建 cephfs 池
```bash
# 创建 cephfs 元数据池pg 不用太大,设置 3 个副本