使用cephadm安装ceph octopus版本

前言

安装Ceph的推荐方法是使用cephadm工具。以下是在Linux系统上使用cephadm安装Ceph的详细步骤：

1. 确保你的系统满足Ceph的要求。Cephadm支持运行最新的稳定版Linux发行版，如CentOS、Ubuntu、Debian等。确保你的系统已经更新到最新版本，并且满足Ceph的硬件和软件要求。
2. 安装Docker。Cephadm使用Docker容器来管理和运行Ceph组件。确保在系统上安装了Docker，并且启动了Docker服务。
3. 安装Cephadm工具。Cephadm是Ceph的管理工具，用于设置和管理Ceph集群。你可以从Ceph的官方存储库中获取Cephadm工具。具体的安装步骤取决于你使用的Linux发行版。以下是在centos上安装Cephadm的示例命令：

一、安装环境信息

本次安装使用的是centos7.9系统

主机名	管理网络	存储网络	OS
ceph1	10.168.1.100	192.168.100.100	centos7.9
ceph2	10.168.1.101	192.168.100.101	centos7.9
ceph3	10.168.1.102	192.168.100.102	centos7.9

二、基础环境配置

网络配置相关这里不在过多介绍，请自行配置。

以下操作所有节点都要配置

关闭防火墙和selinux

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config

关闭swap

sed -i '/swap/s/^/#/g' /etc/fstab
swapoff -a

配置清华源

sudo sed -e 's|^mirrorlist=|#mirrorlist=|g' \
         -e 's|^#baseurl=http://mirror.centos.org/centos|baseurl=https://mirrors.tuna.tsinghua.edu.cn/centos|g' \
         -i.bak \
         /etc/yum.repos.d/CentOS-*.repo

重建索引缓存

yum clean all
yum makecache

安装基础软件

yum install -y vim net-tools bash-comp* python3 epel-release
sudo sed -e 's!^metalink=!#metalink=!g' \
    -e 's!^#baseurl=!baseurl=!g' \
    -e 's!https\?://download\.fedoraproject\.org/pub/epel!https://mirrors.tuna.tsinghua.edu.cn/epel!g' \
    -e 's!https\?://download\.example/pub/epel!https://mirrors.tuna.tsinghua.edu.cn/epel!g' \
    -i /etc/yum.repos.d/epel*.repo

配置hostname以及hosts文件

ceph1：

hostnamectl set-hostname ceph1
cat <<EOF>>/etc/hosts
192.168.100.100 ceph1
192.168.100.101 ceph2
192.168.100.102 ceph3
EOF
bash

ceph2：

hostnamectl set-hostname ceph2
cat <<EOF>>/etc/hosts
192.168.100.100 ceph1
192.168.100.101 ceph2
192.168.100.102 ceph3
EOF
bash

ceph3：

hostnamectl set-hostname ceph3
cat <<EOF>>/etc/hosts
192.168.100.100 ceph1
192.168.100.101 ceph2
192.168.100.102 ceph3
EOF
bash

测试连通性

for i in ceph{1..3};do ping -c1 $i;done

三、安装Docker服务

本次安装使用清华源安装方式，所有节点都要安装。

如果之前安装过请先删除

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

安装依赖，下载 repo 文件，并把软件仓库地址替换为清华源镜像站：

sudo  yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo sed -i 's+https://download.docker.com+https://mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo

最后安装

sudo yum install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

启动docker并设置开机启动

systemctl start docker
systemctl enable docker

查看docker服务状态

systemctl status docker

四、安装ceph服务

以下操作只在ceph1操作

安装cephadm

cephadm命令用于以下操作：

• 引导新集群
• 使用有效的Ceph CLI启动容器化的Shell
• 帮助调试容器化的Ceph守护进程

curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
chmod +x cephadm
mv cephadm /usr/local/bin

添加ceph源并安装ceph

cephadm add-repo --release octopus
cephadm install
sed  -i 's#https://download.ceph.com#https://mirrors.tuna.tsinghua.edu.cn/ceph#g' /etc/yum.repos.d/ceph.repo
cephadm install ceph-common

引导新集群

mkdir -p /etc/ceph
cephadm bootstrap --mon-ip 192.168.100.100

以上操作所完成的步骤：

• 为本地主机上的新群集创建monitor和manager守护程序。
• 为 Ceph 群集生成新的 SSH 密钥，并将其添加到root用户的文件/root/.ssh/authorized_keys
• 将与新群集通信所需的最小配置文件保存到 /etc/ceph/ceph.conf
• 将client.admin管理（特权！）密钥的副本写入/etc/ceph/ceph.client.admin.keyring
• 将公钥的副本写入/etc/ceph/ceph.pub

完成之后会自动创建个web管理界面。

查看ceph状态信息

cephadm shell
ceph -s

在其他节点上依次安装ceph命令包并创建ceph配置文件目录

curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
chmod +x cephadm
mv cephadm /usr/local/bin
cephadm add-repo --release octopus
sed  -i 's#https://download.ceph.com#https://mirrors.tuna.tsinghua.edu.cn/ceph#g' /etc/yum.repos.d/ceph.repo
cephadm install ceph-common
mkdir -p /etc/ceph

添加其他节点到ceph集群

从ceph1依次传输公钥到其他节点

ssh-copy-id -f -i /etc/ceph/ceph.pub ceph2
ssh-copy-id -f -i /etc/ceph/ceph.pub ceph3

告诉ceph集群，新节点是集群的一部分。

ceph orch host add ceph2
ceph orch host add ceph3

因为从国外网站拉镜像，所以会比较慢，稍等片刻。

再次在ceph1中查看集群的状态

ceph -s

至此，ceph基础环境集群安装完成。

嫌弃镜像下载慢可以加入QQ群找群主要哦，还可以扯淡和讨论技术。