Ceph Cookbook 中文版

1、ceph介绍、ceph块存储、ceph对象存储、ceph文件系统、用Calamari监控Ceph、操作和管理ceph集群、深入ceph、ceph生产计划和性能调优、ceph虚拟存储管理器、ceph扩展
2、架构：
Ceph monitor：监控器
OSD:Ceph对象存储设备
MDS:Ceph元数据服务器
RADOS：负责保存存储对象
librados:为其他编程语言提供RADOS的接口
RBD：RADOS块设备
RGW:RADOS网关接口
CephFS:文件系统
解决方案：

image.png

3、提供三种形式的存储格式：块、文件系统、对象存储
4、有分层特性的镜像只支持format-2类型，而默认是format-1类型的镜像
分层特性COW，父镜像是可以删除的
5、块存储，直接挂载
6、对象存储，程序直接调用

image.png
RGW建议在负载均衡之前
image.png
7、通过S3访问对象存储，通过swift访问对象存储
8、联合ra'dosgw，多区域网关
image.png
image.png
image.png
9、ceph文件系统，cephFS通过libcephfs库直接与RADOS集群交互：MDS
访问ceph文件系统的方法：1、ceph FUSE 2、2.6以上linux内核 3、NFS Ganesha
10、window系统通过ceph-dokan来挂载ceph文件系统
11、监控Calamari
ceph -w 查看集群信息

ceph df 查看集群存储使用情况
ceph -s /status 查看集群状态
ceph auth list 获取认证信息
ceph mon stat 集群mon状态
ceph quorum_status -f json-pretty 查看集群仲裁信息
ceph osd tree 查看osd状态
ceph osd dump 查看osd详细信息
ceph osd find xx 查找
查看pg的状态 ceph pg stat
ceph pg dump -f json_pretty
ceph pg 2.7d query 查看特定pg的状态
11、查看MDS
ceph fs ls
ceph mds stat
ceph mds dump
12、安装统一监控软件calamari
13、启动所有
/etc/init.d/ceph -a start
/etc/init.d/ceph -a start mon
/etc/init.d/ceph -a start osd
/etc/init.d/ceph -a start mds
/etc/init.d/ceph -a start ceph-radosgw
14、扩展节点、缩小节点、升级
15、

image.png
16、CRUSH算法：客户端根据需要计算数据被写到哪里，从哪里读数据
image.png
反编译CRUSH MAP
image.png
Device osd
bucket types
image.png
自定义bucket类型
image.png
image.png
image.png
image.png
image.png
image.png

cephx验证

image.png
image.png
image.png
image.png
image.png
image.png
image.png image.png
image.png

ob --- pg ----osd--pool

image.png
image.png

pg的状态

image.png
image.png
image.png
~~创建存储池

一个OSD，单核或以上足够

image.png

一个OSD，2GB内存，如果物理硬盘多或大容量，增加内存
10G,20G SSD做日志盘

image.png

global-----
max open files

image.png

osd pool default min size

image.png
pg数量,osd 100PG
image.png
image.png

日志

image.png
monitor----
image.png
image.png
osd---
image.png
image.png
image.png
image.png
osd日志设置
image.png
image.png

osd filestore

image.png
image.png
image.png
osd recocery
image.png
osd backfilling
image.png
osd scrubbing
image.png
image.png
client---
image.png
image.png

操作系统调优

image.png
image.png
image.png
image.png
image.png
image.png

纠删码

image.png
image.png
image.png

用VSM来管理ceph