在对 Ceph 进行调优时常常会通过查看 PG 在 OSD 中的分布情况，如果分布不均匀，会影响集群性能。

使用下面命令可以查看 PG 在 OSD 的分布情况：

echo -e "OSD-ID\t\t\tPGS";for i in `ceph osd ls`;do echo -ne "osd.$i\t\t\t";ceph pg ls-by-primary $i|grep -v PG_STAT|wc -l ;done

调优参考：Nautilus 版本PG 分布调优

1. 目标

   在短时间内恢复服务正常运营（满足 SLA [Service-Level Agreement]），将业务运营的负面影响降至最低。

2. 范围

   包括：

   • 用户和技术人员报告的失效、问题或疑问
   • 事件监控工具的自动发现和报告

3. 对企业的价值

   • 能够检测和解决故障
   • 能够将IT活动与实时业务优先级相关联
   • 能够发现潜在的服务改进方面
   • 服务台可以从中发现额外需要的服务或培训需求
   • 故障管理在企业中有很高的曝光率，更容易展示出流程价值所在，为争取投资提供支持。

4. 基本概念

   • 处理时限：

     • 根据 SLA 中规定的整体故障响应与解决目标，在不同的故障处理阶段必须确定具体处理时限。要在 OLA [Operational Level Agreement] 和 UC [Underpinning Contract] 中作为目标明确规定
     • 所有支持小组必须清除了解这些处理时限
     • 可以借助服务管理工具用于自动执行处理时限，并根据预定义规则升级

   • 故障模型：

     • 预定的“标准”故障模型将有助于在故障发生时对应到合适的故障
     • 按故障模型要求将信息输入到故障处理支持工具中，之后该类工具可以自动进行流程的处理、管理与升级工作

   • 模型包括：

     • 处理故障应遵循的步骤
     • 这些步骤应遵循的时间顺序，相互依赖关系
     • 职责
     • 措施完成的时间表与阈值
     • 升级程序，应该联系谁，何时进行升级
     • 任何必要的证据保留

   • 重大故障：

     • 组织必须明确标识出哪类事件构成重大故障
     • 必要时可以动态成立一支重大故障处理团队
     • 如果需要调查故障原因，问题经理也需要参与其中
     • 服务台需确保所有活动均记录在案，且用户了解具体进展

- 阅读剩余部分 -

相信各界搞机人士都经历过磁盘损坏导致数据丢失的痛，博主家的 NAS 就曾经坏了一块 3T 硬盘，数据尽失，那个痛啊！此后，博主家的 NAS 就改成了 RAID 1。

Too young,too simple. RAID 1 虽然允许坏一块硬盘，但如果你都不知道它什么时候坏了，等两块都坏了那就真的无力回天了。

为了避免遇到这种困境，用户可以试用一款叫做 smartmontools 的软件包程序，它通过使用自我监控(Self-Monitoring)、分析(Analysis)和报告(Reporting)三种技术（缩写为S.M.A.R.T.或SMART）来管理和监控存储硬件。如今大部分的ATA/SATA、SCSI/SAS和固态硬盘都搭载内置的SMART系统。SMART的目的是监控硬盘的可靠性、预测磁盘故障和执行各种类型的磁盘自检。smartmontools由smartctl和smartd两部分工具程序组成，它们一起为Linux平台提供对磁盘退化和故障的高级警告。

安装 Smartmontools

[root@localhost ~]# yum install -y smartmontools

使用 smartctl 检测硬盘的健康状况

[root@localhost ~]# smartctl --info /dev/sdc

smartctl 6.5 2016-05-07 r4318 [x86_64-linux-3.10.0-957.5.1.el7.x86_64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 7200.14 (AF)
Device Model:     ST500DM002-1BD142
Serial Number:    W2AL00M0
LU WWN Device Id: 5 000c50 05ccf9cc4
Firmware Version: KC45
User Capacity:    500,107,862,016 bytes [500 GB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is:    Mon Mar 18 15:03:42 2019 CST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

- 阅读剩余部分 -

控制节点部署见：OpenStack Rocky(R版) 部署手册 - 控制节点

部署环境

环境准备

关闭防火墙

[root@node2 ~]# systemctl disable firewalld
[root@node2 ~]# systemctl stop firewalld

关闭 SELinux

[root@node2 ~]# sed -i 's/^SELINUX=enforcing/SELINUX=disabled' /etc/selinux/config
[root@node2 ~]# setenforce 0

时间同步

[root@node2 ~]# yum install -y chrony
[root@node2 ~]# systemctl enable chronyd
[root@node2 ~]# systemctl start chronyd

Host 解析

192.168.31.11    controller
192.168.31.12    node2
192.168.31.13    node3

更新系统

[root@node2 ~]# yum upgrade -y

以 node2 为例，加入其它计算节点操作一样。

- 阅读剩余部分 -

部署环境

环境准备

关闭防火墙

[root@controller ~]# systemctl disable firewalld
[root@controller ~]# systemctl stop firewalld

关闭 SELinux

[root@controller ~]# sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
[root@controller ~]# setenforce 0

时间同步

[root@controller ~]# yum install -y chrony
[root@controller ~]# systemctl enable chronyd
[root@controller ~]# systemctl start chronyd

Host 解析

192.168.31.11    controller
192.168.31.12    node2
192.168.31.13    node3

更新系统

[root@controller ~]# yum upgrade -y

- 阅读剩余部分 -