在將Ceph集群用于生產(chǎn)工作之前，應(yīng)該首先對(duì)它進(jìn)行基準(zhǔn)測(cè)試。基準(zhǔn)測(cè)試提供關(guān)于群集在讀、寫(xiě)、延遲和其他工作負(fù)載期間執(zhí)行情況的大致結(jié)果。在進(jìn)行真正的基準(zhǔn)測(cè)試之前，最好通過(guò)測(cè)量連接到群集節(jié)點(diǎn)的硬件（如磁盤(pán)和網(wǎng)絡(luò)）的性能，為預(yù)期的最大性能建立一個(gè)基準(zhǔn)。磁盤(pán)性能基線(xiàn)測(cè)試將分兩步完成。首先，我們將測(cè)量單個(gè)磁盤(pán)的性能，在此之后，將同時(shí)測(cè)量連接到一個(gè)Ceph OSD節(jié)點(diǎn)的所有磁盤(pán)性能。為了獲得磁盤(pán)讀寫(xiě)性能，我們可以使用dd命令并設(shè)置oflag參數(shù)以直接繞過(guò)磁盤(pán)緩存以獲得真實(shí)的結(jié)果。

測(cè)試單磁盤(pán)寫(xiě)入性能

清空頁(yè)面緩存；

echo 3 > /proc/sys/vm/drop_caches

使用dd編寫(xiě)一個(gè)大小為10G的名為deleteme的文件，該文件填充為0/dev/zero作為Ceph OSD安裝目錄的輸入文件，即/var/lib/ceph/osd/cep-0/：

dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/zero   bs=10G count=1

重復(fù)執(zhí)行后取平均值，我這邊沒(méi)有繞過(guò)內(nèi)核緩存，所以測(cè)試出來(lái)的結(jié)果會(huì)偏高，（ubuntu系統(tǒng)執(zhí)行dd繞過(guò)內(nèi)核緩存的參數(shù)好像不支持。）

接下來(lái)可以測(cè)試單個(gè)節(jié)點(diǎn)上所有的osd寫(xiě)入性能 我這邊每臺(tái)宿主機(jī)上osd只有一個(gè)，所以數(shù)據(jù)與上面相同；

for i in `mount | grep osd | awk '{print $3}'`;   do (dd if=/dev/zero   of=$i/zero bs=10G count=1  &) ; done

osd單盤(pán)讀性能測(cè)試

清空頁(yè)面緩存；

echo 3 > /proc/sys/vm/drop_caches

dd if=/var/lib/ceph/osd/ceph-0/deleteme of=/dev/null bs=10G     count=1 iflag=direct

接下來(lái)可以測(cè)試單個(gè)節(jié)點(diǎn)上所有的osd寫(xiě)入性能 我這邊每臺(tái)宿主機(jī)上osd只有一個(gè)，所以數(shù)據(jù)與上面相同；

echo 3 > /proc/sys/vm/drop_caches
for i in `mount | grep osd | awk '{print $3}'`;   do (dd if=$i/zero         of=/dev/null bs=10G count=1 &); done

網(wǎng)絡(luò)基線(xiàn)性能

測(cè)試Ceph OSD節(jié)點(diǎn)之間的網(wǎng)絡(luò)的基線(xiàn)性能。需要在Ceph節(jié)點(diǎn)上安裝了iper包。iperf是一個(gè)簡(jiǎn)單的點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)帶寬測(cè)試器，工作在c/s模型上。要啟動(dòng)網(wǎng)絡(luò)基準(zhǔn)測(cè)試，可以在第一個(gè)Ceph節(jié)點(diǎn)上使用server選項(xiàng)，在第二個(gè)Ceph節(jié)點(diǎn)中使用client選項(xiàng)執(zhí)行iperf。

安裝iperf；

apt install iperf

node1節(jié)點(diǎn)作為server，使用6900端口；

node2節(jié)點(diǎn)作為client；

由于我這邊是千兆網(wǎng)絡(luò)，所以實(shí)際網(wǎng)絡(luò)帶寬不是很高，生產(chǎn)環(huán)境還是要用萬(wàn)兆網(wǎng)絡(luò)進(jìn)行連接；

rados bench基準(zhǔn)測(cè)試

Ceph附帶一個(gè)稱(chēng)為rados bench的內(nèi)置基準(zhǔn)測(cè)試工具，可以在池上測(cè)試Ceph集群的性能。rados bench工具支持寫(xiě)入、順序讀取和隨機(jī)讀取基準(zhǔn)測(cè)試，并且它還允許清理臨時(shí)基準(zhǔn)數(shù)據(jù)。接下來(lái)我們對(duì)libvirt-pool池進(jìn)行寫(xiě)10秒的測(cè)試，--no-cleanup寫(xiě)完之后不清里測(cè)試數(shù)據(jù)，后面的測(cè)試會(huì)用到這些測(cè)試數(shù)據(jù)；

rados bench -p libvirt-pool 10 write --no-cleanup

對(duì)libvirt-pool池進(jìn)行順序讀取的測(cè)試；

rados bench -p libvirt-pool 10 seq

可以看到實(shí)際用了不到十秒的時(shí)間就已經(jīng)讀完了測(cè)試數(shù)據(jù)，原因就是讀操作比寫(xiě)操作快，測(cè)試寫(xiě)數(shù)據(jù)用了十秒，度相同的數(shù)據(jù)肯定用不到十秒的；

隨機(jī)讀取數(shù)據(jù)測(cè)試；

rados bench -p libvirt-pool 10 rand

rados bench的語(yǔ)法如下；

rados bench -p <pool_name> <seconds> <write|seq|rand> -b <block size> -t  --no-cleanup

-p:  -p或-poo指定池名.
<seconds>：測(cè)試時(shí)間（以秒為單位）。
<writelseqlrand>：測(cè)試類(lèi)型，例如寫(xiě)入、順序讀取或隨機(jī)讀取。
-b： 塊大小，默認(rèn)情況下塊大小為4M。
-t： 并發(fā)線(xiàn)程數(shù)；默認(rèn)值為16
--no-clean up：由rados工作臺(tái)寫(xiě)入池的臨時(shí)數(shù)據(jù)，不被清除。當(dāng)這些數(shù)據(jù)與順序讀取或隨機(jī)讀取一起使用時(shí)，它們將被用于讀取操作。默認(rèn)情況下數(shù)據(jù)會(huì)清理。

RADOS load-gen

rados load-gen 是CEPH提供的另一個(gè)測(cè)試工具,  像它的命名一樣，rados load-gen 工具能用來(lái)在Ceph cluster上生成負(fù)載和用于模擬高負(fù)載場(chǎng)景。

rados -p libvirt-pool load-gen --num-objects 200 --min-object-size 4M --max-object-size 8M --max-ops 10 --read-percent 0 --min-op-len 1M --max-op-len 4M --target-throughput 2G --run-length 20

命令行格式及參數(shù)說(shuō)明：

rados -p <pool-name> load-gen
--num-objects: 生成測(cè)試用的對(duì)象數(shù)，默認(rèn) 200
--min-object-size: 測(cè)試對(duì)象的最小size，默認(rèn) 1KB，單位byte
--max-object-size: 測(cè)試對(duì)象的最大size，默認(rèn) 5GB，單位byte
--min-ops: 最小IO操作數(shù)，相當(dāng)于iodepth
--max-ops: 最大IO操作數(shù)，相當(dāng)于iodepth
--min-op-len: 壓測(cè)IO的最小operation size，默認(rèn) 1KB，單位byte
--max-op-len: 壓測(cè)IO的最大operation size，默認(rèn) 2MB，單位byte
--max-backlog: 一次提交IO的吞吐量上限，默認(rèn)10MB/s (單位MB)
--percent:  讀操作所占的百分百
--target-throughput: 目標(biāo)吞吐量，默認(rèn) 5MB/s (單位MB)
--run-length: 運(yùn)行的時(shí)間，默認(rèn)60s，單位秒

還可以使用watch ceph-s命令或ceph-w監(jiān)視集群的讀寫(xiě)速度/操作狀態(tài)；同時(shí)，RADOS load-gen將運(yùn)行，以查看運(yùn)行情況。

塊設(shè)備基準(zhǔn)測(cè)試

ceph rbd命令行接口提供了一個(gè)稱(chēng)為bench-write的選項(xiàng)，這是一個(gè)在Ceph Rados Block Device上執(zhí)行寫(xiě)基準(zhǔn)測(cè)試操作的工具。可以使用bench-write工具的不通選項(xiàng)來(lái)調(diào)整塊大小，線(xiàn)程數(shù)和io模式。首先創(chuàng)建一個(gè)塊設(shè)備并將其映射至ceph客戶(hù)端；

rbd create libvirt-pool/289 --size 10240 --image-feature layering       
rbd info -p libvirt-pool --image 289      
rbd map  libvirt-pool/289  
rbd showmapped

塊設(shè)備上創(chuàng)建文件系統(tǒng)并掛載；

mkfs.xfs /dev/rbd2        
mkdir -p /mnt/289  
mount /dev/rbd2 /mnt/289   
df -h /mnt/289

對(duì)289寫(xiě)入5G大小的測(cè)試；

rbd bench-write libvirt-pool/289 --io-total 5368709200

rbd bench-write 的語(yǔ)法為：

rbd bench-write <RBD image name>

--io-size：寫(xiě)入大小，單位 byte，默認(rèn)4M；
--io-threads：線(xiàn)程數(shù)，默認(rèn) 16；
--io-total：寫(xiě)入總字節(jié)，單位為字節(jié)，默認(rèn) 1024M；
--io-pattern <seq|rand>：寫(xiě)模式，默認(rèn)為 seq 即順序?qū)懀?/span>

使用fio對(duì)ceph rbd進(jìn)行基準(zhǔn)測(cè)試；

安裝fio；

apt install fio -y

寫(xiě)入fio配置文件；

vim write.fio
[write-4M]
ioengine=rbd
direct=1   # 排除OS的IO緩存機(jī)制的影響
size=5g     # 每個(gè)fio進(jìn)程/線(xiàn)程的最大讀寫(xiě)
lockmem=1G   # 鎖定所使用的內(nèi)存大小
runtime=30   #  運(yùn)行時(shí)間
group_reporting   # 多個(gè)job合并出報(bào)告
numjobs=1
iodepth=32
pool=libvirt-pool
clientname=admin
rbdname=289
rw=write   #讀寫(xiě)模式，支持隨機(jī)讀寫(xiě)、順序讀寫(xiě)
bs=4M
filename=/dev/rbd0

啟動(dòng)fio測(cè)試；

fio write.fio