Proxmox VE 6.1 + Cephで速度計測:HDDx1

Proxmox VE 6.1 + Cephで速度計測 各ノードHDD1台の記録

最初に

ようやく速度計測の準備が整ったのでまとめていきたいと思います
まずは最小構成の各ノードHDD1台のパターンです

計測環境

計測記事1発目なので改めてハードウェア構成を含めてまとめておきます

pve01
i7-9700・メモリ64GB・40GB SSD(OSで使用)・2NIC(GbE)

pve02
i7-9700・メモリ64GB・256GB SSD(OSで使用)・2NIC(GbE)

pve03
Pentium G4620・メモリ32GB・256GB SSD(OSで使用)・2NIC(GbE)

Ceph用のストレージは以下5台を各サーバに搭載
HDD ST1000DM010 1TB 7200rpm 3台
HDD WD40EZRZ 4TB 5400rpm 1台
SSD SATA Crucial MX500 500GB 1台

192.168.0.xがProxmox管理用ネットワーク
192.168.1.xがCeph用ネットワーク

各ノードのネットワーク構成は
pve01が192.168.0.11/192.168.1.11
pve02が192.168.0.12/192.168.1.12
pve03が192.168.0.13/192.168.1.13

各ノード間のレイテンシはping計測値で0.28ms~0.3ms

使用バージョンはProxmox VE 6.1-7
Proxmoxクラスター&Ceph(BlueStore)構成済

VMはpve01にCentOS7、pve02にWin10 Pro 64bitをインストール
VMのセットアップ内容はこちらの記事をご覧ください

Proxmox VE 6.1でCephベンチマーク用VMを作成する | fefcc.net
https://fefcc.net/archives/1038

今回のCeph構成

各ノードでHDD ST1000DM010 1TB 7200rpmを1台のみOSD登録
DB/WALともにOSDと同じHDDを指定
Pool01という名でCeph/RBD形式のプール作成
Pool01のPG値は128

計測の流れ

全ノードを起動

CentOS7のVMを起動

CentOS7上でfio_cdm.shを実行

CentOS7のVMをシャットダウン

Windows10のVMを起動

Windows10上でCrystalDiskMarkを実行

Windows10のVMをシャットダウン

Proxmoxのシェル上からrados benchを実行

Proxmoxのシェル上からrbd benchを実行

計測終了

VM上で速度が出ないと実用的には意味ないわけですがCeph自体の速度も知りたいので
VMの影響を受けることなくCeph本来の速度を計測する方法として
Proxmoxのシェル上から実行可能なrados benchとrbd benchコマンドを使います

Ceph/RBDのブロックサイズは4MBですが
CDMに合わせてrados benchとrbd benchは1MBで計測しています

Proxmox起動直後のメモリ使用状況

Proxmox起動して5分経過後の状況がこちら
pve01は1.71GiB

pve02は1.75GiB

pve03は1.58GiB

CentOS7のVMから計測

[root@centos7-bench ~]# ./fio_cdm.sh /root
Testing in /root
Configuration: Size:1024m Loops:5 Write Only Zeroes:0
Running Benchmark,  please wait...


Results:

Sequential Read: 148MB/s IOPS=0
Sequential Write: 13MB/s IOPS=0

512KB Read: 71MB/s IOPS=142
512KB Write: 5MB/s IOPS=10

Sequential Q32T1 Read: 114MB/s IOPS=3
Sequential Q32T1 Write: 12MB/s IOPS=0

4KB Read: 4MB/s IOPS=1250
4KB Write: 0MB/s IOPS=89

4KB Q32T1 Read: 4MB/s IOPS=1250
4KB Q32T1 Write: 0MB/s IOPS=92

4KB Q8T8 Read: 27MB/s IOPS=7000
4KB Q8T8 Write: 1MB/s IOPS=409


[root@centos7-bench ~]#

Windows10のVMから計測

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q=  8, T= 1):   158.554 MB/s [    151.2 IOPS] < 52566.15 us>
Sequential 1MiB (Q=  1, T= 1):   133.171 MB/s [    127.0 IOPS] <  7857.56 us>
    Random 4KiB (Q= 32, T=16):    93.429 MB/s [  22809.8 IOPS] < 22178.16 us>
    Random 4KiB (Q=  1, T= 1):     7.126 MB/s [   1739.7 IOPS] <   573.90 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):    19.506 MB/s [     18.6 IOPS] <406129.45 us>
Sequential 1MiB (Q=  1, T= 1):     6.921 MB/s [      6.6 IOPS] <150344.42 us>
    Random 4KiB (Q= 32, T=16):     0.820 MB/s [    200.2 IOPS] <673047.17 us>
    Random 4KiB (Q=  1, T= 1):     0.194 MB/s [     47.4 IOPS] < 21064.36 us>

[Mix] Read 70%/Write 30%
Sequential 1MiB (Q=  8, T= 1):    39.005 MB/s [     37.2 IOPS] <206407.97 us>
Sequential 1MiB (Q=  1, T= 1):    18.667 MB/s [     17.8 IOPS] < 54457.35 us>
    Random 4KiB (Q= 32, T=16):     1.880 MB/s [    459.0 IOPS] <318523.64 us>
    Random 4KiB (Q=  1, T= 1):     0.431 MB/s [    105.2 IOPS] <  9478.59 us>

Profile: Default
   Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
   Date: 2020/02/09 11:03:42
     OS: Windows 10 Professional [10.0 Build 18363] (x64)

rados benchで計測

ブロックサイズ1M&16スレッドで60秒間書き込み
左端のsecは経過秒数でavg MB/sが平均速度、cur MB/sが現在の速度
結果は63.1393MB/s

root@pve01:~# rados bench -p Pool01 -t 16 -b 1M 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 1048576 bytes to objects of size 1048576 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_271272
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16        71        55   54.9972        55    0.187142    0.255887
    2      16       142       126    62.995        71    0.228599     0.24106
    3      16       205       189   62.9926        63    0.229292    0.237336
    4      16       280       264   65.9925        75    0.242832    0.238311
    5      16       343       327   65.3927        63    0.267573     0.23708
    6      16       403       387   64.4931        60    0.323681    0.244223
    7      16       473       457   65.2789        70     0.21795    0.243216
    8      16       531       515   64.3676        58    0.237213      0.2426
    9      16       598       582   64.6595        67    0.401783    0.243979
   10      16       661       645   64.4931        63    0.161712    0.244794
   11      16       715       699   63.5388        54    0.218372    0.247477
   12      16       777       761   63.4102        62    0.257836    0.249714
   13      16       845       829   63.7628        68      0.2329    0.248832
   14      16       912       896   63.9937        67    0.293685    0.248536
   15      16       978       962   64.1271        66     0.18156    0.247717
   16      16      1044      1028   64.2439        66    0.279488    0.247827
   17      16      1111      1095   64.4057        67    0.304796    0.247962
   18      16      1178      1162   64.5495        67    0.237529    0.246224
   19      16      1237      1221   64.2571        59     0.23418    0.246574
2020-02-09 11:19:26.040508 min lat: 0.067372 max lat: 0.416991 avg lat: 0.245477
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      1318      1302   65.0939        81    0.173326    0.245477
   21      16      1371      1355   64.5177        53    0.242642     0.24552
   22      16      1429      1413   64.2213        58    0.258276    0.246927
   23      16      1491      1475   64.1245        62     0.33353    0.247371
   24      16      1559      1543   64.2858        68    0.278086    0.247108
   25      16      1627      1611   64.4342        68   0.0840113    0.247911
   26      16      1684      1668   64.1481        57    0.293464    0.248113
   27      16      1745      1729   64.0313        61    0.298979    0.248971
   28      16      1799      1783   63.6729        54    0.166218     0.25013
   29      16      1862      1846   63.6495        63    0.243786    0.250541
   30      16      1931      1915   63.8277        69    0.285485    0.250427
   31      16      1995      1979   63.8331        64    0.249565    0.250254
   32      16      2049      2033   63.5255        54    0.326464    0.250454
   33      16      2118      2102   63.6912        69    0.116392    0.250394
   34      16      2174      2158   63.4647        56    0.222828    0.250894
   35      16      2254      2238   63.9369        80   0.0776247    0.250139
   36      16      2311      2295   63.7441        57    0.272898    0.250525
   37      16      2369      2353   63.5888        58    0.260279    0.250803
   38      16      2433      2417   63.5992        64    0.233955    0.250436
   39      16      2494      2478   63.5325        61    0.254667    0.250983
2020-02-09 11:19:46.042420 min lat: 0.0660366 max lat: 0.490522 avg lat: 0.251362
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16      2557      2541    63.519        63      0.3846    0.251362
   41      16      2608      2592   63.2135        51    0.194255    0.252097
   42      16      2653      2637   62.7796        45    0.413633    0.252939
   43      16      2719      2703   62.8544        66    0.276387    0.254113
   44      16      2772      2756   62.6301        53    0.276579    0.254163
   45      16      2842      2826   62.7938        70    0.135608    0.254148
   46      16      2908      2892   62.8633        66    0.235427     0.25421
   47      16      2970      2954   62.8448        62    0.289772    0.253882
   48      16      3042      3026   63.0354        72    0.192555    0.253645
   49      16      3092      3076   62.7693        50    0.311226    0.253667
   50      16      3157      3141   62.8137        65    0.373797    0.254191
   51      16      3227      3211   62.9545        70    0.145769    0.254008
   52      16      3279      3263   62.7436        52    0.191877    0.254171
   53      16      3346      3330   62.8238        67    0.210548    0.254038
   54      16      3410      3394   62.8455        64    0.204214    0.253986
   55      16      3477      3461   62.9209        67    0.288542     0.25366
   56      16      3543      3527   62.9757        66    0.268295    0.253412
   57      16      3608      3592   63.0112        65    0.146636    0.253339
   58      16      3676      3660   63.0971        68    0.324954    0.253409
   59      16      3731      3715   62.9598        55     0.33153    0.253623
2020-02-09 11:20:06.044612 min lat: 0.0660366 max lat: 0.589053 avg lat: 0.253363
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16      3797      3781   63.0104        66    0.209591    0.253363
Total time run:         60.1528
Total writes made:      3798
Write size:             1048576
Object size:            1048576
Bandwidth (MB/sec):     63.1393
Stddev Bandwidth:       7.06265
Max bandwidth (MB/sec): 81
Min bandwidth (MB/sec): 45
Average IOPS:           63
Stddev IOPS:            7.06265
Max IOPS:               81
Min IOPS:               45
Average Latency(s):     0.253398
Stddev Latency(s):      0.0521163
Max latency(s):         0.589053
Min latency(s):         0.0660366
root@pve01:~#

先ほど書き込んだデータを16スレッドでシーケンシャル読み込み
結果は152.672MB/s

root@pve01:~# rados bench -p Pool01 -t 16 60 seq
hints = 1
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16       184       168   167.971       168   0.0137815   0.0864201
    2      16       325       309   154.478       141   0.0185244   0.0983092
    3      16       481       465    154.98       156   0.0357852    0.100035
    4      16       631       615   153.728       150   0.0710014     0.10151
    5      16       782       766    153.18       151  0.00321742    0.102861
    6      16       929       913   152.147       147    0.242996    0.103552
    7      16      1083      1067    152.41       154  0.00447576    0.103692
    8      16      1228      1212   151.483       145    0.178996    0.104645
    9      16      1384      1368   151.983       156    0.183539    0.104409
   10      16      1546      1530   152.983       162   0.0623727    0.103491
   11      16      1699      1683   152.983       153    0.185352    0.103601
   12      16      1835      1819   151.567       136    0.255386    0.104682
   13      16      1997      1981   152.369       162    0.159329    0.104374
   14      16      2150      2134   152.413       153    0.124843    0.104373
   15      16      2296      2280   151.985       146    0.187048    0.104619
   16      16      2449      2433   152.047       153    0.161683    0.104651
   17      16      2600      2584   151.985       151  0.00322634    0.104741
   18      16      2750      2734   151.874       150   0.0581658    0.104668
   19      16      2908      2892   152.195       158    0.160326    0.104732
2020-02-09 11:21:42.890820 min lat: 0.00271068 max lat: 0.269897 avg lat: 0.104488
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      3064      3048   152.385       156   0.0555068    0.104488
   21      16      3217      3201   152.413       153    0.146839    0.104572
   22      16      3367      3351   152.303       150    0.183478    0.104632
   23      16      3520      3504   152.333       153    0.108749    0.104664
   24      16      3677      3661   152.527       157    0.204534    0.104435
Total time run:       24.8768
Total reads made:     3798
Read size:            1048576
Object size:          1048576
Bandwidth (MB/sec):   152.672
Average IOPS:         152
Stddev IOPS:          6.81417
Max IOPS:             168
Min IOPS:             136
Average Latency(s):   0.104664
Max latency(s):       0.339835
Min latency(s):       0.00265437
root@pve01:~#

ブロックサイズ4K&16スレッドで60秒間書き込み
結果は1.35312MB/s 346IOPS

root@pve01:~# rados bench -p Pool01 -t 16 -b 4K 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 4096 bytes to objects of size 4096 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_273319
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16       466       450   1.75748   1.75781   0.0172022   0.0342212
    2      16       870       854   1.66773   1.57812    0.100846   0.0368532
    3      16      1193      1177    1.5323   1.26172    0.106272   0.0399827
    4      15      1586      1571   1.53396   1.53906   0.0224973   0.0406072
    5      16      1951      1935   1.51149   1.42188     0.03786   0.0410552
    6      16      2316      2300   1.49716   1.42578    0.033366   0.0416284
    7      16      2672      2656   1.48191   1.39062   0.0471913   0.0419304
    8      16      2990      2974   1.45191   1.24219   0.0452415   0.0422533
    9      16      3312      3296   1.43032   1.25781   0.0534636   0.0432291
   10      16      3648      3632   1.41851    1.3125   0.0839729   0.0438656
   11      16      4035      4019   1.42697   1.51172   0.0795519   0.0437246
   12      16      4361      4345   1.41416   1.27344   0.0413025   0.0439443
   13      16      4669      4653   1.39791   1.20312   0.0168069   0.0445836
   14      16      5037      5021   1.40072    1.4375   0.0173172   0.0445863
   15      16      5388      5372   1.39873   1.37109    0.016937   0.0446358
   16      16      5710      5694   1.38991   1.25781   0.0426671   0.0446694
   17      16      6079      6063   1.39293   1.44141   0.0189902    0.044855
   18      16      6416      6400   1.38867   1.31641   0.0175879     0.04495
   19      16      6753      6737   1.38485   1.31641   0.0670571   0.0451156
2020-02-09 11:23:22.704551 min lat: 0.0105586 max lat: 0.240866 avg lat: 0.0449039
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      7124      7108   1.38806   1.44922   0.0395744   0.0449039
   21      16      7491      7475   1.39022   1.43359   0.0252558   0.0449135
   22      16      7851      7835   1.39094   1.40625   0.0486092   0.0448515
   23      16      8205      8189   1.39058   1.38281   0.0173476   0.0449178
   24      16      8557      8541   1.38993     1.375   0.0806369   0.0449427
   25      16      8927      8911   1.39214   1.44531   0.0170816   0.0447904
   26      16      9263      9247   1.38907    1.3125   0.0896982   0.0449211
   27      16      9613      9597   1.38826   1.36719    0.060741   0.0450168
   28      16      9918      9902   1.38122   1.19141   0.0818701   0.0450514
   29      16     10321     10305   1.38787   1.57422   0.0463079   0.0450096
   30      16     10675     10659   1.38769   1.38281   0.0469874   0.0449533
   31      16     11059     11043    1.3913       1.5   0.0183163   0.0448995
   32      16     11461     11445   1.39689   1.57031    0.070102   0.0447211
   33      16     11847     11831   1.40025   1.50781   0.0709345   0.0446302
   34      16     12185     12169   1.39789   1.32031   0.0314316    0.044707
   35      16     12494     12478   1.39243   1.20703   0.0506234   0.0448378
   36      16     12866     12850   1.39411   1.45312   0.0501838   0.0447144
   37      16     13252     13236   1.39718   1.50781   0.0476153   0.0446699
   38      16     13573     13557    1.3934   1.25391   0.0171212   0.0447439
   39      16     13878     13862   1.38822   1.19141   0.0654378   0.0449007
2020-02-09 11:23:42.707080 min lat: 0.00931438 max lat: 0.240866 avg lat: 0.0453643
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16     14104     14088   1.37558  0.882812   0.0447997   0.0453643
   41      16     14359     14343   1.36633  0.996094    0.131972   0.0456492
   42      16     14552     14536   1.35174  0.753906   0.0738691   0.0462148
   43      16     14748     14732   1.33811  0.765625   0.0994552   0.0464673
   44      16     15069     15053   1.33619   1.25391   0.0731499   0.0467605
   45      16     15439     15423   1.33861   1.44531   0.0519633   0.0466428
   46      16     15824     15808    1.3422   1.50391   0.0480524   0.0464958
   47      16     16147     16131   1.34048   1.26172   0.0859432   0.0465341
   48      16     16530     16514   1.34372   1.49609   0.0175599   0.0464914
   49      16     16851     16835   1.34188   1.25391   0.0526412   0.0465203
   50      16     17250     17234   1.34621   1.55859   0.0838462   0.0464095
   51      16     17621     17605   1.34823   1.44922   0.0172992    0.046348
   52      16     17942     17926   1.34641   1.25391   0.0815748   0.0463499
   53      16     18310     18294   1.34813    1.4375   0.0177275   0.0463559
   54      16     18648     18632   1.34761   1.32031   0.0174065   0.0463713
   55      16     18985     18969   1.34704   1.31641   0.0916281   0.0463837
   56      16     19356     19340   1.34886   1.44922   0.0167395   0.0463184
   57      16     19678     19662   1.34726   1.25781   0.0537368   0.0463305
   58      16     20063     20047   1.34996   1.50391   0.0510657   0.0462541
   59      16     20417     20401   1.35051   1.38281   0.0166816   0.0462723
2020-02-09 11:24:02.709868 min lat: 0.00931438 max lat: 0.460849 avg lat: 0.0461865
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16     20801     20785     1.353       1.5   0.0219456   0.0461865
Total time run:         60.0495
Total writes made:      20801
Write size:             4096
Object size:            4096
Bandwidth (MB/sec):     1.35312
Stddev Bandwidth:       0.180907
Max bandwidth (MB/sec): 1.75781
Min bandwidth (MB/sec): 0.753906
Average IOPS:           346
Stddev IOPS:            46.3122
Max IOPS:               450
Min IOPS:               193
Average Latency(s):     0.046185
Stddev Latency(s):      0.0379596
Max latency(s):         0.460849
Min latency(s):         0.00931438
root@pve01:~#

最後にクリーンアップ

root@pve01:~# rados -p Pool01 cleanup
Removed 20801 objects
root@pve01:~#

rbd benchで計測

rbd benchはイメージがないと使えないので先にイメージを作成
今回は20GBで作成

root@pve01:~# rbd create --size=20G --pool=Pool01 Test01
root@pve01:~#

ブロックサイズ1M&16スレッドで1024MBをシーケンシャル書き込み&読み込みを計測
1024MB書き込むのに22秒、読み込みに6秒の結果になりました
速度はBYTES/SECの部分に出てます
書き込みが約48MB/s 読み込みが約158MB/s

rbd bench Test01 --io-type write --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench  type write io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
  SEC       OPS   OPS/SEC   BYTES/SEC
    1        64    110.49  115862324.51
    2       112     69.72  73101806.53
    3       160     61.71  64707402.02
    4       208     58.76  61614927.69
    5       240     54.84  57504248.83
    6       288     45.23  47430554.19
    7       336     45.83  48051576.17
    8       384     45.71  47933898.85
    9       432     44.62  46788068.60
   10       480     46.19  48432057.14
   11       544     48.37  50723702.48
   12       576     48.46  50818450.90
   13       624     46.01  48246351.40
   14       656     45.68  47894801.04
   15       720     47.92  50250193.49
   16       752     43.05  45136432.07
   17       800     42.88  44960969.45
   18       848     47.74  50058845.78
   19       896     47.21  49499010.42
   20       928     42.45  44510048.94
   21       992     46.84  49112601.29
elapsed:    22  ops:     1024  ops/sec:    45.78  bytes/sec: 48002473.81
root@pve01:~# rbd bench Test01 --io-type read --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench  type read io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
  SEC       OPS   OPS/SEC   BYTES/SEC
    1       144    184.33  193281850.39
    2       288    161.70  169553419.15
    3       464    162.38  170265879.17
    4       592    155.73  163299399.55
    5       736    154.10  161580458.54
    6       928    154.57  162079331.03
elapsed:     6  ops:     1024  ops/sec:   150.85  bytes/sec: 158179041.91
root@pve01:~#

ブロックサイズ4K&16スレッドで512MBをランダム書き込み&読み込みを計測
指定した容量の転送が終わるまで続くので512MBに減らしました
秒数が途中で飛んでいるのは重くてコマンドが返ってこなかっただけで
省略したわけではありません
4Kランダム書き込みが遅くて512MBでも422秒、約1.2MB/s
4Kランダム読み込みが12秒、約43.7MB/s

root@pve01:~# rbd bench Test01 --io-type write --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench  type write io_size 4096 io_threads 16 bytes 536870912 pattern random
  SEC       OPS   OPS/SEC   BYTES/SEC
    1      5392   4828.47  19777414.39
    2      5440   2643.36  10827184.11
    3      5520   1745.23  7148480.81
    4      5584   1314.53  5384300.39
    5      5648   1122.89  4599377.11
    6      5712     65.63  268804.87
    7      5792     69.51  284708.10
    8      5856     67.90  278138.07
    9      5936     71.84  294237.10
   10      6000     67.64  277048.77
   11      6032     63.85  261510.88
   12      6112     63.49  260058.05
   13      6176     63.74  261094.13
   14      6256     64.51  264252.53
   15      6336     66.88  273930.57
   16      6384     69.02  282698.39
   17      6464     70.17  287432.58
   18      6512     68.18  279266.88
   58      6528      6.07  24850.30
   60      6544      4.56  18689.68
   61      6560      3.84  15716.42
   62      6576      2.47  10137.51
   63     10880     97.15  397930.46
   64     11008    862.85  3534224.91
   65     11104   1100.36  4507087.08
   66     11216   1127.88  4619810.23
   67     11344   1022.28  4187246.79
   68     11440    111.55  456914.73
   69     11552    108.97  446349.63
   70     11664    109.80  449747.44
   71     11776    110.49  452587.21
   72     11856    103.89  425549.53
   73     11968    103.45  423715.26
   74     12080    105.85  433569.11
   75     12176    102.97  421783.60
   76     12304    108.82  445721.91
   77     12464    121.89  499261.40
   78     12608    129.66  531074.78
   79     12736    132.15  541281.17
   80     12880    137.60  563628.54
   81     12992    136.94  560905.45
   82     13120    127.82  523561.91
   83     13232    126.42  517797.91
   84     13344    123.57  506161.76
   85     13552    134.40  550490.87
   86     13696    140.80  576704.72
   87     13840    147.78  605307.52
   88     13984    147.22  603000.68
   89     14112    153.23  627626.12
   90     14272    148.02  606303.09
   91     14416    143.08  586060.86
   92     14560    142.97  585595.36
   93     14672    137.82  564501.00
   94     14832    143.42  587461.80
   95     15024    148.26  607280.66
   96     15200    157.68  645856.15
   97     15376    165.18  676572.07
   98     15520    172.49  706536.87
   99     15696    168.35  689569.35
  100     15840    167.35  685452.42
  101     16048    166.01  679979.50
  102     16288    182.40  747094.76
  103     16576    207.71  850764.25
  104     16784    224.42  919215.07
  105     17104    246.87  1011178.82
  106     17424    276.30  1131722.48
  107     17648    267.08  1093959.81
  108     17904    266.45  1091367.19
  109     18160    276.30  1131722.49
  110     18464    278.68  1141484.29
  111     18736    270.18  1106639.10
  123     18864     72.80  298170.00
  124     18880     61.40  251485.42
  125     22704    281.60  1153435.44
  132     22720    189.62  776698.05
  133     25968    327.17  1340103.68
  139     26128    462.19  1893148.44
  140     29024    632.56  2590979.92
  145     29136    317.59  1300855.24
  146     31632    657.60  2693535.09
  152     31824    303.22  1242008.79
  153     34064    585.76  2399260.06
  157     34240    303.60  1243555.80
  158     36384    571.78  2341999.55
  161     36464    310.37  1271290.95
  162     38384    681.05  2789576.14
  165     38528    360.11  1475004.93
  166     40320    690.89  2829904.38
  169     40448    367.31  1504500.67
  170     42208    676.39  2770481.79
  172     42256    368.19  1508119.05
  173     43744    687.02  2814052.77
  175     43952    366.12  1499633.11
  176     45136    676.27  2770000.86
  177     45552    471.51  1931294.02
  179     45568    502.42  2057898.66
  180     46992    466.66  1911426.64
  182     47024    492.61  2017743.51
  183     48384    462.93  1896170.10
  185     48432    363.45  1488671.50
  186     49760    611.07  2502926.02
  187     49776    356.37  1459680.65
  188     50816    635.80  2604243.26
  190     51120    366.95  1503007.15
  191     52272    638.71  2616152.80
  193     52400    372.66  1526427.66
  194     53584    607.13  2486805.07
  196     53696    359.45  1472320.64
  197     54688    548.57  2246959.10
  198     54896    346.35  1418648.22
  199     55648    549.38  2250258.70
  200     55968    355.39  1455673.75
  201     56544    588.42  2410157.80
  202     56960    385.60  1579415.67
  203     57440    564.82  2313500.40
  204     57872    445.86  1826245.64
  205     58288    546.13  2236939.98
  206     58832    437.63  1792550.07
  207     59152    534.62  2189815.61
  208     59664    453.50  1857527.17
  209     60160    448.97  1838981.90
  210     60704    474.83  1944915.25
  211     61072    466.66  1911426.64
  212     61632    488.95  2002734.09
  213     61984    467.73  1915830.85
  214     62448    453.24  1856468.26
  215     62848    433.65  1776221.71
  216     63264    436.99  1789921.05
  217     63728    412.59  1689967.76
  218     64016    405.10  1659269.88
  219     64432    407.55  1669329.06
  220     64912    409.52  1677374.40
  221     65344    403.72  1653629.97
  222     65616    387.51  1587250.84
  223     66016    396.50  1624073.84
  224     66336    375.98  1540011.99
  225     66736    358.77  1469501.88
  226     67120    356.05  1458368.82
  227     67328    332.55  1362122.22
  228     67680    337.38  1381914.29
  229     68000    336.02  1376333.06
  230     68416    348.54  1427621.56
  231     68896    359.22  1471347.83
  232     69248    389.92  1597107.10
  233     69696    394.36  1615290.12
  234     70016    395.60  1620361.68
  235     70464    392.93  1609445.96
  236     70752    380.01  1556514.50
  237     71232    393.64  1612359.89
  238     71600    386.67  1583797.87
  239     71984    399.02  1634379.40
  240     72352    391.04  1601716.25
  241     72736    389.93  1597148.95
  242     73104    382.97  1568648.01
  243     73472    379.25  1553393.73
  244     73856    364.48  1492903.32
  245     74208    371.49  1521620.66
  246     74480    353.32  1447178.77
  247     74896    354.70  1452865.86
  248     75216    348.51  1427512.87
  249     75648    364.81  1494274.90
  250     75984    359.80  1473732.51
  251     76320    367.99  1507296.44
  252     76720    359.61  1472978.62
  253     76976    348.65  1428052.51
  254     77360    348.53  1427566.20
  255     77776    356.68  1460963.04
  256     78160    366.53  1501291.27
  257     78528    371.40  1521243.41
  258     78896    380.94  1560348.28
  259     79328    384.07  1573138.02
  260     79680    374.50  1533953.72
  261     80064    379.58  1554748.94
  262     80432    368.41  1509021.03
  263     80816    370.08  1515835.65
  264     81216    369.61  1513916.62
  265     81504    366.55  1501396.22
  266     81920    372.98  1527736.50
  267     82208    369.99  1515488.27
  268     82704    392.02  1605707.24
  269     83024    369.27  1512543.49
  270     83312    367.77  1506389.94
  271     83696    351.82  1441034.80
  272     84096    375.79  1539228.92
  273     84496    351.64  1440321.49
  274     84896    372.01  1523758.24
  275     85296    392.40  1607257.48
  276     85616    386.15  1581688.52
  277     86016    376.17  1540782.79
  278     86384    391.69  1604374.70
  279     86768    381.72  1563530.07
  280     87136    364.49  1492963.98
  281     87456    365.36  1496521.48
  282     87872    376.31  1541365.94
  283     88256    367.05  1503441.46
  284     88640    364.76  1494066.92
  285     88928    358.39  1467975.66
  286     89344    373.11  1528277.88
  287     89696    369.52  1513563.12
  288     90032    355.48  1456033.56
  289     90432    373.33  1529141.31
  290     90864    382.90  1568372.22
  291     91248    378.07  1548574.40
  292     91584    378.80  1551582.28
  293     91872    376.12  1540572.81
  294     92256    361.90  1482330.87
  295     92672    359.29  1471663.94
  296     92896    342.19  1401591.92
  297     93248    327.04  1339544.28
  298     93648    341.01  1396763.38
  299     94032    342.32  1402147.97
  300     94320    341.05  1396950.88
  301     94736    361.63  1481226.85
  302     95088    374.58  1534300.12
  303     95472    377.16  1544860.95
  304     95856    372.85  1527176.53
  305     96208    378.20  1549095.77
  306     96608    365.62  1497568.64
  307     96976    353.55  1448143.46
  308     97280    360.73  1477536.50
  309     97680    372.54  1525928.83
  310     98048    355.48  1456043.70
  311     98384    363.93  1490644.20
  312     98800    369.22  1512337.56
  313     98992    331.52  1357901.85
  314     99280    315.95  1294127.72
  315     99680    331.97  1359750.21
  316     99968    320.12  1311222.34
  317    100368    330.79  1354935.34
  318    100688    346.96  1421168.28
  319    100928    329.59  1350013.33
  320    101056    279.90  1146456.06
  321    101264    237.88  974358.45
  322    101552    228.39  935486.59
  323    101952    255.66  1047175.48
  324    102240    263.66  1079951.66
  325    102640    313.53  1284229.64
  326    103040    386.41  1582755.37
  327    103408    382.83  1568072.78
  328    103808    373.28  1528965.57
  329    104192    396.10  1622407.59
  330    104560    382.46  1566564.81
  331    104864    370.72  1518485.28
  332    105280    372.90  1527400.69
  333    105680    359.99  1474529.13
  334    105936    344.66  1411714.31
  335    106368    359.58  1472834.71
  336    106720    361.64  1481297.12
  337    107072    363.63  1489423.36
  338    107472    357.82  1465630.65
  339    107760    363.63  1489423.36
  340    108208    361.06  1478901.53
  341    108512    353.03  1445996.52
  342    108800    339.08  1388881.44
  343    109200    355.55  1456325.06
  344    109488    343.67  1407665.04
  345    109888    334.65  1370744.21
  346    110192    346.81  1420548.29
  347    110576    353.50  1447918.73
  348    110976    343.38  1406485.63
  349    111264    356.05  1458368.82
  350    111568    352.34  1443191.26
  351    111968    355.19  1454868.74
  352    112320    353.60  1448352.48
  353    112736    360.94  1478426.80
  354    113104    370.66  1518227.68
  355    113488    382.16  1565317.54
  356    113888    374.12  1532376.33
  357    114256    379.60  1554841.17
  358    114576    377.04  1544361.11
  359    114960    369.71  1514345.98
  360    115280    346.74  1420255.09
  361    115584    349.83  1432894.09
  362    115968    339.95  1392415.64
  363    116352    339.70  1391419.99
  364    116656    341.10  1397158.20
  365    117056    356.33  1459539.26
  366    117360    349.32  1430830.78
  367    117648    341.46  1398604.86
  368    118048    351.57  1440022.92
  369    118336    337.34  1381754.20
  370    118736    329.92  1351362.12
  371    119040    330.44  1353488.58
  372    119328    337.89  1383977.46
  373    119728    329.66  1350301.40
  374    120112    335.09  1372517.68
  375    120416    332.80  1363141.03
  376    120704    340.14  1393213.67
  377    121104    348.23  1426341.90
  378    121392    340.42  1394353.78
  379    121792    344.26  1410068.84
  380    122048    346.34  1418618.85
  381    122448    352.17  1442502.91
  382    122832    348.66  1428115.38
  383    123200    365.98  1499071.45
  384    123520    353.51  1447982.78
  385    123904    370.60  1517974.61
  386    124256    358.44  1468162.76
  387    124544    351.39  1439286.78
  388    124944    337.72  1383283.20
  389    125264    342.49  1402842.58
  390    125584    328.89  1347129.19
  391    126032    348.50  1427461.48
  392    126080    283.18  1159904.92
  393    126720    342.06  1401067.74
  395    126928    282.60  1157540.98
  396    127728    365.86  1498573.40
  397    127808    268.60  1100172.97
  398    128400    400.82  1641762.45
  399    128688    345.98  1417151.76
  400    128784    319.99  1310692.56
  401    129392    324.49  1329095.42
  402    129680    444.86  1822136.75
  403    129712    246.43  1009361.29
  404    130368    328.12  1343971.86
  405    130672    450.37  1844724.73
  407    130768    232.58  952667.00
elapsed:   422  ops:   131072  ops/sec:   310.44  bytes/sec: 1271564.62
root@pve01:~# rbd bench Test01 --io-type read --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench  type read io_size 4096 io_threads 16 bytes 536870912 pattern random
  SEC       OPS   OPS/SEC   BYTES/SEC
    1      9552   9606.22  39347089.87
    2     20784  10420.62  42682867.39
    3     31456  10504.45  43026232.82
    4     42256  10578.36  43328944.12
    5     52480  10507.38  43038246.93
    6     62640  10617.38  43488772.53
    7     72752  10393.38  42571287.89
    8     83776  10463.78  42859640.23
    9     96160  10780.57  44157225.67
   10    105808  10665.38  43685376.43
   11    117040  10879.77  44563540.32
   12    128464  11142.17  45638308.08
elapsed:    12  ops:   131072  ops/sec: 10690.80  bytes/sec: 43789526.21
root@pve01:~#

最後にクリーンアップして完了

root@pve01:~# rbd rm --pool=Pool01 Test01
Removing image: 100% complete...done.
root@pve01:~#

計測後のメモリ使用状況

pve01は4.14GiB

pve02は4.12GiB

pve03は3.92GiB

ベンチマーク中は3ノードともに最大で5GiB弱まで上がってました

おまけ

今回使用したPool01にVMインストールした際の所要時間を記録しておきます
ISOはローカルSSDに入れたので気にしなくてもOK

インストール全体になると設定入力などの個人差が出てくるので
今回はOSファイルコピーなど入力不要な部分で計測しました

CentOS7

インストール開始ボタンを押してから「完了しました!」までは自動なのでその時間を計測
インストールは最小限のインストール、CentOS7のファイルシステムはxfs

この画面になるまでの時間です

所要時間は10分20秒

Windows10

Windowsをインストールしていますの画面から最終セットアップまでの間を計測しました

Windowsをインストールしていますがこちら

最終セットアップ画面がこちら

所要時間は46分40秒

まとめ

速度

各ノードでHDD1台というCephの最低構成に近い形なので仕方ないとはいえ
書き込みは同期必須な仕様なのでやはり遅いです

逆に読み込み速度はGbEの速度を軽く超えていることからも
ローカル読み込みを効率的に使っているのが確認できます
読み込みは問題ないのでVM起動するだけなら快適です

読み込みが大半という倉庫みたいな使い方ならまだいいですけど
VMサーバとしてはおまけ項で記載したように
OSインストールだけで45分もかかるようでは当然厳しくて
しかもこの計測は当VMのみ起動している専有状態での結果ですから
実際にはこの速度を複数のVMで共有するのでもっと遅くなります

メモリ

マニュアルではCephは1GB+1TBごとに1GBの消費となっていて
今回のOSDは1TBなのでCephだけで計2GB消費する計算になります

実際にはアイドル状態に比べてピーク値で3.2GB増加する結果になりましたので
この構成だけでいえば他のプロセス分を含めて4GBぐらいは
システム用に確保しておいた方が良さそうです

CPU

今回はPentium G4620の低速マシンが紛れていたのでボトルネックになるか心配でしたが
結論から言うとベンチマーク中でもCPU使用率は10%すら超えることはなく安定してました

RAID5みたいなパリティ計算も不要ですし
一番の理由はそもそもCPU消費するほど書き込み速度が出ていないからですね

最後に

この計測結果をベースにOSDを追加して改めて計測したいと思います