Proxmox VE 6.1 + Cephで速度計測:SSD+HDDx1-2

Proxmox VE 6.1 + Cephで速度計測 各ノードSSD+HDD1~2台の記録

最初に

HDDのみで構成したパターンで速度計測が終わったので
DB/WALにSSDを使ったパターンを測定していきます

計測環境

以前の記事にスペックや計測方法を掲載してますのでそちらをご覧ください

Proxmox VE 6.1 + Cephで速度計測:HDDx1 | fefcc.net
https://fefcc.net/archives/1040

今回のCeph構成

各ノードに登録しているOSDはHDD ST1000DM010 1TB 7200rpmを1~2台
各OSDのDB/WALはSSD SATA Crucial MX500 500GBを共有で登録

Pool01という名でCeph/RBD形式のプール作成
Pool01のPG値は128のまま

OSDをDB/WAL指定して登録

各OSDのDB/WALにSSDを指定したのでその様子をご紹介

まずはpve01 -> Ceph -> OSD画面へ移動
OSDが何も登録されていない状態です
上部にある「作成: OSD」ボタンを選択してOSDを作成していきます

OSD作成画面が表示されるので今回はディスクとDB Diskを指定しました
DB sizeはAutomatic、WAL Diskは指定せず

ディスクにはデータを保存するHDDを指定
DB Diskにはメタデータ格納用のSSDを指定
DB sizeは手動で指定する場合に使用
WAL Diskはjournalデータや書き込みキャッシュに使用するSSDを指定
WAL sizeはDB sizeと同様に手動設定用

通常はディスクに指定したデバイスの中で自動的にDB/WALを管理されるので
デバイスに明確な速度差がある場合のオプションとなります
ですのでディスクにSSDを割り当てる場合はDB/WALを指定する必要はありません
(DBとWALで別々のデバイスを使いたい場合を除く)

Ceph公式によるとDB sizeは格納データの4%が推奨(1TBで40GB)
RBDのみで利用する場合は2%で十分だそうです
メタデータなのであくまでも必要なのは全体容量ではなくデータ容量の4%ですが
最初から全体容量の4%にしておけば将来的にも不足することはないでしょう

WAL Diskについては公式での言及は見当たりませんでしたが
フォーラム情報によるとどんなOSDサイズでも1~2GBもあれば十分だそうです
理由は書き込みキャッシュと言ってもCephの場合は
小さいブロックサイズの書き込みをまとめるのが主な役割だからです
(低速なりがちな4K書き込みへの対応)

ProxmoxのAutomatic設定ではDBがOSDサイズの10%、WALは1%で設定されます
Ceph推奨値をかなり超えての確保なので同一SSDでDB/WALを利用する場合は
DBの10%のみで問題なくWAL分を手動で追加する必要はありません
もし4%ジャストで設定したい場合は手動で数値を入力することになります

WAL Diskについては「use OSD/DB disk」とある通り
DB Diskと同一デバイスであれば指定する必要はありません
ディスクとDB Diskを指定するだけでどちらか高速な方を自動で使用されますので
結果的にSSDなDB Diskが使われることになります

WALは容量をあまり必要としない為、SSDがあるけど空き容量がないという場合は
DBには割り当てずにWALのみに割り当てるといった方法もあります
パフォーマンス的にはDBよりWALの方が大事なので
1GBや512MBだけでも割り当てる意味はあります

OSD登録後の画面はこちら
DB/WALを指定しているOSDかどうかはわかりやすく表示されるわけではないので
この画面だけでは判別は難しいです

以前の記事にある画像で確認するとわかりやすいですが
以前に同じ1TBHDDをOSD登録した際は各OSDの使用中が0.11、合計値が931GiBでした
今回はプールやVMもまだ登録していない状態なのに使用中が9.19、合計値が1TiBです

これはDB Diskで登録したSSDの割り当て分がOSDとして一緒にカウントされるので
容量などが1つのOSDとして合算されているのが理由です
(SSD全域ではなくあくまでOSDごとの割り当て分のみです)

pve01 -> ディスク画面にいくとSSDがCeph(DB)として登録されているのがわかります

このSSDの何GBか割り当てられているかを確認できるのが
pve01 -> ディスク -> LVM画面です

一番上の100%がOSDのHDD、2番目の20%がDBに割り当てたSSDです
465.76-372.61=93.15GB確保されていてる表記になっています

詳細な情報はシェルから「fdisk -l」コマンドで確認可能で
今回の環境だとHDDが931.5 GiBでSSD内で93.2 GiBが確保されていました
Automatic設定で10%が指定されたことがわかります

SSDの残り容量80%は他のOSDでも使えるので
今回計測する1~3台は全てこのSSD1台にDB/WALを割り当てて構築しています

3ノード全て同様にDB/WALをSSDにしてOSD登録した結果がこちら

プールは以前と同様な設定値でpg_numも128

Ceph状態がこちら
使用状況の部分もDB/WAL部分もカウントされるので最初から9%消費になっています

各HDD1台+SSD:計3OSDでの計測結果

Proxmox起動直後のメモリ使用状況

pve01は1.66GiB、pve01は1.54GiB、pve03は1.52GiB

CentOS7のVMから計測

[root@centos7-bench ~]# ./fio_cdm.sh /root
Testing in /root
Configuration: Size:1024m Loops:5 Write Only Zeroes:0
Running Benchmark,  please wait...


Results:

Sequential Read: 167MB/s IOPS=0
Sequential Write: 13MB/s IOPS=0

512KB Read: 89MB/s IOPS=178
512KB Write: 7MB/s IOPS=15

Sequential Q32T1 Read: 133MB/s IOPS=4
Sequential Q32T1 Write: 12MB/s IOPS=0

4KB Read: 3MB/s IOPS=1000
4KB Write: 1MB/s IOPS=357

4KB Q32T1 Read: 3MB/s IOPS=1000
4KB Q32T1 Write: 1MB/s IOPS=384

4KB Q8T8 Read: 29MB/s IOPS=7500
4KB Q8T8 Write: 1MB/s IOPS=448


[root@centos7-bench ~]#

Windows10のVMから計測

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q=  8, T= 1):   156.037 MB/s [    148.8 IOPS] < 52896.59 us>
Sequential 1MiB (Q=  1, T= 1):   147.865 MB/s [    141.0 IOPS] <  7086.97 us>
    Random 4KiB (Q= 32, T=16):    73.861 MB/s [  18032.5 IOPS] < 27882.25 us>
    Random 4KiB (Q=  1, T= 1):     6.930 MB/s [   1691.9 IOPS] <   590.15 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):    26.426 MB/s [     25.2 IOPS] <304247.52 us>
Sequential 1MiB (Q=  1, T= 1):    12.164 MB/s [     11.6 IOPS] < 85638.83 us>
    Random 4KiB (Q= 32, T=16):     0.939 MB/s [    229.2 IOPS] <644831.31 us>
    Random 4KiB (Q=  1, T= 1):     0.244 MB/s [     59.6 IOPS] < 16644.98 us>

[Mix] Read 70%/Write 30%
Sequential 1MiB (Q=  8, T= 1):    49.079 MB/s [     46.8 IOPS] <160927.67 us>
Sequential 1MiB (Q=  1, T= 1):    27.893 MB/s [     26.6 IOPS] < 37276.62 us>
    Random 4KiB (Q= 32, T=16):     2.486 MB/s [    606.9 IOPS] <313891.24 us>
    Random 4KiB (Q=  1, T= 1):     0.649 MB/s [    158.4 IOPS] <  6226.98 us>

Profile: Default
   Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
   Date: 2020/02/12 1:07:22
     OS: Windows 10 Professional [10.0 Build 18363] (x64)

rados benchで計測

ブロックサイズ1M&16スレッドで60秒間書き込み
結果は99.9293MB/s

root@pve01:~# rados bench -p Pool01 -t 16 -b 1M 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 1048576 bytes to objects of size 1048576 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_16975
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16       105        89   88.9957        89     0.13304    0.170564
    2      16       204       188   93.9931        99    0.179917    0.163751
    3      16       307       291   96.9921       103    0.118542    0.160158
    4      16       407       391   97.7422       100    0.134337    0.159994
    5      16       485       469   93.7926        78    0.173058    0.165917
    6      16       578       562   93.6588        93    0.298156    0.168058
    7      16       678       662   94.5632       100    0.179997    0.167104
    8      16       783       767   95.8665       105    0.156316    0.164883
    9      16       888       872   96.8805       105    0.117187    0.163601
   10      16       994       978   97.7914       106    0.141851    0.162359
   11      16      1058      1042    94.718        64    0.317907    0.163006
   12      16      1162      1146   95.4909       104    0.113492    0.166419
   13      16      1259      1243   95.6063        97    0.207402    0.165896
   14      16      1357      1341   95.7766        98    0.171842    0.165916
   15      16      1467      1451   96.7241       110    0.146017    0.164855
   16      16      1563      1547   96.6784        96    0.170735     0.16463
   17      15      1660      1645   96.7557        98    0.117097    0.164681
   18      16      1761      1745   96.9355       100    0.145716    0.164378
   19      16      1861      1845   97.0962       100    0.148303    0.163992
2020-02-12 01:11:01.607064 min lat: 0.062768 max lat: 0.528444 avg lat: 0.163523
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      1969      1953   97.6409       108   0.0768345    0.163523
   21      16      2065      2049   97.5622        96    0.184426     0.16334
   22      16      2170      2154   97.8999       105    0.126005    0.162791
   23      16      2275      2259   98.2081       105    0.154696    0.162362
   24      16      2381      2365   98.5323       106   0.0936095    0.161935
   25      16      2483      2467   98.6707       102    0.210574    0.161649
   26      16      2589      2573   98.9523       106    0.151705    0.161324
   27      16      2689      2673   98.9909       100    0.141203     0.16119
   28      16      2790      2774   99.0624       101    0.164724    0.160974
   29      16      2894      2878   99.2323       104    0.193204    0.160807
   30      16      2996      2980   99.3242       102    0.115813    0.160633
   31      16      3097      3081   99.3779       101    0.129411    0.160485
   32      16      3202      3186   99.5533       105    0.257037    0.160256
   33      16      3306      3290   99.6877       104    0.195434    0.160116
   34      16      3407      3391    99.726       101    0.223227    0.160074
   35      16      3507      3491   99.7338       100    0.165048    0.160008
   36      16      3606      3590   99.7133        99    0.154458    0.160075
   37      16      3712      3696    99.883       106    0.123725    0.159828
   38      16      3815      3799   99.9648       103    0.178039    0.159764
   39      16      3916      3900    99.991       101    0.183415    0.159665
2020-02-12 01:11:21.608786 min lat: 0.062768 max lat: 0.528444 avg lat: 0.15964
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16      4019      4003   100.066       103    0.138026     0.15964
   41      16      4120      4104   100.089       101    0.144366    0.159551
   42      16      4221      4205    100.11       101    0.146726    0.159495
   43      16      4320      4304   100.084        99    0.125102    0.159686
   44      16      4396      4380   99.5364        76    0.166448    0.160461
   45      16      4502      4486   99.6798       106    0.140841    0.160334
   46      16      4596      4580   99.5561        94    0.125352    0.160386
   47      16      4696      4680   99.5653       100    0.172586    0.160415
   48      16      4795      4779   99.5533        99    0.152367     0.16041
   49      16      4894      4878   99.5418        99    0.119069    0.160427
   50      16      4996      4980   99.5908       102    0.128574    0.160454
   51      16      5098      5082   99.6378       102   0.0866417    0.160295
   52      16      5196      5180   99.6061        98    0.151412    0.160369
   53      16      5294      5278   99.5756        98     0.16912    0.160402
   54      16      5397      5381   99.6388       103    0.247851    0.160403
   55      16      5497      5481   99.6452       100     0.11184    0.160384
   56      16      5600      5584   99.7049       103   0.0912252    0.160276
   57      16      5697      5681   99.6573        97    0.110132    0.160259
   58      16      5798      5782   99.6804       101    0.089769    0.160213
   59      16      5900      5884   99.7195       102    0.169657    0.160191
2020-02-12 01:11:41.610809 min lat: 0.062768 max lat: 0.528444 avg lat: 0.160089
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16      6003      5987    99.774       103     0.21422    0.160089
Total time run:         60.0725
Total writes made:      6003
Write size:             1048576
Object size:            1048576
Bandwidth (MB/sec):     99.9293
Stddev Bandwidth:       7.39696
Max bandwidth (MB/sec): 110
Min bandwidth (MB/sec): 64
Average IOPS:           99
Stddev IOPS:            7.39696
Max IOPS:               110
Min IOPS:               64
Average Latency(s):     0.160111
Stddev Latency(s):      0.0411672
Max latency(s):         0.528444
Min latency(s):         0.062768
root@pve01:~#

先ほど書き込んだデータを16スレッドでシーケンシャル読み込み
結果は169.658MB/s

root@pve01:~# rados bench -p Pool01 -t 16 60 seq
hints = 1
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16       190       174   173.974       174   0.0142905   0.0837335
    2      16       364       348   173.975       174    0.198717   0.0883823
    3      16       524       508   169.312       160  0.00963946   0.0921574
    4      16       700       684   170.977       176    0.209591   0.0912965
    5      16       867       851    170.18       167    0.195852   0.0923687
    6      16      1031      1015   169.145       164   0.0188453   0.0934133
    7      16      1208      1192   170.264       177    0.209242    0.092841
    8      16      1362      1346    168.23       154   0.0953361   0.0941035
    9      16      1527      1511   167.869       165    0.178217   0.0944795
   10      16      1704      1688    168.78       177      0.1558   0.0940082
   11      16      1853      1837   166.981       149    0.236029   0.0949719
   12      16      2016      2000   166.648       163    0.212252   0.0952788
   13      16      2184      2168   166.751       168  0.00300011   0.0952056
   14      16      2353      2337   166.911       169  0.00919008   0.0952031
   15      16      2533      2517   167.782       180   0.0030154   0.0948386
   16      16      2698      2682   167.608       165     0.01368   0.0948659
   17      16      2859      2843   167.218       161    0.117045   0.0952591
   18      16      3018      3002   166.761       159    0.191468   0.0954272
   19      16      3185      3169   166.773       167    0.208121   0.0953826
2020-02-12 01:13:03.108458 min lat: 0.00281648 max lat: 0.278157 avg lat: 0.0948976
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      3372      3356   167.784       187   0.0520474   0.0948976
   21      16      3553      3537   168.412       181   0.0714886    0.094654
   22      16      3726      3710   168.619       173    0.249519    0.094476
   23      16      3882      3866    168.07       156    0.208272   0.0948036
   24      16      4044      4028   167.817       162    0.213008   0.0950139
   25      16      4230      4214   168.544       186   0.0272605   0.0946103
   26      16      4391      4375   168.253       161   0.0108485   0.0947258
   27      16      4568      4552   168.576       177  0.00953569   0.0945823
   28      16      4737      4721   168.591       169    0.179537   0.0946325
   29      16      4919      4903   169.052       182   0.0483897   0.0943794
   30      16      5084      5068   168.917       165    0.145801   0.0944689
   31      16      5255      5239   168.984       171   0.0124254   0.0944366
   32      16      5431      5415   169.202       176   0.0136053   0.0942419
   33      16      5592      5576   168.954       161   0.0346821   0.0943928
   34      16      5780      5764   169.513       188    0.143772   0.0941793
   35      16      5951      5935   169.555       171   0.0989024   0.0941216
Total time run:       35.383
Total reads made:     6003
Read size:            1048576
Object size:          1048576
Bandwidth (MB/sec):   169.658
Average IOPS:         169
Stddev IOPS:          9.54027
Max IOPS:             188
Min IOPS:             149
Average Latency(s):   0.094226
Max latency(s):       0.336573
Min latency(s):       0.00281648
root@pve01:~#

ブロックサイズ4K&16スレッドで60秒間書き込み
結果は3.46574MB/s 887IOPS

root@pve01:~# rados bench -p Pool01 -t 16 -b 4K 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 4096 bytes to objects of size 4096 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_17780
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16      1087      1071   4.18338   4.18359  0.00357558   0.0145365
    2      16      2068      2052   4.00735   3.83203   0.0410755    0.015205
    3      16      3121      3105   4.04242   4.11328   0.0041154   0.0153485
    4      16      4187      4171   4.07264   4.16406   0.0300407   0.0151873
    5      16      5217      5201   4.06265   4.02344  0.00369057    0.015304
    6      16      6278      6262   4.07625   4.14453  0.00222807   0.0153279
    7      16      7263      7247    4.0435   3.84766  0.00229382   0.0154147
    8      16      8256      8240   4.02288   3.87891  0.00228022   0.0155207
    9      16      9320      9304   4.03765   4.15625  0.00222905   0.0154621
   10      16     10311     10295   4.02098   3.87109   0.0377757   0.0154997
   11      16     11315     11299   4.01194   3.92188  0.00518018   0.0155357
   12      16     12423     12407   4.03827   4.32812  0.00207904   0.0154747
   13      16     13425     13409   4.02869   3.91406  0.00311736   0.0155115
   14      16     14422     14406   4.01909   3.89453  0.00481819   0.0155321
   15      16     15479     15463   4.02639   4.12891  0.00195318   0.0154943
   16      16     16471     16455   4.01689     3.875   0.0365302    0.015527
   17      16     17523     17507   4.02231   4.10938   0.0051155   0.0155349
   18      16     18521     18505   4.01541   3.89844   0.0352657   0.0155328
   19      16     19586     19570     4.023   4.16016   0.0302239   0.0155086
2020-02-12 01:14:03.077321 min lat: 0.00110261 max lat: 0.103633 avg lat: 0.0154973
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16     20640     20624   4.02768   4.11719   0.0392586   0.0154973
   21      16     21619     21603   4.01798   3.82422   0.0323651   0.0155301
   22      16     22627     22611   4.01429    3.9375   0.0275705   0.0155466
   23      16     23674     23658   4.01755   4.08984  0.00473428   0.0155514
   24      16     24664     24648   4.01127   3.86719   0.0479118   0.0155628
   25      16     25656     25640    4.0058     3.875   0.0342499   0.0155863
   26      16     26673     26657   4.00451   3.97266  0.00177783   0.0156064
   27      16     27686     27670   4.00273   3.95703  0.00469382   0.0156101
   28      16     28417     28401   3.96173   2.85547   0.0351198   0.0157562
   29      16     29189     29173    3.9291   3.01562  0.00354796   0.0159053
   30      16     29926     29910   3.89407   2.87891  0.00316501   0.0160434
   31      16     30665     30649   3.86156   2.88672  0.00347249   0.0161679
   32      16     31355     31339   3.82511   2.69531  0.00324541   0.0163386
   33      16     32102     32086   3.79761   2.91797   0.0268877   0.0164477
   34      16     32821     32805    3.7685   2.80859  0.00334018   0.0165738
   35      16     33504     33488   3.73705   2.66797  0.00550335   0.0167146
   36      16     34397     34381   3.73013   3.48828   0.0346033   0.0167363
   37      16     35151     35135    3.7089   2.94531  0.00286836   0.0168454
   38      16     35858     35842   3.68396   2.76172  0.00371184   0.0169497
   39      16     36616     36600   3.66541   2.96094  0.00497212   0.0170363
2020-02-12 01:14:23.080205 min lat: 0.00110261 max lat: 0.103633 avg lat: 0.0171664
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16     37287     37271   3.63928   2.62109  0.00486573   0.0171664
   41      16     38150     38134   3.63274   3.37109    0.046918   0.0172028
   42      16     38835     38819   3.60995   2.67578  0.00260028   0.0173121
   43      16     39597     39581   3.59521   2.97656   0.0307925   0.0173678
   44      16     40356     40340   3.58087   2.96484    0.025035   0.0174514
   45      16     41119     41103   3.56753   2.98047   0.0306737   0.0175063
   46      16     41835     41819   3.55077   2.79688   0.0535054   0.0175994
   47      16     42559     42543   3.53539   2.82812  0.00260485    0.017677
   48      16     43312     43296   3.52301   2.94141   0.0030884    0.017737
   49      16     44022     44006    3.5077   2.77344  0.00337143   0.0178165
   50      16     44731     44715   3.49294   2.76953  0.00192663   0.0178924
   51      16     45798     45782   3.50616   4.16797   0.0029418    0.017825
   52      16     46807     46791   3.51453   3.94141   0.0306466   0.0177716
   53      16     47744     47728   3.51727   3.66016   0.0485265   0.0177673
   54      16     48398     48382   3.49944   2.55469   0.0414301    0.017846
   55      16     49225     49209   3.49454   3.23047  0.00354621   0.0178783
   56      16     49765     49749    3.4698   2.10938  0.00223148   0.0180102
   57      16     50557     50541    3.4632   3.09375   0.0376917   0.0180328
   58      16     51350     51334   3.45689   3.09766  0.00251538   0.0180754
   59      16     52282     52266      3.46   3.64062   0.0289006   0.0180558
2020-02-12 01:14:43.082287 min lat: 0.00110261 max lat: 0.179221 avg lat: 0.018022
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16     53275     53259   3.46697   3.87891  0.00185871    0.018022
Total time run:         60.0476
Total writes made:      53276
Write size:             4096
Object size:            4096
Bandwidth (MB/sec):     3.46574
Stddev Bandwidth:       0.591838
Max bandwidth (MB/sec): 4.32812
Min bandwidth (MB/sec): 2.10938
Average IOPS:           887
Stddev IOPS:            151.511
Max IOPS:               1108
Min IOPS:               540
Average Latency(s):     0.0180321
Stddev Latency(s):      0.0218295
Max latency(s):         0.179221
Min latency(s):         0.00110261
root@pve01:~#

クリーンアップ

root@pve01:~# rados -p Pool01 cleanup
Removed 53276 objects
root@pve01:~#

rbd benchで計測

プール内に20GBでイメージを作成

root@pve01:~# rbd create --size=20G --pool=Pool01 Test01
root@pve01:~#

ブロックサイズ1M&16スレッドで1024MBをシーケンシャル書き込み&読み込みを計測
結果はWrite:13秒 約79MB/s・Read:5秒 約189MB/s

root@pve01:~# rbd bench Test01 --io-type write --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench  type write io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
  SEC       OPS   OPS/SEC   BYTES/SEC
    1        96    100.00  104853408.30
    2       176     86.95  91176876.77
    3       240     83.88  87950434.25
    4       320     82.27  86265291.85
    5       400     82.02  85999640.93
    6       480     75.89  79572547.10
    7       544     76.54  80253856.76
    8       624     77.23  80980910.86
    9       704     76.74  80463047.42
   10       784     76.74  80463047.45
   11       848     75.04  78682819.01
   12       928     75.35  79010417.99
   13       992     73.36  76925945.97
elapsed:    13  ops:     1024  ops/sec:    75.42  bytes/sec: 79088015.97
root@pve01:~# rbd bench Test01 --io-type read --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench  type read io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
  SEC       OPS   OPS/SEC   BYTES/SEC
    1       192    207.99  218095096.63
    2       352    184.36  193316911.53
    3       544    189.44  198639751.76
    4       720    188.13  197270222.69
    5       912    186.64  195703874.13
elapsed:     5  ops:     1024  ops/sec:   180.27  bytes/sec: 189031503.11
root@pve01:~#

ブロックサイズ4K&16スレッドで512MBをランダム書き込み&読み込みを計測
結果はWrite:316秒 約1.7MB/s・Read:8秒 約44MB/s

root@pve01:~# rbd bench Test01 --io-type write --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench  type write io_size 4096 io_threads 16 bytes 536870912 pattern random
  SEC       OPS   OPS/SEC   BYTES/SEC
    1      5616   5631.78  23067750.81
    2      6096   2978.44  12199684.38
    3      6544   2157.81  8838383.91
    4      6912   1699.64  6961716.12
    5      7216   1445.19  5919482.25
    6      7536    380.94  1560318.65
    7      7936    362.19  1483531.31
    8      8272    345.59  1415521.08
    9      8704    362.45  1484575.03
   10      9024    361.88  1482240.26
   11      9392    371.78  1522810.99
   12      9776    375.19  1536773.88
   13     10176    380.48  1558447.77
   14     10656    391.32  1602861.43
   15     11120    413.23  1692601.19
   16     11680    455.03  1863817.39
   17     12304    507.20  2077502.93
   18     12880    545.58  2234693.67
   19     13472    560.93  2297584.77
   20     14064    586.43  2402020.44
   21     14688    605.45  2479926.76
   22     15344    598.87  2452983.24
   23     15872    595.99  2441183.82
   24     16544    605.65  2480759.01
   25     17056    609.59  2496891.36
   26     17680    600.29  2458806.04
   27     18272    597.03  2445452.22
   34     18784    256.77  1051749.75
   35     22544    548.61  2247118.08
   37     22784    470.71  1928040.28
   41     22800    335.41  1373832.69
   42     26240    530.46  2172759.47
   47     26400    571.39  2340422.84
   48     26416    297.37  1218026.54
   49     29584    573.90  2350694.98
   54     29712    539.97  2211700.19
   55     32736    500.58  2050395.73
   59     32800    551.69  2259719.75
   60     35552    758.50  3106833.30
   64     35664    402.62  1649146.67
   65     38208    775.42  3176107.43
   69     38384    398.73  1633208.07
   70     40832    749.49  3069896.87
   73     40944    399.98  1638297.69
   74     43152    752.67  3082924.76
   77     43392    404.47  1656705.83
   78     45232    770.78  3157098.59
   81     45728    415.03  1699963.62
   82     47456    770.06  3154150.64
   86     47968    401.98  1646503.70
   89     50064    579.13  2372120.07
   90     50080    404.65  1657444.18
   92     52016    563.81  2309366.94
   94     52032    372.62  1526232.98
   95     53536    621.11  2544079.05
   98     53920    425.58  1743179.48
   99     55296    580.29  2376883.02
  102     55584    394.67  1616552.27
  105     57056    450.80  1846468.50
  106     58160    420.95  1724212.09
  108     58544    452.60  1853832.00
  109     59584    425.71  1743702.94
  111     59936    445.51  1824806.09
  112     60816    572.79  2346133.86
  114     61232    358.19  1467134.66
  115     62096    553.58  2267473.21
  117     62512    344.45  1410865.89
  118     63312    532.12  2179580.31
  120     63680    352.34  1443188.13
  121     64480    497.82  2039086.86
  122     64848    347.28  1422452.06
  123     65312    502.84  2059645.61
  124     65744    401.30  1643707.94
  125     66080    492.58  2017612.19
  126     66528    414.21  1696622.55
  127     66992    512.89  2100788.19
  128     67216    386.97  1585023.18
  129     67632    384.65  1575546.51
  130     68064    398.69  1633033.53
  131     68448    371.21  1520465.38
  132     68784    353.85  1449366.26
  133     69264    402.81  1649902.43
  134     69536    382.92  1568446.43
  135     70000    381.08  1560901.58
  136     70304    386.00  1581056.57
  137     70640    386.97  1585012.57
  138     71104    377.65  1546836.71
  139     71456    376.15  1540722.78
  140     71888    367.58  1505604.60
  141     72096    359.82  1473813.85
  142     72512    372.59  1526125.32
  143     72912    359.85  1473950.15
  144     73248    358.95  1470271.18
  145     73552    344.92  1412797.94
  146     73920    365.07  1495327.94
  147     74368    363.05  1487034.99
  148     74688    359.49  1472482.31
  149     75104    372.97  1527677.53
  150     75472    372.65  1526368.79
  151     75872    387.59  1587552.91
  152     76208    377.65  1546837.45
  153     76656    363.88  1490467.67
  154     77056    387.89  1588815.04
  155     77344    389.98  1597345.21
  156     77744    367.04  1503383.78
  157     78112    375.97  1539952.95
  158     78464    382.70  1567554.90
  159     78832    352.64  1444413.29
  160     79120    352.36  1443266.97
  161     79472    352.63  1444381.51
  162     79840    339.87  1392106.54
  163     80176    345.14  1413697.13
  164     80448    333.86  1367509.34
  165     80912    355.25  1455114.76
  166     81280    352.28  1442932.82
  167     81616    366.01  1499189.45
  168     82048    378.31  1549567.56
  169     82496    384.94  1576713.18
  170     82656    352.44  1443614.31
  171     83104    365.07  1495329.18
  172     83440    359.88  1474085.40
  173     83728    336.79  1379485.91
  174     84240    343.56  1407211.31
  175     84464    349.28  1430667.19
  176     84960    372.37  1525226.75
  177     85216    354.61  1452489.93
  178     85632    378.06  1548516.09
  179     85984    356.48  1460140.18
  180     86256    368.40  1508964.31
  181     86624    334.39  1369643.35
  182     86976    360.34  1475949.74
  183     87280    334.12  1368575.33
  184     87584    342.15  1401457.93
  185     87936    341.17  1397416.39
  186     88320    341.64  1399357.52
  187     88688    340.20  1393470.41
  188     89040    340.01  1392685.45
  189     89392    350.64  1436217.35
  190     89728    352.46  1443667.33
  191     90080    351.98  1441708.11
  192     90384    333.84  1367403.94
  193     90784    360.01  1474609.58
  194     91024    336.34  1377634.72
  195     91472    349.06  1429745.65
  196     91792    345.42  1414839.60
  197     92160    359.49  1472484.63
  198     92448    331.72  1358721.87
  199     92880    363.62  1489368.25
  200     93280    359.57  1472780.26
  201     93584    353.85  1449369.50
  202     93968    364.50  1492971.69
  203     94352    377.46  1546061.28
  204     94624    350.46  1435492.61
  205     95040    353.39  1447498.72
  206     95424    370.95  1519396.16
  207     95808    368.86  1510867.11
  208     96128    359.49  1472485.12
  209     96448    370.11  1515964.57
  210     96800    352.26  1442863.23
  211     97168    344.64  1411662.59
  212     97552    340.61  1395119.71
  213     97936    336.79  1379497.41
  214     98256    360.14  1475127.94
  215     98720    377.34  1545571.57
  216     99136    381.97  1564531.27
  217     99376    357.07  1462544.09
  218     99744    384.66  1575562.38
  219    100112    371.48  1521565.27
  220    100496    367.83  1506644.39
  221    100880    369.78  1514634.19
  222    101296    402.66  1649301.54
  223    101712    376.99  1544150.72
  224    102016    370.41  1517186.37
  225    102320    358.75  1469448.64
  226    102624    342.48  1402791.80
  227    102944    328.27  1344586.15
  228    103248    323.76  1326116.55
  229    103680    333.58  1366350.28
  230    103952    328.22  1344386.73
  231    104320    336.22  1377164.97
  232    104608    332.25  1360893.72
  233    105008    349.74  1432541.64
  234    105296    328.17  1344183.46
  235    105664    341.83  1400150.39
  236    105984    335.19  1372956.60
  237    106336    339.34  1389922.59
  238    106656    329.05  1347808.43
  239    106896    319.22  1307507.58
  240    107328    321.47  1316722.82
  241    107568    312.29  1279119.89
  242    107904    314.59  1288556.18
  243    108208    308.90  1265253.16
  244    108528    328.48  1345469.70
  245    108928    335.83  1375572.86
  246    109248    332.79  1363092.46
  247    109568    339.02  1388622.38
  248    109904    343.30  1406158.59
  249    110304    359.79  1473680.12
  250    110576    328.79  1346733.22
  251    110976    349.49  1431530.87
  252    111392    352.10  1442216.72
  253    111712    361.00  1478664.24
  254    112128    361.31  1479929.28
  255    112496    368.36  1508802.20
  256    112848    378.93  1552081.05
  257    113168    365.41  1496725.66
  258    113408    342.47  1402751.48
  259    113824    336.49  1378259.03
  260    114160    344.64  1411632.37
  261    114496    330.11  1352129.19
  262    114816    333.31  1365256.70
  263    115184    349.04  1429655.63
  264    115568    346.84  1420649.05
  265    115888    341.75  1399820.27
  266    116320    364.49  1492942.74
  267    116736    363.62  1489371.14
  268    117152    398.04  1630355.35
  269    117504    395.73  1620893.78
  270    117712    350.48  1435566.16
  271    118240    379.13  1552898.99
  272    118592    343.68  1407731.74
  273    118896    324.63  1329677.06
  274    119232    325.77  1334368.97
  275    119504    375.82  1539350.37
  276    120016    364.21  1491815.09
  277    120304    352.53  1443978.85
  278    120592    346.39  1418796.79
  279    121120    396.95  1625907.79
  280    121248    307.46  1259348.82
  281    121824    363.32  1488174.45
  283    122224    310.46  1271649.89
  284    122880    397.20  1626931.82
  286    123248    284.32  1164591.67
  287    124000    428.37  1754602.51
  289    124272    291.27  1193057.11
  290    125120    450.78  1846413.25
  292    125264    293.87  1203688.76
  293    126272    460.11  1884604.16
  295    126432    291.03  1192068.11
  296    127280    456.56  1870080.01
  298    127584    282.94  1158932.78
  299    127632    346.38  1418781.84
  300    128768    353.12  1446385.40
  301    129072    480.32  1967402.46
  303    129248    255.31  1045729.63
  304    130224    503.02  2060374.38
  307    130560    355.84  1457514.38
elapsed:   316  ops:   131072  ops/sec:   414.63  bytes/sec: 1698323.52
root@pve01:~# rbd bench Test01 --io-type read --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench  type read io_size 4096 io_threads 16 bytes 536870912 pattern random
  SEC       OPS   OPS/SEC   BYTES/SEC
    1     11200  11260.44  46122761.42
    2     22624  11319.39  46364232.05
    3     33872  11310.47  46327704.10
    4     44960  11254.65  46099052.80
    5     55856  11182.75  45804531.57
    6     66336  11026.61  45164990.07
    7     77712  11025.83  45161801.00
    8     87408  10706.63  43854342.25
    9     97792  10565.83  43277657.29
   10    109008  10629.83  43539788.20
   11    120000  10732.23  43959197.12
   12    130720  10601.03  43421831.64
elapsed:    12  ops:   131072  ops/sec: 10896.66  bytes/sec: 44632703.98
root@pve01:~#

イメージ削除

root@pve01:~# rbd rm --pool=Pool01 Test01
Removing image: 100% complete...done.
root@pve01:~#

計測後のメモリ使用状況

ピーク値で4.5GiB

VM-OSインストール所要時間

前記事のおまけ項で紹介したCentOSとWin10のインストール所要時間を
今回の各HDD1台+SSD:計3OSDで計測してみました

計測部分は以前と同じ自動処理されるプロセスです

結果はCentOS7が4分50秒、Windows10が19分50秒

OSD追加して6OSDへ

今回も既存プールを維持したままOSDを追加して拡張していきます

追加したいノードでCeph -> OSD画面へ移動して「作成: OSD」を選択
pve01から順に追加していきます

1つ目のOSD登録で使用したSSDが2つ目のOSD登録でもDB Diskで選択できるのがわかります
(一番下のデバイス)

2つ目のOSDを登録した後のpve01 -> ディスク -> LVM画面がこちら
20%だった/dev/sdfが40%になっているのがわかります
「fdisk -l」コマンドでも前回同様に93.2 GiBの割り当てが確認できました

このようにDB/WALに割り当てるSSDはノード内の全てのOSDで共用できるので
512GBのSSDを4OSDで使用するなら1OSDあたり128GBでOSD登録するなど
全体容量を登録OSDで等分して割り当てるのが一般的になります

6OSDへ拡張した様子がこちら
全て合計値が1TiBになっているのが確認できます

各HDD2台+SSD:計6OSDでの計測結果

Proxmox起動直後のメモリ使用状況

pve01は1.75GiB、pve01は1.75GiB、pve03は1.62GiB

CentOS7のVMから計測

[root@centos7-bench ~]# ./fio_cdm.sh /root
Testing in /root
Configuration: Size:1024m Loops:5 Write Only Zeroes:0
Running Benchmark,  please wait...


Results:

Sequential Read: 167MB/s IOPS=0
Sequential Write: 21MB/s IOPS=0

512KB Read: 89MB/s IOPS=178
512KB Write: 7MB/s IOPS=15

Sequential Q32T1 Read: 144MB/s IOPS=4
Sequential Q32T1 Write: 20MB/s IOPS=0

4KB Read: 3MB/s IOPS=1000
4KB Write: 1MB/s IOPS=416

4KB Q32T1 Read: 3MB/s IOPS=1000
4KB Q32T1 Write: 1MB/s IOPS=454

4KB Q8T8 Read: 27MB/s IOPS=7166
4KB Q8T8 Write: 2MB/s IOPS=590


[root@centos7-bench ~]#

Windows10のVMから計測

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q=  8, T= 1):   170.076 MB/s [    162.2 IOPS] < 48530.25 us>
Sequential 1MiB (Q=  1, T= 1):   146.399 MB/s [    139.6 IOPS] <  7144.82 us>
    Random 4KiB (Q= 32, T=16):   134.570 MB/s [  32854.0 IOPS] < 15447.79 us>
    Random 4KiB (Q=  1, T= 1):     7.442 MB/s [   1816.9 IOPS] <   549.57 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):    33.979 MB/s [     32.4 IOPS] <238823.59 us>
Sequential 1MiB (Q=  1, T= 1):    12.373 MB/s [     11.8 IOPS] < 84429.52 us>
    Random 4KiB (Q= 32, T=16):     1.581 MB/s [    386.0 IOPS] <487031.60 us>
    Random 4KiB (Q=  1, T= 1):     0.338 MB/s [     82.5 IOPS] < 11958.85 us>

[Mix] Read 70%/Write 30%
Sequential 1MiB (Q=  8, T= 1):    63.965 MB/s [     61.0 IOPS] <126822.69 us>
Sequential 1MiB (Q=  1, T= 1):    31.039 MB/s [     29.6 IOPS] < 33102.56 us>
    Random 4KiB (Q= 32, T=16):     4.417 MB/s [   1078.4 IOPS] <247830.37 us>
    Random 4KiB (Q=  1, T= 1):     0.919 MB/s [    224.4 IOPS] <  4310.61 us>

Profile: Default
   Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
   Date: 2020/02/12 2:54:06
     OS: Windows 10 Professional [10.0 Build 18363] (x64)

rados benchで計測

ブロックサイズ1M&16スレッドで60秒間書き込み
結果は100.532MB/s

root@pve01:~# rados bench -p Pool01 -t 16 -b 1M 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 1048576 bytes to objects of size 1048576 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_15849
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16        96        80   79.9951        80    0.122776    0.180692
    2      16       199       183   91.4939       103     0.15045    0.164764
    3      16       305       289   96.3267       106   0.0456863    0.160847
    4      16       400       384   95.9932        95    0.168944    0.162355
    5      16       501       485   96.9931       101    0.209101    0.162171
    6      16       596       580   96.6597        95    0.340535      0.1624
    7      16       691       675   96.4211        95     0.11643    0.163738
    8      16       792       776   96.9922       101    0.135204    0.162507
    9      16       894       878   97.5475       102    0.148684    0.162424
   10      16       996       980    97.992       102    0.109626    0.161971
   11      16      1091      1075   97.7191        95    0.110996    0.162907
   12      16      1190      1174    97.825        99    0.157929    0.161902
   13      16      1288      1272   97.8377        98   0.0751169    0.161878
   14      16      1398      1382   98.7057       110    0.116347    0.161193
   15      16      1502      1486   99.0581       104    0.202977    0.160793
   16      16      1597      1581   98.8039        95    0.109349    0.160702
   17      16      1703      1687   99.2267       106    0.179043     0.16047
   18      16      1804      1788   99.3247       101    0.158972     0.16042
   19      16      1902      1886   99.2544        98    0.119069    0.160188
2020-02-12 02:56:22.345910 min lat: 0.0377489 max lat: 0.379883 avg lat: 0.160226
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      2004      1988   99.3912       102    0.248719    0.160226
   21      16      2107      2091   99.5624       103    0.120277    0.160096
   22      16      2208      2192   99.6273       101    0.148653    0.160036
   23      16      2306      2290   99.5561        98    0.228719    0.160274
   24      16      2403      2387   99.4492        97    0.230762    0.160238
   25      16      2503      2487   99.4708       100     0.15469    0.160202
   26      16      2599      2583    99.337        96     0.15981    0.160316
   27      16      2696      2680     99.25        97   0.0524986    0.160389
   28      16      2802      2786   99.4908       106    0.133713     0.16052
   29      16      2898      2882   99.3701        96   0.0987339    0.160537
   30      16      2998      2982   99.3908       100   0.0744403    0.160364
   31      16      3100      3084   99.4748       102   0.0538772    0.160338
   32      16      3204      3188   99.6159       104     0.15653    0.160242
   33      16      3304      3288   99.6273       100   0.0889356    0.160066
   34      16      3403      3387   99.6085        99     0.10828    0.160193
   35      16      3500      3484   99.5337        97    0.186521     0.16026
   36      16      3596      3580   99.4353        96    0.161903    0.160356
   37      16      3699      3683   99.5313       103   0.0520928     0.16044
   38      16      3798      3782   99.5171        99   0.0993432    0.160421
   39      16      3899      3883   99.5549       101    0.190949    0.160296
2020-02-12 02:56:42.347832 min lat: 0.0372392 max lat: 0.460037 avg lat: 0.160232
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16      4001      3985   99.6158       102   0.0816322    0.160232
   41      16      4110      4094   99.8444       109    0.232517    0.159962
   42      16      4207      4191   99.7764        97   0.0572048    0.160051
   43      16      4305      4289   99.7349        98     0.10925    0.160071
   44      16      4410      4394   99.8543       105    0.157753    0.159851
   45      16      4510      4494   99.8573       100     0.25226    0.159832
   46      16      4615      4599   99.9689       105    0.163064    0.159803
   47      16      4719      4703   100.054       104   0.0739707    0.159636
   48      16      4818      4802   100.032        99   0.0989208    0.159607
   49      16      4921      4905   100.093       103    0.120154    0.159591
   50      16      5017      5001   100.011        96    0.223204    0.159691
   51      16      5106      5090   99.7947        89    0.169192    0.159952
   52      16      5216      5200   99.9908       110    0.155797    0.159734
   53      16      5320      5304   100.066       104    0.154693    0.159688
   54      16      5421      5405   100.083       101    0.198116    0.159563
   55      16      5527      5511   100.191       106    0.232896    0.159446
   56      16      5634      5618   100.312       107    0.163564    0.159272
   57      16      5733      5717   100.289        99    0.124248    0.159243
   58      16      5835      5819   100.318       102    0.276678    0.159339
   59      16      5933      5917   100.279        98    0.229107    0.159233
2020-02-12 02:57:02.349668 min lat: 0.0365047 max lat: 0.460037 avg lat: 0.159035
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16      6043      6027   100.441       110    0.130354    0.159035
Total time run:         60.1105
Total writes made:      6043
Write size:             1048576
Object size:            1048576
Bandwidth (MB/sec):     100.532
Stddev Bandwidth:       5.06375
Max bandwidth (MB/sec): 110
Min bandwidth (MB/sec): 80
Average IOPS:           100
Stddev IOPS:            5.06375
Max IOPS:               110
Min IOPS:               80
Average Latency(s):     0.159152
Stddev Latency(s):      0.0607465
Max latency(s):         0.460037
Min latency(s):         0.0365047
root@pve01:~#

先ほど書き込んだデータを16スレッドでシーケンシャル読み込み
結果は168.227MB/s

root@pve01:~# rados bench -p Pool01 -t 16 60 seq
hints = 1
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16       195       179    178.97       179  0.00628092   0.0809063
    2      16       360       344   171.979       165  0.00574264   0.0884187
    3      16       510       494   164.648       150    0.338629   0.0943064
    4      16       669       653   163.232       159   0.0151527   0.0958899
    5      16       818       802   160.382       149    0.281947   0.0975963
    6      16       984       968   161.316       166   0.0110699   0.0974827
    7      16      1153      1137   162.411       169    0.216915   0.0974121
    8      16      1304      1288   160.983       151   0.0710473   0.0983229
    9      16      1472      1456   161.761       168   0.0224994    0.097666
   10      16      1639      1623   162.282       167   0.0105673   0.0973312
   11      16      1808      1792   162.891       169   0.0131136   0.0975084
   12      16      1977      1961   163.399       169   0.0266779   0.0969486
   13      16      2152      2136   164.289       175     0.14865   0.0968142
   14      16      2318      2302   164.409       166    0.226185   0.0967447
   15      16      2506      2490   165.981       188   0.0111208   0.0958813
   16      16      2652      2636   164.731       146    0.156834   0.0966307
   17      16      2804      2788   163.982       152  0.00858081   0.0970938
   18      16      2979      2963   164.593       175    0.267598    0.096555
   19      16      3150      3134   164.929       171   0.0102678   0.0965765
2020-02-12 02:57:37.655144 min lat: 0.002761 max lat: 0.391673 avg lat: 0.0960117
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16      3331      3315   165.732       181   0.0526852   0.0960117
   21      16      3494      3478   165.601       163  0.00308645   0.0960764
   22      16      3675      3659     166.3       181   0.0359398   0.0958504
   23      16      3843      3827   166.373       168    0.102848   0.0957535
   24      16      4015      3999   166.607       172    0.274698   0.0955953
   25      16      4197      4181   167.222       182   0.0107143   0.0952166
   26      16      4381      4365   167.867       184   0.0136834   0.0948703
   27      16      4546      4530    167.76       165    0.131687   0.0949606
   28      16      4708      4692   167.554       162    0.122555    0.095091
   29      16      4867      4851   167.258       159    0.188902   0.0953499
   30      16      5048      5032   167.716       181   0.0489211   0.0950486
   31      16      5220      5204   167.853       172    0.203455   0.0950454
   32      16      5378      5362   167.545       158    0.119539   0.0951572
   33      16      5548      5532   167.619       170    0.235086   0.0951464
   34      16      5730      5714   168.041       182   0.0408057   0.0948818
   35      16      5909      5893   168.354       179    0.187971   0.0947369
Total time run:       35.9216
Total reads made:     6043
Read size:            1048576
Object size:          1048576
Bandwidth (MB/sec):   168.227
Average IOPS:         168
Stddev IOPS:          10.8495
Max IOPS:             188
Min IOPS:             146
Average Latency(s):   0.095055
Max latency(s):       0.391673
Min latency(s):       0.002761
root@pve01:~#

ブロックサイズ4K&16スレッドで60秒間書き込み
結果は3.12581MB/s 800IOPS

root@pve01:~# rados bench -p Pool01 -t 16 -b 4K 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 4096 bytes to objects of size 4096 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_16483
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
    0       0         0         0         0         0           -           0
    1      16       921       905   3.53459   3.53516   0.0351136   0.0172044
    2      16      1731      1715   3.34922   3.16406  0.00262008   0.0186504
    3      16      2603      2587   3.36802   3.40625  0.00483759   0.0184842
    4      16      3402      3386   3.30622   3.12109   0.0374521   0.0187031
    5      16      4246      4230   3.30426   3.29688   0.0531431   0.0188386
    6      16      5011      4995   3.25149   2.98828  0.00357673   0.0190943
    7      16      5929      5913   3.29923   3.58594   0.0213169   0.0188918
    8      16      6811      6795   3.31746   3.44531   0.0240945    0.018797
    9      16      7729      7713   3.34726   3.58594   0.0018437   0.0186313
   10      16      8493      8477   3.31095   2.98438  0.00503704   0.0188592
   11      16      9212      9196   3.26523   2.80859  0.00162193   0.0190908
   12      16      9993      9977   3.24732   3.05078  0.00157944   0.0192082
   13      16     10720     10704   3.21593   2.83984  0.00239704   0.0194227
   14      16     11648     11632   3.24513     3.625  0.00277833   0.0192573
   15      16     12428     12412   3.23189   3.04688  0.00181331   0.0192577
   16      16     13192     13176   3.21641   2.98438   0.0508313   0.0194295
   17      16     14095     14079   3.23468   3.52734  0.00190991   0.0192724
   18      16     14885     14869   3.22639   3.08594   0.0328831   0.0193511
   19      16     15667     15651   3.21734   3.05469  0.00197097   0.0193804
2020-02-12 02:58:42.486892 min lat: 0.00100799 max lat: 0.130231 avg lat: 0.0194439
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   20      16     16428     16412    3.2051   2.97266  0.00190177   0.0194439
   21      16     17269     17253    3.2089   3.28516  0.00148288    0.019452
   22      16     18030     18014   3.19816   2.97266   0.0285157   0.0195192
   23      16     18728     18712   3.17763   2.72656  0.00508987   0.0196393
   24      16     19459     19443    3.1642   2.85547    0.031767   0.0197289
   25      16     20414     20398   3.18682   3.73047  0.00193687   0.0195914
   26      16     21199     21183   3.18218   3.06641   0.0632583   0.0196337
   27      16     21883     21867   3.16326   2.67188   0.0422177   0.0197243
   28      16     22762     22746   3.17291   3.43359  0.00199669    0.019686
   29      16     23633     23617   3.18081   3.40234  0.00324485   0.0196473
   30      16     24405     24389   3.17529   3.01562    0.002156   0.0196648
   31      16     25229     25213   3.17669   3.21875   0.0163387    0.019659
   32      16     26092     26076   3.18275   3.37109   0.0668536   0.0196257
   33      16     26933     26917   3.18583   3.28516  0.00189541   0.0195988
   34      16     27915     27899   3.20494   3.83594   0.0279128   0.0194757
   35      16     28593     28577   3.18903   2.64844  0.00151964    0.019594
   36      16     29254     29238   3.17216   2.58203  0.00172871   0.0196788
   37      16     30089     30073   3.17456   3.26172   0.0300655   0.0196746
   38      16     30899     30883   3.17428   3.16406  0.00239999   0.0196883
   39      16     31811     31795   3.18422    3.5625   0.0249502   0.0196121
2020-02-12 02:59:02.489407 min lat: 0.00100799 max lat: 0.17871 avg lat: 0.0196226
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   40      16     32608     32592   3.18243   3.11328  0.00137098   0.0196226
   41      16     33352     33336   3.17568   2.90625  0.00217627   0.0196623
   42      16     34037     34021   3.16377   2.67578  0.00157203   0.0197443
   43      16     34760     34744   3.15586   2.82422  0.00256194   0.0197859
   44      16     35480     35464   3.14805    2.8125   0.0473804   0.0198207
   45      16     36206     36190    3.1411   2.83594   0.0419005   0.0198738
   46      15     37071     37056   3.14635   3.38281  0.00222381   0.0198635
   47      16     37893     37877   3.14763   3.20703  0.00212976   0.0198518
   48      16     38711     38695   3.14861   3.19531   0.0428051   0.0198393
   49      16     39484     39468   3.14597   3.01953   0.0336561    0.019853
   50      16     40342     40326   3.15008   3.35156   0.0356851   0.0198266
   51      16     41168     41152   3.15157   3.22656  0.00406339   0.0198151
   52      16     41970     41954    3.1512   3.13281  0.00188696   0.0198286
   53      16     42630     42614   3.14038   2.57812   0.0278142   0.0198888
   54      16     43380     43364   3.13647   2.92969   0.0022261    0.019926
   55      16     44095     44079   3.13022   2.79297  0.00214281   0.0199471
   56      16     44979     44963   3.13598   3.45312  0.00274492   0.0199247
   57      16     45733     45717   3.13262   2.94531  0.00121138   0.0199439
   58      16     46543     46527   3.13316   3.16406   0.0797095   0.0199346
   59      16     47318     47302   3.13136   3.02734   0.0359606   0.0199475
2020-02-12 02:59:22.492246 min lat: 0.00100799 max lat: 0.17871 avg lat: 0.0199797
  sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)
   60      16     48051     48035   3.12688   2.86328  0.00168291   0.0199797
Total time run:         60.0495
Total writes made:      48052
Write size:             4096
Object size:            4096
Bandwidth (MB/sec):     3.12581
Stddev Bandwidth:       0.297207
Max bandwidth (MB/sec): 3.83594
Min bandwidth (MB/sec): 2.57812
Average IOPS:           800
Stddev IOPS:            76.085
Max IOPS:               982
Min IOPS:               660
Average Latency(s):     0.0199942
Stddev Latency(s):      0.0248299
Max latency(s):         0.17871
Min latency(s):         0.00100799
root@pve01:~#

クリーンアップ

root@pve01:~# rados -p Pool01 cleanup
Removed 48052 objects
root@pve01:~#

rbd benchで計測

プール内に20GBでイメージを作成

root@pve01:~# rbd create --size=20G --pool=Pool01 Test01
root@pve01:~#

ブロックサイズ1M&16スレッドで1024MBをシーケンシャル書き込み&読み込みを計測
結果はWrite:13秒 約77MB/s・Read:6秒 約172MB/s

root@pve01:~# rbd bench Test01 --io-type write --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench  type write io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
  SEC       OPS   OPS/SEC   BYTES/SEC
    1        96    118.64  124405171.83
    2       160     94.22  98793461.65
    3       240     88.27  92562350.64
    4       304     84.30  88392655.76
    5       384     82.37  86372148.25
    6       480     75.35  79012210.82
    7       544     76.01  79700361.63
    8       608     74.13  77733541.75
    9       688     74.59  78214107.99
   10       768     74.88  78519155.33
   11       832     72.43  75944933.48
   12       896     71.78  75263535.31
   13       976     74.92  78556454.36
elapsed:    13  ops:     1024  ops/sec:    73.58  bytes/sec: 77157464.44
root@pve01:~# rbd bench Test01 --io-type read --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench  type read io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
  SEC       OPS   OPS/SEC   BYTES/SEC
    1       176    209.60  219785066.28
    2       336    184.48  193444647.83
    3       496    173.91  182357899.35
    4       704    181.27  190070922.40
    5       848    175.04  183540122.59
    6      1008    164.68  172684123.63
elapsed:     6  ops:     1024  ops/sec:   164.63  bytes/sec: 172624326.87
root@pve01:~#

ブロックサイズ4K&16スレッドで512MBをランダム書き込み&読み込みを計測
結果はWrite:191秒 約2.8MB/s・Read:8秒 約62MB/s

root@pve01:~# rbd bench Test01 --io-type write --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench  type write io_size 4096 io_threads 16 bytes 536870912 pattern random
  SEC       OPS   OPS/SEC   BYTES/SEC
    1      5600   5615.90  23002740.61
    2      6016   2933.80  12016851.81
    3      6432   2121.02  8687682.25
    4      6800   1703.97  6979464.03
    5      7184   1437.67  5888716.68
    6      7632    404.45  1656633.95
    7      8112    419.19  1717013.69
    8      8496    412.13  1688098.79
    9      8944    425.39  1742395.46
   10      9360    435.19  1782548.57
   11      9824    440.51  1804316.27
   12     10272    436.53  1788037.19
   13     10832    471.34  1930607.67
   14     11312    474.35  1942940.98
   15     11872    503.20  2061092.80
   16     12480    529.07  2167089.47
   17     13040    552.27  2262077.67
   18     13712    575.99  2359255.48
   19     14480    636.65  2607697.99
   20     15168    655.00  2682866.49
   21     15808    662.94  2715389.24
   22     16432    679.48  2783131.71
   23     17232    702.86  2878928.21
   24     17904    684.24  2802650.53
   25     18896    743.80  3046613.31
   29     19616    445.89  1826381.77
   30     23344    864.85  3542425.69
   32     23728    692.82  2837794.31
   34     23744    567.42  2324157.56
   35     27312    842.60  3451275.99
   36     27536   1127.54  4618417.36
   37     27552    587.37  2405872.75
   38     27568    644.28  2638988.30
   39     30848   1496.18  6128366.68
   40     31936    923.31  3781864.86
   41     32160    939.06  3846380.84
   43     32176    735.82  3013936.87
   44     35120   1250.31  5121268.49
   46     35200    551.71  2259823.33
   47     35216    470.99  1929157.05
   49     37936    686.30  2811084.90
   50     37952    864.66  3541630.32
   51     40432    798.54  3270832.70
   53     40512    849.09  3477873.91
   54     42896   1090.89  4468287.08
   55     43072    957.48  3921829.90
   56     43088    872.27  3572808.36
   57     45392    813.63  3332646.32
   58     45456    947.84  3882338.41
   59     47216    868.15  3555951.95
   60     47648    836.24  3425251.28
   61     47664    842.40  3450474.04
   62     49504    841.92  3448497.86
   63     49728    784.70  3214146.28
   64     51296    805.67  3300038.28
   65     51696    828.14  3392046.67
   66     51712    847.56  3471592.16
   67     53552    791.23  3240876.49
   68     53584    847.09  3469662.93
   69     55312    790.54  3238042.21
   70     55344    747.53  3061875.46
   71     56992   1006.08  4120905.08
   72     57056    640.34  2622832.30
   73     58432   1055.73  4324274.43
   74     58800    598.48  2451373.29
   75     58816    779.86  3194310.12
   77     60448    611.45  2504517.66
   79     61968    744.23  3048364.82
   80     63184    678.07  2777377.14
   81     64016    867.01  3551258.40
   82     64688    823.78  3374200.42
   83     65600    867.33  3552564.15
   84     66368    902.36  3696081.17
   85     67088    778.30  3187900.82
   86     67760    746.40  3057249.15
   87     68336    704.24  2884546.82
   88     69152    708.12  2900467.15
   89     69808    694.10  2843018.38
   90     70624    691.69  2833178.48
   91     71424    735.73  3013551.70
   92     72144    805.40  3298921.61
   93     73040    781.97  3202931.57
   94     73856    816.12  3342807.38
   95     74640    824.97  3379058.10
   96     75568    815.73  3341246.83
   97     76368    845.46  3463012.07
   98     77072    811.58  3324233.05
   99     77744    773.26  3167258.53
  100     78320    736.58  3017018.10
  101     78880    672.07  2752784.14
  102     79568    644.63  2640406.14
  103     80208    628.70  2575147.67
  104     80896    619.97  2539412.17
  105     81680    648.64  2656819.48
  106     82240    672.53  2754668.72
  107     83040    681.31  2790633.65
  108     83776    691.46  2832224.50
  109     84432    713.47  2922358.48
  110     85248    725.78  2972798.70
  111     85920    735.99  3014604.52
  112     86704    739.89  3030591.22
  113     87504    771.51  3160104.99
  114     88320    787.03  3223679.38
  115     89040    772.60  3164581.67
  116     89792    773.77  3169352.77
  117     90432    744.99  3051484.28
  118     91328    748.03  3063935.18
  119     91680    670.92  2748068.11
  120     92544    700.23  2868133.30
  121     93408    725.51  2971686.04
  122     94064    728.14  2982441.48
  123     94592    659.65  2701923.17
  124     95168    699.83  2866493.62
  125     95664    619.53  2537589.74
  126     96384    593.29  2430121.22
  127     96960    580.12  2376164.59
  128     97760    632.58  2591035.67
  129     98208    607.50  2488334.85
  130     98928    648.64  2656819.54
  131     99440    607.79  2489491.35
  132    100000    611.41  2504349.88
  133    100624    578.81  2370805.16
  134    101360    625.88  2563616.32
  135    102080    635.47  2602897.54
  136    102672    651.60  2668960.94
  137    103248    647.52  2652229.10
  138    103840    643.19  2634502.28
  139    104608    644.95  2641696.02
  140    105040    588.23  2409370.69
  141    105840    632.58  2591035.70
  142    106496    649.59  2660716.24
  143    107024    638.32  2614563.29
  144    107648    590.51  2418731.11
  145    108256    648.38  2655748.28
  146    108800    591.04  2420917.20
  147    109392    574.59  2353534.49
  148    109968    585.05  2396347.08
  149    110528    599.99  2457558.12
  150    111216    589.63  2415130.16
  151    111872    609.03  2494587.15
  152    112320    592.70  2427709.24
  153    112992    600.94  2461465.22
  154    113568    597.00  2445331.47
  155    114032    567.27  2323557.51
  156    114592    547.05  2240734.15
  157    115088    552.71  2263884.76
  158    115616    532.46  2180949.86
  159    116272    542.53  2222190.08
  160    116816    557.68  2284268.79
  161    117504    576.85  2362787.02
  162    117920    567.30  2323652.74
  163    118448    561.90  2301522.71
  164    119008    558.36  2287033.71
  165    119536    536.69  2198289.32
  166    120112    529.64  2169412.29
  167    120672    547.76  2243630.59
  168    121312    577.41  2365069.41
  169    121920    571.42  2340531.58
  170    122576    609.45  2496316.77
  171    123280    620.68  2542301.55
  172    123792    618.06  2531557.54
  173    124336    594.80  2436288.98
  174    124816    588.61  2410937.83
  175    125504    583.72  2390925.82
  176    126032    558.89  2289195.81
  177    126592    565.88  2317826.36
  178    127168    563.24  2307015.63
  179    127712    577.34  2364795.49
  180    128176    543.08  2224456.46
  181    128784    522.39  2139711.51
  182    129312    537.12  2200025.76
  183    129792    536.38  2196999.42
  184    130384    522.68  2140908.81
  185    130912    545.88  2235926.85
elapsed:   191  ops:   131072  ops/sec:   683.35  bytes/sec: 2799012.20
root@pve01:~# rbd bench Test01 --io-type read --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench  type read io_size 4096 io_threads 16 bytes 536870912 pattern random
  SEC       OPS   OPS/SEC   BYTES/SEC
    1     14784  14859.19  60863223.58
    2     30128  15101.95  61857578.89
    3     45984  15333.07  62804266.96
    4     61504  15395.13  63058468.86
    5     77456  15506.54  63514796.72
    6     91840  15410.94  63123203.52
    7    106560  15286.14  62612031.47
    8    122176  15250.34  62465399.16
elapsed:     8  ops:   131072  ops/sec: 15290.45  bytes/sec: 62629701.08
root@pve01:~#

イメージ削除

root@pve01:~# rbd rm --pool=Pool01 Test01
Removing image: 100% complete...done.
root@pve01:~#

計測後のメモリ使用状況

ピーク値で5.3GiB

最後に

「HDD3台パターン」と「まとめ」は次の記事に続きます