Proxmox VE 6.1 + Cephで速度計測 各ノードSSD+HDD1～2台の記録
目次
最初に
HDDのみで構成したパターンで速度計測が終わったので
DB/WALにSSDを使ったパターンを測定していきます
計測環境
以前の記事にスペックや計測方法を掲載してますのでそちらをご覧ください
Proxmox VE 6.1 + Cephで速度計測：HDDx1 | fefcc.net
https://fefcc.net/archives/1040
今回のCeph構成
各ノードに登録しているOSDはHDD ST1000DM010 1TB 7200rpmを1～2台
各OSDのDB/WALはSSD SATA Crucial MX500 500GBを共有で登録
Pool01という名でCeph/RBD形式のプール作成
Pool01のPG値は128のまま
OSDをDB/WAL指定して登録
各OSDのDB/WALにSSDを指定したのでその様子をご紹介
まずはpve01 -> Ceph -> OSD画面へ移動
OSDが何も登録されていない状態です
上部にある「作成: OSD」ボタンを選択してOSDを作成していきます
OSD作成画面が表示されるので今回はディスクとDB Diskを指定しました
DB sizeはAutomatic、WAL Diskは指定せず
ディスクにはデータを保存するHDDを指定
DB Diskにはメタデータ格納用のSSDを指定
DB sizeは手動で指定する場合に使用
WAL Diskはjournalデータや書き込みキャッシュに使用するSSDを指定
WAL sizeはDB sizeと同様に手動設定用
通常はディスクに指定したデバイスの中で自動的にDB/WALを管理されるので
デバイスに明確な速度差がある場合のオプションとなります
ですのでディスクにSSDを割り当てる場合はDB/WALを指定する必要はありません
（DBとWALで別々のデバイスを使いたい場合を除く）
Ceph公式によるとDB sizeは格納データの4%が推奨（1TBで40GB）
RBDのみで利用する場合は2%で十分だそうです
メタデータなのであくまでも必要なのは全体容量ではなくデータ容量の4%ですが
最初から全体容量の4%にしておけば将来的にも不足することはないでしょう
WAL Diskについては公式での言及は見当たりませんでしたが
フォーラム情報によるとどんなOSDサイズでも1～2GBもあれば十分だそうです
理由は書き込みキャッシュと言ってもCephの場合は
小さいブロックサイズの書き込みをまとめるのが主な役割だからです
（低速なりがちな4K書き込みへの対応）
ProxmoxのAutomatic設定ではDBがOSDサイズの10%、WALは1%で設定されます
Ceph推奨値をかなり超えての確保なので同一SSDでDB/WALを利用する場合は
DBの10%のみで問題なくWAL分を手動で追加する必要はありません
もし4%ジャストで設定したい場合は手動で数値を入力することになります
WAL Diskについては「use OSD/DB disk」とある通り
DB Diskと同一デバイスであれば指定する必要はありません
ディスクとDB Diskを指定するだけでどちらか高速な方を自動で使用されますので
結果的にSSDなDB Diskが使われることになります
WALは容量をあまり必要としない為、SSDがあるけど空き容量がないという場合は
DBには割り当てずにWALのみに割り当てるといった方法もあります
パフォーマンス的にはDBよりWALの方が大事なので
1GBや512MBだけでも割り当てる意味はあります
OSD登録後の画面はこちら
DB/WALを指定しているOSDかどうかはわかりやすく表示されるわけではないので
この画面だけでは判別は難しいです
以前の記事にある画像で確認するとわかりやすいですが
以前に同じ1TBHDDをOSD登録した際は各OSDの使用中が0.11、合計値が931GiBでした
今回はプールやVMもまだ登録していない状態なのに使用中が9.19、合計値が1TiBです
これはDB Diskで登録したSSDの割り当て分がOSDとして一緒にカウントされるので
容量などが1つのOSDとして合算されているのが理由です
（SSD全域ではなくあくまでOSDごとの割り当て分のみです）
pve01 -> ディスク画面にいくとSSDがCeph(DB)として登録されているのがわかります
このSSDの何GBか割り当てられているかを確認できるのが
pve01 -> ディスク -> LVM画面です
一番上の100%がOSDのHDD、２番目の20%がDBに割り当てたSSDです
465.76-372.61=93.15GB確保されていてる表記になっています
詳細な情報はシェルから「fdisk -l」コマンドで確認可能で
今回の環境だとHDDが931.5 GiBでSSD内で93.2 GiBが確保されていました
Automatic設定で10%が指定されたことがわかります
SSDの残り容量80%は他のOSDでも使えるので
今回計測する1～3台は全てこのSSD1台にDB/WALを割り当てて構築しています
3ノード全て同様にDB/WALをSSDにしてOSD登録した結果がこちら
プールは以前と同様な設定値でpg_numも128
Ceph状態がこちら
使用状況の部分もDB/WAL部分もカウントされるので最初から9%消費になっています
各HDD1台+SSD：計3OSDでの計測結果
Proxmox起動直後のメモリ使用状況
pve01は1.66GiB、pve01は1.54GiB、pve03は1.52GiB
CentOS7のVMから計測
[root@centos7-bench ~]# ./fio_cdm.sh /root Testing in /root Configuration: Size:1024m Loops:5 Write Only Zeroes:0 Running Benchmark, please wait... Results: Sequential Read: 167MB/s IOPS=0 Sequential Write: 13MB/s IOPS=0 512KB Read: 89MB/s IOPS=178 512KB Write: 7MB/s IOPS=15 Sequential Q32T1 Read: 133MB/s IOPS=4 Sequential Q32T1 Write: 12MB/s IOPS=0 4KB Read: 3MB/s IOPS=1000 4KB Write: 1MB/s IOPS=357 4KB Q32T1 Read: 3MB/s IOPS=1000 4KB Q32T1 Write: 1MB/s IOPS=384 4KB Q8T8 Read: 29MB/s IOPS=7500 4KB Q8T8 Write: 1MB/s IOPS=448 [root@centos7-bench ~]#
Windows10のVMから計測
------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes
[Read]
Sequential 1MiB (Q= 8, T= 1): 156.037 MB/s [ 148.8 IOPS] < 52896.59 us>
Sequential 1MiB (Q= 1, T= 1): 147.865 MB/s [ 141.0 IOPS] < 7086.97 us>
Random 4KiB (Q= 32, T=16): 73.861 MB/s [ 18032.5 IOPS] < 27882.25 us>
Random 4KiB (Q= 1, T= 1): 6.930 MB/s [ 1691.9 IOPS] < 590.15 us>
[Write]
Sequential 1MiB (Q= 8, T= 1): 26.426 MB/s [ 25.2 IOPS] <304247.52 us>
Sequential 1MiB (Q= 1, T= 1): 12.164 MB/s [ 11.6 IOPS] < 85638.83 us>
Random 4KiB (Q= 32, T=16): 0.939 MB/s [ 229.2 IOPS] <644831.31 us>
Random 4KiB (Q= 1, T= 1): 0.244 MB/s [ 59.6 IOPS] < 16644.98 us>
[Mix] Read 70%/Write 30%
Sequential 1MiB (Q= 8, T= 1): 49.079 MB/s [ 46.8 IOPS] <160927.67 us>
Sequential 1MiB (Q= 1, T= 1): 27.893 MB/s [ 26.6 IOPS] < 37276.62 us>
Random 4KiB (Q= 32, T=16): 2.486 MB/s [ 606.9 IOPS] <313891.24 us>
Random 4KiB (Q= 1, T= 1): 0.649 MB/s [ 158.4 IOPS] < 6226.98 us>
Profile: Default
Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
Date: 2020/02/12 1:07:22
OS: Windows 10 Professional [10.0 Build 18363] (x64)
rados benchで計測
ブロックサイズ1M＆16スレッドで60秒間書き込み
結果は99.9293MB/s
root@pve01:~# rados bench -p Pool01 -t 16 -b 1M 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 1048576 bytes to objects of size 1048576 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_16975
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 105 89 88.9957 89 0.13304 0.170564
2 16 204 188 93.9931 99 0.179917 0.163751
3 16 307 291 96.9921 103 0.118542 0.160158
4 16 407 391 97.7422 100 0.134337 0.159994
5 16 485 469 93.7926 78 0.173058 0.165917
6 16 578 562 93.6588 93 0.298156 0.168058
7 16 678 662 94.5632 100 0.179997 0.167104
8 16 783 767 95.8665 105 0.156316 0.164883
9 16 888 872 96.8805 105 0.117187 0.163601
10 16 994 978 97.7914 106 0.141851 0.162359
11 16 1058 1042 94.718 64 0.317907 0.163006
12 16 1162 1146 95.4909 104 0.113492 0.166419
13 16 1259 1243 95.6063 97 0.207402 0.165896
14 16 1357 1341 95.7766 98 0.171842 0.165916
15 16 1467 1451 96.7241 110 0.146017 0.164855
16 16 1563 1547 96.6784 96 0.170735 0.16463
17 15 1660 1645 96.7557 98 0.117097 0.164681
18 16 1761 1745 96.9355 100 0.145716 0.164378
19 16 1861 1845 97.0962 100 0.148303 0.163992
2020-02-12 01:11:01.607064 min lat: 0.062768 max lat: 0.528444 avg lat: 0.163523
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 1969 1953 97.6409 108 0.0768345 0.163523
21 16 2065 2049 97.5622 96 0.184426 0.16334
22 16 2170 2154 97.8999 105 0.126005 0.162791
23 16 2275 2259 98.2081 105 0.154696 0.162362
24 16 2381 2365 98.5323 106 0.0936095 0.161935
25 16 2483 2467 98.6707 102 0.210574 0.161649
26 16 2589 2573 98.9523 106 0.151705 0.161324
27 16 2689 2673 98.9909 100 0.141203 0.16119
28 16 2790 2774 99.0624 101 0.164724 0.160974
29 16 2894 2878 99.2323 104 0.193204 0.160807
30 16 2996 2980 99.3242 102 0.115813 0.160633
31 16 3097 3081 99.3779 101 0.129411 0.160485
32 16 3202 3186 99.5533 105 0.257037 0.160256
33 16 3306 3290 99.6877 104 0.195434 0.160116
34 16 3407 3391 99.726 101 0.223227 0.160074
35 16 3507 3491 99.7338 100 0.165048 0.160008
36 16 3606 3590 99.7133 99 0.154458 0.160075
37 16 3712 3696 99.883 106 0.123725 0.159828
38 16 3815 3799 99.9648 103 0.178039 0.159764
39 16 3916 3900 99.991 101 0.183415 0.159665
2020-02-12 01:11:21.608786 min lat: 0.062768 max lat: 0.528444 avg lat: 0.15964
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
40 16 4019 4003 100.066 103 0.138026 0.15964
41 16 4120 4104 100.089 101 0.144366 0.159551
42 16 4221 4205 100.11 101 0.146726 0.159495
43 16 4320 4304 100.084 99 0.125102 0.159686
44 16 4396 4380 99.5364 76 0.166448 0.160461
45 16 4502 4486 99.6798 106 0.140841 0.160334
46 16 4596 4580 99.5561 94 0.125352 0.160386
47 16 4696 4680 99.5653 100 0.172586 0.160415
48 16 4795 4779 99.5533 99 0.152367 0.16041
49 16 4894 4878 99.5418 99 0.119069 0.160427
50 16 4996 4980 99.5908 102 0.128574 0.160454
51 16 5098 5082 99.6378 102 0.0866417 0.160295
52 16 5196 5180 99.6061 98 0.151412 0.160369
53 16 5294 5278 99.5756 98 0.16912 0.160402
54 16 5397 5381 99.6388 103 0.247851 0.160403
55 16 5497 5481 99.6452 100 0.11184 0.160384
56 16 5600 5584 99.7049 103 0.0912252 0.160276
57 16 5697 5681 99.6573 97 0.110132 0.160259
58 16 5798 5782 99.6804 101 0.089769 0.160213
59 16 5900 5884 99.7195 102 0.169657 0.160191
2020-02-12 01:11:41.610809 min lat: 0.062768 max lat: 0.528444 avg lat: 0.160089
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
60 16 6003 5987 99.774 103 0.21422 0.160089
Total time run: 60.0725
Total writes made: 6003
Write size: 1048576
Object size: 1048576
Bandwidth (MB/sec): 99.9293
Stddev Bandwidth: 7.39696
Max bandwidth (MB/sec): 110
Min bandwidth (MB/sec): 64
Average IOPS: 99
Stddev IOPS: 7.39696
Max IOPS: 110
Min IOPS: 64
Average Latency(s): 0.160111
Stddev Latency(s): 0.0411672
Max latency(s): 0.528444
Min latency(s): 0.062768
root@pve01:~#
先ほど書き込んだデータを16スレッドでシーケンシャル読み込み
結果は169.658MB/s
root@pve01:~# rados bench -p Pool01 -t 16 60 seq
hints = 1
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 190 174 173.974 174 0.0142905 0.0837335
2 16 364 348 173.975 174 0.198717 0.0883823
3 16 524 508 169.312 160 0.00963946 0.0921574
4 16 700 684 170.977 176 0.209591 0.0912965
5 16 867 851 170.18 167 0.195852 0.0923687
6 16 1031 1015 169.145 164 0.0188453 0.0934133
7 16 1208 1192 170.264 177 0.209242 0.092841
8 16 1362 1346 168.23 154 0.0953361 0.0941035
9 16 1527 1511 167.869 165 0.178217 0.0944795
10 16 1704 1688 168.78 177 0.1558 0.0940082
11 16 1853 1837 166.981 149 0.236029 0.0949719
12 16 2016 2000 166.648 163 0.212252 0.0952788
13 16 2184 2168 166.751 168 0.00300011 0.0952056
14 16 2353 2337 166.911 169 0.00919008 0.0952031
15 16 2533 2517 167.782 180 0.0030154 0.0948386
16 16 2698 2682 167.608 165 0.01368 0.0948659
17 16 2859 2843 167.218 161 0.117045 0.0952591
18 16 3018 3002 166.761 159 0.191468 0.0954272
19 16 3185 3169 166.773 167 0.208121 0.0953826
2020-02-12 01:13:03.108458 min lat: 0.00281648 max lat: 0.278157 avg lat: 0.0948976
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 3372 3356 167.784 187 0.0520474 0.0948976
21 16 3553 3537 168.412 181 0.0714886 0.094654
22 16 3726 3710 168.619 173 0.249519 0.094476
23 16 3882 3866 168.07 156 0.208272 0.0948036
24 16 4044 4028 167.817 162 0.213008 0.0950139
25 16 4230 4214 168.544 186 0.0272605 0.0946103
26 16 4391 4375 168.253 161 0.0108485 0.0947258
27 16 4568 4552 168.576 177 0.00953569 0.0945823
28 16 4737 4721 168.591 169 0.179537 0.0946325
29 16 4919 4903 169.052 182 0.0483897 0.0943794
30 16 5084 5068 168.917 165 0.145801 0.0944689
31 16 5255 5239 168.984 171 0.0124254 0.0944366
32 16 5431 5415 169.202 176 0.0136053 0.0942419
33 16 5592 5576 168.954 161 0.0346821 0.0943928
34 16 5780 5764 169.513 188 0.143772 0.0941793
35 16 5951 5935 169.555 171 0.0989024 0.0941216
Total time run: 35.383
Total reads made: 6003
Read size: 1048576
Object size: 1048576
Bandwidth (MB/sec): 169.658
Average IOPS: 169
Stddev IOPS: 9.54027
Max IOPS: 188
Min IOPS: 149
Average Latency(s): 0.094226
Max latency(s): 0.336573
Min latency(s): 0.00281648
root@pve01:~#
ブロックサイズ4K＆16スレッドで60秒間書き込み
結果は3.46574MB/s 887IOPS
root@pve01:~# rados bench -p Pool01 -t 16 -b 4K 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 4096 bytes to objects of size 4096 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_17780
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 1087 1071 4.18338 4.18359 0.00357558 0.0145365
2 16 2068 2052 4.00735 3.83203 0.0410755 0.015205
3 16 3121 3105 4.04242 4.11328 0.0041154 0.0153485
4 16 4187 4171 4.07264 4.16406 0.0300407 0.0151873
5 16 5217 5201 4.06265 4.02344 0.00369057 0.015304
6 16 6278 6262 4.07625 4.14453 0.00222807 0.0153279
7 16 7263 7247 4.0435 3.84766 0.00229382 0.0154147
8 16 8256 8240 4.02288 3.87891 0.00228022 0.0155207
9 16 9320 9304 4.03765 4.15625 0.00222905 0.0154621
10 16 10311 10295 4.02098 3.87109 0.0377757 0.0154997
11 16 11315 11299 4.01194 3.92188 0.00518018 0.0155357
12 16 12423 12407 4.03827 4.32812 0.00207904 0.0154747
13 16 13425 13409 4.02869 3.91406 0.00311736 0.0155115
14 16 14422 14406 4.01909 3.89453 0.00481819 0.0155321
15 16 15479 15463 4.02639 4.12891 0.00195318 0.0154943
16 16 16471 16455 4.01689 3.875 0.0365302 0.015527
17 16 17523 17507 4.02231 4.10938 0.0051155 0.0155349
18 16 18521 18505 4.01541 3.89844 0.0352657 0.0155328
19 16 19586 19570 4.023 4.16016 0.0302239 0.0155086
2020-02-12 01:14:03.077321 min lat: 0.00110261 max lat: 0.103633 avg lat: 0.0154973
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 20640 20624 4.02768 4.11719 0.0392586 0.0154973
21 16 21619 21603 4.01798 3.82422 0.0323651 0.0155301
22 16 22627 22611 4.01429 3.9375 0.0275705 0.0155466
23 16 23674 23658 4.01755 4.08984 0.00473428 0.0155514
24 16 24664 24648 4.01127 3.86719 0.0479118 0.0155628
25 16 25656 25640 4.0058 3.875 0.0342499 0.0155863
26 16 26673 26657 4.00451 3.97266 0.00177783 0.0156064
27 16 27686 27670 4.00273 3.95703 0.00469382 0.0156101
28 16 28417 28401 3.96173 2.85547 0.0351198 0.0157562
29 16 29189 29173 3.9291 3.01562 0.00354796 0.0159053
30 16 29926 29910 3.89407 2.87891 0.00316501 0.0160434
31 16 30665 30649 3.86156 2.88672 0.00347249 0.0161679
32 16 31355 31339 3.82511 2.69531 0.00324541 0.0163386
33 16 32102 32086 3.79761 2.91797 0.0268877 0.0164477
34 16 32821 32805 3.7685 2.80859 0.00334018 0.0165738
35 16 33504 33488 3.73705 2.66797 0.00550335 0.0167146
36 16 34397 34381 3.73013 3.48828 0.0346033 0.0167363
37 16 35151 35135 3.7089 2.94531 0.00286836 0.0168454
38 16 35858 35842 3.68396 2.76172 0.00371184 0.0169497
39 16 36616 36600 3.66541 2.96094 0.00497212 0.0170363
2020-02-12 01:14:23.080205 min lat: 0.00110261 max lat: 0.103633 avg lat: 0.0171664
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
40 16 37287 37271 3.63928 2.62109 0.00486573 0.0171664
41 16 38150 38134 3.63274 3.37109 0.046918 0.0172028
42 16 38835 38819 3.60995 2.67578 0.00260028 0.0173121
43 16 39597 39581 3.59521 2.97656 0.0307925 0.0173678
44 16 40356 40340 3.58087 2.96484 0.025035 0.0174514
45 16 41119 41103 3.56753 2.98047 0.0306737 0.0175063
46 16 41835 41819 3.55077 2.79688 0.0535054 0.0175994
47 16 42559 42543 3.53539 2.82812 0.00260485 0.017677
48 16 43312 43296 3.52301 2.94141 0.0030884 0.017737
49 16 44022 44006 3.5077 2.77344 0.00337143 0.0178165
50 16 44731 44715 3.49294 2.76953 0.00192663 0.0178924
51 16 45798 45782 3.50616 4.16797 0.0029418 0.017825
52 16 46807 46791 3.51453 3.94141 0.0306466 0.0177716
53 16 47744 47728 3.51727 3.66016 0.0485265 0.0177673
54 16 48398 48382 3.49944 2.55469 0.0414301 0.017846
55 16 49225 49209 3.49454 3.23047 0.00354621 0.0178783
56 16 49765 49749 3.4698 2.10938 0.00223148 0.0180102
57 16 50557 50541 3.4632 3.09375 0.0376917 0.0180328
58 16 51350 51334 3.45689 3.09766 0.00251538 0.0180754
59 16 52282 52266 3.46 3.64062 0.0289006 0.0180558
2020-02-12 01:14:43.082287 min lat: 0.00110261 max lat: 0.179221 avg lat: 0.018022
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
60 16 53275 53259 3.46697 3.87891 0.00185871 0.018022
Total time run: 60.0476
Total writes made: 53276
Write size: 4096
Object size: 4096
Bandwidth (MB/sec): 3.46574
Stddev Bandwidth: 0.591838
Max bandwidth (MB/sec): 4.32812
Min bandwidth (MB/sec): 2.10938
Average IOPS: 887
Stddev IOPS: 151.511
Max IOPS: 1108
Min IOPS: 540
Average Latency(s): 0.0180321
Stddev Latency(s): 0.0218295
Max latency(s): 0.179221
Min latency(s): 0.00110261
root@pve01:~#
クリーンアップ
root@pve01:~# rados -p Pool01 cleanup Removed 53276 objects root@pve01:~#
rbd benchで計測
プール内に20GBでイメージを作成
root@pve01:~# rbd create --size=20G --pool=Pool01 Test01 root@pve01:~#
ブロックサイズ1M＆16スレッドで1024MBをシーケンシャル書き込み＆読み込みを計測
結果はWrite:13秒 約79MB/s・Read:5秒 約189MB/s
root@pve01:~# rbd bench Test01 --io-type write --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench type write io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
SEC OPS OPS/SEC BYTES/SEC
1 96 100.00 104853408.30
2 176 86.95 91176876.77
3 240 83.88 87950434.25
4 320 82.27 86265291.85
5 400 82.02 85999640.93
6 480 75.89 79572547.10
7 544 76.54 80253856.76
8 624 77.23 80980910.86
9 704 76.74 80463047.42
10 784 76.74 80463047.45
11 848 75.04 78682819.01
12 928 75.35 79010417.99
13 992 73.36 76925945.97
elapsed: 13 ops: 1024 ops/sec: 75.42 bytes/sec: 79088015.97
root@pve01:~# rbd bench Test01 --io-type read --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench type read io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
SEC OPS OPS/SEC BYTES/SEC
1 192 207.99 218095096.63
2 352 184.36 193316911.53
3 544 189.44 198639751.76
4 720 188.13 197270222.69
5 912 186.64 195703874.13
elapsed: 5 ops: 1024 ops/sec: 180.27 bytes/sec: 189031503.11
root@pve01:~#
ブロックサイズ4K＆16スレッドで512MBをランダム書き込み＆読み込みを計測
結果はWrite:316秒 約1.7MB/s・Read:8秒 約44MB/s
root@pve01:~# rbd bench Test01 --io-type write --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench type write io_size 4096 io_threads 16 bytes 536870912 pattern random
SEC OPS OPS/SEC BYTES/SEC
1 5616 5631.78 23067750.81
2 6096 2978.44 12199684.38
3 6544 2157.81 8838383.91
4 6912 1699.64 6961716.12
5 7216 1445.19 5919482.25
6 7536 380.94 1560318.65
7 7936 362.19 1483531.31
8 8272 345.59 1415521.08
9 8704 362.45 1484575.03
10 9024 361.88 1482240.26
11 9392 371.78 1522810.99
12 9776 375.19 1536773.88
13 10176 380.48 1558447.77
14 10656 391.32 1602861.43
15 11120 413.23 1692601.19
16 11680 455.03 1863817.39
17 12304 507.20 2077502.93
18 12880 545.58 2234693.67
19 13472 560.93 2297584.77
20 14064 586.43 2402020.44
21 14688 605.45 2479926.76
22 15344 598.87 2452983.24
23 15872 595.99 2441183.82
24 16544 605.65 2480759.01
25 17056 609.59 2496891.36
26 17680 600.29 2458806.04
27 18272 597.03 2445452.22
34 18784 256.77 1051749.75
35 22544 548.61 2247118.08
37 22784 470.71 1928040.28
41 22800 335.41 1373832.69
42 26240 530.46 2172759.47
47 26400 571.39 2340422.84
48 26416 297.37 1218026.54
49 29584 573.90 2350694.98
54 29712 539.97 2211700.19
55 32736 500.58 2050395.73
59 32800 551.69 2259719.75
60 35552 758.50 3106833.30
64 35664 402.62 1649146.67
65 38208 775.42 3176107.43
69 38384 398.73 1633208.07
70 40832 749.49 3069896.87
73 40944 399.98 1638297.69
74 43152 752.67 3082924.76
77 43392 404.47 1656705.83
78 45232 770.78 3157098.59
81 45728 415.03 1699963.62
82 47456 770.06 3154150.64
86 47968 401.98 1646503.70
89 50064 579.13 2372120.07
90 50080 404.65 1657444.18
92 52016 563.81 2309366.94
94 52032 372.62 1526232.98
95 53536 621.11 2544079.05
98 53920 425.58 1743179.48
99 55296 580.29 2376883.02
102 55584 394.67 1616552.27
105 57056 450.80 1846468.50
106 58160 420.95 1724212.09
108 58544 452.60 1853832.00
109 59584 425.71 1743702.94
111 59936 445.51 1824806.09
112 60816 572.79 2346133.86
114 61232 358.19 1467134.66
115 62096 553.58 2267473.21
117 62512 344.45 1410865.89
118 63312 532.12 2179580.31
120 63680 352.34 1443188.13
121 64480 497.82 2039086.86
122 64848 347.28 1422452.06
123 65312 502.84 2059645.61
124 65744 401.30 1643707.94
125 66080 492.58 2017612.19
126 66528 414.21 1696622.55
127 66992 512.89 2100788.19
128 67216 386.97 1585023.18
129 67632 384.65 1575546.51
130 68064 398.69 1633033.53
131 68448 371.21 1520465.38
132 68784 353.85 1449366.26
133 69264 402.81 1649902.43
134 69536 382.92 1568446.43
135 70000 381.08 1560901.58
136 70304 386.00 1581056.57
137 70640 386.97 1585012.57
138 71104 377.65 1546836.71
139 71456 376.15 1540722.78
140 71888 367.58 1505604.60
141 72096 359.82 1473813.85
142 72512 372.59 1526125.32
143 72912 359.85 1473950.15
144 73248 358.95 1470271.18
145 73552 344.92 1412797.94
146 73920 365.07 1495327.94
147 74368 363.05 1487034.99
148 74688 359.49 1472482.31
149 75104 372.97 1527677.53
150 75472 372.65 1526368.79
151 75872 387.59 1587552.91
152 76208 377.65 1546837.45
153 76656 363.88 1490467.67
154 77056 387.89 1588815.04
155 77344 389.98 1597345.21
156 77744 367.04 1503383.78
157 78112 375.97 1539952.95
158 78464 382.70 1567554.90
159 78832 352.64 1444413.29
160 79120 352.36 1443266.97
161 79472 352.63 1444381.51
162 79840 339.87 1392106.54
163 80176 345.14 1413697.13
164 80448 333.86 1367509.34
165 80912 355.25 1455114.76
166 81280 352.28 1442932.82
167 81616 366.01 1499189.45
168 82048 378.31 1549567.56
169 82496 384.94 1576713.18
170 82656 352.44 1443614.31
171 83104 365.07 1495329.18
172 83440 359.88 1474085.40
173 83728 336.79 1379485.91
174 84240 343.56 1407211.31
175 84464 349.28 1430667.19
176 84960 372.37 1525226.75
177 85216 354.61 1452489.93
178 85632 378.06 1548516.09
179 85984 356.48 1460140.18
180 86256 368.40 1508964.31
181 86624 334.39 1369643.35
182 86976 360.34 1475949.74
183 87280 334.12 1368575.33
184 87584 342.15 1401457.93
185 87936 341.17 1397416.39
186 88320 341.64 1399357.52
187 88688 340.20 1393470.41
188 89040 340.01 1392685.45
189 89392 350.64 1436217.35
190 89728 352.46 1443667.33
191 90080 351.98 1441708.11
192 90384 333.84 1367403.94
193 90784 360.01 1474609.58
194 91024 336.34 1377634.72
195 91472 349.06 1429745.65
196 91792 345.42 1414839.60
197 92160 359.49 1472484.63
198 92448 331.72 1358721.87
199 92880 363.62 1489368.25
200 93280 359.57 1472780.26
201 93584 353.85 1449369.50
202 93968 364.50 1492971.69
203 94352 377.46 1546061.28
204 94624 350.46 1435492.61
205 95040 353.39 1447498.72
206 95424 370.95 1519396.16
207 95808 368.86 1510867.11
208 96128 359.49 1472485.12
209 96448 370.11 1515964.57
210 96800 352.26 1442863.23
211 97168 344.64 1411662.59
212 97552 340.61 1395119.71
213 97936 336.79 1379497.41
214 98256 360.14 1475127.94
215 98720 377.34 1545571.57
216 99136 381.97 1564531.27
217 99376 357.07 1462544.09
218 99744 384.66 1575562.38
219 100112 371.48 1521565.27
220 100496 367.83 1506644.39
221 100880 369.78 1514634.19
222 101296 402.66 1649301.54
223 101712 376.99 1544150.72
224 102016 370.41 1517186.37
225 102320 358.75 1469448.64
226 102624 342.48 1402791.80
227 102944 328.27 1344586.15
228 103248 323.76 1326116.55
229 103680 333.58 1366350.28
230 103952 328.22 1344386.73
231 104320 336.22 1377164.97
232 104608 332.25 1360893.72
233 105008 349.74 1432541.64
234 105296 328.17 1344183.46
235 105664 341.83 1400150.39
236 105984 335.19 1372956.60
237 106336 339.34 1389922.59
238 106656 329.05 1347808.43
239 106896 319.22 1307507.58
240 107328 321.47 1316722.82
241 107568 312.29 1279119.89
242 107904 314.59 1288556.18
243 108208 308.90 1265253.16
244 108528 328.48 1345469.70
245 108928 335.83 1375572.86
246 109248 332.79 1363092.46
247 109568 339.02 1388622.38
248 109904 343.30 1406158.59
249 110304 359.79 1473680.12
250 110576 328.79 1346733.22
251 110976 349.49 1431530.87
252 111392 352.10 1442216.72
253 111712 361.00 1478664.24
254 112128 361.31 1479929.28
255 112496 368.36 1508802.20
256 112848 378.93 1552081.05
257 113168 365.41 1496725.66
258 113408 342.47 1402751.48
259 113824 336.49 1378259.03
260 114160 344.64 1411632.37
261 114496 330.11 1352129.19
262 114816 333.31 1365256.70
263 115184 349.04 1429655.63
264 115568 346.84 1420649.05
265 115888 341.75 1399820.27
266 116320 364.49 1492942.74
267 116736 363.62 1489371.14
268 117152 398.04 1630355.35
269 117504 395.73 1620893.78
270 117712 350.48 1435566.16
271 118240 379.13 1552898.99
272 118592 343.68 1407731.74
273 118896 324.63 1329677.06
274 119232 325.77 1334368.97
275 119504 375.82 1539350.37
276 120016 364.21 1491815.09
277 120304 352.53 1443978.85
278 120592 346.39 1418796.79
279 121120 396.95 1625907.79
280 121248 307.46 1259348.82
281 121824 363.32 1488174.45
283 122224 310.46 1271649.89
284 122880 397.20 1626931.82
286 123248 284.32 1164591.67
287 124000 428.37 1754602.51
289 124272 291.27 1193057.11
290 125120 450.78 1846413.25
292 125264 293.87 1203688.76
293 126272 460.11 1884604.16
295 126432 291.03 1192068.11
296 127280 456.56 1870080.01
298 127584 282.94 1158932.78
299 127632 346.38 1418781.84
300 128768 353.12 1446385.40
301 129072 480.32 1967402.46
303 129248 255.31 1045729.63
304 130224 503.02 2060374.38
307 130560 355.84 1457514.38
elapsed: 316 ops: 131072 ops/sec: 414.63 bytes/sec: 1698323.52
root@pve01:~# rbd bench Test01 --io-type read --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench type read io_size 4096 io_threads 16 bytes 536870912 pattern random
SEC OPS OPS/SEC BYTES/SEC
1 11200 11260.44 46122761.42
2 22624 11319.39 46364232.05
3 33872 11310.47 46327704.10
4 44960 11254.65 46099052.80
5 55856 11182.75 45804531.57
6 66336 11026.61 45164990.07
7 77712 11025.83 45161801.00
8 87408 10706.63 43854342.25
9 97792 10565.83 43277657.29
10 109008 10629.83 43539788.20
11 120000 10732.23 43959197.12
12 130720 10601.03 43421831.64
elapsed: 12 ops: 131072 ops/sec: 10896.66 bytes/sec: 44632703.98
root@pve01:~#
イメージ削除
root@pve01:~# rbd rm --pool=Pool01 Test01 Removing image: 100% complete...done. root@pve01:~#
計測後のメモリ使用状況
ピーク値で4.5GiB
VM-OSインストール所要時間
前記事のおまけ項で紹介したCentOSとWin10のインストール所要時間を
今回の各HDD1台+SSD：計3OSDで計測してみました
計測部分は以前と同じ自動処理されるプロセスです
結果はCentOS7が4分50秒、Windows10が19分50秒
OSD追加して6OSDへ
今回も既存プールを維持したままOSDを追加して拡張していきます
追加したいノードでCeph -> OSD画面へ移動して「作成: OSD」を選択
pve01から順に追加していきます
1つ目のOSD登録で使用したSSDが2つ目のOSD登録でもDB Diskで選択できるのがわかります
（一番下のデバイス）
2つ目のOSDを登録した後のpve01 -> ディスク -> LVM画面がこちら
20%だった/dev/sdfが40%になっているのがわかります
「fdisk -l」コマンドでも前回同様に93.2 GiBの割り当てが確認できました
このようにDB/WALに割り当てるSSDはノード内の全てのOSDで共用できるので
512GBのSSDを4OSDで使用するなら1OSDあたり128GBでOSD登録するなど
全体容量を登録OSDで等分して割り当てるのが一般的になります
6OSDへ拡張した様子がこちら
全て合計値が1TiBになっているのが確認できます
各HDD2台+SSD：計6OSDでの計測結果
Proxmox起動直後のメモリ使用状況
pve01は1.75GiB、pve01は1.75GiB、pve03は1.62GiB
CentOS7のVMから計測
[root@centos7-bench ~]# ./fio_cdm.sh /root Testing in /root Configuration: Size:1024m Loops:5 Write Only Zeroes:0 Running Benchmark, please wait... Results: Sequential Read: 167MB/s IOPS=0 Sequential Write: 21MB/s IOPS=0 512KB Read: 89MB/s IOPS=178 512KB Write: 7MB/s IOPS=15 Sequential Q32T1 Read: 144MB/s IOPS=4 Sequential Q32T1 Write: 20MB/s IOPS=0 4KB Read: 3MB/s IOPS=1000 4KB Write: 1MB/s IOPS=416 4KB Q32T1 Read: 3MB/s IOPS=1000 4KB Q32T1 Write: 1MB/s IOPS=454 4KB Q8T8 Read: 27MB/s IOPS=7166 4KB Q8T8 Write: 2MB/s IOPS=590 [root@centos7-bench ~]#
Windows10のVMから計測
------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes
[Read]
Sequential 1MiB (Q= 8, T= 1): 170.076 MB/s [ 162.2 IOPS] < 48530.25 us>
Sequential 1MiB (Q= 1, T= 1): 146.399 MB/s [ 139.6 IOPS] < 7144.82 us>
Random 4KiB (Q= 32, T=16): 134.570 MB/s [ 32854.0 IOPS] < 15447.79 us>
Random 4KiB (Q= 1, T= 1): 7.442 MB/s [ 1816.9 IOPS] < 549.57 us>
[Write]
Sequential 1MiB (Q= 8, T= 1): 33.979 MB/s [ 32.4 IOPS] <238823.59 us>
Sequential 1MiB (Q= 1, T= 1): 12.373 MB/s [ 11.8 IOPS] < 84429.52 us>
Random 4KiB (Q= 32, T=16): 1.581 MB/s [ 386.0 IOPS] <487031.60 us>
Random 4KiB (Q= 1, T= 1): 0.338 MB/s [ 82.5 IOPS] < 11958.85 us>
[Mix] Read 70%/Write 30%
Sequential 1MiB (Q= 8, T= 1): 63.965 MB/s [ 61.0 IOPS] <126822.69 us>
Sequential 1MiB (Q= 1, T= 1): 31.039 MB/s [ 29.6 IOPS] < 33102.56 us>
Random 4KiB (Q= 32, T=16): 4.417 MB/s [ 1078.4 IOPS] <247830.37 us>
Random 4KiB (Q= 1, T= 1): 0.919 MB/s [ 224.4 IOPS] < 4310.61 us>
Profile: Default
Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
Date: 2020/02/12 2:54:06
OS: Windows 10 Professional [10.0 Build 18363] (x64)
rados benchで計測
ブロックサイズ1M＆16スレッドで60秒間書き込み
結果は100.532MB/s
root@pve01:~# rados bench -p Pool01 -t 16 -b 1M 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 1048576 bytes to objects of size 1048576 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_15849
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 96 80 79.9951 80 0.122776 0.180692
2 16 199 183 91.4939 103 0.15045 0.164764
3 16 305 289 96.3267 106 0.0456863 0.160847
4 16 400 384 95.9932 95 0.168944 0.162355
5 16 501 485 96.9931 101 0.209101 0.162171
6 16 596 580 96.6597 95 0.340535 0.1624
7 16 691 675 96.4211 95 0.11643 0.163738
8 16 792 776 96.9922 101 0.135204 0.162507
9 16 894 878 97.5475 102 0.148684 0.162424
10 16 996 980 97.992 102 0.109626 0.161971
11 16 1091 1075 97.7191 95 0.110996 0.162907
12 16 1190 1174 97.825 99 0.157929 0.161902
13 16 1288 1272 97.8377 98 0.0751169 0.161878
14 16 1398 1382 98.7057 110 0.116347 0.161193
15 16 1502 1486 99.0581 104 0.202977 0.160793
16 16 1597 1581 98.8039 95 0.109349 0.160702
17 16 1703 1687 99.2267 106 0.179043 0.16047
18 16 1804 1788 99.3247 101 0.158972 0.16042
19 16 1902 1886 99.2544 98 0.119069 0.160188
2020-02-12 02:56:22.345910 min lat: 0.0377489 max lat: 0.379883 avg lat: 0.160226
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 2004 1988 99.3912 102 0.248719 0.160226
21 16 2107 2091 99.5624 103 0.120277 0.160096
22 16 2208 2192 99.6273 101 0.148653 0.160036
23 16 2306 2290 99.5561 98 0.228719 0.160274
24 16 2403 2387 99.4492 97 0.230762 0.160238
25 16 2503 2487 99.4708 100 0.15469 0.160202
26 16 2599 2583 99.337 96 0.15981 0.160316
27 16 2696 2680 99.25 97 0.0524986 0.160389
28 16 2802 2786 99.4908 106 0.133713 0.16052
29 16 2898 2882 99.3701 96 0.0987339 0.160537
30 16 2998 2982 99.3908 100 0.0744403 0.160364
31 16 3100 3084 99.4748 102 0.0538772 0.160338
32 16 3204 3188 99.6159 104 0.15653 0.160242
33 16 3304 3288 99.6273 100 0.0889356 0.160066
34 16 3403 3387 99.6085 99 0.10828 0.160193
35 16 3500 3484 99.5337 97 0.186521 0.16026
36 16 3596 3580 99.4353 96 0.161903 0.160356
37 16 3699 3683 99.5313 103 0.0520928 0.16044
38 16 3798 3782 99.5171 99 0.0993432 0.160421
39 16 3899 3883 99.5549 101 0.190949 0.160296
2020-02-12 02:56:42.347832 min lat: 0.0372392 max lat: 0.460037 avg lat: 0.160232
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
40 16 4001 3985 99.6158 102 0.0816322 0.160232
41 16 4110 4094 99.8444 109 0.232517 0.159962
42 16 4207 4191 99.7764 97 0.0572048 0.160051
43 16 4305 4289 99.7349 98 0.10925 0.160071
44 16 4410 4394 99.8543 105 0.157753 0.159851
45 16 4510 4494 99.8573 100 0.25226 0.159832
46 16 4615 4599 99.9689 105 0.163064 0.159803
47 16 4719 4703 100.054 104 0.0739707 0.159636
48 16 4818 4802 100.032 99 0.0989208 0.159607
49 16 4921 4905 100.093 103 0.120154 0.159591
50 16 5017 5001 100.011 96 0.223204 0.159691
51 16 5106 5090 99.7947 89 0.169192 0.159952
52 16 5216 5200 99.9908 110 0.155797 0.159734
53 16 5320 5304 100.066 104 0.154693 0.159688
54 16 5421 5405 100.083 101 0.198116 0.159563
55 16 5527 5511 100.191 106 0.232896 0.159446
56 16 5634 5618 100.312 107 0.163564 0.159272
57 16 5733 5717 100.289 99 0.124248 0.159243
58 16 5835 5819 100.318 102 0.276678 0.159339
59 16 5933 5917 100.279 98 0.229107 0.159233
2020-02-12 02:57:02.349668 min lat: 0.0365047 max lat: 0.460037 avg lat: 0.159035
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
60 16 6043 6027 100.441 110 0.130354 0.159035
Total time run: 60.1105
Total writes made: 6043
Write size: 1048576
Object size: 1048576
Bandwidth (MB/sec): 100.532
Stddev Bandwidth: 5.06375
Max bandwidth (MB/sec): 110
Min bandwidth (MB/sec): 80
Average IOPS: 100
Stddev IOPS: 5.06375
Max IOPS: 110
Min IOPS: 80
Average Latency(s): 0.159152
Stddev Latency(s): 0.0607465
Max latency(s): 0.460037
Min latency(s): 0.0365047
root@pve01:~#
先ほど書き込んだデータを16スレッドでシーケンシャル読み込み
結果は168.227MB/s
root@pve01:~# rados bench -p Pool01 -t 16 60 seq
hints = 1
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 195 179 178.97 179 0.00628092 0.0809063
2 16 360 344 171.979 165 0.00574264 0.0884187
3 16 510 494 164.648 150 0.338629 0.0943064
4 16 669 653 163.232 159 0.0151527 0.0958899
5 16 818 802 160.382 149 0.281947 0.0975963
6 16 984 968 161.316 166 0.0110699 0.0974827
7 16 1153 1137 162.411 169 0.216915 0.0974121
8 16 1304 1288 160.983 151 0.0710473 0.0983229
9 16 1472 1456 161.761 168 0.0224994 0.097666
10 16 1639 1623 162.282 167 0.0105673 0.0973312
11 16 1808 1792 162.891 169 0.0131136 0.0975084
12 16 1977 1961 163.399 169 0.0266779 0.0969486
13 16 2152 2136 164.289 175 0.14865 0.0968142
14 16 2318 2302 164.409 166 0.226185 0.0967447
15 16 2506 2490 165.981 188 0.0111208 0.0958813
16 16 2652 2636 164.731 146 0.156834 0.0966307
17 16 2804 2788 163.982 152 0.00858081 0.0970938
18 16 2979 2963 164.593 175 0.267598 0.096555
19 16 3150 3134 164.929 171 0.0102678 0.0965765
2020-02-12 02:57:37.655144 min lat: 0.002761 max lat: 0.391673 avg lat: 0.0960117
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 3331 3315 165.732 181 0.0526852 0.0960117
21 16 3494 3478 165.601 163 0.00308645 0.0960764
22 16 3675 3659 166.3 181 0.0359398 0.0958504
23 16 3843 3827 166.373 168 0.102848 0.0957535
24 16 4015 3999 166.607 172 0.274698 0.0955953
25 16 4197 4181 167.222 182 0.0107143 0.0952166
26 16 4381 4365 167.867 184 0.0136834 0.0948703
27 16 4546 4530 167.76 165 0.131687 0.0949606
28 16 4708 4692 167.554 162 0.122555 0.095091
29 16 4867 4851 167.258 159 0.188902 0.0953499
30 16 5048 5032 167.716 181 0.0489211 0.0950486
31 16 5220 5204 167.853 172 0.203455 0.0950454
32 16 5378 5362 167.545 158 0.119539 0.0951572
33 16 5548 5532 167.619 170 0.235086 0.0951464
34 16 5730 5714 168.041 182 0.0408057 0.0948818
35 16 5909 5893 168.354 179 0.187971 0.0947369
Total time run: 35.9216
Total reads made: 6043
Read size: 1048576
Object size: 1048576
Bandwidth (MB/sec): 168.227
Average IOPS: 168
Stddev IOPS: 10.8495
Max IOPS: 188
Min IOPS: 146
Average Latency(s): 0.095055
Max latency(s): 0.391673
Min latency(s): 0.002761
root@pve01:~#
ブロックサイズ4K＆16スレッドで60秒間書き込み
結果は3.12581MB/s 800IOPS
root@pve01:~# rados bench -p Pool01 -t 16 -b 4K 60 write --no-cleanup
hints = 1
Maintaining 16 concurrent writes of 4096 bytes to objects of size 4096 for up to 60 seconds or 0 objects
Object prefix: benchmark_data_pve01_16483
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
0 0 0 0 0 0 - 0
1 16 921 905 3.53459 3.53516 0.0351136 0.0172044
2 16 1731 1715 3.34922 3.16406 0.00262008 0.0186504
3 16 2603 2587 3.36802 3.40625 0.00483759 0.0184842
4 16 3402 3386 3.30622 3.12109 0.0374521 0.0187031
5 16 4246 4230 3.30426 3.29688 0.0531431 0.0188386
6 16 5011 4995 3.25149 2.98828 0.00357673 0.0190943
7 16 5929 5913 3.29923 3.58594 0.0213169 0.0188918
8 16 6811 6795 3.31746 3.44531 0.0240945 0.018797
9 16 7729 7713 3.34726 3.58594 0.0018437 0.0186313
10 16 8493 8477 3.31095 2.98438 0.00503704 0.0188592
11 16 9212 9196 3.26523 2.80859 0.00162193 0.0190908
12 16 9993 9977 3.24732 3.05078 0.00157944 0.0192082
13 16 10720 10704 3.21593 2.83984 0.00239704 0.0194227
14 16 11648 11632 3.24513 3.625 0.00277833 0.0192573
15 16 12428 12412 3.23189 3.04688 0.00181331 0.0192577
16 16 13192 13176 3.21641 2.98438 0.0508313 0.0194295
17 16 14095 14079 3.23468 3.52734 0.00190991 0.0192724
18 16 14885 14869 3.22639 3.08594 0.0328831 0.0193511
19 16 15667 15651 3.21734 3.05469 0.00197097 0.0193804
2020-02-12 02:58:42.486892 min lat: 0.00100799 max lat: 0.130231 avg lat: 0.0194439
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
20 16 16428 16412 3.2051 2.97266 0.00190177 0.0194439
21 16 17269 17253 3.2089 3.28516 0.00148288 0.019452
22 16 18030 18014 3.19816 2.97266 0.0285157 0.0195192
23 16 18728 18712 3.17763 2.72656 0.00508987 0.0196393
24 16 19459 19443 3.1642 2.85547 0.031767 0.0197289
25 16 20414 20398 3.18682 3.73047 0.00193687 0.0195914
26 16 21199 21183 3.18218 3.06641 0.0632583 0.0196337
27 16 21883 21867 3.16326 2.67188 0.0422177 0.0197243
28 16 22762 22746 3.17291 3.43359 0.00199669 0.019686
29 16 23633 23617 3.18081 3.40234 0.00324485 0.0196473
30 16 24405 24389 3.17529 3.01562 0.002156 0.0196648
31 16 25229 25213 3.17669 3.21875 0.0163387 0.019659
32 16 26092 26076 3.18275 3.37109 0.0668536 0.0196257
33 16 26933 26917 3.18583 3.28516 0.00189541 0.0195988
34 16 27915 27899 3.20494 3.83594 0.0279128 0.0194757
35 16 28593 28577 3.18903 2.64844 0.00151964 0.019594
36 16 29254 29238 3.17216 2.58203 0.00172871 0.0196788
37 16 30089 30073 3.17456 3.26172 0.0300655 0.0196746
38 16 30899 30883 3.17428 3.16406 0.00239999 0.0196883
39 16 31811 31795 3.18422 3.5625 0.0249502 0.0196121
2020-02-12 02:59:02.489407 min lat: 0.00100799 max lat: 0.17871 avg lat: 0.0196226
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
40 16 32608 32592 3.18243 3.11328 0.00137098 0.0196226
41 16 33352 33336 3.17568 2.90625 0.00217627 0.0196623
42 16 34037 34021 3.16377 2.67578 0.00157203 0.0197443
43 16 34760 34744 3.15586 2.82422 0.00256194 0.0197859
44 16 35480 35464 3.14805 2.8125 0.0473804 0.0198207
45 16 36206 36190 3.1411 2.83594 0.0419005 0.0198738
46 15 37071 37056 3.14635 3.38281 0.00222381 0.0198635
47 16 37893 37877 3.14763 3.20703 0.00212976 0.0198518
48 16 38711 38695 3.14861 3.19531 0.0428051 0.0198393
49 16 39484 39468 3.14597 3.01953 0.0336561 0.019853
50 16 40342 40326 3.15008 3.35156 0.0356851 0.0198266
51 16 41168 41152 3.15157 3.22656 0.00406339 0.0198151
52 16 41970 41954 3.1512 3.13281 0.00188696 0.0198286
53 16 42630 42614 3.14038 2.57812 0.0278142 0.0198888
54 16 43380 43364 3.13647 2.92969 0.0022261 0.019926
55 16 44095 44079 3.13022 2.79297 0.00214281 0.0199471
56 16 44979 44963 3.13598 3.45312 0.00274492 0.0199247
57 16 45733 45717 3.13262 2.94531 0.00121138 0.0199439
58 16 46543 46527 3.13316 3.16406 0.0797095 0.0199346
59 16 47318 47302 3.13136 3.02734 0.0359606 0.0199475
2020-02-12 02:59:22.492246 min lat: 0.00100799 max lat: 0.17871 avg lat: 0.0199797
sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s)
60 16 48051 48035 3.12688 2.86328 0.00168291 0.0199797
Total time run: 60.0495
Total writes made: 48052
Write size: 4096
Object size: 4096
Bandwidth (MB/sec): 3.12581
Stddev Bandwidth: 0.297207
Max bandwidth (MB/sec): 3.83594
Min bandwidth (MB/sec): 2.57812
Average IOPS: 800
Stddev IOPS: 76.085
Max IOPS: 982
Min IOPS: 660
Average Latency(s): 0.0199942
Stddev Latency(s): 0.0248299
Max latency(s): 0.17871
Min latency(s): 0.00100799
root@pve01:~#
クリーンアップ
root@pve01:~# rados -p Pool01 cleanup Removed 48052 objects root@pve01:~#
rbd benchで計測
プール内に20GBでイメージを作成
root@pve01:~# rbd create --size=20G --pool=Pool01 Test01 root@pve01:~#
ブロックサイズ1M＆16スレッドで1024MBをシーケンシャル書き込み＆読み込みを計測
結果はWrite:13秒 約77MB/s・Read:6秒 約172MB/s
root@pve01:~# rbd bench Test01 --io-type write --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench type write io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
SEC OPS OPS/SEC BYTES/SEC
1 96 118.64 124405171.83
2 160 94.22 98793461.65
3 240 88.27 92562350.64
4 304 84.30 88392655.76
5 384 82.37 86372148.25
6 480 75.35 79012210.82
7 544 76.01 79700361.63
8 608 74.13 77733541.75
9 688 74.59 78214107.99
10 768 74.88 78519155.33
11 832 72.43 75944933.48
12 896 71.78 75263535.31
13 976 74.92 78556454.36
elapsed: 13 ops: 1024 ops/sec: 73.58 bytes/sec: 77157464.44
root@pve01:~# rbd bench Test01 --io-type read --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01
bench type read io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential
SEC OPS OPS/SEC BYTES/SEC
1 176 209.60 219785066.28
2 336 184.48 193444647.83
3 496 173.91 182357899.35
4 704 181.27 190070922.40
5 848 175.04 183540122.59
6 1008 164.68 172684123.63
elapsed: 6 ops: 1024 ops/sec: 164.63 bytes/sec: 172624326.87
root@pve01:~#
ブロックサイズ4K＆16スレッドで512MBをランダム書き込み＆読み込みを計測
結果はWrite:191秒 約2.8MB/s・Read:8秒 約62MB/s
root@pve01:~# rbd bench Test01 --io-type write --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench type write io_size 4096 io_threads 16 bytes 536870912 pattern random
SEC OPS OPS/SEC BYTES/SEC
1 5600 5615.90 23002740.61
2 6016 2933.80 12016851.81
3 6432 2121.02 8687682.25
4 6800 1703.97 6979464.03
5 7184 1437.67 5888716.68
6 7632 404.45 1656633.95
7 8112 419.19 1717013.69
8 8496 412.13 1688098.79
9 8944 425.39 1742395.46
10 9360 435.19 1782548.57
11 9824 440.51 1804316.27
12 10272 436.53 1788037.19
13 10832 471.34 1930607.67
14 11312 474.35 1942940.98
15 11872 503.20 2061092.80
16 12480 529.07 2167089.47
17 13040 552.27 2262077.67
18 13712 575.99 2359255.48
19 14480 636.65 2607697.99
20 15168 655.00 2682866.49
21 15808 662.94 2715389.24
22 16432 679.48 2783131.71
23 17232 702.86 2878928.21
24 17904 684.24 2802650.53
25 18896 743.80 3046613.31
29 19616 445.89 1826381.77
30 23344 864.85 3542425.69
32 23728 692.82 2837794.31
34 23744 567.42 2324157.56
35 27312 842.60 3451275.99
36 27536 1127.54 4618417.36
37 27552 587.37 2405872.75
38 27568 644.28 2638988.30
39 30848 1496.18 6128366.68
40 31936 923.31 3781864.86
41 32160 939.06 3846380.84
43 32176 735.82 3013936.87
44 35120 1250.31 5121268.49
46 35200 551.71 2259823.33
47 35216 470.99 1929157.05
49 37936 686.30 2811084.90
50 37952 864.66 3541630.32
51 40432 798.54 3270832.70
53 40512 849.09 3477873.91
54 42896 1090.89 4468287.08
55 43072 957.48 3921829.90
56 43088 872.27 3572808.36
57 45392 813.63 3332646.32
58 45456 947.84 3882338.41
59 47216 868.15 3555951.95
60 47648 836.24 3425251.28
61 47664 842.40 3450474.04
62 49504 841.92 3448497.86
63 49728 784.70 3214146.28
64 51296 805.67 3300038.28
65 51696 828.14 3392046.67
66 51712 847.56 3471592.16
67 53552 791.23 3240876.49
68 53584 847.09 3469662.93
69 55312 790.54 3238042.21
70 55344 747.53 3061875.46
71 56992 1006.08 4120905.08
72 57056 640.34 2622832.30
73 58432 1055.73 4324274.43
74 58800 598.48 2451373.29
75 58816 779.86 3194310.12
77 60448 611.45 2504517.66
79 61968 744.23 3048364.82
80 63184 678.07 2777377.14
81 64016 867.01 3551258.40
82 64688 823.78 3374200.42
83 65600 867.33 3552564.15
84 66368 902.36 3696081.17
85 67088 778.30 3187900.82
86 67760 746.40 3057249.15
87 68336 704.24 2884546.82
88 69152 708.12 2900467.15
89 69808 694.10 2843018.38
90 70624 691.69 2833178.48
91 71424 735.73 3013551.70
92 72144 805.40 3298921.61
93 73040 781.97 3202931.57
94 73856 816.12 3342807.38
95 74640 824.97 3379058.10
96 75568 815.73 3341246.83
97 76368 845.46 3463012.07
98 77072 811.58 3324233.05
99 77744 773.26 3167258.53
100 78320 736.58 3017018.10
101 78880 672.07 2752784.14
102 79568 644.63 2640406.14
103 80208 628.70 2575147.67
104 80896 619.97 2539412.17
105 81680 648.64 2656819.48
106 82240 672.53 2754668.72
107 83040 681.31 2790633.65
108 83776 691.46 2832224.50
109 84432 713.47 2922358.48
110 85248 725.78 2972798.70
111 85920 735.99 3014604.52
112 86704 739.89 3030591.22
113 87504 771.51 3160104.99
114 88320 787.03 3223679.38
115 89040 772.60 3164581.67
116 89792 773.77 3169352.77
117 90432 744.99 3051484.28
118 91328 748.03 3063935.18
119 91680 670.92 2748068.11
120 92544 700.23 2868133.30
121 93408 725.51 2971686.04
122 94064 728.14 2982441.48
123 94592 659.65 2701923.17
124 95168 699.83 2866493.62
125 95664 619.53 2537589.74
126 96384 593.29 2430121.22
127 96960 580.12 2376164.59
128 97760 632.58 2591035.67
129 98208 607.50 2488334.85
130 98928 648.64 2656819.54
131 99440 607.79 2489491.35
132 100000 611.41 2504349.88
133 100624 578.81 2370805.16
134 101360 625.88 2563616.32
135 102080 635.47 2602897.54
136 102672 651.60 2668960.94
137 103248 647.52 2652229.10
138 103840 643.19 2634502.28
139 104608 644.95 2641696.02
140 105040 588.23 2409370.69
141 105840 632.58 2591035.70
142 106496 649.59 2660716.24
143 107024 638.32 2614563.29
144 107648 590.51 2418731.11
145 108256 648.38 2655748.28
146 108800 591.04 2420917.20
147 109392 574.59 2353534.49
148 109968 585.05 2396347.08
149 110528 599.99 2457558.12
150 111216 589.63 2415130.16
151 111872 609.03 2494587.15
152 112320 592.70 2427709.24
153 112992 600.94 2461465.22
154 113568 597.00 2445331.47
155 114032 567.27 2323557.51
156 114592 547.05 2240734.15
157 115088 552.71 2263884.76
158 115616 532.46 2180949.86
159 116272 542.53 2222190.08
160 116816 557.68 2284268.79
161 117504 576.85 2362787.02
162 117920 567.30 2323652.74
163 118448 561.90 2301522.71
164 119008 558.36 2287033.71
165 119536 536.69 2198289.32
166 120112 529.64 2169412.29
167 120672 547.76 2243630.59
168 121312 577.41 2365069.41
169 121920 571.42 2340531.58
170 122576 609.45 2496316.77
171 123280 620.68 2542301.55
172 123792 618.06 2531557.54
173 124336 594.80 2436288.98
174 124816 588.61 2410937.83
175 125504 583.72 2390925.82
176 126032 558.89 2289195.81
177 126592 565.88 2317826.36
178 127168 563.24 2307015.63
179 127712 577.34 2364795.49
180 128176 543.08 2224456.46
181 128784 522.39 2139711.51
182 129312 537.12 2200025.76
183 129792 536.38 2196999.42
184 130384 522.68 2140908.81
185 130912 545.88 2235926.85
elapsed: 191 ops: 131072 ops/sec: 683.35 bytes/sec: 2799012.20
root@pve01:~# rbd bench Test01 --io-type read --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01
bench type read io_size 4096 io_threads 16 bytes 536870912 pattern random
SEC OPS OPS/SEC BYTES/SEC
1 14784 14859.19 60863223.58
2 30128 15101.95 61857578.89
3 45984 15333.07 62804266.96
4 61504 15395.13 63058468.86
5 77456 15506.54 63514796.72
6 91840 15410.94 63123203.52
7 106560 15286.14 62612031.47
8 122176 15250.34 62465399.16
elapsed: 8 ops: 131072 ops/sec: 15290.45 bytes/sec: 62629701.08
root@pve01:~#
イメージ削除
root@pve01:~# rbd rm --pool=Pool01 Test01 Removing image: 100% complete...done. root@pve01:~#
計測後のメモリ使用状況
ピーク値で5.3GiB
最後に
「HDD3台パターン」と「まとめ」は次の記事に続きます
コメント