Proxmox VE 6.1 + Cephで速度計測 各ノードHDD1台の記録
最初に
ようやく速度計測の準備が整ったのでまとめていきたいと思います
まずは最小構成の各ノードHDD1台のパターンです
計測環境
計測記事1発目なので改めてハードウェア構成を含めてまとめておきます
pve01
i7-9700・メモリ64GB・40GB SSD(OSで使用)・2NIC(GbE)
pve02
i7-9700・メモリ64GB・256GB SSD(OSで使用)・2NIC(GbE)
pve03
Pentium G4620・メモリ32GB・256GB SSD(OSで使用)・2NIC(GbE)
Ceph用のストレージは以下5台を各サーバに搭載
HDD ST1000DM010 1TB 7200rpm 3台
HDD WD40EZRZ 4TB 5400rpm 1台
SSD SATA Crucial MX500 500GB 1台
192.168.0.xがProxmox管理用ネットワーク
192.168.1.xがCeph用ネットワーク
各ノードのネットワーク構成は
pve01が192.168.0.11/192.168.1.11
pve02が192.168.0.12/192.168.1.12
pve03が192.168.0.13/192.168.1.13
各ノード間のレイテンシはping計測値で0.28ms~0.3ms
使用バージョンはProxmox VE 6.1-7
Proxmoxクラスター&Ceph(BlueStore)構成済
VMはpve01にCentOS7、pve02にWin10 Pro 64bitをインストール
VMのセットアップ内容はこちらの記事をご覧ください
Proxmox VE 6.1でCephベンチマーク用VMを作成する | fefcc.net
https://fefcc.net/archives/1038
今回のCeph構成
各ノードでHDD ST1000DM010 1TB 7200rpmを1台のみOSD登録
DB/WALともにOSDと同じHDDを指定
Pool01という名でCeph/RBD形式のプール作成
Pool01のPG値は128
計測の流れ
全ノードを起動
↓
CentOS7のVMを起動
↓
CentOS7上でfio_cdm.shを実行
↓
CentOS7のVMをシャットダウン
↓
Windows10のVMを起動
↓
Windows10上でCrystalDiskMarkを実行
↓
Windows10のVMをシャットダウン
↓
Proxmoxのシェル上からrados benchを実行
↓
Proxmoxのシェル上からrbd benchを実行
↓
計測終了
VM上で速度が出ないと実用的には意味ないわけですがCeph自体の速度も知りたいので
VMの影響を受けることなくCeph本来の速度を計測する方法として
Proxmoxのシェル上から実行可能なrados benchとrbd benchコマンドを使います
Ceph/RBDのブロックサイズは4MBですが
CDMに合わせてrados benchとrbd benchは1MBで計測しています
Proxmox起動直後のメモリ使用状況
Proxmox起動して5分経過後の状況がこちら
pve01は1.71GiB
CentOS7のVMから計測
[root@centos7-bench ~]# ./fio_cdm.sh /root Testing in /root Configuration: Size:1024m Loops:5 Write Only Zeroes:0 Running Benchmark, please wait... Results: Sequential Read: 148MB/s IOPS=0 Sequential Write: 13MB/s IOPS=0 512KB Read: 71MB/s IOPS=142 512KB Write: 5MB/s IOPS=10 Sequential Q32T1 Read: 114MB/s IOPS=3 Sequential Q32T1 Write: 12MB/s IOPS=0 4KB Read: 4MB/s IOPS=1250 4KB Write: 0MB/s IOPS=89 4KB Q32T1 Read: 4MB/s IOPS=1250 4KB Q32T1 Write: 0MB/s IOPS=92 4KB Q8T8 Read: 27MB/s IOPS=7000 4KB Q8T8 Write: 1MB/s IOPS=409 [root@centos7-bench ~]#
Windows10のVMから計測
------------------------------------------------------------------------------ CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo Crystal Dew World: https://crystalmark.info/ ------------------------------------------------------------------------------ * MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s] * KB = 1000 bytes, KiB = 1024 bytes [Read] Sequential 1MiB (Q= 8, T= 1): 158.554 MB/s [ 151.2 IOPS] < 52566.15 us> Sequential 1MiB (Q= 1, T= 1): 133.171 MB/s [ 127.0 IOPS] < 7857.56 us> Random 4KiB (Q= 32, T=16): 93.429 MB/s [ 22809.8 IOPS] < 22178.16 us> Random 4KiB (Q= 1, T= 1): 7.126 MB/s [ 1739.7 IOPS] < 573.90 us> [Write] Sequential 1MiB (Q= 8, T= 1): 19.506 MB/s [ 18.6 IOPS] <406129.45 us> Sequential 1MiB (Q= 1, T= 1): 6.921 MB/s [ 6.6 IOPS] <150344.42 us> Random 4KiB (Q= 32, T=16): 0.820 MB/s [ 200.2 IOPS] <673047.17 us> Random 4KiB (Q= 1, T= 1): 0.194 MB/s [ 47.4 IOPS] < 21064.36 us> [Mix] Read 70%/Write 30% Sequential 1MiB (Q= 8, T= 1): 39.005 MB/s [ 37.2 IOPS] <206407.97 us> Sequential 1MiB (Q= 1, T= 1): 18.667 MB/s [ 17.8 IOPS] < 54457.35 us> Random 4KiB (Q= 32, T=16): 1.880 MB/s [ 459.0 IOPS] <318523.64 us> Random 4KiB (Q= 1, T= 1): 0.431 MB/s [ 105.2 IOPS] < 9478.59 us> Profile: Default Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED> Date: 2020/02/09 11:03:42 OS: Windows 10 Professional [10.0 Build 18363] (x64)
rados benchで計測
ブロックサイズ1M&16スレッドで60秒間書き込み
左端のsecは経過秒数でavg MB/sが平均速度、cur MB/sが現在の速度
結果は63.1393MB/s
root@pve01:~# rados bench -p Pool01 -t 16 -b 1M 60 write --no-cleanup hints = 1 Maintaining 16 concurrent writes of 1048576 bytes to objects of size 1048576 for up to 60 seconds or 0 objects Object prefix: benchmark_data_pve01_271272 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 0 0 0 0 0 0 - 0 1 16 71 55 54.9972 55 0.187142 0.255887 2 16 142 126 62.995 71 0.228599 0.24106 3 16 205 189 62.9926 63 0.229292 0.237336 4 16 280 264 65.9925 75 0.242832 0.238311 5 16 343 327 65.3927 63 0.267573 0.23708 6 16 403 387 64.4931 60 0.323681 0.244223 7 16 473 457 65.2789 70 0.21795 0.243216 8 16 531 515 64.3676 58 0.237213 0.2426 9 16 598 582 64.6595 67 0.401783 0.243979 10 16 661 645 64.4931 63 0.161712 0.244794 11 16 715 699 63.5388 54 0.218372 0.247477 12 16 777 761 63.4102 62 0.257836 0.249714 13 16 845 829 63.7628 68 0.2329 0.248832 14 16 912 896 63.9937 67 0.293685 0.248536 15 16 978 962 64.1271 66 0.18156 0.247717 16 16 1044 1028 64.2439 66 0.279488 0.247827 17 16 1111 1095 64.4057 67 0.304796 0.247962 18 16 1178 1162 64.5495 67 0.237529 0.246224 19 16 1237 1221 64.2571 59 0.23418 0.246574 2020-02-09 11:19:26.040508 min lat: 0.067372 max lat: 0.416991 avg lat: 0.245477 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 20 16 1318 1302 65.0939 81 0.173326 0.245477 21 16 1371 1355 64.5177 53 0.242642 0.24552 22 16 1429 1413 64.2213 58 0.258276 0.246927 23 16 1491 1475 64.1245 62 0.33353 0.247371 24 16 1559 1543 64.2858 68 0.278086 0.247108 25 16 1627 1611 64.4342 68 0.0840113 0.247911 26 16 1684 1668 64.1481 57 0.293464 0.248113 27 16 1745 1729 64.0313 61 0.298979 0.248971 28 16 1799 1783 63.6729 54 0.166218 0.25013 29 16 1862 1846 63.6495 63 0.243786 0.250541 30 16 1931 1915 63.8277 69 0.285485 0.250427 31 16 1995 1979 63.8331 64 0.249565 0.250254 32 16 2049 2033 63.5255 54 0.326464 0.250454 33 16 2118 2102 63.6912 69 0.116392 0.250394 34 16 2174 2158 63.4647 56 0.222828 0.250894 35 16 2254 2238 63.9369 80 0.0776247 0.250139 36 16 2311 2295 63.7441 57 0.272898 0.250525 37 16 2369 2353 63.5888 58 0.260279 0.250803 38 16 2433 2417 63.5992 64 0.233955 0.250436 39 16 2494 2478 63.5325 61 0.254667 0.250983 2020-02-09 11:19:46.042420 min lat: 0.0660366 max lat: 0.490522 avg lat: 0.251362 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 40 16 2557 2541 63.519 63 0.3846 0.251362 41 16 2608 2592 63.2135 51 0.194255 0.252097 42 16 2653 2637 62.7796 45 0.413633 0.252939 43 16 2719 2703 62.8544 66 0.276387 0.254113 44 16 2772 2756 62.6301 53 0.276579 0.254163 45 16 2842 2826 62.7938 70 0.135608 0.254148 46 16 2908 2892 62.8633 66 0.235427 0.25421 47 16 2970 2954 62.8448 62 0.289772 0.253882 48 16 3042 3026 63.0354 72 0.192555 0.253645 49 16 3092 3076 62.7693 50 0.311226 0.253667 50 16 3157 3141 62.8137 65 0.373797 0.254191 51 16 3227 3211 62.9545 70 0.145769 0.254008 52 16 3279 3263 62.7436 52 0.191877 0.254171 53 16 3346 3330 62.8238 67 0.210548 0.254038 54 16 3410 3394 62.8455 64 0.204214 0.253986 55 16 3477 3461 62.9209 67 0.288542 0.25366 56 16 3543 3527 62.9757 66 0.268295 0.253412 57 16 3608 3592 63.0112 65 0.146636 0.253339 58 16 3676 3660 63.0971 68 0.324954 0.253409 59 16 3731 3715 62.9598 55 0.33153 0.253623 2020-02-09 11:20:06.044612 min lat: 0.0660366 max lat: 0.589053 avg lat: 0.253363 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 60 16 3797 3781 63.0104 66 0.209591 0.253363 Total time run: 60.1528 Total writes made: 3798 Write size: 1048576 Object size: 1048576 Bandwidth (MB/sec): 63.1393 Stddev Bandwidth: 7.06265 Max bandwidth (MB/sec): 81 Min bandwidth (MB/sec): 45 Average IOPS: 63 Stddev IOPS: 7.06265 Max IOPS: 81 Min IOPS: 45 Average Latency(s): 0.253398 Stddev Latency(s): 0.0521163 Max latency(s): 0.589053 Min latency(s): 0.0660366 root@pve01:~#
先ほど書き込んだデータを16スレッドでシーケンシャル読み込み
結果は152.672MB/s
root@pve01:~# rados bench -p Pool01 -t 16 60 seq hints = 1 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 0 0 0 0 0 0 - 0 1 16 184 168 167.971 168 0.0137815 0.0864201 2 16 325 309 154.478 141 0.0185244 0.0983092 3 16 481 465 154.98 156 0.0357852 0.100035 4 16 631 615 153.728 150 0.0710014 0.10151 5 16 782 766 153.18 151 0.00321742 0.102861 6 16 929 913 152.147 147 0.242996 0.103552 7 16 1083 1067 152.41 154 0.00447576 0.103692 8 16 1228 1212 151.483 145 0.178996 0.104645 9 16 1384 1368 151.983 156 0.183539 0.104409 10 16 1546 1530 152.983 162 0.0623727 0.103491 11 16 1699 1683 152.983 153 0.185352 0.103601 12 16 1835 1819 151.567 136 0.255386 0.104682 13 16 1997 1981 152.369 162 0.159329 0.104374 14 16 2150 2134 152.413 153 0.124843 0.104373 15 16 2296 2280 151.985 146 0.187048 0.104619 16 16 2449 2433 152.047 153 0.161683 0.104651 17 16 2600 2584 151.985 151 0.00322634 0.104741 18 16 2750 2734 151.874 150 0.0581658 0.104668 19 16 2908 2892 152.195 158 0.160326 0.104732 2020-02-09 11:21:42.890820 min lat: 0.00271068 max lat: 0.269897 avg lat: 0.104488 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 20 16 3064 3048 152.385 156 0.0555068 0.104488 21 16 3217 3201 152.413 153 0.146839 0.104572 22 16 3367 3351 152.303 150 0.183478 0.104632 23 16 3520 3504 152.333 153 0.108749 0.104664 24 16 3677 3661 152.527 157 0.204534 0.104435 Total time run: 24.8768 Total reads made: 3798 Read size: 1048576 Object size: 1048576 Bandwidth (MB/sec): 152.672 Average IOPS: 152 Stddev IOPS: 6.81417 Max IOPS: 168 Min IOPS: 136 Average Latency(s): 0.104664 Max latency(s): 0.339835 Min latency(s): 0.00265437 root@pve01:~#
ブロックサイズ4K&16スレッドで60秒間書き込み
結果は1.35312MB/s 346IOPS
root@pve01:~# rados bench -p Pool01 -t 16 -b 4K 60 write --no-cleanup hints = 1 Maintaining 16 concurrent writes of 4096 bytes to objects of size 4096 for up to 60 seconds or 0 objects Object prefix: benchmark_data_pve01_273319 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 0 0 0 0 0 0 - 0 1 16 466 450 1.75748 1.75781 0.0172022 0.0342212 2 16 870 854 1.66773 1.57812 0.100846 0.0368532 3 16 1193 1177 1.5323 1.26172 0.106272 0.0399827 4 15 1586 1571 1.53396 1.53906 0.0224973 0.0406072 5 16 1951 1935 1.51149 1.42188 0.03786 0.0410552 6 16 2316 2300 1.49716 1.42578 0.033366 0.0416284 7 16 2672 2656 1.48191 1.39062 0.0471913 0.0419304 8 16 2990 2974 1.45191 1.24219 0.0452415 0.0422533 9 16 3312 3296 1.43032 1.25781 0.0534636 0.0432291 10 16 3648 3632 1.41851 1.3125 0.0839729 0.0438656 11 16 4035 4019 1.42697 1.51172 0.0795519 0.0437246 12 16 4361 4345 1.41416 1.27344 0.0413025 0.0439443 13 16 4669 4653 1.39791 1.20312 0.0168069 0.0445836 14 16 5037 5021 1.40072 1.4375 0.0173172 0.0445863 15 16 5388 5372 1.39873 1.37109 0.016937 0.0446358 16 16 5710 5694 1.38991 1.25781 0.0426671 0.0446694 17 16 6079 6063 1.39293 1.44141 0.0189902 0.044855 18 16 6416 6400 1.38867 1.31641 0.0175879 0.04495 19 16 6753 6737 1.38485 1.31641 0.0670571 0.0451156 2020-02-09 11:23:22.704551 min lat: 0.0105586 max lat: 0.240866 avg lat: 0.0449039 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 20 16 7124 7108 1.38806 1.44922 0.0395744 0.0449039 21 16 7491 7475 1.39022 1.43359 0.0252558 0.0449135 22 16 7851 7835 1.39094 1.40625 0.0486092 0.0448515 23 16 8205 8189 1.39058 1.38281 0.0173476 0.0449178 24 16 8557 8541 1.38993 1.375 0.0806369 0.0449427 25 16 8927 8911 1.39214 1.44531 0.0170816 0.0447904 26 16 9263 9247 1.38907 1.3125 0.0896982 0.0449211 27 16 9613 9597 1.38826 1.36719 0.060741 0.0450168 28 16 9918 9902 1.38122 1.19141 0.0818701 0.0450514 29 16 10321 10305 1.38787 1.57422 0.0463079 0.0450096 30 16 10675 10659 1.38769 1.38281 0.0469874 0.0449533 31 16 11059 11043 1.3913 1.5 0.0183163 0.0448995 32 16 11461 11445 1.39689 1.57031 0.070102 0.0447211 33 16 11847 11831 1.40025 1.50781 0.0709345 0.0446302 34 16 12185 12169 1.39789 1.32031 0.0314316 0.044707 35 16 12494 12478 1.39243 1.20703 0.0506234 0.0448378 36 16 12866 12850 1.39411 1.45312 0.0501838 0.0447144 37 16 13252 13236 1.39718 1.50781 0.0476153 0.0446699 38 16 13573 13557 1.3934 1.25391 0.0171212 0.0447439 39 16 13878 13862 1.38822 1.19141 0.0654378 0.0449007 2020-02-09 11:23:42.707080 min lat: 0.00931438 max lat: 0.240866 avg lat: 0.0453643 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 40 16 14104 14088 1.37558 0.882812 0.0447997 0.0453643 41 16 14359 14343 1.36633 0.996094 0.131972 0.0456492 42 16 14552 14536 1.35174 0.753906 0.0738691 0.0462148 43 16 14748 14732 1.33811 0.765625 0.0994552 0.0464673 44 16 15069 15053 1.33619 1.25391 0.0731499 0.0467605 45 16 15439 15423 1.33861 1.44531 0.0519633 0.0466428 46 16 15824 15808 1.3422 1.50391 0.0480524 0.0464958 47 16 16147 16131 1.34048 1.26172 0.0859432 0.0465341 48 16 16530 16514 1.34372 1.49609 0.0175599 0.0464914 49 16 16851 16835 1.34188 1.25391 0.0526412 0.0465203 50 16 17250 17234 1.34621 1.55859 0.0838462 0.0464095 51 16 17621 17605 1.34823 1.44922 0.0172992 0.046348 52 16 17942 17926 1.34641 1.25391 0.0815748 0.0463499 53 16 18310 18294 1.34813 1.4375 0.0177275 0.0463559 54 16 18648 18632 1.34761 1.32031 0.0174065 0.0463713 55 16 18985 18969 1.34704 1.31641 0.0916281 0.0463837 56 16 19356 19340 1.34886 1.44922 0.0167395 0.0463184 57 16 19678 19662 1.34726 1.25781 0.0537368 0.0463305 58 16 20063 20047 1.34996 1.50391 0.0510657 0.0462541 59 16 20417 20401 1.35051 1.38281 0.0166816 0.0462723 2020-02-09 11:24:02.709868 min lat: 0.00931438 max lat: 0.460849 avg lat: 0.0461865 sec Cur ops started finished avg MB/s cur MB/s last lat(s) avg lat(s) 60 16 20801 20785 1.353 1.5 0.0219456 0.0461865 Total time run: 60.0495 Total writes made: 20801 Write size: 4096 Object size: 4096 Bandwidth (MB/sec): 1.35312 Stddev Bandwidth: 0.180907 Max bandwidth (MB/sec): 1.75781 Min bandwidth (MB/sec): 0.753906 Average IOPS: 346 Stddev IOPS: 46.3122 Max IOPS: 450 Min IOPS: 193 Average Latency(s): 0.046185 Stddev Latency(s): 0.0379596 Max latency(s): 0.460849 Min latency(s): 0.00931438 root@pve01:~#
最後にクリーンアップ
root@pve01:~# rados -p Pool01 cleanup Removed 20801 objects root@pve01:~#
rbd benchで計測
rbd benchはイメージがないと使えないので先にイメージを作成
今回は20GBで作成
root@pve01:~# rbd create --size=20G --pool=Pool01 Test01 root@pve01:~#
ブロックサイズ1M&16スレッドで1024MBをシーケンシャル書き込み&読み込みを計測
1024MB書き込むのに22秒、読み込みに6秒の結果になりました
速度はBYTES/SECの部分に出てます
書き込みが約48MB/s 読み込みが約158MB/s
rbd bench Test01 --io-type write --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01 bench type write io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential SEC OPS OPS/SEC BYTES/SEC 1 64 110.49 115862324.51 2 112 69.72 73101806.53 3 160 61.71 64707402.02 4 208 58.76 61614927.69 5 240 54.84 57504248.83 6 288 45.23 47430554.19 7 336 45.83 48051576.17 8 384 45.71 47933898.85 9 432 44.62 46788068.60 10 480 46.19 48432057.14 11 544 48.37 50723702.48 12 576 48.46 50818450.90 13 624 46.01 48246351.40 14 656 45.68 47894801.04 15 720 47.92 50250193.49 16 752 43.05 45136432.07 17 800 42.88 44960969.45 18 848 47.74 50058845.78 19 896 47.21 49499010.42 20 928 42.45 44510048.94 21 992 46.84 49112601.29 elapsed: 22 ops: 1024 ops/sec: 45.78 bytes/sec: 48002473.81 root@pve01:~# rbd bench Test01 --io-type read --io-size 1M --io-threads 16 --io-total 1024M --io-pattern seq --pool=Pool01 bench type read io_size 1048576 io_threads 16 bytes 1073741824 pattern sequential SEC OPS OPS/SEC BYTES/SEC 1 144 184.33 193281850.39 2 288 161.70 169553419.15 3 464 162.38 170265879.17 4 592 155.73 163299399.55 5 736 154.10 161580458.54 6 928 154.57 162079331.03 elapsed: 6 ops: 1024 ops/sec: 150.85 bytes/sec: 158179041.91 root@pve01:~#
ブロックサイズ4K&16スレッドで512MBをランダム書き込み&読み込みを計測
指定した容量の転送が終わるまで続くので512MBに減らしました
秒数が途中で飛んでいるのは重くてコマンドが返ってこなかっただけで
省略したわけではありません
4Kランダム書き込みが遅くて512MBでも422秒、約1.2MB/s
4Kランダム読み込みが12秒、約43.7MB/s
root@pve01:~# rbd bench Test01 --io-type write --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01 bench type write io_size 4096 io_threads 16 bytes 536870912 pattern random SEC OPS OPS/SEC BYTES/SEC 1 5392 4828.47 19777414.39 2 5440 2643.36 10827184.11 3 5520 1745.23 7148480.81 4 5584 1314.53 5384300.39 5 5648 1122.89 4599377.11 6 5712 65.63 268804.87 7 5792 69.51 284708.10 8 5856 67.90 278138.07 9 5936 71.84 294237.10 10 6000 67.64 277048.77 11 6032 63.85 261510.88 12 6112 63.49 260058.05 13 6176 63.74 261094.13 14 6256 64.51 264252.53 15 6336 66.88 273930.57 16 6384 69.02 282698.39 17 6464 70.17 287432.58 18 6512 68.18 279266.88 58 6528 6.07 24850.30 60 6544 4.56 18689.68 61 6560 3.84 15716.42 62 6576 2.47 10137.51 63 10880 97.15 397930.46 64 11008 862.85 3534224.91 65 11104 1100.36 4507087.08 66 11216 1127.88 4619810.23 67 11344 1022.28 4187246.79 68 11440 111.55 456914.73 69 11552 108.97 446349.63 70 11664 109.80 449747.44 71 11776 110.49 452587.21 72 11856 103.89 425549.53 73 11968 103.45 423715.26 74 12080 105.85 433569.11 75 12176 102.97 421783.60 76 12304 108.82 445721.91 77 12464 121.89 499261.40 78 12608 129.66 531074.78 79 12736 132.15 541281.17 80 12880 137.60 563628.54 81 12992 136.94 560905.45 82 13120 127.82 523561.91 83 13232 126.42 517797.91 84 13344 123.57 506161.76 85 13552 134.40 550490.87 86 13696 140.80 576704.72 87 13840 147.78 605307.52 88 13984 147.22 603000.68 89 14112 153.23 627626.12 90 14272 148.02 606303.09 91 14416 143.08 586060.86 92 14560 142.97 585595.36 93 14672 137.82 564501.00 94 14832 143.42 587461.80 95 15024 148.26 607280.66 96 15200 157.68 645856.15 97 15376 165.18 676572.07 98 15520 172.49 706536.87 99 15696 168.35 689569.35 100 15840 167.35 685452.42 101 16048 166.01 679979.50 102 16288 182.40 747094.76 103 16576 207.71 850764.25 104 16784 224.42 919215.07 105 17104 246.87 1011178.82 106 17424 276.30 1131722.48 107 17648 267.08 1093959.81 108 17904 266.45 1091367.19 109 18160 276.30 1131722.49 110 18464 278.68 1141484.29 111 18736 270.18 1106639.10 123 18864 72.80 298170.00 124 18880 61.40 251485.42 125 22704 281.60 1153435.44 132 22720 189.62 776698.05 133 25968 327.17 1340103.68 139 26128 462.19 1893148.44 140 29024 632.56 2590979.92 145 29136 317.59 1300855.24 146 31632 657.60 2693535.09 152 31824 303.22 1242008.79 153 34064 585.76 2399260.06 157 34240 303.60 1243555.80 158 36384 571.78 2341999.55 161 36464 310.37 1271290.95 162 38384 681.05 2789576.14 165 38528 360.11 1475004.93 166 40320 690.89 2829904.38 169 40448 367.31 1504500.67 170 42208 676.39 2770481.79 172 42256 368.19 1508119.05 173 43744 687.02 2814052.77 175 43952 366.12 1499633.11 176 45136 676.27 2770000.86 177 45552 471.51 1931294.02 179 45568 502.42 2057898.66 180 46992 466.66 1911426.64 182 47024 492.61 2017743.51 183 48384 462.93 1896170.10 185 48432 363.45 1488671.50 186 49760 611.07 2502926.02 187 49776 356.37 1459680.65 188 50816 635.80 2604243.26 190 51120 366.95 1503007.15 191 52272 638.71 2616152.80 193 52400 372.66 1526427.66 194 53584 607.13 2486805.07 196 53696 359.45 1472320.64 197 54688 548.57 2246959.10 198 54896 346.35 1418648.22 199 55648 549.38 2250258.70 200 55968 355.39 1455673.75 201 56544 588.42 2410157.80 202 56960 385.60 1579415.67 203 57440 564.82 2313500.40 204 57872 445.86 1826245.64 205 58288 546.13 2236939.98 206 58832 437.63 1792550.07 207 59152 534.62 2189815.61 208 59664 453.50 1857527.17 209 60160 448.97 1838981.90 210 60704 474.83 1944915.25 211 61072 466.66 1911426.64 212 61632 488.95 2002734.09 213 61984 467.73 1915830.85 214 62448 453.24 1856468.26 215 62848 433.65 1776221.71 216 63264 436.99 1789921.05 217 63728 412.59 1689967.76 218 64016 405.10 1659269.88 219 64432 407.55 1669329.06 220 64912 409.52 1677374.40 221 65344 403.72 1653629.97 222 65616 387.51 1587250.84 223 66016 396.50 1624073.84 224 66336 375.98 1540011.99 225 66736 358.77 1469501.88 226 67120 356.05 1458368.82 227 67328 332.55 1362122.22 228 67680 337.38 1381914.29 229 68000 336.02 1376333.06 230 68416 348.54 1427621.56 231 68896 359.22 1471347.83 232 69248 389.92 1597107.10 233 69696 394.36 1615290.12 234 70016 395.60 1620361.68 235 70464 392.93 1609445.96 236 70752 380.01 1556514.50 237 71232 393.64 1612359.89 238 71600 386.67 1583797.87 239 71984 399.02 1634379.40 240 72352 391.04 1601716.25 241 72736 389.93 1597148.95 242 73104 382.97 1568648.01 243 73472 379.25 1553393.73 244 73856 364.48 1492903.32 245 74208 371.49 1521620.66 246 74480 353.32 1447178.77 247 74896 354.70 1452865.86 248 75216 348.51 1427512.87 249 75648 364.81 1494274.90 250 75984 359.80 1473732.51 251 76320 367.99 1507296.44 252 76720 359.61 1472978.62 253 76976 348.65 1428052.51 254 77360 348.53 1427566.20 255 77776 356.68 1460963.04 256 78160 366.53 1501291.27 257 78528 371.40 1521243.41 258 78896 380.94 1560348.28 259 79328 384.07 1573138.02 260 79680 374.50 1533953.72 261 80064 379.58 1554748.94 262 80432 368.41 1509021.03 263 80816 370.08 1515835.65 264 81216 369.61 1513916.62 265 81504 366.55 1501396.22 266 81920 372.98 1527736.50 267 82208 369.99 1515488.27 268 82704 392.02 1605707.24 269 83024 369.27 1512543.49 270 83312 367.77 1506389.94 271 83696 351.82 1441034.80 272 84096 375.79 1539228.92 273 84496 351.64 1440321.49 274 84896 372.01 1523758.24 275 85296 392.40 1607257.48 276 85616 386.15 1581688.52 277 86016 376.17 1540782.79 278 86384 391.69 1604374.70 279 86768 381.72 1563530.07 280 87136 364.49 1492963.98 281 87456 365.36 1496521.48 282 87872 376.31 1541365.94 283 88256 367.05 1503441.46 284 88640 364.76 1494066.92 285 88928 358.39 1467975.66 286 89344 373.11 1528277.88 287 89696 369.52 1513563.12 288 90032 355.48 1456033.56 289 90432 373.33 1529141.31 290 90864 382.90 1568372.22 291 91248 378.07 1548574.40 292 91584 378.80 1551582.28 293 91872 376.12 1540572.81 294 92256 361.90 1482330.87 295 92672 359.29 1471663.94 296 92896 342.19 1401591.92 297 93248 327.04 1339544.28 298 93648 341.01 1396763.38 299 94032 342.32 1402147.97 300 94320 341.05 1396950.88 301 94736 361.63 1481226.85 302 95088 374.58 1534300.12 303 95472 377.16 1544860.95 304 95856 372.85 1527176.53 305 96208 378.20 1549095.77 306 96608 365.62 1497568.64 307 96976 353.55 1448143.46 308 97280 360.73 1477536.50 309 97680 372.54 1525928.83 310 98048 355.48 1456043.70 311 98384 363.93 1490644.20 312 98800 369.22 1512337.56 313 98992 331.52 1357901.85 314 99280 315.95 1294127.72 315 99680 331.97 1359750.21 316 99968 320.12 1311222.34 317 100368 330.79 1354935.34 318 100688 346.96 1421168.28 319 100928 329.59 1350013.33 320 101056 279.90 1146456.06 321 101264 237.88 974358.45 322 101552 228.39 935486.59 323 101952 255.66 1047175.48 324 102240 263.66 1079951.66 325 102640 313.53 1284229.64 326 103040 386.41 1582755.37 327 103408 382.83 1568072.78 328 103808 373.28 1528965.57 329 104192 396.10 1622407.59 330 104560 382.46 1566564.81 331 104864 370.72 1518485.28 332 105280 372.90 1527400.69 333 105680 359.99 1474529.13 334 105936 344.66 1411714.31 335 106368 359.58 1472834.71 336 106720 361.64 1481297.12 337 107072 363.63 1489423.36 338 107472 357.82 1465630.65 339 107760 363.63 1489423.36 340 108208 361.06 1478901.53 341 108512 353.03 1445996.52 342 108800 339.08 1388881.44 343 109200 355.55 1456325.06 344 109488 343.67 1407665.04 345 109888 334.65 1370744.21 346 110192 346.81 1420548.29 347 110576 353.50 1447918.73 348 110976 343.38 1406485.63 349 111264 356.05 1458368.82 350 111568 352.34 1443191.26 351 111968 355.19 1454868.74 352 112320 353.60 1448352.48 353 112736 360.94 1478426.80 354 113104 370.66 1518227.68 355 113488 382.16 1565317.54 356 113888 374.12 1532376.33 357 114256 379.60 1554841.17 358 114576 377.04 1544361.11 359 114960 369.71 1514345.98 360 115280 346.74 1420255.09 361 115584 349.83 1432894.09 362 115968 339.95 1392415.64 363 116352 339.70 1391419.99 364 116656 341.10 1397158.20 365 117056 356.33 1459539.26 366 117360 349.32 1430830.78 367 117648 341.46 1398604.86 368 118048 351.57 1440022.92 369 118336 337.34 1381754.20 370 118736 329.92 1351362.12 371 119040 330.44 1353488.58 372 119328 337.89 1383977.46 373 119728 329.66 1350301.40 374 120112 335.09 1372517.68 375 120416 332.80 1363141.03 376 120704 340.14 1393213.67 377 121104 348.23 1426341.90 378 121392 340.42 1394353.78 379 121792 344.26 1410068.84 380 122048 346.34 1418618.85 381 122448 352.17 1442502.91 382 122832 348.66 1428115.38 383 123200 365.98 1499071.45 384 123520 353.51 1447982.78 385 123904 370.60 1517974.61 386 124256 358.44 1468162.76 387 124544 351.39 1439286.78 388 124944 337.72 1383283.20 389 125264 342.49 1402842.58 390 125584 328.89 1347129.19 391 126032 348.50 1427461.48 392 126080 283.18 1159904.92 393 126720 342.06 1401067.74 395 126928 282.60 1157540.98 396 127728 365.86 1498573.40 397 127808 268.60 1100172.97 398 128400 400.82 1641762.45 399 128688 345.98 1417151.76 400 128784 319.99 1310692.56 401 129392 324.49 1329095.42 402 129680 444.86 1822136.75 403 129712 246.43 1009361.29 404 130368 328.12 1343971.86 405 130672 450.37 1844724.73 407 130768 232.58 952667.00 elapsed: 422 ops: 131072 ops/sec: 310.44 bytes/sec: 1271564.62 root@pve01:~# rbd bench Test01 --io-type read --io-size 4K --io-threads 16 --io-total 512M --io-pattern rand --pool=Pool01 bench type read io_size 4096 io_threads 16 bytes 536870912 pattern random SEC OPS OPS/SEC BYTES/SEC 1 9552 9606.22 39347089.87 2 20784 10420.62 42682867.39 3 31456 10504.45 43026232.82 4 42256 10578.36 43328944.12 5 52480 10507.38 43038246.93 6 62640 10617.38 43488772.53 7 72752 10393.38 42571287.89 8 83776 10463.78 42859640.23 9 96160 10780.57 44157225.67 10 105808 10665.38 43685376.43 11 117040 10879.77 44563540.32 12 128464 11142.17 45638308.08 elapsed: 12 ops: 131072 ops/sec: 10690.80 bytes/sec: 43789526.21 root@pve01:~#
最後にクリーンアップして完了
root@pve01:~# rbd rm --pool=Pool01 Test01 Removing image: 100% complete...done. root@pve01:~#
計測後のメモリ使用状況
ベンチマーク中は3ノードともに最大で5GiB弱まで上がってました
おまけ
今回使用したPool01にVMインストールした際の所要時間を記録しておきます
ISOはローカルSSDに入れたので気にしなくてもOK
インストール全体になると設定入力などの個人差が出てくるので
今回はOSファイルコピーなど入力不要な部分で計測しました
CentOS7
インストール開始ボタンを押してから「完了しました!」までは自動なのでその時間を計測
インストールは最小限のインストール、CentOS7のファイルシステムはxfs
所要時間は10分20秒
Windows10
Windowsをインストールしていますの画面から最終セットアップまでの間を計測しました
所要時間は46分40秒
まとめ
速度
各ノードでHDD1台というCephの最低構成に近い形なので仕方ないとはいえ
書き込みは同期必須な仕様なのでやはり遅いです
逆に読み込み速度はGbEの速度を軽く超えていることからも
ローカル読み込みを効率的に使っているのが確認できます
読み込みは問題ないのでVM起動するだけなら快適です
読み込みが大半という倉庫みたいな使い方ならまだいいですけど
VMサーバとしてはおまけ項で記載したように
OSインストールだけで45分もかかるようでは当然厳しくて
しかもこの計測は当VMのみ起動している専有状態での結果ですから
実際にはこの速度を複数のVMで共有するのでもっと遅くなります
メモリ
マニュアルではCephは1GB+1TBごとに1GBの消費となっていて
今回のOSDは1TBなのでCephだけで計2GB消費する計算になります
実際にはアイドル状態に比べてピーク値で3.2GB増加する結果になりましたので
この構成だけでいえば他のプロセス分を含めて4GBぐらいは
システム用に確保しておいた方が良さそうです
CPU
今回はPentium G4620の低速マシンが紛れていたのでボトルネックになるか心配でしたが
結論から言うとベンチマーク中でもCPU使用率は10%すら超えることはなく安定してました
RAID5みたいなパリティ計算も不要ですし
一番の理由はそもそもCPU消費するほど書き込み速度が出ていないからですね
最後に
この計測結果をベースにOSDを追加して改めて計測したいと思います
コメント