最初に

先日NAS4FreeがXigmaNASへプロジェクト名変更が決定しました
それに伴いSourceForge上でも別プロジェクト扱いとなりました

更新ログを見る限り名称変更作業も落ち着いたようなので
実際にNAS4Freeを運用しているサーバをXigmaNASへ
更新する作業を行ってみました

更新前のNAS4Free

今回更新するNAS4Freeは2018年6月に更新した
11.1.0.4.5606で

RAIDZ2を構成しサービスは
Win10/Win8/Win7/WinXPを相手にSMBのみ使用

11.1.0.4系からの更新をサポートしているので
それより古い場合は一度、11.1.0.4系への更新を経由するのが無難です

更新先のXigmaNAS

2018/07/12現在では11.2.0.4.5748が最新になっていましたので
今回は11.2.0.4.5748への更新を実施します

ベースOSがFreeBSD 11.2に更新されているので
古いハードウェアの場合はサポートから外れていないか注意してください

公式フォーラムではBroadcomのNICを使用していると
起動できないケースがあるようですが
私はIntelNICだったので問題なかったです

更新作業の前に設定バックアップ

WEBGUIのシステム→バックアップ/リストアから
NAS4Freeの設定をバックアップします

暗号化メニューもありますが自由にどうぞ
今回は暗号化せずにバックアップするのでチェックを外し
「設定をダウンロード」ボタンを選択

更新に使うイメージファイル

更新に使うイメージファイルについてですが
今現在のXigmaNASプロジェクトではこのようになってます

XigmaNAS – Browse Files at SourceForge.net
https://sourceforge.net/projects/xigmanas/files/

残念ながらファイル名がXigmaNAS～となっており
更新前の11.1.0.4.5606ではサポートしてません

そこでNAS4Freeプロジェクトの方へ移動するとこのようになってます

NAS4Free – Browse Files at SourceForge.net
https://sourceforge.net/projects/nas4free/files/

11.1.0.4系の最新版である11.1.0.4.5673と
11.2.0.4系の最新版である11.2.0.4.5748が用意されていて
このNAS4Free 11.2.0.4.5748の中身が
XigmaNASの11.2.0.4.5748と同様になっていて
NAS4FreeからXigmaNASへの更新する為の架け橋となるファイルになります

更新作業

普段のアップデート同様にWEBGUIから更新できるので
システム→Firmware Updateへ移動

このページでも先ほど確認した
NAS4Freeプロジェクト版の11.2.0.4.5748が指定されています
更新を実施するので「Enable Firmware Upgrade」を選択

Online InfomationにあるリンクからでもいいのでSourceForgeから
embeddedのxzファイルをダウンロード
破損がないかをチェックサムで確認してから
参照ボタンからアップロードし
「ファームウェアアップグレード」ボタンから実行

すぐに更新作業が開始されるので
しばらく待機します

更新作業が無事に終わるとWEBGUIへアクセスが可能になります
ログイン画面で早速XigmaNASの表記を確認できます

ログインするとNAS4Freeのロゴが変わっただけのメイン画面になります
ベースOSもFreeBSD 11.2系になっているのを確認できます
FreeBSD 11.2-RELEASE #0 r336180M: Tue Jul 10 22:52:56 CEST 2018

各サービスの動作確認

更新前に使用していたSMBなどのサービスが
問題なく動作しているかこの段階で確認します

私の場合は特に問題なかったですが
最悪の場合ここで11.1.0.4系に戻す必要があるかもしれないからです

環境次第ではSamba 4.5.0からNTLMv1認証がデフォルトでオフに変更されており
その関係で接続できない端末が出てくるかもしれません

その場合はCIFS/SMBの設定画面にある
追加のパラメータでntlm auth = yesを追記し保存すればOK

zpool upgradeの実施

11.2系への更新でzpoolの更新もアナウンスされています
各サービスの利用に問題ないことを確認したらこちらも更新します

一度zpool upgradeを実施すると戻せませんので
11.1.0.4系に戻すことはないと確定してから実行するようお願いします

まずディスク→ZFS→情報で現在の状態を確認します

  pool: ********
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
  still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
  the pool may no longer be accessible by software that does not support
  the features. See zpool-features(7) for details.
  scan: none requested
config:

  NAME          STATE     READ WRITE CKSUM
  ********      ONLINE       0     0     0
    raidz2-0    ONLINE       0     0     0
      ada0.nop  ONLINE       0     0     0
      ada1.nop  ONLINE       0     0     0
      ada2.nop  ONLINE       0     0     0
      ada3.nop  ONLINE       0     0     0
      ada4.nop  ONLINE       0     0     0
      ada5.nop  ONLINE       0     0     0
      ada6.nop  ONLINE       0     0     0
      ada7.nop  ONLINE       0     0     0
      ada8.nop  ONLINE       0     0     0
      ada9.nop  ONLINE       0     0     0

errors: No known data errors

statusとaction部分で更新をするよう通知がきています

実際にディスク→ZFS→ツールにてzpool upgradeしていきます
ステップ1で「Upgrade ZFS and add all supported feature flags on a pool」を選択
「Next」ボタンで次へ

ステップ2で対象のプールをチェックボックスにて選択し「Next」ボタンで次へ
ここで表示されているPool Versionは更新後も5000のままで正常です

ステップ3で実行結果が確認できます
今回は問題なく成功

zpoolが最新になったかどうかをディスク→ZFS→情報で再度確認します

  pool: ********
 state: ONLINE
  scan: none requested
config:

  NAME          STATE     READ WRITE CKSUM
  ********      ONLINE       0     0     0
    raidz2-0    ONLINE       0     0     0
      ada0.nop  ONLINE       0     0     0
      ada1.nop  ONLINE       0     0     0
      ada2.nop  ONLINE       0     0     0
      ada3.nop  ONLINE       0     0     0
      ada4.nop  ONLINE       0     0     0
      ada5.nop  ONLINE       0     0     0
      ada6.nop  ONLINE       0     0     0
      ada7.nop  ONLINE       0     0     0
      ada8.nop  ONLINE       0     0     0
      ada9.nop  ONLINE       0     0     0

errors: No known data errors

正常な表記に戻っています

ステップ3のOutputの部分で更新によってサポート追加された機能が表示されていて
今回はdevice_removal／obsolete_counts／zpool_checkpointです

各機能の詳細はこちらで参照ください
zpool-features
https://www.freebsd.org/cgi/man.cgi?query=zpool-features

更新作業完了

以上で更新作業は完了になりますので
この状態で再度、設定をバックアップして保存しておきます

既にXigmaNASになっているので
SourceForgeもXigmaNASプロジェクトが参照されており
次の更新からはXigmaNASの方で更新されていきます

システム→Firmware Updateでのページで
Online Informationでファイル名が
XigmaNAS～になっているのが確認できます

最後に

いつも通りWEBGUIからの更新が可能で再インストールせずに済んだのは良かったです
ついでに11.2系に更新できましたし今のところ問題なく運用できています

やっぱりNASOSは安定が一番重要なので
引き続きXigmaNASでも安定重視の開発を期待してます

名称変更について

iXsystemsが関与する前の旧FreeNASの流れを維持したNAS4Freeですが
商標登録に関していろいろと問題が発生したようなので
XigmaNASへプロジェクト名の変更が決定した模様です

Pending project name change of NAS4Free! – XigmaNAS
https://xigmanas.com/forums/viewtopic.php?f=4&t=13790/

旧FreeNAS時代を知ってる方ならまた分裂か！となりそうですが
今回は単純にプロジェクト名が変更するのみで
分裂やフォークではないようですのでご安心を。

XigmaNASについて

公式サイト
https://xigmanas.com/

公式フォーラム
https://www.xigmanas.com/forums/

SourceForge上でのプロジェクト
https://sourceforge.net/projects/xigmanas/

公式サイトは現在coming soon状態ですが
引っ越し作業中とのこと

NAS4Free時代の公式フォーラムも
http://forums.nas4free.org/
現在はXigmaNASの方へ移動されてます

XigmaNASの読み方については現在投票中ですが
今のところトップがジグマ、次点でシグマになってます

NAS4FreeからXigmaNASへの移行

SourceForgeを見るとNAS4Freeプロジェクトは削除されておらず
NAS4Freeのファイルがダウンロード可能で
現在ではNAS4Free 11.1.0.4.5673が公開中

XigmaNASとしてはXigmaNAS 11.2.0.4.5746が公開中となっていて
FreeBSD11.2系をベースにしたバージョンから
XigmaNASとして本格移行する形になるのでしょうか

まだ表記変更を含めいろいろと作業中なので
今すぐ使う方はNAS4Free 11.1系を利用して
落ち着いた段階でXigmaNAS 11.2系へのバージョンアップ実施が無難です

実際の作業としては再インストールせずとも
普段のアップデート作業でXigmaNASへ変更できそうですが
現在は公式アナウンス待ちの状態になっており
こちらでアップデート作業を実施したら別記事にて報告予定です

最後に

当ブログではNAS4Freeカテゴリにて関連記事を公開してましたが
この記事を最後にNAS4Freeカテゴリは凍結し
次の記事からはXigmaNASカテゴリで公開する運びになると思います

記録用にトップページをスクリーンショット
Free NAS Software | NAS4Free – The Free Network Attached Storage Project
https://www.nas4free.org/

今回の環境

NAS4Free 11.0.0.4.4303

11.0.0.4.4303にしてから求められたのではなく
2年前からの通知を放置していただけで
監視記録を見直すと9.2.0.1.972→9.3.0.2.1349の時に通知出てました

upgrade前の状態

ディスク→ZFS→情報で確認します

  pool: ********
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
  still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
  the pool may no longer be accessible by software that does not support
  the features. See zpool-features(7) for details.
  scan: none requested
config:

  NAME          STATE     READ WRITE CKSUM
  ********      ONLINE       0     0     0
    raidz2-0    ONLINE       0     0     0
      ada0.nop  ONLINE       0     0     0
      ada1.nop  ONLINE       0     0     0
      ada2.nop  ONLINE       0     0     0
      ada3.nop  ONLINE       0     0     0
      ada4.nop  ONLINE       0     0     0
      ada5.nop  ONLINE       0     0     0
      ada6.nop  ONLINE       0     0     0
      ada7.nop  ONLINE       0     0     0
      ada8.nop  ONLINE       0     0     0
      ada9.nop  ONLINE       0     0     0

errors: No known data errors

statusとactionのところでエラーではないですが通知があります
要は今のzpoolは一部機能が使えないのでzpool upgradeを実行してくれって要求

zpool upgradeを実行

SSHならコマンド1発なので
ここではWEBGUIでの方法を記録

ディスク→ZFS→ツールにてupgradeしていきます
Step1はコマンドの種類を選択
今回は「Upgrade ZFS and add all supported feature flags on a pool」を選択し「Next」

Step2は対象のプールを選択し「Next」

Step3は結果画面です

Successが「コマンドの実行に成功しました」とでてOutputにエラーが無ければOK

upgrade後の状態

ディスク→ZFS→情報で再度確認

  pool: ********
 state: ONLINE
  scan: none requested
config:

  NAME          STATE     READ WRITE CKSUM
  ********      ONLINE       0     0     0
    raidz2-0    ONLINE       0     0     0
      ada0.nop  ONLINE       0     0     0
      ada1.nop  ONLINE       0     0     0
      ada2.nop  ONLINE       0     0     0
      ada3.nop  ONLINE       0     0     0
      ada4.nop  ONLINE       0     0     0
      ada5.nop  ONLINE       0     0     0
      ada6.nop  ONLINE       0     0     0
      ada7.nop  ONLINE       0     0     0
      ada8.nop  ONLINE       0     0     0
      ada9.nop  ONLINE       0     0     0

errors: No known data errors

statusとactionの表示が消えて正常な状態になってます

upgrade後もversion表記は変わらず

nas4free: ~# zdb | grep version
    version: 5000

upgradeで追加される機能

ツールのStep3画面のOutputにあるように11の機能が追加されます

This system supports ZFS pool feature flags.

Enabled the following features on '********':
  multi_vdev_crash_dump
  spacemap_histogram
  enabled_txg
  hole_birth
  extensible_dataset
  embedded_data
  bookmarks
  filesystem_limits
  large_blocks
  sha512
  skein

各機能の詳細はこちらでご覧ください

zpool-features
https://www.freebsd.org/cgi/man.cgi?query=zpool-features

今回の環境

NAS4Free 11.0.0.4.4249
WD40EZRX 10台 RAIDZ2構成

2014年の春頃に組んだNASでしたが
3年経って1台目の故障を検知したので交換対応になりました

RAIDZ2構成なので故障は2台まで安心ですが即交換します

なぜならRAIDはリビルド中が全HDDで読み込み処理が発生して
追加でHDD故障を検知しやすい危険なタイミングだからです

RAIDZ2は2台同時に故障することに対応するためではなく
1台故障してそのリビルド中に追加で1台故障しても大丈夫な状態を作るための設定

今回は交換用の予備HDDとしてセールで確保しておいた
同じ4TB HDDのWD40EZRZ-RT2を使って交換作業を実施します

故障したHDDを確認

当然ながら現状のRAIDZ2状態確認と交換するHDDを確認しなければならないので
NAS4Free管理画面で確認

まずはトップ画面

状態がDEGRADEDになってるのが確認できます
ここは正常な状態だとONLINEです

次はディスク→ZFS→情報タブ

  pool: ********
 state: DEGRADED
status: One or more devices has been removed by the administrator.
  Sufficient replicas exist for the pool to continue functioning in a
  degraded state.
action: Online the device using 'zpool online' or replace the device with
  'zpool replace'.
  scan: none requested
config:

  NAME                     STATE     READ WRITE CKSUM
  ********                 DEGRADED     0     0     0
    raidz2-0               DEGRADED     0     0     0
      ada0.nop             ONLINE       0     0     0
      ada1.nop             ONLINE       0     0     0
      ada2.nop             ONLINE       0     0     0
      ada3.nop             ONLINE       0     0     0
      7757709661830618737  REMOVED      0     0     0  was /dev/ada4.nop
      ada5.nop             ONLINE       0     0     0
      ada6.nop             ONLINE       0     0     0
      ada7.nop             ONLINE       0     0     0
      ada8.nop             ONLINE       0     0     0
      ada9.nop             ONLINE       0     0     0

errors: No known data errors

ここでもstateがDEGRADEDです
HDDはada4が故障した模様
既に故障検知したのでREMOVEDになってRAIDZ2構成から取り外されてます

次にディスク→マネージメント

ada4のステータスが失敗になってます
上に出てるエラー文言
Configuration information about devices is different from physical devices. Please remove those devices and re-add them or run import disks with clear configuration option enabled.
これはNAS4Freeに保存されているHDD情報と現在接続されている情報が違うので
HDDインポート作業した方がいいよってやつですが
今回は故障検知によってada4がREMOVED処理されている状態なので
情報に差異があるのが正常であり問題ありません

最後にステータス→ディスク

ada4だけI/O統計と温度が取得できずステータスが失敗になってます

温度が全体的に高いのはHDD交換前に最重要データだけ
バックアップ処理してた影響でDEGRADEDになると温度が上がったりはしません

ここで重要なのは故障したHDDの型番とシリアル番号をメモっておきましょう
交換する際に正常なHDDを取り外すミスを防ぎます

この辺の作業ミスはデータ消失に直結するので慎重に
（1台故障しか対応できないRAIDZの人は特に）

実際にHDDを交換する

先ほど確認した故障HDDと正常なHDDを交換します

今回の場合は普通のデスクトップPCで組んでいるので
一度電源を落としてケースを開けて交換を実施しましたが
ホットスワップ対応ケースを使用している場合は電源を落とす必要はありません

電源は普通に管理画面からシャットダウンすればいいです

今回はWD40EZRX-00SPEB0→WD40EZRZ-00GXCB0
WD40EZRZ-00GXCB0はIntelliParkが有効になっているので
事前に無効にしておきましょう

WDの場合はHDD表面のラベルだけでなく
コネクタの反対側（側面）にもシリアル番号が書いたシールがあるので
抜いて表面ラベル見て確認しなくてもいいので簡単です

HDD交換後はいつも通り起動します

交換したHDDを確認

NAS4Free管理画面にて交換したHDDの認識状態を確認します

まずディスク→マネージメント

ada4のデバイスモデルがまだ更新されていないのは正常です
ここで確認するのはステータスが変更になっているかどうかです

変更になっていればToolboxでada4を編集します

ここでディスクが交換後のWD40EZRZになっているのが確認できます
概要は前のままなので変えるなら手動で変えてください
今回はS.M.A.R.T.をオンにしただけで保存ボタンを押す

HDD管理の画面に戻ります

ada4のデバイスモデルが更新されステータスも修正になってます

なぜかサイズがWD40EZRXの時は3815448MB認識なのに
今回のWD40EZRZだと4.00TBで認識されています
前のHDDより多くなる分には問題ありませんが足りない場合は容量不足でエラーになるかも

HDD変更を保存するため「変更の適用」を選択

ステータスがすべてオンラインになり準備完了

リビルド開始

ディスク→ZFS→ツールからreplace処理を開始させます

Step1は「Replace a device」を選択してNextボタンをクリック

Step2はSelect Poolでプールを選択

Force Operationはチェックなしでいいです
プールが複数ある人は間違えないようにしてNextボタンをクリック

Step3でReplaceするデバイスを選択

今回もForce Operationはチェックなし
Pool Devicesで故障したHDDのスロット（今回はada4）
Select Data Deviceもデバイスを選択（こっちも同じada4）
最後にNextボタンをクリック

Step4はコマンド実行結果です

最後のOutput→SuccessがCommand execution was successfulになっていればOK

後はツールの右にある情報タブへ移動して進行状況の確認

  pool: ********
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
  continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Mon May 29 09:33:49 2017
        35.9G scanned out of 16.5T at 497M/s, 9h37m to go
        3.42G resilvered, 0.21% done
config:

  NAME                       STATE     READ WRITE CKSUM
  ********                   DEGRADED     0     0     0
    raidz2-0                 DEGRADED     0     0     0
      ada0.nop               ONLINE       0     0     0
      ada1.nop               ONLINE       0     0     0
      ada2.nop               ONLINE       0     0     0
      ada3.nop               ONLINE       0     0     0
      replacing-4            UNAVAIL      0     0     0
        7757709661830618737  UNAVAIL      0     0     0  was /dev/ada4.nop
        ada4                 ONLINE       0     0     0  (resilvering)
      ada5.nop               ONLINE       0     0     0
      ada6.nop               ONLINE       0     0     0
      ada7.nop               ONLINE       0     0     0
      ada8.nop               ONLINE       0     0     0
      ada9.nop               ONLINE       0     0     0

errors: No known data errors

stateはreplaceが終わるまでDEGRADEDのままですが
scanのところで進行状況が確認できます

この場合使用容量が16.5TBあってこのままいくと9時間37分後に終わる予定
下の3.42Gのところが交換したHDDへ転送しているデータ量

使用容量によって処理時間は変化するので同じ4TBx10台のRAIDZ2リビルドでも
使っているデータ量が少なければ早く終わるでしょう

リビルド結果

今回はリビルド時間を計測するためファイル転送をせず
リビルド処理に専念させました

最初は残り9時間37分とか出てましたが
結果的には9:33:49→22:12:15なので12時間38分26秒でした

終わる直前ぐらいの状態

  pool: ********
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
  continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Mon May 29 09:33:49 2017
        16.4T scanned out of 16.5T at 380M/s, 0h0m to go
        1.56T resilvered, 99.89% done
config:

  NAME                       STATE     READ WRITE CKSUM
  ********                   DEGRADED     0     0     0
    raidz2-0                 DEGRADED     0     0     0
      ada0.nop               ONLINE       0     0     0
      ada1.nop               ONLINE       0     0     0
      ada2.nop               ONLINE       0     0     0
      ada3.nop               ONLINE       0     0     0
      replacing-4            UNAVAIL      0     0     0
        7757709661830618737  UNAVAIL      0     0     0  was /dev/ada4.nop
        ada4                 ONLINE       0     0     0  (resilvering)
      ada5.nop               ONLINE       0     0     0
      ada6.nop               ONLINE       0     0     0
      ada7.nop               ONLINE       0     0     0
      ada8.nop               ONLINE       0     0     0
      ada9.nop               ONLINE       0     0     0

errors: No known data errors

最初は490M/sぐらいでしたが徐々に速度が低下し最終的には380M/s
32GBのメモリも半分程度しか使われず
CPUも35%ぐらいで推移してました（Celeron G1820）

リビルド終了後

  pool: ********
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
  still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
  the pool may no longer be accessible by software that does not support
  the features. See zpool-features(7) for details.
  scan: resilvered 1.57T in 12h38m with 0 errors on Mon May 29 22:12:15 2017
config:

  NAME          STATE     READ WRITE CKSUM
  ********      ONLINE       0     0     0
    raidz2-0    ONLINE       0     0     0
      ada0.nop  ONLINE       0     0     0
      ada1.nop  ONLINE       0     0     0
      ada2.nop  ONLINE       0     0     0
      ada3.nop  ONLINE       0     0     0
      ada4      ONLINE       0     0     0
      ada5.nop  ONLINE       0     0     0
      ada6.nop  ONLINE       0     0     0
      ada7.nop  ONLINE       0     0     0
      ada8.nop  ONLINE       0     0     0
      ada9.nop  ONLINE       0     0     0

errors: No known data errors

stateがONLINEに戻り正常な状態に戻りました

管理画面トップでも正常に戻る

S.M.A.R.T.と温度も取得できているか確認したら
NAS4Freeを再起動して再度確認
異常がない場合は最後に設定をバックアップして完了！

nopについて

お気づきの方もいるでしょうが
既存のHDDは全て「4KBラッパーをONにする」設定でnop経由になってますが
今回の交換デバイスにはnopは付いてません（というか付けませんでした）

これは数年前の構築当時は必要という情報を見つけたので付けて構築したのですが
2017年現在は標準で4KBに対応しておりnopは不要です

今のプールが4KB対応かどうかはzdbコマンドでわかります

nas4free: ~# zdb | grep ashift
            ashift: 12

12ならOK
9みたいな12以外で4KセクターのHDDを使ってる場合はnopが必要かも

ちなみにこの段階でnopをつけてなくても「4KBラッパーをONにする」が有効なら
起動時に勝手に作成されるみたいなので
ついてもついてなくても今のところ性能差はないです

この辺の挙動はあまり検証してないので各自起動ログにて確認ください

最後に

ZFSのHDD交換も3回目でだいぶ慣れてきたので
スムーズに交換完了できました

HDDがRMA期間に壊れてくれなかったのは残念でしたが
予備のHDDを確保しておくと何かと安心です

予備といってもそんなすぐ壊れたりしないので複数台は必要なく
現状はNASとして動かしている4TBHDDが24台に対して予備は1台でも十分です

今回の作業中にずっとactionでzpoolをアップグレードしろと言われていたので
次はzpool upgradeを実施しようかなと思います

FreeNAS

使ったのは前回のFreeNAS 11レビューでも使った
FreeNAS-11-MASTER-201704240408 (3b6bcb4) Nightly Build版

検証機も今までと同じ
CPU Pentium G4620 3.7GHz Kaby Lake
マザーボード ASRock H270M-ITX/ac Mini-ITX
電源ユニット 玄人志向 KRPW-PB300W/85+ 300W

X710-DA2を組み込む前
BIOS 52W
起動後アイドル 43W

X710-DA2を組み込んだ後
BIOS 57W
起動後アイドル 44W（リンクアップ状態）
SMBで50GBの1ファイルを転送 63W （CPU負荷 25%）
CrystalDiskMarkでのベンチ中 平均50W 最大65W（CPU負荷 平均25% 最大50%）

NAS4Free

使ったバージョンは11.0.0.4.4249
検証機は先ほどのFreeNASと同じです

X710-DA2を組み込む前
起動後アイドル 39W

X710-DA2を組み込んだ後
起動後アイドル 43W（リンクアップ状態）
SMBで50GBの1ファイルを転送 61W （CPU負荷 20%）
CrystalDiskMarkでのベンチ中 平均50W 最大68W（CPU負荷 平均25% 最大50%）

FreeNASとNAS4Freeの比較

組み込む前はアイドル状態で4Wも差がありましたが
X710-DA2を組み込んだ後は誤差の範囲になりました

FreeNASが+1Wで済んでるのはおそらく元のアイドルが高いだけで
組み込んで44Wなのが正常だと思われます

今回はNAS機のメモリが32GBだったのでそれを超える転送用テストファイルを
計測用に入れたWindows Server 2016を使いコマンドプロンプトで以下コマンドにて生成

fsutil file creaatenew testfile 53687091200

50GB テストファイル

それをNAS機を再起動しメモリキャッシュが空の状態で転送した状態がこちら

FreeNAS 50GB転送

NAS4Free 50GB転送

基本的には最初にがっつり食べてその後一定になる流れは同じですが
sambaのバージョンもそんなに違いはないはずなのに転送で差が出てるのは
プリセットにおけるメモリ周りの使い方でしょうか
処理の仕方が違うのが一目瞭然です

転送時間はFreeNASが3:00 NAS4Freeが2:52
キャプったタイミングが山の上下でズレたのでわかりにくいですが
最初以外の平均速度はほとんど変わりません
なのでスタートダッシュ分で8秒差になった感じでしょうか

ちなみにWindows Server 2016機の消費電力は
X710-DA2を組み込むと+2W
50GB転送中はアイドル状態+1W（CPU負荷 6%）
送信側の負荷はほとんどないので10GbEフル帯域での送信ができても
CPU負荷は半分以下で済みそう
この時の使用したCPUはSkylakeのi5-6600Kです

ESXi

使ったバージョンはVMware ESXi 6.5.0 Build 5310538

検証機
CPU i7 4770 3.4GHz Haswell
マザーボード ASUS Gryphon Z87
電源ユニット Seasonic SS-660XP 660W

X710-DA2を組み込む前
BIOS 60W
起動後アイドル 35W

X710-DA2を組み込んだ後
BIOS 64W
起動後アイドル 38W（リンクアップ状態）

最後に

全てPCIe3で接続したのでX710-DA2を組み込んだ後でもアイドルは+3～4Wで済む
PC全体で4WなのでX710-DA2のカタログ値 3.3Wよりも実際は低そう

当然ながらGbEと10GbEは10倍もの速度差になるので
自然とCPU負荷も上がるためPC全体の消費電力はLANカードよりも
CPU負荷の上昇における影響を受けやすくなります
（同じハードを使ったGbE計測記事ではNAS側は最大でもCPU10%台）

普通のGbEはケーブルの接続有無（リンクアップするかどうか）で1-2W変わってくるが
X710-DA2の場合はどのOSでもケーブルの接続有無は消費電力に影響はしなかった
SFP+ケーブルだからなのかは不明

最初に

以前書いたFreeNASとNAS4Freeの速度比較の10GbE版です

検証機

ESXi側
CPU : Intel Core i7-4770
メモリ : 32GB
NIC : Intel X710-DA2
OS : VMware ESXi 6.5.0 Build 5310538

NAS側
CPU : Intel Pentium G4620
メモリ : 32GB
NIC : Intel X710-DA2
HDD : WD40EZRZx4 RAIDZ2 （dedup off）

ESXi機とNAS機はSFP+ケーブルを使って10GbEで直結
MTUは標準のまま（1500）

FreeNASとNAS4Free両方とも同じように
HDD4台でRAIDZ2を構成
全領域を使った単一ZFSプールを作成しSMB領域を割り当て
その中にiSCSIとNFSフォルダを追加し各サービス割り当て
iSCSIはファイルエクステント形式で1TB割り当てた
OSやNFS・iSCSIの設定は基本的に全て標準のまま使用

データストア登録時はESXi 6.5なのでvmfs6を利用

前回書き忘れてますがCrystalDiskMarkの計測は全てALLで計測
何回か計測して一番いい結果を記録に使ってます

NAS機のOS

FreeNASはCorralの代替になる予定のFreeNAS 11
FreeNAS-11-MASTER-201704240408 (3b6bcb4)  Nightly Build

[root@freenas] ~# uname -a
FreeBSD freenas.local 11.0-STABLE FreeBSD 11.0-STABLE #0 30f4688c0(freenas/11-stable): Mon Apr 24 04:36:59 UTC 2017     root@gauntlet:/freenas-clean/freenas/_BE/objs/freenas-clean/freenas/_BE/os/sys/FreeNAS.amd64  amd64

NAS4Freeは11.0.0.4.4195

nas4free: ~# uname -a
FreeBSD nas4free.local 11.0-RELEASE-p9 FreeBSD 11.0-RELEASE-p9 #0 r316944M: Sat Apr 15 00:45:52 CEST 2017     root@dev.nas4free.org:/usr/obj/nas4free/usr/src/sys/NAS4FREE-amd64  amd64

NFS・iSCSI計測用VM

前回と同じ構成です

ゲストOS指定 : Windows10(64bit)
CPU : 1
メモリ : 8192MB
HDD : 50GB, LSI Logic SAS, シン・プロビジョニング
仮想デバイスノード : SCSI

実際にインストールしたのは
Windows10 Pro 64bit
バージョン 1703 ビルド 15063.250
2017/04/26時点でのWinUpdate済状態

VM・OSともに設定は標準のままいじらず

NFS・iSCSIは別々の仮想マシンを同じように新規で作成
（VMコピーしたりはしていない）

NFS・iSCSIともに今回の計測時は1VMしか作成しておらず
複数VMによる同時アクセスは今回の計測には考慮されていない

インストールはCドライブへ50GB全て割り当てて
計測もOSと同じCドライブで計測

NFS速度

FreeNAS-11-MASTER-201704240408

NFS計測 – FreeNAS

NAS4Free 11.0.0.4.4195

NFS計測 – NAS4Free

10GbEなので1170MB/sと前回のGbEからちゃんと10倍になってます
しかしZFSとの相性が悪く相変わらずWriteはひどい結果

NFSv4速度

NFSv4オプションを有効にした結果

FreeNAS-11-MASTER-201704240408

NFSv4計測 – FreeNAS

NAS4Free 11.0.0.4.4195

NFSv4計測 – NAS4Free

頭打ちになっていたGbEのときと違って
若干ながら全体的に速度が上がったのが確認できます

NFS速度 sync=disabled

前回と同じコマンドを使いsync=disabledにした結果

FreeNAS-11-MASTER-201704240408

NFS計測 sync=disabled – FreeNAS

NAS4Free 11.0.0.4.4195

NFS計測 sync=disabled – NAS4Free

速度は出ますが前回同様このオプションは実用すべきではありません
NFSで速度出すならZIL追加しましょう

iSCSI速度

NFSと同じくESXiにデータストアとして登録し
VM上でCrystalDiskMarkを使い計測

FreeNAS-11-MASTER-201704240408

iSCSI計測 – FreeNAS

NAS4Free 11.0.0.4.4195

iSCSI計測 – NAS4Free

4KQ32T1 Writeだけ明らかな差を確認
この件については長くなるので次項でまとめる

iSCSIにおける各OSの違い

NFSと違ってiSCSIの場合はFreeNASとNAS4Freeは明らかな違いを確認できます
これはSMBやNFSは同じソフトを利用しているのに対して
iSCSIだけはFreeNASはctld、NAS4Freeはistgtと違うからと予想されます

ctldはFreeBSD 10から利用できるFreeBSD標準機能で
以前はFreeNASもistgtを使ってましたが
現在は既にctldへ切り替えた模様

NAS4Freeはctldの導入準備だけ進めているらしく
いずれはistgtと並行して利用できるようになる予定らしいですが
11.0.0.4.4195の段階では導入されてません

4KQ32T1 Writeで速度差を確認できたので
iSCSI使うならFreeNASの方がオススメなのかと聞かれても簡単には答えれないのは
書き込みキャッシュを超えた状態からの回復がFreeNASは明らかに遅いのが気になるからです

これは何回か計測してる途中で気づいたのですが
簡単に再現するならCrystalDiskMarkの8GBで計測した後に1GBを計測するとわかります
具体的にどうなるかというと以下の通り

FreeNAS-11-MASTER-201704240408

iSCSI計測 8GB後 – FreeNAS

NAS4Free 11.0.0.4.4195

iSCSI計測 8GB後 – NAS4Free

検証機の場合は32GBのメモリなので
8GBx5の計測中に書き込みキャッシュを超えてしまい
その後すぐに1GB計測を開始してもその影響を受けてしまうのを利用しているのですが
結果を見比べると一目瞭然で
FreeNASは1GB計測の最後まで本来のパフォーマンスに回復してないのに対し
NAS4Freeは4KQ32T1 Writeぐらいから回復しています

なのでiSCSIだけでいうと
メインメモリを大量に積んでかつGB単位の転送をあまりしない人にはFreeNAS
GB単位のファイルをiSCSI上のVMで扱うならNAS4Free
といった感じでしょうか

実際にどのくらいの時間で回復するのかというと
NAS4Freeは先ほどの計測結果からしても1分空ければ確実にいつもの計測結果に戻りますが
FreeNASでの遅くなった状態からの回復時間は
8GB計測後5-6分ほど空けてから再計測しないとまともな結果が出ない感じ
なぜここまで差が出るのか正直よくわかりません

速度低下した状態でもGbE環境よりは速度出てるからいいじゃんと思うかもしれませんが
タスクマネージャ上でいう平均応答時間が増加しやすい状態になるので
回復するまではレスポンスが悪くなってる点に注意が必要

あとFreeNASだと負荷状態が続くとたまにESXi側で
データストア切断のエラーが記録されます

ESXi データストア切断

このようなiSCSIの接続が数秒間切れる現象は
同じハード・同じNICドライバを使っているNAS4Freeの方では出ないし
FreeNASのログには何もないのでおそらくNICが落ちているのではなく
ctld側がビジーか何かで応答できずESXi側での判断で
タイムアウト→切断されてると思うのですが原因は不明
ちなみにFreeNAS Corralの検証でも同様でした

短時間で勝手に回復するのでクラッシュしたりはしませんし
負荷かけた時にごく稀に出る程度なのでそこまで致命的な問題ではないです
気になる場合はタイムアウトの設定を緩くすれば対処可能

最後に

今回の検証中で一番いいスコアだと1180MB/sが出たときもあるので
X710-DA2が10GbEを最大まで使ってくれていることも確認出来ました

CPU割り当て1のVM内タスクマネージャで見ると
Seqだと20%ぐらいで済みますが一番重い4KQ32T1だと90%までいきますので
10GbEでギリギリ、10GbE以上はCPUがボトルネックになりそうです

検証内容

前回、NFSとiSCSIのVM内アクセス速度比較という記事をあげたので
ついでにFreeNASも速度計測してみました
NAS4Freeも同一環境ですが改めて測定してますので
結果の数値も微妙に変わってます

今回測定する項目はSMB・NFS・iSCSIの速度です

検証機

ESXi側
CPU : Intel Core i7-4770
メモリ : 32GB
NIC : Intel EXPI9301CT（Intel 82574L）
OS : VMware ESXi 6.0.0 Build 5224934

NAS側
CPU : Intel Pentium G4620
メモリ : 32GB
NIC : Intel I219-V
HDD : WD40EZRZx4 RAIDZ2 （dedup off）

ESXi機とNAS機はGbE（1000BASE-T）で直結
MTUは標準のまま（1500）

FreeNASとNAS4Free両方とも同じように
HDD4台でRAIDZ2を構成
全領域を使った単一ZFSプールを作成しSMB領域を割り当て
その中にiSCSIとNFSフォルダを追加し各サービス割り当て
iSCSIはファイルエクステント形式で100GB割り当てた
OSやSMB・NFS・iSCSIの設定は基本的に全て標準のまま使用
記載した項目以外はそのままと思ってください

NAS側のOSインストール先はUSBメモリではなくSSDを使用
前回のVM内アクセス速度比較の記事ではUSBメモリでしたので
どちらでも利用速度に影響がないのがわかるかと思います

NAS機のOS

2017/04/12時点の最新版を使うことにしました

FreeNASはver10系となるFreeNAS Corralの10.0.3を採用
リリース日は2017/04/06です
本当はCorralとともに従来のFreeNAS 9.10も検証しようしたのですが
Kaby Lake世代にはまだ対応できておらず正常に動作させることができなかった
この件に関しては別記事でメモする予定

FreeNAS Corral 10.0.3
FreeNAS-Corral-10.0.3 (4845fa74c)

[root@freenas] ~# uname -a
FreeBSD freenas.local 11.0-STABLE FreeBSD 11.0-STABLE #2 r313908+8c2aa153653(secret_stable): Wed Apr  5 19:29:47 PDT 2017     root@bob.ixsystems.com:/build/build/_BE/objs/build/build/_BE/os/sys/FreeNAS.amd64  amd64

NAS4Freeは11系の11.0.0.4のrev4141を採用
リリース日は2017/03/27です

NAS4Free 11.0.0.4.4141
NAS4Free 11.0.0.4 – Sayyadina (revision 4141)

nas4free: ~# uname -a
FreeBSD nas4free.local 11.0-RELEASE-p8 FreeBSD 11.0-RELEASE-p8 #0 r315989M: Sun Mar 26 19:41:54 CEST 2017     root@dev.nas4free.org:/usr/obj/nas4free/usr/src/sys/NAS4FREE-amd64  amd64

共にベースとなるFreeBSDは11.0を使っているので同じですが
FreeNASはSTABLE版つまり開発ブランチ版
NAS4FreeはRELEASE版つまり安定版を使ってるようです

NFS・iSCSI計測用VM

ゲストOS指定 : Windows10(64bit)
CPU : 1
メモリ : 8192MB
HDD : 50GB, LSI Logic SAS, シン・プロビジョニング
仮想デバイスノード : SCSI

実際にインストールしたのは
Windows10 Pro 64bit
バージョン 1607 ビルド 14393.969
2017/04/12時点でのWinUpdate済状態

VM・OSともに設定は標準のままいじらず

NFS・iSCSIは別々の仮想マシンを同じように新規で作成
（VMコピーしたりはしていない）

NFS・iSCSIともに今回の計測時は1VMしか作成しておらず
複数VMによる同時アクセスは今回の計測には考慮されていない

インストールはCドライブへ50GB全て割り当てて
計測もOSと同じCドライブで計測

SMB速度

最初にSMB経由での速度です
計測PCはWin10 ProでIntel I219-VのNICを使用
ネットワークドライブ割り当て後にCrystalDiskMarkを使って計測

FreeNAS Corral 10.0.3

SMB計測 – FreeNAS

NAS4Free 11.0.0.4.4141

SMB計測 – NAS4Free

ネットワークドライブ越しでも空き容量は6.80TBで
CrystalDiskMarkのドライブ指定でも6967GiBになってるのが確認できる
容量・速度ともにOS差は見られず

NFS速度

ESXiにデータストアとして登録し
VM上でCrystalDiskMarkを走らせ計測しました

FreeNAS Corral 10.0.3

NFS計測 – FreeNAS

NAS4Free 11.0.0.4.4141

NFS計測 – NAS4Free

NFSを何も設定せずにESXiから使うと
書き込み速度がひどいです
見てわかる通りOS固有問題ではありません

NFSv4速度

FreeNAS・NAS4Free側の設定でNFSv4オプションを有効にしてみました

FreeNAS Corral 10.0.3

NFSv4計測 – FreeNAS

NAS4Free 11.0.0.4.4141

NFSv4計測 – NAS4Free

NFSv4にしたところでReadもGbEで頭打ちなので
結果は変わらず
Write値もNFSv4にしても解決しません

NFS速度 sync=disabled

NFSのWriteの速度が出ない問題での対処法として
一番ベストなのはZIL用のSSD追加ですが
次によく出てくるsync=disabledを試してみました

sync=disabledは同期書き込みをオフにする方法で
NFSというよりZFSの設定を変えることになります

FreeNAS・NAS4FreeともにSSH接続してコマンド実行すれば
再起動も不要で即反映されます

FreeNAS

[root@freenas] ~# zfs get sync
NAME     PROPERTY  VALUE     SOURCE
zpool01  sync      standard  default
[root@freenas] ~# zfs set sync=disabled zpool01
[root@freenas] ~# zfs get sync zpool01
NAME     PROPERTY  VALUE     SOURCE
zpool01  sync      disabled  local

[root@freenas] ~# zfs set sync=standard zpool01
[root@freenas] ~# zfs get sync zpool01
NAME     PROPERTY  VALUE     SOURCE
zpool01  sync      standard  local

NAS4Free

nas4free: ~# zfs get sync
NAME      PROPERTY  VALUE     SOURCE
zpool01   sync      standard  default
nas4free: ~# zfs set sync=disabled zpool01
nas4free: ~# zfs get sync zpool01
NAME      PROPERTY  VALUE     SOURCE
zpool01   sync      disabled  local

nas4free: ~# zfs set sync=standard zpool01
nas4free: ~# zfs get sync zpool01
NAME      PROPERTY  VALUE     SOURCE
zpool01   sync      standard  local

zpool01のところを各自の環境に合わせてください
最初のコマンド３つでstandardからdisabledに変更されたのが確認できます
下２つは元に戻す方法です

sync=disabledを実行した結果がこちら

FreeNAS Corral 10.0.3

NFS計測 sync=disabled – FreeNAS

NAS4Free 11.0.0.4.4141

NFS計測 sync=disabled – NAS4Free

SMB同様に書き込みも速度が出るようになりました
しかしはっきりいってオススメはしません
SSD追加が許されるならZILを追加すべきです
しかしZILも物理メモリも半分の容量しか使われない縛りがあるので
ZILを使えない or ZILじゃ容量足らないならおとなしくiSCSIを使いましょう

iSCSI速度

NFSと同じくESXiにデータストアとして登録し
VM上でCrystalDiskMarkを走らせ計測しました

FreeNAS Corral 10.0.3

iSCSI計測 – FreeNAS

NAS4Free 11.0.0.4.4141

iSCSI計測 – NAS4Free

こちらはNFSと違いsyncをいじらなくても普通に速度が出ます

感想

OS差を確認しようにもGbE環境はそれ以前の問題で
WD40EZRZみたいな倉庫向けHDD（5400rpm）と
パリティ計算が重いとか速度がRAID10より遅いといわれるRAIDZ2という
速度重視ではない構成ですらGbE環境ならば簡単に頭打ちになります

ちなみにCPU使用率はベンチ中でも10%台でした

ハードウェアが同一なのに消費電力に差があったのが意外で
両方アイドル状態でFreeNAS Corralは43W　NAS4Freeが39Wでした

消費電力関連の設定を変更したりはしていないので
デフォルト設定の違いが結果として出てるのではないかと思います
HDDは両方スピンダウン設定せず常時回転状態ですし
4Wも差が出るということはCPUの制御周りですかね

アップグレード前に

iSCSI用サーバでいろいろいじってると11.0.0.4でも問題なかったので
10.2.0.2で放置していた方のNASもアップグレードすることにした

今回は10.2.0.2.2545→11.0.0.4.4141のメジャーバージョンアップを行う
普段のアップデートはWEBGUIでembeddedイメージを突っ込めばいいだけなんですが
11系からブート用USBのパーティションレイアウトが変更されておりそのままでは出来ません
なのでreadmeにも記載されているようにLiveUSBイメージを使用し
アップグレードではなく新規インストールする必要があります

当然ながら新規インストールしてもNAS上の保存データには影響はありません
あくまでNAS4Freeインストール先のUSBメモリ内の話であってHDDの話ではないです
しかしUSBメモリの空き容量部分も割り当てて使用している場合は退避させましょう

アップグレード元は10.2.0.2.2545と最近の10.3.0.3系ではないですが
10.3.0.3系を経由する必要はありません

アップグレードの手順

まずはシステム→バックアップ/リストアから設定をバックアップします
設定バックアップファイルはXMLファイルです

次にインストールメディアを作成します
NAS4Freeサイトから「NAS4Free-x64-LiveUSB-11.0.0.4.4141.img.gz」をDL
解凍して「NAS4Free-x64-LiveUSB-11.0.0.4.4141.img」を抽出
DD for WindowsやrufusなどでUSBメモリへimgをddで書き込みます

この時に使うUSBメモリはインストール先USBメモリと違う型番のを使いましょう
インストール先を指定する際などに同じ名前になってしまい紛らわしいです

インストールメディアをPCへ接続し起動させます
そのままだと元々のUSBメモリからNAS4Freeが起動されると思うので
UEFIのブートメニュー等でインストールメディアのUSBメモリを指名起動

インストールメディアから起動してもいつもと同じConsole Menuが表示されます
いつもの設定は読まれてないのでIPが違うかもしれませんが問題ありません

NAS4Free – Console Menu

Console Menuから「9) Install/Upgrade from LIVECD/LiveUSB」を選択
Enter a numberで9を入力してEnterキーを押すと
NAS4Free Install & Upgrade Menuが起動されます

NAS4Free – NAS4Free Install & Upgrade Menu

今回は新規インストールを行うので
「1 Install ‘Embedded’ OS on HDD/SSD/CF/USB (Preferred)」を選択

次にNAS4Free Embedded Install Options Menuが表示される

NAS4Free – NAS4Free Embedded Install Options Menu

「1 Install ‘Embedded’ OS/GPT on HDD/SSD/CF/USB (Preferred)」を選択

NAS4Free Embedded Installationという表示で
要はインストール先のデータは全部消える警告が出ます

NAS4Free – NAS4Free Embedded Installation

インストール先のデータが消えても問題ないのでOKを選択

Choose installation mediaということでインストール元のメディアを指定

NAS4Free – Choose installation media

「NAS4Free-x64-LiveUSB-11.0.0.4.4141.img」を書き込んだ方のUSBメモリを指定
今回はda0 Sandisk Cruzer Switch 1.26しか表示されてないのでそのままOK

次はChoose destination mediaということでインストール先メディアを指定

NAS4Free – Choose destination media

ここは今まで使っていたUSBメモリを選択します
HDDも表示されているのでここで間違えると保存データ損失の可能性があります
選択は十分注意してください
今回はda1 GH Pico microを選択

Enter the size of the swap partition in MB.
(minimum 512,recommend 1024 or more)

NAS4Free – swap partition size

インストール先USBメモリ内に作るswapパーティションサイズを指定
説明通りだと1024以上がオススメらしい
今回はUSBメモリの空きもあるので余裕をもって2048（2GB）にした
しかしこのswapを未だに消費する場面に遭遇したことがないので1024でも問題ないだろう

これでインストールウィザードは終了
パーティション切りとデータ転送が開始される

NAS4Free – Install 1

NAS4Free – Install 2

Press ENTER to continue.と出ればインストールが完了
インストールメディアはunmountされているのでここで抜いても問題ないので取り外す

ENTERキーを押せば最初のNAS4Free Install & Upgrade Menuに戻る

Exitを選択するとConsole Menuに戻る

「7) Reboot Server」を選択し再起動を行うため7を入力してEnterキーを押す

再起動の確認表示が出るのでYesで再起動開始

UEFIの起動デバイスを変更してない場合は
新規インストールされた状態のUSBメモリから起動されるはず
Console Menuまで無事に起動したのを確認したらWEBGUIのURLを確認する
以前の設定ファイルは消えているのでIPなどが普段と変わってるケースもあるが
その場合は「2) Configure Network IP Address」で
DHCP等を使ってアクセスできるIPを取得する（この時は常用IPを指定する必要はない）

WEBGUIへアクセスする
IDとパスワードは初期設定のadmin:nas4freeでログイン可能
ここでデザインが崩れる場合はブラウザのキャッシュクリアを確認

細かい設定などいじらずSystem→Backup/RestoreからRestoreを選択し
最初にバックアップしたXML設定ファイルを戻す
Restoreを開始すると勝手に再起動される

Console Menuまで起動が完了するとIPなどが以前と同じに戻ってるはずなので
WEBGUIのパスワードも復元されてます

従来の設定項目から機能追加されてるサービスもありますので
念のためサービス系の設定は確認しときましょう

HDDも無事全部認識して保存データの無事も確認します
もしディスク認識がおかしい場合は
ディスク→マネージメント→HDD管理→Rescan Bussesを行う

今まで通り問題なければ設定をバックアップしてアップグレード作業終了です

その他

ベースOS
10.2.0.2.2545
FreeBSD 10.2-RELEASE-p14 #0 r297897M: Wed Apr 13 02:57:40 CEST 2016
11.0.0.4.4141
FreeBSD 11.0-RELEASE-p8 #0 r315989M: Sun Mar 26 19:41:54 CEST 2017

以前は/cf/boot/loader.confにvm.kmem_sizeを追記してメモリ管理を調整しないと
メモリ32GBをフルに使ってくれなかったが
11系からvm.kmem_sizeを設定しなくてもメモリを最大まで使ってくれるようになった

検証機

ESXi側
CPU : Intel Core i7-4770
メモリ : 32GB
NIC : Intel EXPI9301CT（Intel 82574L）
OS : VMware ESXi 6.0.0 Build 5224934

NAS4FREE側
CPU : Intel Pentium G4620
メモリ : 32GB
NIC : Intel I219-V
HDD : WD40EZRZx4
OS : NAS4FREE 11.0.0.4 rev4141（FreeBSD 11.0-RELEASE-p8）

ESXi機とNAS4FREE機はGbE（1000BASE-T）を直結して1対1接続していて
NAS4FREEの設定はHDD4台でのRAIDZ2を構成（dedup off）
iSCSIはファイルエクステント形式で50GBを割り当て
NFSは同じRAIDZ2内にフォルダを作りNFS共有に割り当て
NFSv4は無効
MTUは標準の1500のまま

計測用VM

ゲストOS指定 : Windows10(64bit)
CPU : 1
メモリ : 8192MB
HDD : 50GB, LSI Logic SAS, シン・プロビジョニング
仮想デバイスノード : SCSI

実際にインストールしたのは
Windows10 Pro 64bit
バージョン 1607 ビルド 14393.969
2017/03/31時点でのWinUpdate済状態

VM・OSともに設定は標準のままいじらず

NFS・iSCSIは別々の仮想マシンを同じように新規で作成
（VMコピーしたりはしていない）

NFS・iSCSIともに今回の計測時は1VMしか作成しておらず
複数VMによる同時アクセスは今回の計測には考慮されていない

インストールはCドライブへ50GB全て割り当てて
計測もOSと同じCドライブで計測

計測結果1

CrystalDiskMarkを使って計測
NAS4FREE側の通信・CPU負荷も掲載

NFS

NFS GbE – Win10 Pro 64bit CrystalDiskMark

NFS – NAS4FREE側の負荷

iSCSI

iSCSI GbE – Win10 Pro 64bit CrystalDiskMark

iSCSI – NAS4FREE側の負荷

計測結果2

次にCrystalDiskMarkではなく通常のファイルコピーでどうなるか
VM外にある共有フォルダからVM内のデスクトップへ
4GB超えのファイルをコピーしてみました

NFS

NFS – ファイル転送 1

NFS – ファイル転送 2

iSCSI

iSCSI – ファイル転送

NFSの書き込みが遅い件

これを見て誰もがNFSの書き込みが異常に遅いと思うでしょうが
これは同期書き込み云々が原因で設定で回避できるらしく
「esxi nfs 書き込み 遅い」とかでググればいっぱい設定例でます
今回は最初からiSCSIを利用する予定だったので
とりあえず設定しないとこうなるケースもあるよ的な意味で掲載していて
NFSなんかゴミだからって言いたいわけではありません

そして読み込みに関してはどちらにしてもGbEがボトルネックなので
差が出てません

感想

GbEのTCP/IP理論値がMTU1500で118.6MB/sということなので
Intel NIC同士の直結だけあって速度自体はGbEのほぼ限界まで出てくれてます

NAS4FREEもGbE程度じゃG4620でもCPU負荷が半分にも行かずかなり余裕です

ESXiもNFSだけでなくCIFS/SMBをデータストアとして使えるならかなり便利なのですが
現状NFSかiSCSIしかないのでiSCSIが手軽で技術もいい具合に枯れていて安心です

NFSv4に関してですがESXi側が実装したてなのもあって
細かい制約条件が多く、本番で使うほどまだ信頼できないので今回は使ってません
しかしNFSv4はマルチパス対応など速度面でもかなり進化してるので
枯れるのを待っている状態で今後に期待です