HDD-RAIDの欠点をSSDで補う
自宅ファイルサーバーはAdaptecのASR-71605を用いてSATA-HDD16本を接続しRAID6を構成している。このファイルサーバーはシーケンシャル性能は500～1000MB/sと非常に速いが、ランダムアクセス性能は10MB/s程度とHDD単体並に低い。
ランダムアクセスが改善すればVMの仮想ディスクやゲームPCのiSCSI に効果がでて、ボクのQOLが向上するはずだ。
その解決方法のひとつがlvmcache。それはSSDをHDDのキャッシュとして扱い、安価大容量の利点はそのままにディスクI/O性能をSSDの性能で底上げしようという試みだ。
現状の何が不満なのか
3DMarkを代表するゲーム系ベンチマークはCPUとビデオカードの性能をみるもので、それまでのローディングに掛かるHDDのアクセス時間は計測外なのが通常だ。一方で実際のARMA3などのゲームではテクスチャーやサウンドファイルといった細々としたものがアーカイブされた状態で格納され(たとえばpbo形式)、ゲーム中に必要なものだけを読み出しているのでランダムアクセスが多発する。
特にCQB（近接戦闘）で銃撃戦になると発砲音のシミュレートで両軍それぞれの兵科毎に違う小火器音源、破壊された建物のテクスチャーがガンガン読みだされている。MODを入れているとさらに増える。読み込みが間に合わないとフレームレートが下がり描画深度,ディティールを劣化させることになり、つまりは一番肝心なシーンの描画が最低レベルに下がるのでイライラするのだ。
効果はまずまず
連休前にいろいろと調べて試行錯誤して連休中に組み上げた。結果でいうとフロント側のSSD性能に律速するので直線番長だったRAIDアレイの性能は良くも悪くもスポイルされる。つまりシーケンシャルアクセスは若干下がり、ランダムアクセスは大幅に向上した。
今回用いたSSDはSATAのPX-256M6Vである。SATAではなくNVMeにするとすごいのかもしれない。ちなみにPX-256M6Vの公称値はSeq Read 535MB/s、Seq Write 335MB/s、Random Read 83000IOPS、Random Write 80000IOPSである。
lvmcache導入前のiSCSIの性能
(総じてランダムアクセス性能が低い)
lvmcache導入後のiSCSIの性能
(導入時にtarget側の容量も2TBから4TBに増量。lvmだと簡単だ)
４KIB Q8T8において、Random Read 78000IOPS、Random Write 64500IOPSでている。iSCSIのオーバーヘッドを考えればこのあたりが頭打ちだろう。
デメリット
使いはじめて3週間ほど経過したが、いいことばかりじゃない気がする。ネットであまり語られていないために、オマ環なのか判断できない点も含めてデメリットとしたい。
| 項目 | 内容 |
| メンテナンス性 | 設定を変更したらLVがI/Oエラーで壊れた…バグ？ |
| 大量プロセス | 整合にカーネル系の200プロセス前後が一斉に起動しiowaitが跳ね上がる。zabbix等で監視していると頻繁に警告される。 |
| SSDの寿命 | それはもう頻繁に書き込みが入っている模様 |
| SSDのtrim | fstrim -v -aでいいらしいが、そもそもキャッシュは容量100%使用を維持するのでプチフリ頻発していないか？ |
| lvmのsnapshot | lvmcacheを導入したLVはsnapshotができないとの報告 |
| ファイル作成 | 理由は不明だがファイルの新規作成が非常に遅い。lvcacheはファイル単位ではないので別の原因かもしれない。 rsyncでビックリした。 |