Ryzen7でファイルサーバー兼ovirt-engineを組む(その2)

oVirtって何さ

oVirtはvmware社のvSphereとだいたい同じ位置づけの仮想化統合基盤でOSSである。ESXiに相当するのがoVirt-nodeでvCentreに相当するのがoVirt-engineかな。oVirtを商用サポートしたのがRHEVでoVirt開発のほとんどがRH社員で構成されている。

ああ、そんなこと聞いているんじゃないってことは判っているさ。oVirtは誤自宅で構築できるパーソナルクラウドもできる基盤だよ。しかもサーバー1台でも構築できちゃうんだぜ。

誤自宅のoVirtの構成

今回マザーボードが故障したため、CPUをcore i7-3770KかRyzen7 2700Xにアーキを変更してコア数とメモリが倍に増えた。なんで増強しているかというと、ファイルサーバーの余ったCPUパワーを仮想サーバーに振ることができるからさ。

OSCentOS 7.6
ファイルサーバーNFS / iSCSI / FCP 基本はNFS
管理DBPostgreSQL
ハイパーバイザーKVMベース(KVM + qemu, livbirt, VDSM)
管理ovirt-engine

構築/設定は簡単

具体的な手順はいろいろなサイトにあるので多くは語らないけれど環境だけなら1台のPCで作れるし、管理側のメモリ利用量は4GB程度なので2つ3つくらいのVMは余裕で作れる。

  1. CentOS のインストールと最新化
  2. 内向けDNSにホスト登録 (/etc/hostsにFQDNを書いて頑張ってもよい)
  3. ファイルサーバーとしてnfsを構築&firewall-cmdでポート開放 サービス起動とexportsの設定(2つ必要でVMイメージ保存用とインストールなどで用いるISOイメージ保存用)
  4. ovirtのリポジトリ情報をインストール(2019/5時点の最新は4.3)
  5. ovirt-engineをインストール
  6. engine-setupコマンドで基本構成を組む(自ホストが管理サーバでDBも抱えるように問いに答えるだけ)
  7. 自動で構築開始、PostgreSQLやfirewall-cmdが自動でセットアップされる
  8. 管理WEBから自ホストが仮想サーバーであるとして登録、KVMなどが自動でセットアップされる
  9. 必要ならホストのネットワーク設定を実施する
  10. ストレージドメインとして3で作ったnfsストレージを登録する
  11. イメージデータバックアップ用として別サーバーにnfsを用意してエキスポートドメインとして登録する

Ryzen7 2700X oVirt(qemu)での認識

AMD EPYC OBPB SSBD としてCPUのアーキタイプが登録される。これってEPYCのアーキで例の投機的実行に関する脆弱性対策が2つとも打たれているCPUだよっていう意味だ。コア数がめちゃくちゃ少ないEPYCですかね。それEPYCといわないと思うが、アーキ的には同じなのかね。

逆にこれまでのcore i7-3770Kが速いSandyBridgeではなくWestmareとか認識されていて、coreアーキがスポイルされていたからうれしい限り。うちの管理画面をちょっと見せます。

Ryzen7でファイルサーバー兼ovirt-engineを組む

Ivy-Bridge マザーが動かなくなった

ファイルサーバー兼 oVirt engineのサーバーのマザーが何もしていないのに壊れた。6年動作したので半導体寿命でしょう。BIOS起動時にメモリー認識に失敗するようになり、USBも認識失敗してキーボードも認識しなくなった。メモリーの接点復活などを試みても回復しないのであきらめて新アーキテクチャにトライしようと決めた。

Ryzen7 2700Xってメニーコアでコスパいい

これまではIvy-Bridge core i7-3770Kを殻割して4core 8threadを4.4GHzで動作させていた。今回は殻割はしないけれどRyzen7 2700Xの8core 16threadを常時4.1GHzで動作させる。メモリもDDR4になるので16GBx4 3200MHzで組む。ファイルサーバーとしては盛り過ぎだけれどovirt-engineでなおかつホストサーバーとしても動作させるならいいんじゃないかと思うんだ。

マザーボード選びが難しい

うちのLANは10GbEだ。Ryzen7 2700XはiGPUのようなビデオを内蔵していない。ファイルサーバーなのでRAIDアレイボードもしくはHBAが必要だ。つまるところx8のPCIeが3つほしい。最新のNICだとGen3 x4なのだがX540-T2はGen2 x8なので厄介者だ。

PCIeのポート数が24あるRyzen7 gen2でもハヤリはNVMeでx4を奪ったりするのでPCIeのスロットはx8 を2つ+ x4を1つとか x8 を2つ x1を4つとか貧弱である。物理形状でx16スロットが3つあるのが少ないのと3つ目はGen2 x4とかいいだすのでかなり厳しい。

それなのにGPUにでたばかりのGTX1660を買ってしまった。10GbEのNICの帯域が絶対的に足りない!あとでGPUをx4のGT1030に買い換えようかな。

ハードウェア構成

マザーはPCIe x16のスロットが2本しかないものを購入してしまい初日からつまづいた。買い足したのだが、PCIeスロット3本目はチップセット配下のものしかないようで、Gen2 x4しかなかった。この場合、3本目になにを挿すかだがマザー最下段のため、1スロット幅のものしか挿入できない。結局はX540-T2をいれるしかなかった。

MOTHERASUS PRIME X470-PRO
CPURyzen7 2700X@4.1GHz常用
MEMDDR4 16GB x43200MHz
PCIe #1GTX1660Gen3 x8
PCIe #2ASR71605Gen3 x8
PCIe #3X540-T2Gen2 x4
SSD2.5in SSD 256GB x2RAID0
HDD3.5in HDD 3TB x16RAID60

CentOSでCockpitを導入するとsubscription-managerに登録しろと指摘されるのを解消する

エラーではない

うちのCentOS 7 + oVirt4ではブラウザから様々な設定作業を行うためCockpitが導入されている。ovirt-engineをインストールすると依存関係で一括導入されるのだけれど、yum updateを実行すると

This system is not registered with an entitlement server. You can use subscription-manager to register.

Uploading Enabled Repositories Report
Cannot upload enabled repos report, is this client registered?

といった、何やらサブスクリプションマネージャーで登録しないといけないっぽいメッセージが表示される。これはエラーではなく情報なので気にしなくてもいい。だけれど、毎度毎度出てきてボクの心をざわつかせるので表示を消したいと思う。

手順は2つのファイルを編集してenable=0にするだけである。

# vi /etc/yum/pluginconf.d/subscription-manager.conf
[main]
enabled=0
# vi /etc/yum/pluginconf.d/enabled_repos_upload.conf
[main]
enabled=0
supress_debug=False
supress_errors=False

光あれ

Internet回線も10Gbps

nuro 光 10Gs というサービスが2019年3月にサービスインした(らしい)。上下10GbpsのInternet回線契約で自宅LANが10GBase-Tになっているボクんちには最適なサービスだ。今年の正月休みにWEBで契約して契約書がすぐに届いた。次工程は工事日程の決定、次々工程から回線工事になる。1.下見, 2.宅内配線, 3.屋外配線(NTT絡む)となり、開通まで2か月くらいかかるそうだ。まぁ3月開始だから5月?うーん、待ち遠しいね。

工事日程の連絡がこない

待ちきれなくてサービスインする前の2月にハイエンドサービス専用デスクというオタク歓喜するネーミングの窓口に聞いてみた。

工事日程の連絡こないんですけれど、まだですか?

サービスインする3月までお待ちください。

ところで今日は3月12日だが、まだ工事日程の連絡はない。WEBで申し込めないの?4月になっちゃうよ。

急いでいるのには理由がある

単に待ち遠しいだけなので理由などない。すいません。あえて理由をつけるなら、契約中ISPの固定IPと新規回線追加制限のオプションサービスが3月31日に終了してしまう。固定IPでなくなるならどこと契約しても同じと思って、移転先のISP探しをしている最中にnuro 光 10Gsがマッチングしたのだ。

ついでだけれど、端末10台程度で無線側がパンクするバッファローのローエンドWiFiアクセスポイントもこれを機に新調しようと思っていたが、今のままでは予定が組めない。Nuroが提供するルーターの機能次第で用意する機材も変わってくるが、情報が公式,SNSにでてこない。調べたところ3月下旬に延伸されていた・・・

誤自宅LAN事情

仕方ないので自宅の足回りを整理しておこう。

VLAN機器用途型名
10Gファイルサーバasrock 自作
仮想ホストCELSIUS 改造
ゲーム用PCASUS 自作
1GL3SWCatalyst 3750G
アクセスルーターRTX810
WiFi APWSR-1166DHP3
NASTS-459Pro
ゲーム用PC予備
WiFiスマートスピーカーGoogle home
スマートスピーカーGoogle home mini
スマートリモコンRemo
スマートリモコンRemo mini
サムターンロックSesame mini
ゲーム機Play Station
ゲーム機Steam Link
インターネットテレビChrome Cast
スマホandroid
スマホiPhone
電子ブックKindle
ポケットPCGPD Pocket

WiFi 機器増えたなぁ。10Gの8ポートL2SWは2台あるので1GのVLANをすべて10G化することは可能だし、WiFiとVLANを分ける必要ないのでL3SWも不要になるな。早く10G光こい。

昨晩の酔いどれ

職場の同僚から「駅前に地酒が飲み放題の店ができたらしいので行きませんか?」と誘われた。武蔵小杉駅前に10月にオープンしたばかりの吟醸マグロという居酒屋だ。

地酒は60種類用意してあるとメニューに書いてある。獺祭とか田酒などの有名どころは1人1杯までと制限あるが、他は飲み放題だし燗もできる。日本酒はセルフで注ぐのでちょっとずつ利き酒することもできるし、目当ての銘柄をたらふく飲むこともできる。

酒のアテは日本酒好きにはたまらんものばかりだ。今回は90分の飲み放題2000円でやってみたが、あっという間に至福の時間が過ぎてしまった。料理込み5000円弱、日本酒好きは行って損はない。

成人病の数え役満状態なボクなので日本酒は避けていたのだけれど、これは命をかけて行ってもいいかw