3GHSP：AABlog：So-netブログ

	ブログをはじめるログイン

AmazonのブラックフライデーでNETGEARのWiFiルータを購入した話　 [3GHSP]

えーと前にTPLinkのルーター買ってWiFi6とLAGやってみようとしたけど、ブリッジモードにするとLAGが使えなくて、萎えた話をしたかと思う。

TP-LinkのWi-Fi 6ルーターを購入した話【後編】

ブラックフライデーでちょっとだけお安くなっていた、NETGEARのNIGHTHAWK AX8を購入して再度「WiFi6+LAG」に挑戦するのである。

NETGEARのWiFiルーターはブリッジモードでもLAGできるらしい。

箱がルーターとしてはかなり大きい。

中身はこんな感じ

羽を広げて使う。羽の中にアンテナが入っているものと思われるが、なんか飛びそう。

で設定は割と簡単。
初期IPがマニュアルに書いてあるので、ネットワークを合わせてブラウザからアクセスすればなんとなくできる。最初に管理者のパスワードを設定しろと言ってくる。

NETGEARの場合は、ルーターモードの他に「APモード」と「ブリッジモード」の合計3つのモードがある。TPLinkではルーターモードとブリッジモードの2つしかなかった。
NETGEARでのブリッジモードはWiFiでネットワークをブリッジするためのモードみたいで、親機が必要？ブリッジモードって名前がちょっと紛らわしい。

今回はAPモードで行く。
ルーターモードだと2重ルーターになっちゃうからね。

TPLinkではブリッジモードにするとLAGできなかったけど... NETGEARなら...

2022-12-18 (2).jpg

ご覧の通り、ちゃんとできます。親切にも、1と2のポートでLAGしろと表示されてるし。LACPもできるし、Static LAGも可能。うちのL2SWがLACPできないので、Static LAGに設定している。

LAGの効果はあるのか？

Windows11のPCにWiFi6が付いている。
Wi-Fi 6 (802.11ax)と表示されているので、ちゃんとWiFi6で接続できているようである。
リンク速度は2402Mbpsとなっている。WiFi6だと最大で4Gまでは出るらしい。マジで？ギガビットの有線よりも速いじゃないの。
まぁ、WiFi APの先がLAGしてあるとはいえ、ギガビットのEthernetだから多分100Mバイト/s出ればいい方かもね。

とういことで通信速度を計測してみよう。sambaサーバーにファイル転送でいいかな。

2022-12-18 (5).jpg

あんまり出てないかも。やっぱり、LAGしても、100MB/sくらいが上限かしら...
10Gにしちゃう？どう思う...

TP-LinkのWi-Fi 6ルーターを購入した話【後編】
Proxmox ZFSを試す【CephよりZFS】
ラックマウント用のPCケースを導入した話
3チャネルボンディング(チーミング) 3ギガ出るかやってみた
TP-LinkのWi-Fi 6ルーターを購入した話【前編】
BuffaloのWiFiルータはブリッジモードとルータモードでIPアドレスが異なるのでハマった
Ethernetのボンディング Linuxのサーバーマシンにbond0インターフェースを作成

ネットギア WiFi ルーター無線LAN WiFi6 11ax AX6600 トライバンド【ipv6対応 (DS-Lite/v6プラス)】Nighthawk 8ストリーム速度 4,804Mbps+1,201Mpbs+574Mbps RAX70

出版社/メーカー: ネットギア
発売日: 2021/03/31
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

サイト内を検索

2022-12-24 10:38 nice!(0)
共通テーマ：パソコン・インターネット

Proxmox ZFSでRAIDZ【M.2 SATA変換】　[3GHSP]

さて、本日も3GHSPである。

前回はZFSを入れてみて、パフォーマンスが出るかどうかやってみたところ、いい感じで速度が出るのでCephやめてZFSにしようと決めたところまでであった。

関連記事
Proxmox ZFSを試す【CephよりZFS】

今回は、ZFS(RAIDZ)ストレージにCephのデータを移行、Cephをバラして、各ノードのSSDを取り出すまでを紹介できればと思う。

まずは、データの移行。
これは新ノードのストレージをNFSマウントして、cpコマンドでOKかな。

コンテナのファイルサーバー入れて、サクッと移行できるかと思ったが、コンテナでNFSマウントする場合は、非特権モードを外さないとダメでサクッとはいかなかった。

ファイルコピーは実質300G程度なので、30分くらいで終了。
これで、Cephを崩すことができる。

Cephの解体は、OSDを止めて、モニターやらも止めて、Cephプールを削除、ディスク消去って作った時と逆にやっていけばできた。

Cephを解体したら、ノードを停止。
箱を開けて、SSDを取り出す、物理的な作業である。

ラックマウントだと開けるのがしんどい。Mac miniはめちゃ小さくてこれまためんどい。しんどかったり、めんどかったり、なにやら大変で少々筋肉痛が...
無事、500GのSSDを取り出すことができたのだが、写真撮影をサボっていたので写真はなし、スミマセン。

SATAポートがない

で、SSDを3本差す必要があるのだが、マザーにSATAポートが2個しか付いてない。
M.2タイプのSSDがマザーに刺さっているので、RAIDZ用にあと3ポートあれば良いのだが、ひとつ足りない。どうしたものか？
SATAの拡張カード入れるか... そうするとEthernetが1ポートしかなくなってLAGできないし。

何か良い方法はとAmazonを見ていると...
あるじゃない。

M.2に挿すSATA変換器。

M.2 to SATA3.0拡張カードアダプタカード PCIe M.2からSATA3.0 データ高速転送ドライバ不要高速検索 OS X用Llinux用Windows用無料ハードディスクコンバータ

出版社/メーカー: Vbestlife
メディア:

5ポートもあるよ。
こんなんでパフォーマンス出る？と半信半疑なのだがちょっとやってみよう。
今刺さっているM.2のSSD 1Tは余ってしまうが、Windows11 PCにM.2スロットがもうひとつあるので、D:ドライブにするか。

SSDは2.5インチである。ケースには3.5インチのマウンタはあるが、2.5インチは付けられないので、2.5インチ -> 3.5インチのアダプタが必要なのだが、5インチベイにはめるケースを発見。

センチュリー 5インチベイ内蔵 2.5"SATA 6G HDD/SSDx4台搭載可能ラック『5インチベイにまとめるラック SATA 6G(4台タイプ)』 CMRK-S4S6G

出版社/メーカー: センチュリー
発売日: 2016/06/18
メディア: Personal Computers

こいつなら、4本入るのでRAID組むのなら「いいんじゃない」。

ということで、出来上がったのが、以下。

SSD 4本とHDD 3本の合計7本をSATAポートに接続している。ケーブルがうざい感じなのはしょうがないか。

scpでファイル転送の速度を計測してみた。

ちゃんとアクセスランプが光るのがいい。
RAIDZなので、3つのSSDに分散して書き込みされていることがわかる。
LANがギガビットだが、LAGしているので使用するポートがかち合わなければ110MB/s以上出ているぽい。

やっぱCephよりZFSの方がいいかも。

本日は以上。

Proxmox ZFSを試す【CephよりZFS】
我が家にも10ギガの時代がやってきた【NETGEAR GS110EMX購入】
余ったDualポートEthernetカードとM.2 SSD【4ポートでLAG】

ラックマウント用のPCケースを導入した話
3チャネルボンディング(チーミング) 3ギガ出るかやってみた
TP-LinkのWi-Fi 6ルーターを購入した話【前編】
BuffaloのWiFiルータはブリッジモードとルータモードでIPアドレスが異なるのでハマった
Ethernetのボンディング Linuxのサーバーマシンにbond0インターフェースを作成

サンワサプライ 19インチマウントボックス CP-026N

出版社/メーカー: サンワサプライ
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

M.2 to SATA3.0拡張カードアダプタカード PCIe M.2からSATA3.0 データ高速転送ドライバ不要高速検索 OS X用Llinux用Windows用無料ハードディスクコンバータ

出版社/メーカー: Vbestlife
メディア:

センチュリー 5インチベイ内蔵 2.5"SATA 6G HDD/SSDx4台搭載可能ラック『5インチベイにまとめるラック SATA 6G(4台タイプ)』 CMRK-S4S6G

出版社/メーカー: センチュリー
発売日: 2016/06/18
メディア: Personal Computers

サイト内を検索

2022-12-24 09:39 nice!(0)
共通テーマ：パソコン・インターネット

Proxmox ZFSを試す【CephよりZFS】　[3GHSP]

しばらく更新をさぼっていたが、本日も3GHSPである。

Proxmox VE 3ノードでクラスタを組み、Cephを導入して共有ストレージが利用できる環境にしたのだが、Cephのパフォーマンスが思った以上にでない。

メモリを増設してみたものの、3ノード中の2ノードは16Gに上げたが1ノードは8Gのまま。これがいけないのか、メモリキャッシュがあまり効かないのか、はたまたネットワークがネックになっているのか「よくわからない」のだが、パフォーマンスが出ないのである。
1Gバイト程度の動画ファイルをsambaサーバーに上げると、最初は90Mバイト/sくらいは出るがそのうち徐々に下がっていきストールしたような状態になる。
通信は復帰して、10M/s 20M/s 30M/sと段々と上がっていき、50M/sくらいでファイル転送が終了する感じになる。

90M/s出ているのは、sambaサーバーのVMにファイル転送している間で、VMのメモリキャッシュが足りなくなると、その後Cephに書き込みに行くタイミングで速度が低下しているようにも思える。あくまで想像でしかないが...

ストレージはSSDなので、もっとパフォーマンスが出てもおかしくない。直結でベンチマークすれば、500M/sくらいは出てもよいはず。
ギガビットEthernetだから、120M/sくらいが上限ではあるものの、3本をLAGしているのでもうちょっと出て欲しい。ホストで分散しているのだからLAGの効果はあるはずと思うのだが...

関連記事
Proxmoxノードメンテナンス【メモリ増強】

ZFS

ProxmoxではZFSでRAIDを組むことができる。CephよりもZFSの方がパフォーマンス出るんじゃない？ということで、ZFSを試してみることに...

といっても、マシンとHDDが足りない。Cephを崩すのなら、データは退避させておかないと...
マシンはWindows10のPC(EPSON)を一時的にProxmox入れて使うか。Windows11マシンを組んでからあまり使っていない。EPSONには、SATAポートが5ポートある。2.5インチ500GのHDDがふたつ。3.5インチの500G HDDを1本用意できたので、こいつらでRAIDZを組んでみる。

Proxmoxは120GのSSDに入れる。EPSONマシンはミニタワーなので3.5インチベイが2個と5インチベイが1個。DVD-ROMを外し、ケースを開けて無理やり装着した。Windows10はM.2のSSDに入っているので「間違って上書き」してしまわないように取り外しておいた。

Proxmoxをインストール後、クラスタに参加させる。

さて、ZFSの構築はいたって簡単。
名前を決めて使用するストレージを選択するだけ。ストレージに何か入っていると見れないので、ディスク消去すれば見えるようになる。

容量がみな500Gだったので、エラーが発生することもなく、ZFSプールが作成できた。
容量が異なると作成時に「-fオプションを付けろ」といったエラーになる。
RAIDZにする場合は、最低3本のストレージが必要。
ちなみに、RAID10は4本必要。

ZFSでは、データを圧縮することができるが、テキストデータじゃないと効果がないし、非力なCPUなので今回はoffにした。
ashiftのパラメータはよくわからないので、デフォルトの12のまま。

Ethernetはオンボードのギガビットに加えて、IntelのギガビットとRealTekのギガビットカードをPCIeに挿して3枚構成にした、もちろんLAGする。

ZFSプールを作成したら、各ノードで共有できるものと思ったが、そうではなく別途NFSなどを入れないといけないらしい。

NFSサーバはProxmoxにnfs-kernel-serverをapt-getで入れればOK。ZFSでストレージを作成すると、ルートにその名前でディレクトリができてマウントされる。/etc/exportsでそのディレクトリを設定すれば準備完了。

データセンターのストレージでNFSを追加したら各ノードで見えるようになる。

パフォーマンスは？

まずは、ISOファイルをアップロードしてみようか。
それなりに速度は出るみたい。通信は200Mbpsくらいは出てる。
SSDに一度コピーしてるかも？

2022-12-17 (2).jpg

zpool iostat 1をやってみるか。

クライアントからノード1のWebサーバーに一度上げてから、ZFSのNFSサーバにscpでファイルコピーしている模様。

2022-12-17 (5).jpg

200MB/sとか出てるし。ビットじゃなくてバイトだよね。200Mバイト/秒出るのならパフォーマンスとしてはOKなんじゃない。

HDDでこれなら、SSDならもっと出るかも。
ということで、CephやめてZFSにするかな。
新しくZFSで組んだRAIDZのストレージにデータを退避して、Cephを崩して、空いた500GのSSDを集めてZFSでRAIDZだな。
お家サーバーだから使っているのは一人だけ。運用が一時止まるけど問題なし。念の為、新サーバーでpostgresとredisを起動しておけば、一応開発もできる。proxmoxのクラスタってやっぱり便利だよね。

本日のところは以上。

続きは以下
Proxmox ZFSでRAIDZ【M.2 SATA変換】

Proxmoxノードメンテナンス【メモリ増強】
Proxmox ZFSでRAIDZ【M.2 SATA変換】
我が家にも10ギガの時代がやってきた【NETGEAR GS110EMX購入】
余ったDualポートEthernetカードとM.2 SSD【4ポートでLAG】

ラックマウント用のPCケースを導入した話
3チャネルボンディング(チーミング) 3ギガ出るかやってみた
TP-LinkのWi-Fi 6ルーターを購入した話【前編】
BuffaloのWiFiルータはブリッジモードとルータモードでIPアドレスが異なるのでハマった
Ethernetのボンディング Linuxのサーバーマシンにbond0インターフェースを作成

サンワサプライ 19インチマウントボックス CP-026N

出版社/メーカー: サンワサプライ
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

シリコンパワーノートPC用メモリ DDR3 1600 PC3-12800 8GB×2枚 (16GB) 204Pin Mac 対応 SP016GBSTU160N22

出版社/メーカー: シリコンパワー
発売日: 2012/09/01
メディア: 付属品

シリコンパワーデスクトップPC用メモリ DDR4 2666 PC4-21300 8GB x 2枚 (16GB) 288Pin 1.2V CL19 SP016GBLFU266B22

出版社/メーカー: シリコンパワー
発売日: 2018/07/27
メディア: Personal Computers

センチュリー 5インチベイ内蔵 2.5"SATA 6G HDD/SSDx4台搭載可能ラック『5インチベイにまとめるラック SATA 6G(4台タイプ)』 CMRK-S4S6G

出版社/メーカー: センチュリー
発売日: 2016/06/18
メディア: Personal Computers

サイト内を検索

2022-12-18 10:11 nice!(0)
共通テーマ：パソコン・インターネット

Proxmoxノードメンテナンス【メモリ増強】　[3GHSP]

本日も3GHSPネタである。

Proxmoxで3ノード作って、Cephを入れたのだが、どうもパフォーマンスが悪い(ような気がする)。
3ノード全部でSSDにしたから「もっと速くなっていい」と思うのだが...

Webコンソールのサマリをみると使用中のリソースが見えるのだが、メモリ使用量が結構ヤバい感じになっている。スワップも発生している？

ということで「メモリを増設」することにした。
Mac miniは4Gx2で8Gにしている。調べると8Gx2の16GまではOKみたいなので、以下メモリを購入。

シリコンパワーノートPC用メモリ DDR3 1600 PC3-12800 8GB×2枚 (16GB) 204Pin Mac 対応 SP016GBSTU160N22

出版社/メーカー: シリコンパワー
発売日: 2012/09/01
メディア: 付属品

新サーバーのJ4125搭載マザーでは公称では8Gまでとなっているが、それ以上でも認識するらしい、との噂を聞きつけMac miniと同じく8Gx2の16Gにしてみようと思う。
Mac miniはDDR3の小さいやつで、J4125にはDDR4の大きいやつを付ける。

シリコンパワーデスクトップPC用メモリ DDR4 2666 PC4-21300 8GB x 2枚 (16GB) 288Pin 1.2V CL19 SP016GBLFU266B22

出版社/メーカー: シリコンパワー
発売日: 2018/07/27
メディア: Personal Computers

初めから、8Gx2買っておけばよかったと後悔。

運用中でもOK？

Proxmoxでクラスタ組んでおくと、VMやコンテナを別のノードに移動することが簡単にできる。なので、ひとつのノードが故障しても、別のノードで肩代わりさせることで、なんとかなってしまう。クラスタ全体での可用性が向上するのである。

今回は、これを実証するために、なるべくサービスを止めないでメモリ交換をやってみるのである。

ブログの記事にするのは大変そうなので、動画にした。詳細は、以下動画を見て欲しい。

動画ではMac miniだけやっているが、同じような手順でJ4125の方もやっている。
ちゃんと認識するか少々不安ではあったが、きっちり16Gを認識している。

ラックマウント用のPCケースを導入した話
3チャネルボンディング(チーミング) 3ギガ出るかやってみた
TP-LinkのWi-Fi 6ルーターを購入した話【前編】
BuffaloのWiFiルータはブリッジモードとルータモードでIPアドレスが異なるのでハマった
Ethernetのボンディング Linuxのサーバーマシンにbond0インターフェースを作成

サンワサプライ 19インチマウントボックス CP-026N

出版社/メーカー: サンワサプライ
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

シリコンパワーノートPC用メモリ DDR3 1600 PC3-12800 8GB×2枚 (16GB) 204Pin Mac 対応 SP016GBSTU160N22

出版社/メーカー: シリコンパワー
発売日: 2012/09/01
メディア: 付属品

シリコンパワーデスクトップPC用メモリ DDR4 2666 PC4-21300 8GB x 2枚 (16GB) 288Pin 1.2V CL19 SP016GBLFU266B22

出版社/メーカー: シリコンパワー
発売日: 2018/07/27
メディア: Personal Computers

サイト内を検索

2022-10-27 11:10 nice!(0)
共通テーマ：パソコン・インターネット

ProxmoxでCephを構築するためMac miniをSSD換装する　 [3GHSP]

さて、本日も3GHSPである。

今回は、Mac miniのHDDをSSDに換装する話である。

新サーバーを組んでProxmoxを入れた。遊んでいたMac miniにもProxmoxを入れて2台体制になった。そこでクラスタにしてみて「マイグレーション」とかいろいろやって遊んでみた結果。

「なかなかいいじゃん。Proxmox」

となった。
何が良いかというと...

「コンソールが要らない」

Proxmoxのインストール時には、キーボード、ディスプレイが必要なものの、インストール後はWebコンソールが使えるので、キーボード、マウス、ディスプレイはなくても不自由しない。

「仮想マシンを作成できる」

仮想環境なので当たり前なわけだが、仮想マシンVMを作ることができる。これは、いろいろなサーバーとかを試したい場合は便利。
コンテナと呼ばれる、VMよりオーバーヘッドが少ない仮想環境を作ることも可能。
AWSでいうところのEC2がVMで、ECSがコンテナにあたるのかな。
ノード間を移動できるマイグレーションも多分だけど便利。

「Cephができる」

Cephは分散ストレージと呼ばれるもので、複数のホストでひとつのストレージを構築できるというもの。AWSで言うところのS3をイメージしてもらえれば良いかと。
ProxmoxでなくてもCephで分散ストレージを実現することができるが、ProxmoxだとWebコンソールを使って管理できるので、多分だけど便利。
それに、VMをCeph上に作っておくことで、マイグレーションがやりやすくなるとのこと。Proxmoxを導入するのであれば、ぜひとも入れたい機能である。

ということになり、旧サーバーもCentOS7をやめて、Proxmoxに入れ替えして、クラスタに参加させることに。
旧サーバーではsambaが動いており、主にファイルサーバーとして稼働している。
nodeやらpostgres、redisとかも入っているので開発用としてもたまに使っている。
CentOS7はサポート打ち切りとか言っているので、この際にCentOS Stream 9にアップデートしたいと考えている。

3台構成のクラスタになることで、Cephを無理なく組めるようになるので、やっていくが、ストレージがHDDでは貧弱すぎるので、500GのSSDを2本追加して増強することにした(旧サーバーには500GのSSDが入っている)。

実はあまっていた500GのHDDを使いまわして、Core2 Duoのマシンも使ってCephを構築してみたのだが、全然パフォーマンスが出ない。
普通にSSDでファイルサーバー立てた方がよっぽど使える。
なので、HDDはあきらめてSSDにする。容量はコストパフォーマンスを考え500Gとした。

Cephが奨励するハードウェアのスペックが高く、10ギガEtherとかメモリ16ギガとか言ってるがそんなの「お家クラスタ」である3GHSPでは用意できない。SSD 500Gだけで勘弁してくれ。Ethernetは各ホストで3つをリンクアグリしてるから大丈夫でしょ？多分。

Mac mini SSD換装

さて、本日の本題はMac miniのSSD換装である。長い前振りであった。
Mac miniには元々、500GのHDDがひとつ搭載されていた。ここに、分解工具キットを購入して250GのSSDを増設している。

Mac mini Mid 2011 SSD 増設工事

で、今回はHDDを取ってSSDに付け替える、いわゆる「SSD換装」を行っていく。Cephでは各ノードで同じ容量、性能のストレージで稼働させるのが良いようなので、500G SSDをCeph用にしたいのである。

新サーバーはラックマウントされているとはいえ、普通のPCケースなので、取付は簡単。なので面白くないので、動画撮影はやってない。
旧サーバーもラックマウントだが、500G SSDが搭載済である。

問題はMac miniである。過去に増設しているとはいえ、なかなか手強かった印象しかない。こっちは面白そうなので動画にしてみた。

サンワサプライ 19インチマウントボックス CP-026N

出版社/メーカー: サンワサプライ
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

Biostar Intel Celeron J4125 搭載オンボードマザーボード Mini-ITX サイズ [ J4125NHU ] ブラック

出版社/メーカー: BIOSTAR
発売日: 2022/06/17
メディア: Personal Computers

Patriot Memory Signature Premium Line Series DDR4 2666MHz PC4-21300 8GBキット (2 x 4GB) デスクトップ用メモリヒートシンク付 PSP48G2666KH1

出版社/メーカー: Patriot Memory
メディア: Personal Computers

シリコンパワー SSD 1TB 3D TLC NAND M.2 2280 PCIe3.0×4 NVMe1.3 P34A60シリーズ 5年保証 SP001TBP34A60M28

出版社/メーカー: シリコンパワー
発売日: 2019/11/18
メディア: Personal Computers

Gigabit LANカードインテル 82576チップ PCI-E接続 (デュアルRJ45ポート)

出版社/メーカー: Siide3
メディア:

Corsair CX650M PC電源ユニット 650W 80PLUS Bronze認証セミモジュラー ATX 2021モデル CP-9020221-JP PS1126

出版社/メーカー: Corsair
発売日: 2021/11/12
メディア: Personal Computers

サイト内を検索

2022-10-23 15:01 nice!(0)
共通テーマ：パソコン・インターネット

自宅サーバー3世代目へ移行計画【新サーバー導入】　[3GHSP]

さて、第三世代自宅サーバー計画である。長いので略称を考えてみた。

　3GHSP

「3rd Generation Home Server on Proxmox」の略。
読み方は「さんじーえいちえすぴー」かな。
「スリージスプ」の方がかっこいい？
まぁ、どうでもいいことである。

その3GHSPであるが、前回はProxmoxのVMを作成し、CentOS Stream 9のインストールに成功している。
今回は、注文していた部品が揃ったのでこれを組んでラックマウントしていく。

注文して届いたのは、以下の部品である。

マザーボード

Biostar Intel Celeron J4125 搭載オンボードマザーボード Mini-ITX サイズ [ J4125NHU ] ブラック

出版社/メーカー: BIOSTAR
発売日: 2022/06/17
メディア: Personal Computers

メモリ

Patriot Memory Signature Premium Line Series DDR4 2666MHz PC4-21300 8GBキット (2 x 4GB) デスクトップ用メモリヒートシンク付 PSP48G2666KH1

出版社/メーカー: Patriot Memory
メディア: Personal Computers

M.2 SSD ストレージ

シリコンパワー SSD 1TB 3D TLC NAND M.2 2280 PCIe3.0×4 NVMe1.3 P34A60シリーズ 5年保証 SP001TBP34A60M28

出版社/メーカー: シリコンパワー
発売日: 2019/11/18
メディア: Personal Computers

Ethernet

Gigabit LANカードインテル 82576チップ PCI-E接続 (デュアルRJ45ポート)

出版社/メーカー: Siide3
メディア:

電源

Corsair CX650M PC電源ユニット 650W 80PLUS Bronze認証セミモジュラー ATX 2021モデル CP-9020221-JP PS1126

出版社/メーカー: Corsair
発売日: 2021/11/12
メディア: Personal Computers

ラックからアンマウントして詰め込む

まずは、3Uのケースに「初代ATOMサーバー」が入っているのでアンマウントして中身を出す。
結構重たいので少々苦労するものの、なんとか出せた。

中身は全部取り出しておく。HDDの結線はそのままにしておく。じゃないと復元できそうにない。

ケースに新マザーを装着。
メモリを先に挿しておかないとFANと干渉して後からでは挿しにくい。
M.2 SSDも乗せている。

mini-ITXなので、ケース内はスカスカ。
これならマザーふたつ入るんじゃね？っていうくらいスカスカ。

USB、Power SW、Reset SW、LEDの線を接続。
ペラ紙のマニュアルをみながら付けた。

ケースFANも一応接続。小さいFANなのでうるさそう。

唯一の拡張スロットにDualポートのEthernetカードを装着。もちろんIntelチップ搭載のやつ。サーバーにグラボは要らない。

背面から見たらこんな感じ。

電源も装着。ATXのコネクタは問題なく入りそう。

CPUの補助電源は4ピン。
おっと、電源から生えてるCPU用電源は8ピンじゃない。

これは「刺さらんぞー」とあせりながらいじくっていると...
4ピン x2に分割できんじゃん。そういうしくみか。

無事接続OK。

電源はセミモジュラーなので、ATXとCPUの電源ケーブルは固定されている。SATAやら補助電源はコネクタ式になっている。
今回、SATAのSSDやグラボは付けないので、コネクタ式の電源ケーブルは未使用。
すっきりしていていいね。

これで配線できたはず。
ラックマウントする前にスイッチ入れてみる。これは動画で撮影してみた。

サンワサプライ 19インチマウントボックス CP-026N

出版社/メーカー: サンワサプライ
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

Biostar Intel Celeron J4125 搭載オンボードマザーボード Mini-ITX サイズ [ J4125NHU ] ブラック

出版社/メーカー: BIOSTAR
発売日: 2022/06/17
メディア: Personal Computers

Patriot Memory Signature Premium Line Series DDR4 2666MHz PC4-21300 8GBキット (2 x 4GB) デスクトップ用メモリヒートシンク付 PSP48G2666KH1

出版社/メーカー: Patriot Memory
メディア: Personal Computers

シリコンパワー SSD 1TB 3D TLC NAND M.2 2280 PCIe3.0×4 NVMe1.3 P34A60シリーズ 5年保証 SP001TBP34A60M28

出版社/メーカー: シリコンパワー
発売日: 2019/11/18
メディア: Personal Computers

Gigabit LANカードインテル 82576チップ PCI-E接続 (デュアルRJ45ポート)

出版社/メーカー: Siide3
メディア:

Corsair CX650M PC電源ユニット 650W 80PLUS Bronze認証セミモジュラー ATX 2021モデル CP-9020221-JP PS1126

出版社/メーカー: Corsair
発売日: 2021/11/12
メディア: Personal Computers

サイト内を検索

2022-10-17 10:02 nice!(0)
共通テーマ：パソコン・インターネット

自宅サーバー3世代目へ移行計画【Mac miniにProxmox導入】　[3GHSP]

本日は、自宅サーバー３世代目へ移行計画の話題である。
　ちょっと長いのでプロジェクト名を後で考えよう。

移行計画の一環で、Mac miniにProxmox VEをインストールした話である。

mac mini proxmox.jpg

新サーバーを導入するにあたり、Proxmox 3ノードでクラスタ組みたいので、Mac miniにproxmox入るかやってみた、ということである。

まずは、Proxmox VEのISOイメージをダウンロード。バージョンは最新の7。
Rufusを使ってUSBメモリに焼く。

練習のため、DELLノートに入れてみようと思い、USBブートしてインストーラーを起動したものの、「VTができない」といった警告が表示されたので、中止。

古いCeleronでは仮想化できないらしい。J4125ではOK。

Proxmox入れるとHDDの中身がクリアされてしまうのでmacOSを非難。
Mac mini でmacOS High Sierraをダウンロード。
createinstallmediaコマンドでインストール用USBメモリを作成。

Mac mini でUSBブートさせようと、ALTキー押しっぱなしで電源ONするものの、ブートメニューが表示されない。
無線だとダメなのか？Windows用だからダメなのか？
自作PCなら無線でもBIOS呼び出しできるけどなぁ。Macなのでそういうもん？

しょうがないので、有線のUSBキーボードを購入。邪魔だからみんな捨てちゃったのよねUSBキーボード。ひとつくらい取っておけばよかった。

ALT(Option)キーを押しながら電源ONでブートメニューを表示できた。

Proxmox VEのインストールは画面通りにやっていけば直ぐに終わる。
ファイルコピーに時間がかかるかな？と思ったが、数分であっけなく終了。
IPアドレスをDHCPで自動取得して、無事起動状態になった。

動画撮影してみたので貼っておく。

Proxmoxの操作はブラウザで行う。コンソールにURLが出ているのでここにアクセスしてみる。
ちゃんとできてるじゃないの。

proxmox画面.jpg

Ethernetアダプタを接続

無事、Mac miniにProxmoxがインストールできた。
Mac用の「ThunderboltギガビットEthernetアダプタ」があったので、これを付けてみる。サーバーにはEthernetポートはいっぱいあった方が良い。

demsgで見たらなにか認識した模様。

thunderbolt 0-3: new device found, vendor=0x1 device=0x8003
thunderbolt 0-3: Apple, Inc. Thunderbolt to Gigabit Ethernet Adapter

しかし、「システム : ネットワーク」のところには出てこない。オンボードEthernetのenp2s0f0だけ。

おかしいなぁと思いつつ、リブートさせたら出てきた。
デバイス名は「ens9」となっている。

じゃあ、USB3.0のギガビットEthernetでもいけんじゃね、とこいつも挿してリブートしてみた。

いけた。

enx3495db2aac23っていう長い名前のデバイス名になった。3495はなんかの番号だな。後はMACアドレスかも。

Ethernetが3ポートもできたので、ボンディングしてしまう。ネットワークを分割するよりも面倒がなさそうな気がするので、3つまとめてしまう。ついでにIPアドレスも変える。

ProxmoxでのIPアドレスは/etc/network/interfacesファイルを編集することでやるらしい。
とその前にbindingモジュールを入れる。

/etc/modulesファイルにbondingを追記。

# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.

bonding

modprobeコマンドを実行

root@homeclster1:/etc# modprobe bonding

ここで一度リブート

root@homeclster1:/etc# lsmod | grep bonding
bonding               188416  0
tls                   110592  1 bonding

bondingモジュールがあればOK。

/etc/network/interfacesファイルを編集

auto lo
iface lo inet loopback

auto enp2s0f0
iface enp2s0f0 inet manual

auto ens9
iface ens9 inet manual

auto enx3495db2aac23
iface enx3495db2aac23 inet manual

auto bond0
iface bond0 inet manual
        bond-mode balance-xor
        bond-miimon 100
        bond-slaves enp2s0f0 ens9 enx3495db2aac23

auto vmbr0
iface vmbr0 inet static
#       address 192.168.0.130/24
        address 192.168.0.4/24
        gateway 192.168.0.1
#       bridge-ports enp2s0f0
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0

変更後リブート。
L2SW側のLAG設定も変更。

bond0 I/Fの状況を確認

root@homeclster1:/proc/net/bonding# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v5.15.60-2-pve

Bonding Mode: load balancing (xor)
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

問題なく通信できればOK。

bonding設定後.png

設定に問題があるとブラウザコンソールにログインできないので、コンソールで入って変更する必要がある。間違ってもリモートでやるものではないので注意。

Ubuntuをインストール

ProxmoxにVM作ってなにがしかのOSをインストールする際は、ISOファイルをProxmox上にコピーしておく必要がある。
しかし、ISOファイルのアップロード方法がわからん。

「データーセンター」の下にノードがぶら下がっており、ノードを選択するとシェルとかディスクのあるサブメニューが表示されるが、その中に「ISOイメージ」が無い。

ISOイメージの画面を表示してアップロードを行うことができるらしいのだが、メニュー項目が見つからないのである。

アップロードする際は、どのストレージに保存するのかを指定するはずなのだが、ストレージ一覧みたいなのが見当たらないのである。

ネット上を検索すると...ノードの下にぶら下がって表示されている画像を発見。
なんだ、ツリー構造で展開して表示していないだけか。紛らわしい。

ノードの下を展開するとストレージが出てくる。ストレージを選択すると右横にサブメニューが表示され、その中に「ISOイメージ」があった。
なんだ、ここでアップロードすればいいのね。了解。

ISOイメージ.png

ISOイメージがアップロードできたら、「VMを作成」ボタンをクリック。
名前を入力して、ISOイメージをさっきアップロードしたやつに設定。
ディスクサイズやらCPUのコア数、メモリ容量を決めてVMを作成する。
作成後、起動してやればISOイメージからブートして、インストーラーが起動するはず。
後は画面の指示通りに進めていけば、インストールが完了する。

普通にインストールできてしまった。

CentOS7をインストール

現サーバーではCentOS7が稼働中なので、CentOS7を入れてみようと思う。
ISOイメージを用意して、Proxmoxにアップロード。VMを作成して起動。

インストール中にrootのパスワードを入力するが、なんか「a」しか入力できない。なんで？
しばし、悩み中... キーボードの設定？
なんでaだけ入力できる。
iを入力したら、コンソールの右下に「Insert mode」って出る。
なにぃ？ひょっとしてvi？

そうこのコンソールVNCで作られているぽいのだが、viモードで動いてる？。だからiでInsert modeにしないと入力できない？。Insert modeを抜けるにはESC。
どういうこと、ひょっとしてCtrl-Dとかでスクロールするかと思ったが、それはできなかった。

それにしてもviモードになっているとは気が付かないよ、そんなの。

とVNCのせいかと思ったが... 実は、ブラウザ拡張機能でvimium入れたっけ。すっかり忘れてたけど。
ブラウザ内のコンソール使うときはvimium外した方がいいな。わけわからなくなる。

CnetOSは入ったが、yumでソフトを追加できない。CentOS7ってもうサポートされないのか？リポジトリのミラーサイトが無いとかエラーが出てる。

じゃあやっぱりUbuntu使うしかないか。

デバイス名が変わってしまう

USB接続したEthernetのデバイス名がリブートしたら変わってしまった。
USBの場合、いくつも同じやつを付けられるので自動的にデバイス名が変わってしまうぽい。でもMACアドレスが付いているように思えるので、変わったら変なんだけど、なんでかしら。

ネットで検索すると、情報あり。

/etc/systemd/network/00-usb.linkに以下の内容を記述すれば良いらしいが...

[Match]
Driver=ax88179_178a

[Link]
MACAddressPolicy=none
NamePolicy=kernel

ちょっとやってみる。

eth0ができた.png

やった、eth0になってる。
これで、bond0のメンバーもeth0に変更すればOKかな。

auto lo
iface lo inet loopback

auto enp2s0f0
iface enp2s0f0 inet manual

auto ens9
iface ens9 inet manual

auto eth0
iface eth0 inet manual

auto bond0
iface bond0 inet manual
        bond-mode balance-xor
        bond_xmit_hash_policy layer2+3
        bond-miimon 100
        bond-slaves enp2s0f0 ens9 eth0

auto vmbr0
iface vmbr0 inet static
        address 192.168.0.4/24
        gateway 192.168.0.1
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0

ついでに、bond_xmit_hash_policy layer2+3も追記した。

やれやれ、先は長そうである。

Mac miniにProxmoxが入ったので、もうひとつPCがあれば、3台構成でProxmoxできそう。
ということで、第3世代サーバー用のPC部品を手配した。乞うご期待。

自宅サーバー3世代目へ移行計画【新サーバー導入】

ラックマウント用のPCケースを導入した話
3チャネルボンディング(チーミング) 3ギガ出るかやってみた
TP-LinkのWi-Fi 6ルーターを購入した話【前編】
BuffaloのWiFiルータはブリッジモードとルータモードでIPアドレスが異なるのでハマった
Ethernetのボンディング Linuxのサーバーマシンにbond0インターフェースを作成

サンワサプライ 19インチマウントボックス CP-026N

出版社/メーカー: サンワサプライ
メディア: エレクトロニクス

NETGEAR Inc. JGS524E 【ライフタイム保証】 24ポートギガビットアンマネージプラス・スイッチ JGS524E-200AJS

出版社/メーカー: ネットギア
メディア: Personal Computers

インテル PRO/1000 PT デュアルポートサーバ・アダプタ EXPI9402PT

出版社/メーカー: インテル
メディア: Personal Computers

サイト内を検索

2022-10-14 13:28 nice!(0)
共通テーマ：パソコン・インターネット

自宅サーバー3世代目へ移行計画　 [3GHSP]

本日は自宅サーバーの話である。

我が家にはラックマウントされているサーバーがある。

代々、FANレスCPUのマシンを組んで省電力サーバーとして稼働している。
スイッチ類は、FANレスでうるさくはないが、ラックマウントのサーバーともなると小さいFANしか搭載できないので、うるさくなりがち。
うるさいのはイヤ。

ラックマウント用のPCケースを導入した話

初代サーバー

初代サーバーは、Intel ATOMがオンボードのMicroITXで組んでいた。
その当時は、Linux上で開発なんかもしていたので重宝していた。
Ethernetの口をふたつ付けてルーターとしても稼働させたりもしている。
15年くらい前だろうか。
FSBは533MHzだし、メモリはDDR2 533MHz 4GB。
IDEが2ポート。SATA2が1ポート。
LANに至っては、Realtek 100Mbps。100Mだよ。
USBは2.0だし。PCI Expressはx1が1スロット。
ExpressじゃないPICが2スロット。

ずいぶんと古いねぇ。
最近、ラックマウントの3Uケースに収めたが電源ONされるのは滅多になくなった。

2世代目サーバー

2世代目のサーバーもFANレス。ASRock C2750ってやつ。
8コアのATOMがオンボードされていて、Ethernetが3ポート。SATAが3Gが4ポート。6Gが8ポートも付いてる。
まさにサーバー向け。
お値段は56,000円と高価ではある。

ASRock Intel Avoton C2750 2.4GHz/DDR3/SATA3/V&2GbE/Mini-ITX Motherboard and CPU Combo C2750D4I COLOR BOX by ASRock [並行輸入品]

出版社/メーカー: ASRock
メディア:

ASRockマザーの導入を考える

しかし、2年くらいでマザーが逝ってしまった。高かったのに、耐久性がいまいち。
しょうがなく、以下のマザーだけ購入。

ASUSTeK CPUオンボードマザーボード Intel Celeron N3150 搭載 N3150I-C 【mini-ITX】

メモリやHDDは使いまわし。
こいつはCeleronがオンボードで1万円。また壊れてもしゃくなので、安いやつにしてみた。Amazonの購入履歴を見たら、2016年に購入している。今だ現役稼働しているので、6年は運用状態である。

CPUはCeleron N3150。
メモリはDDR3 1600MHz。
SATA 6Gが2ポート。ちょっと寂しい。
Ethernetはギガビットが1ポート。これも寂しいがPCIeにIntel Dualポートを付けているので全部で3ポートに拡張している。
USBは3.0が4ポート。2.0も4ポート。
PCIe x4が1スロット。
Mini PCIe x1が1スロット。

サーバー向けというか、小型PC向けかも知れない。この辺りからMiniITXでサーバー作るのが流行らなくなってきたのか、探してもITXマザーは少ししか出てこなかった。

初代サーバー、2世代目サーバーも普通のタワー型ケースに入れて稼働させていたが、3Uと2Uのラックマウントケースに引っ越ししている。

3世代目が欲しい

でもって、ここからが本題である。
どちらのサーバーも少々くたびれてきた感があるので、3世代目が欲しいかなぁと思ってしまったわけである。
初代、2世代とFANレスCPUできたので、3世代目もFANレスCPUオンボードのマザーを探してみると...

ない、全然ない。

Intel ATOMはなくなってしまったので、Celeron一択。XEONがオンボードのガチサーバー用もあるにはあるが、お高いんでしょー。なので、手が出せない。

ASRockだとJ4125-ITX。
ASUSならPRIME J4005I-C。
BIOSTARっていうメーカーもあるなぁ。どこの国だ？中国？いや台湾だ。ならいいか。

J4125NHUとJ4105NHUがあるのか。付いているCPUの差だな。4125の方が4コアで高性能。4105は2コアしかない。

Biostar Intel Celeron J4125 搭載オンボードマザーボード Mini-ITX サイズ [ J4125NHU ] ブラック

出版社/メーカー: BIOSTAR
発売日: 2022/06/17
メディア: Personal Computers

BIOSTAR intel Celeron J4105 搭載オンボード Mini-ITX マザーボード [ J4105NHU ]

出版社/メーカー: BIOSTAR
発売日: 2021/05/28
メディア: Personal Computers

2世代目のサーバーが3150なので、4125にすればCPUの性能は少しだけ上がるのか。
まぁ、Celeronだし期待はできないけどね。

メモリも比較してみようか。

2世代目のサーバーはDDR3 1600 8G。
J4125NHU はDDR4 2400 8Gまで。

容量は増やせないけど、速度は速くなりそう。

SATAポートは

2世代目のサーバーはSATA3 6Gが2ポート。
J4125NHU はSATA3 6Gが2ポート。

これは変わらずか。でもJ4125NHUには、M.2スロットが付いているので、M.2タイプのSSD付けられるな。

いいかも。

J4125NHUを2枚買って、2台体制にして、クラスタ化しちゃう。
なんかおもしろそうじゃない。
proxmoxは2台でクラスタ組めるらしい、でも3台ないとHAにはできない、とな。HAって何？
Home Agentじゃないよね。High Availabilityか。

3台にするにはどうすれば...

ちょっと検討しよう。
Mac miniもあまってるしMacBook Airもあるなぁ。
ちょっと変だけどMacでproxmoxしちゃうか？MacBookはちょっとだなぁ。

Mac miniにproxmox入れてみるか。Mac miniにはSSD増設しているからサーバー向きじゃない？

Mac mini Mid 2011 SSD 増設工事

ということで、三代目サーバー導入はちょっと保留。