まずは少し歴史から始めましょう。
- 2016: Skylake で低消費電力 PC を構築 – アイドル時 10 ワット
- 2019:アイドル時9ワット:4台のストレージドライブで低消費電力のホームNAS/ファイルサーバーを作成
- 2021: (記事なし) – Gigabyte H470M DS3H で Intel i3-10320 を使用して 11 ワット
私のシステムすべてがこれほど成功したわけではありません。2022年に、私はAMD Radeonの重い電力消費をマルチモニターで削減の一部として、19ワットと27ワットの他のシステムをいくつか測定しました。その後、私は27ワットのAMDシステムを何とかして電力削減に成功しましたが、すべてのCPU/マザーボードの組み合わせが10ワットの水準になるわけではありません。
—
さらに進む前に、このシステムの 7 ワットの数値は、ストレージが追加される前のものです。7 ワット (壁で測定) には次のものが含まれます。
- マザーボード (Intel H770)
- CPU (インテル i5-12400)
- 64GBのRAM
- SSD (Ubuntu Server 23.04 を起動)
- 電源ユニット(コルセア)
- BIOSでC8に到達するようにCステートを設定する
- 自動調整機能付きパワートップ(ポートがスリープ状態になると USB キーボードが無効になります)
PowerTop でキーボードを無効にできない場合は、壁で測定された電力は 8 ワットになることに注意してください。
—
詳細な仕様とコンポーネントの選択について見ていきましょう。今回は次の目標を掲げました。
- 低アイドル電力
- 圧縮に適したCPUパフォーマンス
- 12台のハードドライブと少なくとも1台のNVMeを処理可能
- 12台のハードドライブを(最終的には)6台のNVMe + 6台のSSD SATAに変換する能力
- コストを抑える – マザーボードの購入が必要になるため、DDR4 を使用し、既存の CPU を再利用するようにします。
壁から測定して 10 ワット程度に収めることを期待して新しいシステムを組み立てるのは、多くの場合、難しいだけでなく、多少の賭けでもあります。コンポーネントに関して最大限の知識に基づいた推測を行い、リグを構築し、可能な限り調整し、結果がどうなるかに任せるしかない場合もあります。
マザーボード – ASUS Prime H770-Plus D4
始める前に、マザーボードのレイアウトを簡単に見てみましょう。緑色の CPU 接続スロットとオレンジ色のチップセット接続スロットは、この記事全体を通じて重要になります。
本稿執筆時点では、消費者が広く利用できる選択肢は、Intel 600/700 シリーズと AMD 500/600 シリーズのマザーボードでした。
上記の私の目標の 1 つは、最終的に 6 台の NVMe ドライブを搭載できる容量を確保することでした。
これがなぜ難しいのか、詳細を掘り下げてみます (このセクションはスキップしてもかまいません)…
問題: PCIe モードで同時に使用できる 6 つの M.2 スロットを備えたコンシューマー マザーボードは 0 個です。AMD の MEG X570S Unify-X Max はそれと同じように見えますが、マニュアルを確認すると、6 つすべてにスロットを装着しようとすると、最後の 1 つは SATA バリアントでなければならないことがわかります。ASRock Z790 PG Sonic にも 6 つのスロットがありますが、そのうち 5 つしか使用できません (正当な理由があります。Gen5 NVMe スロットを提供していますが、どちらか一方しか使用できないという警告が付いています)。
この問題が発生する理由:コンシューマー向けボードにはチップセット レーンの制限があります。すべての M.2 を Gen4x4 で実行できるようにしたい場合、メーカーが実際にすべてのレーンを M.2 NVMe スロットに割り当てることをいとわないと仮定すると (そうではありませんが)、AMD X570 と Intel B760 は最大 3 つの M.2 スロット、AMD B650 と Intel H670/Q670/Z690/W680 は 4 つの M.2 スロットを管理します。AMD X670 と Intel H770 ボードでは 5 つの M.2 スロットが可能です。Z790 ボードでは 6 つです。それを超えると、メインの PCIE スロットからレーンを奪うなどの特別な対策が必要になります。純粋な M.2 数が必要な場合、メーカーは理論的には Gen4x2 でレーンを実行するか、Gen3 M.2 スロットをいくつか追加することができますが、その時点で非常にニッチな製品を作成していることになります。
解決策: PCI-E から M.2 へのアダプタが必要になりました。マザーボードを探すときに、付属の M.2 スロットを x4 以上の PCI-E スロットに追加するかどうかが問題になりました。選択肢は AMD X570、Intel H770、および Intel Z790 マザーボードに限定されました。一部のマザーボードでは分岐を使用してメイン PCIe スロットから 1 つ以上の NVMe を取得できる可能性がありますが、私はそれに頼らないことにしました。
私が Intel ルートを選択することにしたのは、いくつかの理由があります。
- チップセット TDP: 600/700 シリーズの Intel チップセットはすべて 6W TDP ですが、AMD X670 チップセットの TDP はかなり高くなっています (7w+7w)。以前の X570 チップセットの TDP は 11w でファンが必要だったため、AMD チップセットの電力消費量は以前から懸念されていました。
- チップセット速度: Intel H670/Q670/W680/Z690/H770/Z790 チップセットには、CPU への DMI 4.0 x8 リンクがあります。AMD X570/B650/X670 には、CPU への PCIe 4.0 x4 リンクがあります。Intel の理論上のスループットは、AMD の 2 倍 (16GB/秒対 8GB/秒) になります。
- Intel システムで使用できる 64GB の DDR4 がすでにありました。AMD 600 シリーズ チップセットはすべて DDR5 のみです。
- 私はすでに Intel 第 12 世代 CPU を持っていました。
- AM5 の電力消費に関する肯定的な議論をまだ見たことがありません。まったく。更新: これを書いているときに、AMD 7000 シリーズ CPU のマザーボード ソケット ピンが CPU と接続する部分が燃えたり膨らんだりするというニュースが実際に出ました。AMD さん、申し訳ありませんが、今回はだめです。
ということで、Intel に決定しました。市場で入手可能な DDR4 マザーボードを調べた後、選択肢を MSI と ASUS の 2 つのメーカーにすぐに絞り込みました。
ボードの比較は気にしないですか? 自由にスキップしてください。
魅力的な MSI ボードは、PRO Z790-P WIFI DDR4 と Z790-A WIFI DDR4 でした。表面的にはほぼ同じですが、「A」の方が少し高級です (オーディオ、背面ポート、ヒートシンク、電源フェーズなど)。長所/短所:
- プロ: 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 は合計 6 つの Gen4 NVMe をサポートします
- プロ: 2x PCIE Gen3x1 追加
- プロ: 6 つの SATA ポート
- 欠点: Intel 2.5G LAN (問題やバグが多いことで知られています)
- 欠点: 私はMSI BIOSのファンではない
- 欠点: 現在使用している B660 ボードは MSI 製で、アイドル時の消費量が予想よりも高くなります。
魅力的な ASUS のオプションは、Prime H770-Plus D4 と Prime Z790-P D4 (オプションの WIFI エディション) でした。TUF、Strix、または ProArt を購入するのはあまりにも高価すぎました。
まず、H770-Plus の長所と短所を挙げます。
- プロ: 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 合計6つのGen4 NVMeをサポート
- プロ: 2x PCIE Gen3x1 追加
- 欠点: SATAポートが4つしかない
利点: 2.5G Realtek ネットワーク アダプター (最近では Intel 2.5G LAN よりも推奨)(コメントを参照)Z790-P D4 は、電源フェーズが多く、ヒートシンクが優れており、USB ポートが多く、ファン ヘッダーが追加されていることを除けば似ていますが、私たちの目的は次のとおりです。
- +1 PCIE Gen4x4
- -1 PCIE Gen3x1
最終的に、ASUS Prime H770-Plus D4 は当時約 100 ドル安かったので、これを選択しました。
「安価な」ボードの利点として私が見つけたのは、コンポーネント数が少ない傾向があり、アイドル時の電力消費が少ないことですが、これは必ずしも確実というわけではありません。
CPU – Intel i5-12400 (H0 ステッピング) – Alder Lake
この CPU は、以前のデスクトップ ビルドにすでに含まれていました。当時、デスクトップ システムにこの CPU が選ばれたのは、次の理由からです。
- AV1ハードウェアデコード機能を搭載
- Eコアのシリコンオーバーヘッドを回避した第12世代のIntelラインナップの中で最高のパフォーマンスを実現しました。
- そのビルドでは、いずれにせよ 2xDP を備えた新しいマザーボードを入手する予定だったので、古い世代に移行するのは意味がありませんでした。
そのデスクトップ ビルドは期待外れに終わり、私の最も気に入らないビルドの 1 つになりました。
詳細…
Linux では、DP 接続された 2 台のモニターのうち 1 台だけが起動するという問題がありました。そのため、もう 1 台の DP コネクタを取り外して再接続するか、システムを手動でサスペンド/再開して再試行する必要がありました。
もう 1 つの問題は、Windows と Linux 間で再起動すると、完全な電源オフと再起動が必要になる奇妙な問題が発生することがあることです。
Wayland を使用した Ubuntu でのハードウェア デコードには依然として問題があり、プログラムがそれを使用してビデオを再生しようとすると、問題が発生します。
最後に、以前の Intel システムはすべて 10 ワット近くまで下げることができましたが、このシステムはアイドル時に 19 ワットでした。ただし、使用していた MSI マザーボードが要因である可能性を疑いました。
私が経験した頭痛のほとんどは、GPU とディスプレイに関連したものでした。サーバー指向のものを構築しようとしていたので、それはもはや問題ではありませんでした。
メモリ – 64GB DDR4-3200
私が使用したものは次のとおりです:
- 2x16GB Kingston HyperX デュアルランク (Hynix DJR)
- 2x16GB Kingston HyperX シングルランク (Hynix CJR)
これはすでに持っていたメモリです。デュアルランクキットの XMP プロファイル (16-18-18-36) で 4 本のメモリを実行しました。RAM を 1.25 ボルト (標準の 1.20 より高いが、XMP の 1.35v 設定より低い) で実行した以外は、基本的にすべてデフォルトのままにしました。TestMem5 と Memtest86 は 1.22v で安定を示しましたが、以前のマザーボードでこのメモリをテストしたところ、1.22v では不安定であることがわかったため、安定性に関してもう少しバッファーを増やすために、電圧を 1.25v に上げました。
ブートドライブ – Sandisk Ultra 3D 1TB SSD
このコンポーネントは意図的に選択されたわけではありません。テスト用に Ubuntu Server を新規インストールしたいと思ったときに、たまたま手元にあった未使用の SSD がこれだけでした。PCIE および NVMe デバイスで A/B テストを多数実行する予定だったので、Ubuntu 23.04 を SATA SSD にインストールして PCIE スロットを空けておくのは理にかなっています。
テスト後、メイン OS はSamsung SSD 970 EVO Plus 500GB NVMeで実行されることになりました。Samsung 製品は確実に低電力モードになる傾向があること以外、言うことはありません。
両方のドライブを使用した結果、テストでは両者の電力差は測定できませんでした。Tom’s Hardware は Samsung のアイドル時消費電力を 0.072 ワット (ASPM/APST 経由) とテストし、Anandtech は Sandisk Ultra 3D のアイドル時消費電力を 0.056 ワット (ALPM 経由) とテストしました。どちらも Kill-A-Watt メーターの 1W 分解能をはるかに下回っています。
電源ユニット – Corsair RM750
この 750W PSU は、10 ワット程度のシステムには過剰に思えるかもしれませんが、12 個のドライブ モーターが同時に回転すると、瞬間的な負荷はかなり高くなる可能性があります。Seagate は、10TB 3.5 インチ ドライブの 1 つについて、12V レールの DC/AC ピーク電流が 2A/3A であると述べています。ランダム読み取り/書き込みのピークでも 2A を超えることがあります。
この突発的な電力需要は、PSU が対応できない場合、問題になる可能性があります。6 台のドライブのアレイが合計で 150 ~ 200 ワットを消費し、同時に CPU がピーク 120 ワットを消費すると、アイドル時の約 10 ワットから約 400 ワットに跳ね上がります。これにより、瞬間的な電圧低下が簡単に発生する可能性があります。すぐにクラッシュや再起動が発生するほど低下した場合は、おそらく大した問題ではありませんが、メモリ更新中または別のドライブが書き込み中の場合、データが破損するほど低下した場合は、より深刻な問題になります。PSU をある程度大きくする (または電源レールにインライン コンデンサを追加する) ことは理にかなっています。
幸いなことに、ピーク効率範囲外で動作しているにもかかわらず、Corsair RM シリーズの多くは、広い範囲にわたってかなり効率的です。
電力測定 – 初期
いくつか重要な点:
- 壁から測定された電力
- Intel PowerTOPを使用して設定を自動調整しました
- Ubuntu サーバー 23.04
潜在的に重要なBIOSビットをいくつか示します。
- CPU CステートがBIOSで有効化されました(C10)
- ASPMはL1に設定され有効化されました
- RC6 (レンダリングスタンバイ) が有効
- アグレッシブ LPM サポートが有効 (ALPM)
- 無効: HD オーディオ、接続モード、LED、GNA デバイス、シリアル ポート
ディスプレイ出力がオンのときの消費電力は9 ~ 10 ワットでした。
ディスプレイがオフになった後の消費電力は7 ワットでした (600 秒タイマーのカーネル ブート パラメータ consoleblank=600)。このシステムは週の大半この状態で稼働しています。
USB キーボードの電源管理が無効になっている場合の消費電力は8 ワットです。他の場所からサーバーに SSH 接続しない場合は、キーボードの使用に余分なワットを費やす必要があるかもしれません。
問題のあるパワー測定 – 回転する錆びが詰まっている(スピンダウン)
冒頭で述べたように、私は 12 台のハード ドライブから始めました。半分は 2.5 インチ、残りの半分は 3.5 インチでした。マザーボードには SATA ポートが 4 つしかないため、残りのドライブの処理には SATA コントローラーとポート マルチプライヤを使用しました。さらに、初期段階では 4 台の NVMe ドライブを使用しました。そのうちの 1 台である Western Digital SN770 は、アイドル状態でもかなり熱くなる傾向があり、低電力モードには入らなかったと考えられます。
すべての機器を接続し、アイドル状態でディスプレイをオフにし、12 台のドライブをスタンバイ状態にしたところ、アイドル時の消費電力が 7 ワットからなんと 24 ~ 25 ワットにまで上昇していることに驚きました。あまりにも高すぎます。何かがおかしいのです。
電力消費パズル – 高電力の調査と診断
ハードドライブを外して、コンポーネントを 1 つずつテストし始めました。これは、原因を大まかに把握するためのかなり大まかなテストなので、ここでの数値は正確ではありません。
すぐに、使用していた JMB585 SATA コントローラによって、消費電力が 6 ~ 10 ワット程度増加していることに気付きました (正確な測定は後のセクションで説明します)。コントローラ自体は数ワットしか消費しないはずで、小さなヒートシンクは冷たいままなので、明らかにそれ以上の電力が消費されていました。電力はどこに流れていたのでしょうか?
CPU パッケージの C ステートを観察することにしました。JMB585 SATA コントローラーがない場合、システムは C6 に達しました。JMB585 を再接続すると、システムが達した最高の状態は C3 でした。なるほど! でも、なぜでしょう? PCIE 接続デバイスが ASPM L1 に入らない場合、CPU はそれほど深いスリープ状態に入らないことが判明しました。JMB585 コントローラー カードは ASPM をサポートしていないようです。
さらに少し実験してみると、私が知らなかった別の事実が明らかになりました。それは C6 と C8 に関係しています。CPU に接続された PCIE レーンに何も接続されていない場合にのみ、システムは C8 に達します。言い換えると、上部の PCIE スロットまたは上部の NVMe スロットに何かが接続されている場合、C6 が最大になります。簡単なテストでは、C6 と C8 の消費電力の差は 1 ワット未満であるように思われました。
したがって、C8 は贅沢ですが、C6 に到達することは必須です。C3 は電力を消費しすぎます。SATA コントローラーが CPU が最適な省電力状態に到達するのを妨げるのであれば、アドオン コントローラーに頼らなくても済むように、6 ~ 8 個の SATA ポートを備えたマザーボードを探すべきだったのではないかと考え始めました…
SATA HBA を少し検索したところ、選択肢は多くないものの、ASM1166 SATA コントローラーは ASPM L1 をサポートしているはずですが、正常に動作させるには (そして新しい Intel ボードで動作させるには) ファームウェアをフラッシュする必要があります。これは注文しなければなりませんでした。Marvel と JMicron のスペアは持っていますが、ASPM をサポートしていません。実は何年も ASMedia を避けていましたが、必要に迫られてまたチャンスが巡ってきました。ASM1166 6 ポート SATA コントローラーを 2 つ注文しました。
余談: BadTLP、Bad! PCIe ポートからの AER バス エラー
言及する価値があります…WD Black SN770 (Gen4 NVMe) を使用した初期テスト中に、プライマリ (上部の CPU に接続された) PCIE および NVMe ポートが使用されたときに問題が見つかりました。dmesg を実行すると、次のような内容が出力されました。
pcieport 0000:00:06.0: AER: 修正されたエラーを受信しました: 0000:02:00.0
nvme 0000:02:00.0: PCIe バス エラー: 重大度 = 修正済み、タイプ = 物理層、(受信側 ID)
pcieport 0000:00:06.0: PCIe バス エラー: 重大度 = 修正済み、タイプ = データ リンク層、(送信側 ID)
pcieport 0000:00:06.0: AER: このエージェントのエラーが最初に報告されました
nvme 0000:02:00.0: [ 6] BadTLP
…試行錯誤の末、「PEG – ASPM」BIOS設定を[無効]または[L0s]に設定するとエラーが発生しないことがわかりました。
もちろん、[L1] は電力節約に非常に重要であるため、これは悪いオプションでした。[L1] または [L0sL1] が使用された場合、唯一のオプションはそれらのポートのリンク速度を [Gen3] に設定することでしたが、これによりエラーは止まりませんでしたが、大幅に減少しました。
調査によると、根本的な原因はさまざまなことが考えられます。マザーボードや CPU を交換するのは楽しいことではなかったので、別のブランドの NVMe に交換するのが最善の策でした。
Crucial P3 NVMe ドライブをいくつか注文しました。これは成功でした。WDドライブを Crucial ドライブに交換したところ、エラーは発生しなくなりました。ただし、これらは Gen3 ドライブであることに注意してください。
電力消費パズル – チップセットに接続されたポートでのみ L1.1 と L1.2 を有効にする方法を見つける
CPU に接続された PCIEx16 スロットと上部の M2 スロットに 2 つの Crucial P3 NVMe ドライブを取り付けたところ、アイドル時の温度が予想よりも高いことに気付きました。NAND の温度が約 27 ~ 29 ℃ だったのに対し、コントローラーは 49 ~ 50 ℃ を報告しており、これらのドライブに対して予想していたよりもはるかに高い値でした。
私は PCIEx16 スロットからチップセット接続の PCIEx4 スロットに 1 つを移動しました。lspci -vvv を実行すると、これらのドライブ間の興味深い違いが明らかになりました。
CPU 接続 M2 スロット: L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
チップセット接続 PCIE スロット: L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
L1 サブステートは、チップセットが接続されたスロットでのみ有効になるようです。残念ですが、上記のスクリーンショットで利用可能な BIOS 設定と一致しているようです。
状況を示すために、マザーボードの写真をもう一度参照してみましょう。
両方の NVMe ドライブをチップセット接続の PCIE スロットに取り付けました。これで両方とも L1.1+/L1.2+ と表示され、両方のコントローラーの温度は 49 ~ 50 ℃ の範囲から 38 ~ 41 ℃ に下がりました。
残念ながら、スロット構成と BIOS 設定を変えてこれら 2 つの Crucial NVMe ドライブを使用してさまざまな A/B テストを試みたとき、温度に関して非常に一貫性のない動作が見られました。ただし、これらのテスト中は JMB585 と NVMe ブート ドライブも接続されていたことに注意してください。たとえば、両方のドライブはソフト リブートまで約 40 ℃ でアイドル状態になる可能性があり、その時点で 1 つ (または両方) が 50 ℃ の範囲でアイドル状態になる可能性があります。x16 スロットが使用されていない限り、CPU 接続の M.2 に 1 つのドライブを保持し、両方のドライブの温度を 40 ℃ に維持できる場合もありました。おそらく、何らかのバグに遭遇していたのでしょう。Samsung ブート NVMe は、Crucial NVMe ドライブで何が起こっているかに関係なく、アイドル温度を一定に保っているようだったので、Crucial ドライブ自体に少なくとも一部は責任があるのではないかと疑いました。
興味深いことに、チップセット接続スロットでは、コントローラーの 1 つ (または両方) の温度が 29 度台まで下がることがありました。Crucial P3 の低電力 4TB NVMe 代替品を探すのは現実的な目標ではなかったため、この時点での私の最大の望みは、ASPM 非対応の JMicron JMB 585 が何らかの原因で故障したのではないかということでした。この JMicron JMB 585 は、まもなく ASPM 対応の ASMedia ASM 1166 に置き換えられる予定でした。
後日の更新: 残念ながら、残りのテスト中は温度を記録しておらず、ドライブ間のヒートシンクやエアフローがすべて混乱していました。しかし、最終的なビルドでは、Crucial P3 コントローラーの温度は 31 ~ 34 ℃、NAND の温度は 23 ~ 24 ℃ でした。
電力消費パズル – JMB585 から ASM1166 への交換。
数週間後、ASM1166 が到着しました。まずは、購入を検討している方に役立つかもしれない、カードに関するいくつかの情報です。
まずファームウェアのフラッシュから始めました。ASM1166 カードには、Intel 600 シリーズのマザーボードでは動作しない古いファームウェアが搭載されていることが多く、私の理解では電源管理に問題がある可能性があります。新しいファームウェアはさまざまな場所で見つかりますが、私は SilverStone からコピーを入手し ( https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/のダウンロード セクションの「互換性の問題を修正」)、 https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/の指示に従うことにしました。SilverStone ファイルの MD5 は、https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707のスレッドに従って見つけたファームウェアと同一であることに注意してください。
ASMedia カードの購入を検討している人は、ほとんどの SATA コントローラーや HBA と同様に、品質が本当にまちまちであることに注意してください。私のカードの 1 つには、ヒートシンクが少し曲がっていました。サーマル パッドは、近くのコンポーネントをショートさせないほど十分に厚くなっていますが、これらの製品は本当に当たり外れがあることに注意してください。これは、返品ポリシーがしっかりしている場所から購入するために少しお金を払うのが賢明な状況の 1 つです。
私はかなりの量の A/B テストを行ったので、ここではシステム全体の電力消費量の観点から「JMicron JMB585 と ASMedia ASM1166 の比較」を簡単に示します。ただし、これはこのプラットフォーム (またはこの特定のマザーボード) にのみ適用できる可能性があります。
ドライブレス
まず、カードにドライブが接続されていない状態での電力消費量 (SATA SSD ブート ドライブはマザーボードに接続されています) を基準値として算出します。キーボードを除くすべてのデバイスで PowerTOP を使用します (+1 ワット追加)。ディスプレイ出力がスリープ状態になった後の測定です。
- 8ワット – SATAコントローラなし – C8電源状態
- 9 ワット – チップセット接続 x4 スロット上の ASM1166 – C8 電源状態
- 12ワット – CPU接続x16スロット上のJMB585 – C3電源状態
- 15 ワット – チップセット接続 x4 スロット上の JMB585 – C3 電源状態
- 22 ワット – CPU 接続 x16 スロット上の ASM1166 – C2 電源状態
ASM1166 は、チップセット接続スロット (+1 ワットのみ) に接続するとうまく機能しますが、メイン PCI-E スロット (+14 ワット) に接続すると、CPU パッケージの電力状態が C2 に急落し、ひどい結果になります。驚いたことに、JMB585 は逆に動作し、CPU 接続スロットでは消費量が低くなります (C2 は発生しません)。ただし、ドライブが実際に接続されると、状況が変わることがすぐにわかります…
コントローラーの追加テストも行いました。その中には、複数のデバイスが問題を引き起こすかどうかを確認するために、いくつかの NVMe ドライブで「椅子取りゲーム」を行うなどがありましたが、予期せぬことは何も起こらなかったため、詳細は省略します。
ドライブの追加
ベースライン測定が完了したので、次は実際にこれらのコントローラーにドライブをいくつか取り付ける番です。SATA SSD ブート ドライブはマザーボード上に残し、2 つの NVMe ドライブ (特に断りのない限りチップセット接続) を追加し、4 つの 2.5 インチ SATA ハード ドライブをコントローラー上に取り付けました。ハード ドライブがスタンバイ状態になった後の「スピン ダウン」消費量をリストします。ドライブがアイドル状態の間、「スピン アップ」はすべてのテストでちょうど 2 ワット高くなりました。
- 10 ワット – チップセット接続 x4 スロット上の ASM1166 – C8 電源状態
- 11 ワット – チップセット接続の x4 スロット上の ASM1166、1 つの NVMe を CPU 接続の x16 スロットに移動 – C6 電力状態
- 11 ワット – チップセット接続 x4 スロット上の 2x ASM1166、NVMe ドライブ 1 台のみ – C8 電源状態
- 16 ワット – チップセット接続 x4 スロット上の JMB585 – C3 電源状態
- 24 ワット – CPU 接続 x16 スロット上の JMB585 – C2 電源状態
チップセット接続スロットを介して 4 つのドライブを接続すると、ASM1166 ではシステムの電力消費が +2 ワット増加しますが、JMB585 では +8 ワット増加します。互角です。
さらなる利点は、システムで両方の ASM1166 カードを使用できたことです。一方、両方の JMB575 カードを同時に使用しようとすると、システムが起動しなくなりましたが、これはプラットフォームまたはマザーボード固有の問題である可能性があります。
ただし、トレードオフがあります。JMB585 は、JMB575 ポート マルチプライヤと組み合わせた場合も含め、常に非常に信頼性が高いと感じています。ASMedia SATA コントローラのこれまでの経験は、あまり良いものではありませんでした。ASM1166 の信頼性はまだわかりませんが、少なくとも FBS をサポートしていない (CBS のみ) ため、ポート マルチプライヤには適していません。
ASM1166 で発生したその他の小さな問題がいくつかあります。
- NVMe ブート ドライブを取り外して再挿入すると、GPT 破損のため起動できないという BIOS メッセージが表示されました。BIOS が NVMe ブート ドライブを再び「検出」できるように、ASM1166 カードを一時的に取り外す必要がありました (その後、再インストールできます)。
- ASM1166 カードには多数のポートがあると言われていますが、Linux はすべてのポートを反復処理する必要があるため、起動時間が長くなります。
更新: SATA および SSD ブランド
コメントの 1 つに、古い Samsung 840 PRO SSD は C3 に制限されるのに対し、Crucial Force GT SSD は C8 を許可すると書かれていました。これらは古いドライブですが、それでも少し驚きました。調査する価値はありました。
私は、H770 をテストベッドとして、Samsung 850 EVO SATA SSD ブート ドライブと Crucial P3 NVMe を使用し、Realtek ネットワーク アダプターが L1.2 に到達できるようにカスタム カーネルを構築しました。ASM1166 は使用せず、Intel オンボード SATA のみを使用しました。powertop を自動調整付きで実行し、ディスプレイをスリープ状態にした後、C10 に到達しました。手元にあるさまざまなドライブを試し、そのたびにシステムの電源をオフにしてドライブを交換し、プロセスを繰り返しました。結果は次のとおりです。
システムが C6 で停止する原因となったドライブ:
- 1TB パトリオット P210 SATA SSD
C10 を許可したドライブ:
- 500GB Samsung 850 EVO SATA SSD
- 4TB 2.5インチ シーゲイト SATA HDD
- 8TB 3.5インチ シーゲイト SATA HDD
- 14TB 東芝 SATA HDD
- 1TB サンディスク ウルトラ 3D SATA SSD
- 4TB Sandisk Ultra 3D SATA SSD (注: トリムが遅い)
- 4TB クルーシャル MX500
SATA SSD のブランドとモデルを選択する際には注意することをお勧めします。テストしたドライブでこのリストを随時更新するつもりですが、ストレージ分野の一部のメーカーは、主力製品の一部を品質の低いコンポーネントに密かに交換する傾向があることを覚えておいてください。そのため、返品期間内に購入したストレージ デバイスの性能指標を常に確認する必要があります。良いドライブや悪いドライブを見つけたら、遠慮なくコメントを残してください。
電力消費パズル – 結論
低消費を目指す場合の重要な点がいくつかあります。
1) マザーボードのサポートと BIOS 構成は重要です。私は、柔軟性の非常に低い BIOS を搭載したマザーボードを使用したことがあります。このマザーボードでは、低消費電力を実現するには、「ネイティブ ASPM」と適切な L1 状態を有効にする必要があります (BIOS 制御ではなく OS 制御を可能にするため)。
2) すべてのデバイスが ASPM L1 をサポートしている必要があります。そうでない場合は、本当に運に任せるしかありません。ご想像のとおり、ここで最も難しいのは、それをサポートする SATA コントローラーを見つけることです。可能であれば、別のカードを必要としない十分な Intel チップセット接続 SATA ポートを備えたマザーボードを入手してください。ASPM で動作する低電力 APST 電力状態を持つ NVMe ドライブが常に見つかるとは限らないので、この点についても調査する必要があります。
3) C8 電源状態に到達できる場合は、CPU に接続された PCIe レーン (上部の PCIe および M2 スロット) の使用を避けてください。この特定のマザーボードでは、CPU への低遅延フル帯域幅パスが必要な場合、またはデバイスが非常にアクティブでスリープ状態にならない場合を除き、可能であればこれらのレーンの使用を完全に避けることをお勧めします。JMicron および ASMedia SATA カードの両方を x16 PCI-E スロットに接続すると、CPU パッケージの C 状態が C2 に急落したことを思い出してください。
4) 壁から電力を測定することは、*考えている*ことが実際に起こっていることを確認する唯一の方法です。Kill-A-Watt デバイスは、使用すれば時間の経過とともに元が取れます。私は 2006 年にこれを購入しました (当時は eBay で 16 ドル + 送料 14 ドル)。当時、めったに使用しないファックス機が常に電源オンで 7 ワットを消費していることに気付きました。次の 10 年間、使用していないときはその 1 台のデバイスを電源オフにしておくだけで、Kill-A-Watt の費用以上の価値がありました。
多数のHDDを搭載した場合の消費電力
このプロセスを通じてさまざまな部品がシステムに出し入れされたため、現在のセットアップは次のようになります。
- 1x Samsung 970 EVO Plus NVMe (500GB ブートドライブ)
- Crucial P3 NVMe (各 4TB) x 2
- 5x Seagate 2.5インチ HDD (各 5TB – 4TB 使用)
- 6x Seagate 3.5インチ HDD (各 10TB – 8TB 使用)
- SATAポートを備えた2枚のASM1166カード
壁から測定された総電力(ディスプレイオン、キーボード有効):
- 11 台の HDD すべてがアクティブ/アイドル状態のとき 50 ワット
- アイドル B の 6x 3.5 インチ HDD で 38 ワット
- アイドル C で 6x 3.5 インチ HDD 使用時 34 ワット
- 6x 3.5インチ HDD を Standby_Z (スピンダウン) に設定した場合、21 ワット
- 5x 2.5インチHDDもスタンバイ状態で18ワット
- ディスプレイ出力もオフの状態で16ワット
- PowerTOP が USB キーボードを無効にできる場合、15 ワット
Seagate は、これらの 3.5 インチ ドライブのスタンバイ時の消費電力をそれぞれ約 0.8 ワット、2.5 インチ ドライブのスタンバイ時の消費電力をそれぞれ約 0.18 ワットと評価しています。これは、私が上で見たものと一致しています。アクティブ/アイドル時の数値も、Seagate の仕様とほぼ一致しています。
明らかな観察結果: システム コンポーネントの残りと比較すると、3.5 インチ ドライブは電力を大量に消費するモンスターです。
HDD は最終的に SSD に置き換えられます。HDD スタンバイ時のアイドル消費量は非常に低いため、急ぐ必要はなく、HDD ドライブ/スペアが故障し、SSD の価格が下がるにつれて、このプロセスは徐々に進行します。
「最終段階」の計画は、すべて SSD で構築することです。当初の計画は、1 つのブート ドライブ、RAIDZ2 アレイ用の 6 つの NVMe (おそらく Crucial P3 4TB)、および 2 番目の RAIDZ2 アレイ用の 6 つの SATA (おそらく Samsung 870 QVO 8TB) でした。CPU に接続された M2/PCIe スロットを使用すると、予測不可能な状況になるだけでなく、C ステート/電力/温度のコストもわずかに高くなるため、計画を変更して最初のアレイの NVMe をいくつかあきらめ、代わりに SATA を使用して CPU 接続レーンに触れないようにするかもしれません。時間が経てばわかるでしょう。
不要なストレージの詳細
この部分は、ストレージに関する詳細な情報に興味がある場合にのみ読む価値があります。それ以外の場合は、最後のセクションまでスキップしてください。
NVMeブートドライブ
先ほど触れたように、これは Samsung 970 EVO Plus です。現在、500 GB のスペースのうち 4 GB 未満が使用されています (64 GB のスワップ パーティションは存在しますが、常に 0 が使用されています)。これが最初に選ばれたのは、Samsung が信頼性で評判を築いていたためです (最近は信頼性が低下しています)。また、アイドル時の電力消費に関しては、Samsung は常にレビューで高得点を獲得していました。このドライブはほぼ常にアイドル状態であり、コントローラーと NAND の温度はテスト中ずっと低く保たれていました (20 ~ 24 ℃)。最終的には NVMe ポートを解放するために SATA SSD に交換される可能性があります。
2.5インチHDD
これらのドライブは、最もよく使用される 6 ドライブのプライマリ ZFS RAIDZ2 アレイに使用されます。週に 1 日、24 時間にわたって数 TB の読み取りを伴うタスクで忙しくなります。残りの週の使用は散発的で、ドライブは週の大半をスピンダウンして過ごします。3.5 インチ ドライブではなく、2.5 インチのちっぽけなドライブが使用される理由を疑問に思う人がいるかもしれませんが、それには理由があります。それは、電力消費です。
2.5 インチ Seagate ドライブの消費電力は、正直言ってかなり印象的です。 回転停止時の定格消費電力はそれぞれ 0.18 ワット、低電力アイドル時は 0.85 ワット、読み取り/書き込み平均は約 2 ワットです。 この回転するドライブよりも消費電力の数値が悪い SSD は数多くあります。 5 TB の容量は、ワットあたりのストレージ容量がかなり大きいです。
これらの 2.5 インチ Seagate ドライブの主な欠点は次のとおりです。
- パフォーマンスはそれほど高くありません。ピーク時の読み取り/書き込み速度は 80 ~ 120 MB/秒です。ただし、公平を期すために言うと、多くの TLC/QLC SSD は、SLC キャッシュが使い果たされると、この書き込みレベルまで落ちます。
- SMR (Shingled Magnetic Recording)。読み取りは問題ありませんが、ランダム書き込みが発生すると書き込みパフォーマンスが急激に低下します。これは、TRIM も搭載されていない SLC キャッシュのない QLC SSD のように動作します。
- 低い定格ワークロード (3.5 インチ Exos ドライブの場合は 550 TB/年に対して 55 TB/年)。
- 設定可能なエラー回復時間 (SCT ERC) がなく、これらのドライブは、問題のあるセクターを執拗に再読み取りしようとしている間にエラーが発生すると、数分間ハングする可能性があります。Ubuntu は、30 秒後にドライブをリセットするのではなく、待機するように設定する必要があります。
- 熱くなるとエラー率が高くなります (いくつか交換する必要がありましたが、熱くなるのは好ましくないことがわかりました)。
- 典型的な HDD の問題点 (回転が遅いなど)。
Seagate に対して公平を期すために言うと、これらは外付け USB バックアップ ドライブとして販売されています。高さ 15 mm のこれらのドライブをエンクロージャから取り出して、NAS の RAID メンバーとして使用するのは、本来の目的どおりの使用とは言えません。消費電力が非常に低いのは素晴らしいことですが、明らかなトレードオフがあります。
長期的には、これらの 2.5 インチ 4/5 TB ドライブは、徐々に 4 TB SSD ドライブ (おそらくすべて NVMe) に置き換えられるでしょう。4 TB 容量の SSD は、2021 年または 2022 年にスピナーの約 4 ~ 5 倍のコストで消費者向けに提供され始めました。2 年も経たないうちにコストは約 2 倍に下がり、まともなブランドは Seagate スピナーの 2 倍以上の寿命を持つと予想しています。
Crucial P3 (Gen3) モデルがまだ入手可能であれば、Gen3 の速度に制限されているにもかかわらず、このモデルを使い続ける可能性が高いでしょう。Crucial P3 Plus (Gen4) も真剣に検討しましたが、レビューでは消費電力が高く、パフォーマンスが著しく向上した状況はほとんどなかったにもかかわらずです。P3 Plus (Gen4) に関する私の最大の懸念は、ASPM/APST に問題があった場合、Tom’s Hardware が 2TB モデルの P3 (Gen3) よりもアイドル時の電力が 0.3W 高いと示していたことです。私は「最悪のシナリオ」の電力が可能な限り低いことを好みます。
3.5インチHDD
セカンダリ 6 ドライブ RAIDZ2 アレイで使用されます。これは、週に約 2 時間稼働し、継続的に大量の書き込みを受けるバックアップ アレイです。
3.5 インチ Seagate ドライブの消費電力は、予想どおりです。これらの 10 TB ドライブの定格消費電力は、スタンバイ時で約 0.8 ワット、アイドル時で 2 ~ 5 ワット、読み取りおよび書き込み時で 6 ~ 9 ワットです。
ここでの懸念は 2 つあります。
- これらは、書き込み時に合計で約 45 ~ 50 ワットを消費すると定格されています。バックアップ中に長時間の停電が発生した場合、これは UPS に少し余分な負荷がかかるため、あまり望ましくありません (私は一般向けの 1500 ワット UPS を使用しています)。
- これらは、スタンバイ時に合計で約 4.8 ワットを消費すると定格されています。繰り返しますが、UPS の負荷をいくらか削減してもかまいません。
長期的には、これらのドライブは Samsung 870 QVO 8TB SATA ドライブに置き換えられると思われます。870 QVO は、ALPM ありのアイドル時に 0.041w/0.046w、ALPM なしのアイドル時に 0.224w/0.229w、コピー時には 2.0-2.7w の電力を消費します (Toms/Anandtech による)。
価格面では、Samsung 8TB SATA SSD は現在、8TB スピナーよりもかなり高価 (3 倍近く) なので、何らかの理由でこれらのドライブがより頻繁に使用されるようになるのでない限り、SSD への交換はスペアがなくなるまで待つことになるでしょう。
NVMe キャッシュドライブ
回転するハードディスクを SSD に交換する作業には、しばらく時間がかかると思われます。
一方、ZFS には、低速ストレージよりも高速ストレージ (通常は SSD) を活用するオプションがいくつかあります。
- 「特別な」割り当てクラス – 必要に応じて、メタデータ専用および「小さな」ブロック専用の vdev を作成できます。
- 一般に L2ARC と呼ばれるキャッシュ ドライブ。
プール作成時に「特別な」vdev を作成すると、すべてのメタデータ (およびオプションで、選択したサイズの小さなブロック) が、スピニング ドライブではなく「特別な」vdev に配置されます。ファイル自体にはスピニング ドライブを保持しながら、非常に高速なファイル リストとディレクトリ トラバーサルを実行できます。はい、HDD をスリープ状態から復帰させずに、多数のディレクトリを「ls」できます。最大の欠点は、すべてのメタデータがこの vdev 上にあるため、この vdev が故障すると、すべてのデータにアクセスできなくなることです。したがって、少なくともミラーリングする必要があります。3 方向ミラーも考えられます。いくつかのポートは不要になります。
L2ARC は少し異なります。これは基本的にレベル 2 キャッシュです。RAM のキャッシュがいっぱいになると、ZFS はブロックの一部を L2ARC にコピーしてから、そのコンテンツを RAM から削除します。次にそのデータにアクセスする必要があるときは、ディスクではなく L2ARC から読み取られます。「特別な」vdev と比較した利点の 1 つは、SSD が 1 つだけで済むことです。L2ARC のデータに問題がある場合 (チェックサムの誤り、ドライブの故障など)、ZFS は元のディスクからコンテンツを読み取ります。また、L2ARC がいっぱいになると、ZFS は L2ARC SSD の先頭から再開し、以前に書き込んだものを上書きします。これには、長所 (古いデータにはアクセスされなくなる) と短所 (頻繁にアクセスされたデータで、L2ARC に再度書き込む必要がある) があります。また、L2ARC デバイスをプールに追加したり、プールから削除したりすることもできます。64GB SSD、500GB SSD、2TB SSD を追加したいですか? どうぞご自由に。ZFS がブロックをそれらの間で分配します。数日後に 500GB SSD をプールから削除して別の場所で使用する必要がありますか? どうぞご自由に。L2ARC の最大の欠点は、デバイスを追加するときに「キャッシュ」を指定するのを忘れると、プールが台無しになってしまうことです。また、不完全です。慎重に調整しても、メモリから削除される前に、ZFS に必要なものをすべて L2ARC に書き込ませるのは困難です。同時に、データによっては、L2ARC に大量の書き込みが発生する場合があり、SSD の状態を注意深く監視する必要があるかもしれません。
過去には、「特別な」ものを使用したり、L2ARC を使用したり、両方を同時に使用したりしました (「特別な」vdev にすでに含まれているものをキャッシュしないように L2ARC に指示することもできます)。
今回は、4TB NVMe の L2ARC を選択しました。他のすべての 2.5 インチ ドライブが SSD に置き換えられ、SSD キャッシュの速度の利点が適用されなくなったら、このキャッシュ デバイスを削除するだけです (ただし、理論的には、1 つの L2ARC キャッシュ ドライブで大量の読み取りを処理すると、他の NVMe ドライブを低電力モードに維持できる時間が長くなります)。
結論 – 後悔?後悔?何が違った結果になったでしょうか?
ASRock J4005 のビルドでは途中でさまざまな点で失敗していることに気付きましたが、今回は同じ感覚は得られませんでした。今回はアイドル時の電力が低く、将来的に再利用しても柔軟に対応できる非常に有能なシステムになりました。
コンポーネントの選択には非常に満足していますが、MSI PRO Z790-P DDR4 (検討した他のマザーボードの 1 つ) が比較してどうなのか知りたいです。機能的には、MSI には 6 つの SATA ポートという利点がありますが、悪名高い Intel 2.5G ネットワーク チップという明らかな欠点があります。MSI には PS/2 ポートもありますが、PS/2 キーボードの消費電力が USB よりも低いかどうか実際に確認したことはありません (Powertop で USB キーボード ポートをシャットダウンできるようにすると 1 ワット節約できることを思い出してください)。そしてもちろん、ASPM と ALPM の設定を比較して、CPU に接続された PCIe/M.2 スロットで遭遇した問題が同じように存在するかどうかを確認するのも興味深いでしょう。
このシステムは現在、ドライブがスタンバイ状態のアイドル時の消費電力が 15 ~ 16 ワットの範囲ですが、すべての HDD を SSD に置き換えると、アイドル時の消費電力は 10 ~ 11 ワット程度になると予想されます。これは、72 TB 相当のドライブ、64 GB の RAM、かなり優れたプロセッサを搭載しているシステムとしては悪くありません。
更新:最近の Linux カーネルは、ほとんどの Realtek NIC の L1 省電力モードを無効にしているため、CPU が適切な C 状態に入ることができず、消費電力がかなり増加します。回避策はありますが、今後は Intel 1 ギガビット ネットワーク アダプターを搭載したマザーボードに限定する予定です (すべての問題が解決されたことが明らかになったら、Intel 2.5 ギガビットに移行する可能性があります)。Realtek NIC の状況の詳細については、以下のコメントを参照してください。 私がコメントの奥深くで言及しているスクリプトは、以下にある:RTL8125-ASPM.sh.txt .
SATAポートがもっとあるボードを見つければ、多くの頭痛の種を回避できたと思います。
私の側では、チップをC3を超えることはできませんでした。私は意図的に余分なコンポーネントの量を減らすようにしました(これらのSATAコントローラーのように、それらがどれほど当たり外れがあるかについて読んだことがあります)。
BIOS設定を再確認して、記事で言及したすべての関連事項が有効になっていることを確認します。
とても興味深い記事でした。
ECCは気にしないということですが、常時稼働のサーバー、特にZFSでは必須だと言う人もいます。
また、NVMEはSSDよりも燃料を消費するようです。
私は質素なECCマザーボードを探していますが、まだ何も見つかりません。
とりあえずJ5040 AsrockボードでUnraidを動かし、1TBのSSDを2台ミラーリングし、メカニカルWD'Sを3台スリープさせている。
システムのアイドル時の消費電力は19ワットで、Asmediaコントローラ(4)を追加する前は16-17ワット(C6)でした。古いseasonic PSUは近々Corsairに交換する予定です。
よろしく
Geert
2つ目のM.2スロットが埋まっている場合、6つのSATAポートのうち5つしか動作しないことを覚えておいてください。私の記憶が正しければ、H470M DS3HのBIOSは、CSMモードにしない限り、いくつかのオプション(IGPUや専用GPUの強制など)を隠していました。さらに、LSI SAS HBAがインストールされていると、ブート画面でランダムにエラーが出てハングアップし、再起動の必要がありました。しかし、通常のSATAコントローラーは問題なく動作しました。このような奇妙な小さなニュアンスはさておき、私はこのボードが信頼できるものであることを発見しました。
同じような記事で、ECCをサポートし、アイドル時の消費電力が低く、Linuxと互換性のあるシステムを発表する予定はありますか(例として、AMDのアイドル時の消費電力の低さはLinuxにとってベストではないと思います)。
私自身、近々このようなビルドを計画しているのですが、来月か再来月にビルドを始めるべきか、それとも少し待って、コンポーネントの選択についてより良い教育を受けた決断を下すのに役立つサイトを提供してくれるあなたの出版物を読むべきか、知りたいのです。
とはいえ、よく練られた記事をありがとう。非常に効率的な低電力NASを構築するための重要な部分を強調する素晴らしい仕事をしてくれた。
また、ブートドライブとして970 Evo Plus(2TB)を入手し、低パッケージCステート(C8)に到達するためにはチップセットに接続する必要があることを確認しました。興味深いのは、SSDをチップセットに接続した場合、パッケージC3とC8の差がより大きくなることです。これは、チップセット自体が、接続されたすべてのデバイスがASPMをサポートし、SATA Link Power Managementがアクティブな場合にのみ、ディープスリープ状態に移行するためだと思います。
SSD を CPU PCIe に接続しても消費電力は ~2W しか増加しませんでした(パッケージ C3 対 C8)。一方、チップセットに接続されたデバイスで ASPM を使用しない場合、チップセットだけでさらに 5W を消費するようですが、パッケージ C-State には同じ効果(C3)があります。
注目に値する興味深い点は、PCIe 1.1 DVB-Cキャプチャカードをチップセットに接続していることだ。ASPMはlspciによってカードの能力としてリストされており、pcie_aspm=forceでカーネルを起動したにもかかわらず、そのカードでは有効になりませんでした。setpci経由でASPMを強制的に有効にする必要があった。 https://wireless.wiki.kernel.org/en/users/documentation/aspm 。問題なく動いているようだ。これでアイドル電力が15Wになった。残念ながら、キャプチャカードはまだ5Wほど消費している。そうでなければ、アイドル時にスピンダウンする東芝製の2x4TB HDDを接続しているだけだ。
ちなみに、Sata Hot Plugはすべてのポートで無効にしておく必要がある。
1) マザーボードがGPUなしでの起動をサポートしていない限り、GPU内蔵CPUを使用した方が良さそうです。システムインストール後に)ディスクリートGPUカードを取り外すだけで電力使用量を減らそうと考えていましたが、このマザーボードはGPUが接続されていないと起動時にハングします!ググってみると、この状態はコンシューマー向けマザーボードではよくあることらしい。xblaxの数字を見ると、彼はより良いアイドル電力レベルに達することができるようだ(大丈夫、マザーボードは全く同じではない...)。
2)私はすべてのコアでC10状態に到達できるが(powertopの一番右の列)、アイドル時に到達するパッケージのC状態は、ディスクリートGPUにどのPCIeスロットを使うかに依存する。CPUレーンが使用する最初のPCIスロットを使用すると、99%の時間、パッケージC2状態を超えることができません。この構成では、平均メイン電力は安定して26W以下です。GPUをB760チップセットレーンが提供する他のスロットの1つに移動させると、パッケージC状態は約7%(C2)と91%(C3)に達し、平均電力は22Wを下回りますが、安定性は低下します。
この結果を改善する見込みはあるのでしょうか、それとも12100 CPU(GPU付き)を購入した方が良いのでしょうか?
sh -c "echo 1 > /sys/bus/pci/devices/0000:01:00.0/link/l1_aspm"
(0000:01:00.0をあなたのRealtekカードのコアに置き換える必要があります。)
もし試してみたら、どんなCステートとワット使用量になったか教えてくれる?)
また、iGPUに交換して古いGPUは取り外しましたか?
MSI PRO B760M-A WIFI DDR4(ASUSのものと同じようです)を使っている人も同じ問題を抱えているのを見ました。
2.5GbitポートでASPM L1を使用し、BIOS設定をすべて行い、"powertop --auto-tune "を使用することで、そのボードで約13-14Wに達することができました。
USB/スクリーンは接続せず、CPU(12600)とチップセットスロットのSamsung 980 Pro Nvme 1台のみで、proxmoxはアイドルで動作しています。
しかし、私はBe quietを使っています!Dark Power Pro 11を使用していますが、低負荷時の電力効率はあまり良くないと思います。中古のCorsair RM750(/x)/RM650(/x)を探そうと思っています。
tweakpc.deに良いテストがあります。
素晴らしい記事をありがとう。
僕はNASを作ろうと思っているんだ。消費電力が主なトピックなので、以下の構築についてどう思いますか(しかし、私はシステム、何が可能か、またはこのような低いtdpチップの限界について、ちょっと初心者です)?
Asrock N100M micro ATX (新しいIntel® Quad-Core Processor N100 (up to 3.4 GHz)と6Wのtdp。SATAポートが2つしかないので、1 x PCIe 3.0 x16スロットに8つの追加SATAポートを持つSAS HBAカードを追加することを考えます。ストレージは、TrueNas OS用に1 M2(マザーボードのもの)、VMやDocker用に2 SSDミラーリングsata...、そして最終段階として8 HDD Seagate EXO 7200 rpmドライブ(最初に2台、その後必要に応じて増設)。
電源はSeasonic Focus PX 550W - Modular 80+ Platinum ATX、そして最後に32GBのユニークなスティックラム(非ECC)です。
よろしくお願いします。
SAS HBA カードについては、あなたが検討している特定のカードについて、他の人が見ているアイドル時の消費電力を調べることをお勧めする。BSD がカードをどのように扱っているかはわからないが、デフォルトで ASPM が有効になっているようないくつかのカードのうち、Linux は、ある時点で、問題のためにカーネルでそれを無効にするようだ。とはいえ、これは、私が ASRock J4x05 ボードで見たことに基づく推測に過ぎず、N100 には当てはまらないかもしれません。
Seasonic PX 550Wは素晴らしい選択です。
全体的に堅実な作りのようだ!
低消費電力を実現できるマザーボードを見極めるヒントはありますか?ITXマザーボードを勧める人が時々いますが、ITXとATXで通常何ワット節約できるのか、測定値を見つけたことがありません。今となっては、ITXはこのビルドには使えなかったでしょうが、ATXはいずれにせよ電力消費の大きな原因ではなかったようです。一般的に、どのマザーボードが電力効率に優れ、どのマザーボードがそうでないかを見極めるのは非常に難しいようですね。
Eコアのシリコン・オーバーヘッド」とはどういう意味ですか?また、なぜそれを避けようとしたのですか?Eコアを搭載したCPUはおそらくより複雑であることは理解していますが、CPUが低負荷で非集中的なタスクを行っている場合、Eコアはより低い電力使用量につながると思っていました。
素晴らしい情報をありがとう。同じような電力効率のシステムを構築できることを願っています。今、私はGigabyte Z790 UD AXマザーボードとi5-13500システムを持っていますが、28Wを切ることができません。
ITXの利点は、部品点数が制限される傾向があることですが、厳密に必要というわけではありません。先週、冒頭で紹介した「Intel i3-10320 on a Gigabyte H470M DS3H」を実際に再利用し、アイドル時で6ワットまで下げました(ヘッドレス、キーボードなし、オンボードIntel i219V 1GbEネットワークのみ、BIOSでc-states、3台のSamsung SATA SSD 840/860/870、Corsair RM850電源、Ubuntu Server with powertop)。非常に実用的なマザーボードだ。このボードはもう入手できないので、別の記事は書かないが、この記事にあるMicroATXのGibabyte H470ボードで6ワット、ATXのASUS H770ボードで7ワットが、これまでの私のベスト2結果で、どちらもITXではなかった。さらに気づいたことがある。これらのボードはどちらも電源フェーズが6つしかない。
Eコアシリコンのオーバーヘッド」については、https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ に多くの詳細が掲載されているが、要約してみよう。i5-12400は、6個のPコアと0個のEコアが有効になっており、一般に6+0と呼ばれるが、2つのバリエーションがある:もともと8+8だったコアを融合して6+0にした「C0」ステッピングと、6+0として直接製造され、もともとEコアハードウェアを内蔵していなかった「H0」ステッピングである。テスト(その記事の5ページ)では、C0はベンチマークによってはH0より最大16ワット多く電力を消費し、アイドル時にはほぼ11ワット多かった。C0のサンプルに電力リークを引き起こす他の要因があった可能性もあるし、何か他の変数が働いている可能性もあるが、いずれにせよ、物理的なEコア・ハードウェアを内蔵した2つのチップは、アイドル・テストではうまくいかなかった。
私はほとんどのシステムでアイドル消費電力を極めて低く抑えることに重点を置いているため、Eコアを搭載したチップのアイドル消費電力が10ワット以下であることを示すデータを見るまでは、P/Eコアを組み合わせたチップを買うことを正当化できない。そして、私はまだそう思っていない。AMDのミニPCは、Ryzen 9 7940HS( https://youtu.be/l3Vaz7S3HmQ?t=610 )のアイドル時消費電力が6~7ワット程度まで下がってきている。AMDがこのタイプのAPU設計をデスクトップにも導入するか、ASRockのような企業がこれらの印象的なHSチップをカスタム・マザーボードに搭載し始めたら、Intelはすぐに低アイドル時消費電力市場を失うことになるだろう。
とはいえ、あなたのボードに非効率なMOSFETがたくさん使われていたとしても、28ワットという消費電力は、回転する錆や電力を消費するPCIeカードがない限り、少し高いように思えます。C6以上のパワーステートに達しているかどうか確認しましたか?メインPCIeスロットにASM1166を装着したときはC2に制限され、22ワットを消費していたことを思い出してください。
確かに、私が共有した28Wはそれほど良いものではありませんでした。HDDからSATAケーブルを抜けば、電源が切れたままになると思ったのは間違いだった。後から考えれば明らかなように、PSUからもケーブルを抜く必要がある。さらに、電力を消費するとは知らなかった周辺機器がたくさんPCに接続されていた(特に、接続されたモニターは大きな違いがある)。すべてのHDDとすべての周辺機器を取り外した後、8~10Wの範囲の測定値を得た。
これが他の人にとって有益なデータポイントになることを願って、もう少し詳しく説明しよう。CPUはi5-13500で、Gigabyte Z790 UD AXマザーボードを使用しています。接続されているのはSATA SSDとメモリ1本だけだ。PSUは850WのCorsair RM850x。システムはC8、さらにはC10に達している。消費電力を減らすにはもう少し工夫が必要だろう。GNOMEでアイドリングしているときに計測した(DEを実行しないことで、CPUをほんの少し節約できると思っている)、低い温度でもゆっくり動いているCPUファンが2つある、システムはWiFiを使っている(イーサネットの方が消費電力が少ないと思っている)、ケースLEDもHDオーディオも無効にしていない。
消費電力のレベルにはとても満足している。おそらく、少なくともこのCPUでは、インテルEコアはアイドル時の消費電力にあまり影響を与えないということが1つの収穫だろう。今ある唯一の問題は、システムが不安定で散発的に再起動することです😭。CPUの不良かマザーボードの不良(PSUを交換してみたが、memtest86+によるとメモリは問題ないとのこと)。パーツを購入した会社はどちらも問題ないと言っているが、他の解決策が見つからない限り、CPUとマザーボードをローエンドパーツ(第13世代のi3とAsus B760M-Aマザーボード)に交換してみるつもりだ。これで問題が解決すれば、他のパーツは返品できるだろう。最悪の場合は、格安パーツをサーバー用に、高級パーツをワークステーション用に使うつもりだ。
すべての設定を試しましたが、c8/10を有効にするとシステムが不安定になり、ある時点でシャットダウンします。すべてのドライブとケーブルをチェックし、psuを2回交換しました。このスレッドから判断すると、これはギガバイトの問題のようです。BIOSのファームウェアもいろいろ試しましたが、うまくいきませんでした。CPUのRMAで解決しないのであれば、ギガバイトのz790マザーボードの問題のようです。
もしCPU RMAがうまくいかなければ、我慢するか、売り払って別のボードを買うしかないでしょう。
このスレッドは少し古いので(2023年12月)、他にこの問題があって解決できた人はいないでしょうか。
ありがとうございました。
現在、ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos)をテストしていますが、モニターとUSB(マウス、キーボード)をサスペンドしたアイドル状態で、パワーメーターは6.7~8.1Wを示しています:
- i5 13500
- 2 x 16 GB 3600 MHz(ギア1)
- 1 TB KC 3000
- RM550x 2021
- 2 x 120 mmファン@450 rpm
- オーディオコーデックオン
- WiFiオフ
Arch Linux + RTL8125モジュール (私のルーターはEEEをサポートしていません)
Realtekカードを無効にすると、パワーメーターは6.4 - 6.7 Wを示します。
LAN付きPCの状態
C2 (pc2) 0.7%
C3 (pc3) 1,3%
C6 (pc6) 41,1%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0%
C10 (pc10) 55,8%
LANなしのPCの状態
C2 (pc2) 0.6%
C3 (pc3) 0,9%
C6 (pc6) 0,0%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0%
C10 (pc10) 97,8%
B660 AORUS MASTER DDR4 (16+1+1)でも同様の結果でした。
私の新しい12-14W PCの経験を共有したいと思います。
私はファンレスのmini-ITX PCを作りました。ケースもパッシブクーラーであるAKASA Maxwell Proで、内部にはAMD Ryzen 5600G (Zen 3、TDP 65W)、Gigabyte B550I AORUS PRO AX (bios FB)、1x 16GB DDR4(2x32GBにアップグレード予定)、1x 2TB Samsung 980Pro m.2 SSDが搭載されています。電源はAKASAの12V AC/DC電源(最大150W)とInter-Tech MINI-ITX PSU 160W。
Windows 10環境でのPC全体のアイドル時消費電力は12~14W(DC側で測定、電源プランはバランスだが、BiosでASPM、Pstates、C-statesを有効にし、Windowsの電源プランの詳細設定でPCIe省電力を有効にした)。
負荷時(Cinebench R23)は61-65Wです。現在、消費電力と温度を改善するためにアンダーボルテージを行っています。
----------
私の小さなホームラボとNASのアイドル消費電力は2W以下です ‼️
Odroid H3 (H3+)はBIOS 1.11とDebian 11 + DietPi + kernel 6.0.0(またはそれ以降) + powertopによる調整でアイドル消費電力は1.2-1.5W (RPi 4 - sourceの2.7Wと比較) ⚡️ (私の構成: 1x 16GB RAM and 1x SATA SSD)です。
見る: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif
最大メモリサイズは64GB RAMで、1x m.2ポート、2x SATA 3、2x LAN 2.5Gbpsを備えています。Raspberry Pi 4よりはるかに高速で、アイドル時の消費電力は低い。負荷時の消費電力は20W(接続デバイスによる)。
より多くのSATAポートが必要な場合は、m.2ポートを5x SATAに拡張できます。 https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
私は今、新しいNASのアイドル時の消費電力をデータドライブなしで40W以下にするのに苦労している。私のゲーミングデスクトップのアイドリング消費電力はもっと低い。
Asrock H670M-ITX/acで、i3-12100、8GB RAM、be quiet 400W PSUです。元々はOSにKingston NV2 NVMeを使用していましたが、SATA SSDに交換したところ、アイドル電力が10Wほど減少しました(50W - > 40W)。
Powertopによると、コアは問題なくC7に入るが、パッケージはC2から出ようとしない。それがどの程度重要なのかはわからない。
あなたの記事を参考にしながら、作業を続けてみます。)
マット
あなたの記事に触発されて、同じマザーボード(prime h770 plus d4)と同じようなプロセッサなどを購入しました。最低12-14wに到達することができました。今のところそれで満足していますが、パッケージがc8に達しないために8wが追加され、とてもイライラしています。
悲しいことに、これはカーネルに含まれるRealtekドライバに対する意図的な変更である。これは、事実上すべてのRealtekアダプターでL1が無効化されるようにするもので、低電力状態が有効化されると安定性に問題が生じるRealtekアダプターが多数あることに対応したものと思われる。私の現在のテストシステムでは、システムがC3を超えなくなったため、画面がスリープした状態でアイドル時の電力が4ワット増加した。
Tseting氏によってリンクされたRealtekドライバを試してみるのが、今のところ最も簡単な回避策になりそうだが、サポートされていないカーネルバージョンでどうなるか見当もつかないし、私は個人的にカーネルモジュールの大ファンではない。 https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
カーネルのコンパイルに慣れている人は、上の差分の変更を元に戻すとL1/L1が復元されます。 もしL1.2を許可したいのであれば、rtl_aspm_is_safe()がtrueを返すように強制することができる。
カーネル開発者の気が変わらない限り、インテル製NICが今後の唯一の有効な選択肢になりそうだ。Intelの1G NICは、一般的に非常にしっかりしている。心配なことに、私のMSIボードのRealtek NICを無効にしても完全に切り離されないことがわかった(まだC3で止まっている)ので、Realtek NICを無効にしてIntelネットワーク拡張カードを使う予定でRealtek NIC搭載ボードを買うのは危険かもしれない。今後、ベンダーが8125A/BアダプタにL1.2がテスト済みで許可されていることを示すフラグを設定することができ、Linuxカーネルがそれを尊重するようになることは注目に値する。
詳細な情報をありがとうございます。
あなたのセットアップに触発され、4800 DDR Ramを含む "Prime h770-plus "を購入しました。
残念ながら、NVME SSDのaspmがbiosで有効になっている場合(およびPCI Expressのクロックゲーティング)にも問題があります。WDの特定の省電力モードをブロックする回避策は役に立ちませんでした。SN750(1tb)とSN850X(2tb)を試してみました。
それとも、ASPMの問題で定期的に失敗するのでしょうか?
ASPMを有効にして、ボード上の他のNVMEを確実に動作させているのは誰ですか?
そのセットアップを連続稼動させていますか?
さらに、私は、少なくともSATA1上の840pro(256GB)は、システムがC3より低くなるのを防ぐことがわかりました。一方、Crusial Force GT (128GB)はC8まで動作します。
Realtek NICの問題は、カーネルのチェックを外すことで回避しました。
ありがとうございました。
それ自体は、ほんの数ドルで本当に効率的なnvmeドライブだ。しかし、私たちの用途に最適なのは、いくつかのBios設定でどのCPUでもc10まで動作させることができる点だ。
「より多くのSATAポートを搭載したボードを見つければ、多くの頭痛の種を避けられたと思います。
それは、どのSATAコントローラーが使われているか、またはこれらのポートがどのように接続されているかによるので、デフォルトでは真実ではありません。オンボードコントローラを使用している可能性が高く、特にN5105については、KingnovyとToptonから販売されている6-SATAポートのNASバリエーションが広く知られています。
黒はJMS585、緑はASM1166を使用し、黒はC3、緑はC8まで使用可能です。もし私がバックアップサーバー以上のものを必要とするなら、LGA1700でよりパワフルなIntelを搭載したこちらのルートを選ぶだろう。
SpindownでSATA経由のHDDを2台搭載した場合、アイドル時の消費電力は2W未満です......しかし、(間違った)コンポーネントを追加するとすぐに消費電力は加速します:
https://github.com/fenio/ugly-nas
TLDR:最終的には、あなたのビルドよりも多くの電力を消費することになります。そして、私は以前Odroid H2を所有していたのですが、5Vレーンを破損し、(高価な)SSDを引き抜いてしまいました...それ以来、私はOdroid H3のようなエキゾチックな組み合わせで最低消費電力の絶対的な最大値のために離れています。
結局のところ、すべてが実用的か、消費電力レベルかということになると思う。
750WのPSUで7Wのアイドリングというのは大したものだ。
私は現在、自宅サーバーをj3455から11400にアップグレードしています。
ハードウェアの切り替え中に奇妙な問題を見つけました:
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (最新bios) +asm1166 です。
SATAドライブを接続せずにUSBからブートすると、パッケージCの状態がc8になります。
オンボードのSATAコントローラにSATAドライブを接続してUSBからブートした場合、パッケージCの状態はC2 (+4W)にしか達しません。
SATAドライブをpcie asm1166に接続してUSBからブートした場合、パッケージCの状態はc8に達した。
つまり、b560 SATAコントローラーは省電力に問題があるようだ。L1をすべて有効にしてpowertop tuneを実行しても、c2以下になりません。
b560 SATAコントローラーが4W以上消費する原因について何か考えがありますか?
* SATAリンクステートパワーマネージメントが有効になっているか確認してください(私のH770ではAdvanced/PCHStorageConfiguration/AggressiveLPMSupport の下にあります)。* ASUS Prime B560M-Aマザーボードのページには、SATA_2ポートがM.2_2スロットと帯域幅を共有すると記載されています。内部でどのように処理されているかは分かりませんが、SATA_2に接続されている場合、マザーボード上の他のSATAポートを試してみてください。
* SATA ホットプラグを無効にする (xblax が上記で言及しています)
SATA Hot Plugを無効にする (xblaxが上記で述べています) * 他のSSDがあれば試してみて、違いがあるかどうか確認する (SaveEnergyが上記で述べています)
結局、オンボードコントローラの代わりにASM1166をもう1つ追加した方が安上がりかもしれません。
これは有効で、無効にもしてみましたが、消費電力やC-Stateは変わりませんでした。(今のところ有効のままにしておきます。)
BIOSでは、M.2_2がSATAを使用しているかPCIEを使用しているかを指定することができます。BIOSとマニュアルによると、SATA6G_2はM.2_2がSATAに設定されている場合のみブロックされます。
しかし、私はASM1166をM.2_2に接続し、PCIEとして設定しました。この設定で、すべてのオンボードSATAポートが期待通りに動作することを確認しました。
ホットプラグはデフォルトではすべてのポートで無効になっています。何かが変わるかどうか確認するために有効にしてみましたが、変わりませんでした。今は無効のままにしておきます。
USBからブートして、いろいろなデバイスを試してみました: 2台のSSD(Emtecと古いSamsung)、2台の3.5インチHDD(WDとSeagate)、そして1台のLG DVD Burnerです。
どんなデバイスが接続されているかは関係ないようだ。
SATAオンボードのC2が最大になるのは、デバイスを接続したときだけです。
これを確認するために、SATAデバイスを接続したUSBスティックから起動し、起動中にすべてのデバイスを抜いてみました。
最後のSATAデバイスを物理的にシステムから外すと、すぐにpc6になり、その後すぐにpc8になりました。
すべてのSATAデバイスを再接続するとPC6/8のままですが、dmesgは再接続を認識しません(ホットプラグが無効になっているためと思われます)。
dmesgのブートログを調べると、何か面白いことが出てくるかもしれません。
-moboのm.2スロットは動作します(m.2 ssdでテスト) -sataコントローラは動作します(moboのm.2-pcieアダプタとx16スロット、別のミニPCのm.2スロットでテスト) しかし、asm1166をm.2スロットに接続しても、biosやlspciでは何も表示されません。 つまり、asrockのボードに何らかの問題があるようです。 この先どうすればいいのかわかりません。
また、一般的に理解できないことが1つあるのですが、ホームサーバーをNASとして使用しながらルーターとしても使用する場合、常に何らかの作業をしなければならないことを考えると、アイドル時に高cの状態に達することはないのでしょうか?私はギガビット接続で、現在pi4でopenwrtを使っていますが、qosを有効にするとダウンロード速度が半分になります。
ありがとうございました。
ルーターになるかどうかについては、数週間以内に試してみたいと思っているが、わからない。現在、ASRock/Intel J4005B-ITXをルーターとしてOpenWRTを走らせているが、マザーボードの限界はC6だ(ただし、パワートップ後、YouTubeストリームを含む典型的な家庭用トラフィックで88~92%の時間をC6で過ごしている)。電源は古いAntecのPSUを使用しており、常に10ワットで動作している。
編集・更新 12月13日 フォローアップのために、Asus H770 + i3-12100 + Intel i350-4T で OpenWRT を実行し、SYSTEMD_SECCOMP=0 で特権を実行する systemd-nspawn コンテナで少しテストしてみました。
何もしなければ、90-95%の時間は C10 になります。
テストA:1台のデバイスでYouTubeを視聴している場合、90%がC10。非常に軽量の家庭用トラフィック(平均3Mbit/s以下でスパイキー)に接続した場合、80~90%の時間C10になった。レートを4MB/s(約32Mbit/s)に制限しているウェブサーバーの1つからダウンロードすると、50~60%の範囲でC10になった。
テストB:外部VPSからローカルマシンへiperfテストを実行(ポート転送):
- 0Mbps = 約82% C10(家庭用トラフィックのみ)
- 1Mbps = 約73% C10
- 5Mbps = 約61% C10
- 10Mbps = 約58% C10
- 20Mbps = 約30% C10
- 30Mbps = 約12% C10
...40Mbps強で0になった。
テストC:興味深いことに、2つのローカルネットワーク間でルーターを通過させると(NATなし、転送のみ)、異なる結果が得られた:
- 0Mbps = 約82% C10(家庭内トラフィックのみ)
- 1Mbps = 約82% C10
- 5Mbps = 約80% C10
- 10Mbps = 約74% C10
- 20Mbps = 約70% C10
- 30Mbps = 約64% C10
...70Mbps強で0になった。
私はnspawnコンテナの中にいるので、OpenWRTのファイアウォールセクションでソフトウェアフローオフロードを試すことができず、それがテストAとBでの影響を和らげるかどうかを確認することができませんでした。
私が知る限り、ここでの要点は、コンピューターがファイアウォールとして処理できるトラフィックは、スリープする機会を見つけながらでもある程度あるということだ。しかし、もしコンピューターが眠り続けているとしたら...他の選択肢も魅力的に見えてくる。Intel J4005をもう一度テストしたところ(モニター以外には何も接続しない)、OpenWRTではC-Statesを無効にしても9-10Wだった。また、J5xxxシリーズも似たようなものだろう(N100についてはわからない)。もし若干のパワーが必要なら、私のRyzen 5600GはC-Statesを無効にしてUbuntu LiveDVDで22-23Wだ。Alder LakeのC-Stateの優位性が失われれば、どちらも同じように魅力的に見えるようになるだろう。
(英語
編集・更新 12月15日 ベアメタルで、Debian をルーターとして設定しました。テストBは、C10での時間が各項目で+6%だった以外はほぼ同じでした。フローテーブルは役に立たなかった。
テストCはもう少し良い結果で、最終的な数値は以下の通り:
- 70Mbps = 約70% C10
- 75Mbps = 約60% C10
- 80Mbps = 0% C10(ここで厳しい壁にぶつかった)
テストCでフローテーブルを有効にすると、もう少し改善された:
- 80Mbps = 約60% C10
- 85Mbps = 約45% C10
- 90Mbps = 0% C10(ここで厳しい壁にぶつかった)
テストD: 接続数の増加による影響をテストするため、トレントクライアントを起動し、グローバルダウンロード速度の上限を1MB/sに設定したトレントを大量に追加した。
- 0接続 = 約80% C10(家庭用トラフィックのみ)
- 16接続 = C10が36~39%のばらつき
- 32接続 = 33-35% C10に変動あり
- 64接続 = 26-29%のばらつき C10
- 128接続 = 変化あり 21-29% C10
- 256接続 = 約20% C10
- 512接続 = 約15% C10
- 1024コネクション = 約5% C10
...さまざまなポイントでフローテーブルを試してみた。ポジティブな違いはなかった。
この旅でいくつかの興味深い発見に出くわした。
まず、フローテーブルはまったく役に立たなかった。どちらかといえば、オンライン・スピードテストの方がピークが少し低くなるように思えた。もしかしたら、私が使用した Intel i350-T4(Debian ベアメタル H770 と OpenWRT ベアメタル J4005) に特有のものかもしれません。
第二に、コンテナ内のOpenWRTは快適な経験ではありませんでした。ある接続はしっかりしていて、ある接続は苦戦しているという奇妙な問題が発生した。おそらく、十分な調整と説得があれば、スムーズに動作させることができるだろう。VMはベアインストールで2~2.5%のCPUをフルに消費し、Cステートにはやさしくないことがわかったので、それ以上は追いかけなかった。
3つ目は、これは非常に曖昧で、ASUS H770、あるいは私のハードウェアの組み合わせ、あるいは私が実行したLinuxカーネルに固有である可能性が高いのですが...内蔵のRealtek NICがBIOSで有効になっていても、(systemd-networkd .networkファイルによって)有効化されていない場合、別のネットワークカードをインストールして有効化すると、システムが50%の時間をC3で過ごすことになりました。有効化」というのは、[Match]name=Xのような単純なもので、残りは空という意味です。i210、i340、i350を試しました。i350-T4を使っているとき、オンボードNICを無効にしてカードを2番目のPCIEx1スロットに移動した後、powertopの対応するSMBUS項目も消えていることに気づきました。時々、ASUSはPCIEバス上でグレムリンを動かしているようだ。
あなたのビルドに従い、i3-13100 CPU搭載の同じマザーボードを購入しました。
解決できない問題が1つあり、どこで何を探せばいいのかわかりません。
ubuntu22.04をインストールし、23.04でも試しましたが、問題は変わりません:
http://www.google.com にpingを送ろうとすると、キーボードとマウスを外したとたんに問題が発生します:
- ドライバr8168で「ping sendmsg no buffer space available(pingの送信にバッファ領域がありません)」。
- ドライバーr8125では「pcie link is down」。
電源管理オプションはすべて外しました。
別のUSBデバイスを接続してみました。
何か手がかりはありますか?
1. dmesg "の出力をチェックして、関連するイベントがないか確認する。
2. 2.22.04/23.04のLiveCDで起動したときに起こるのか、インストール後に起こるのかを確認する。
3. Ubuntu 23.10(RTL8125のASPMを無効にするカーネルと一緒に出荷されたリリースバージョンだと思う)を試す - LiveCDかインストールは#1の結果次第。
4. USBポートを1つずつ変えてみて、キーボードかマウスか(あるいは両方か)を絞り込む。
5. 5.ネットワークケーブルを抜き差しして、ネットワークが回復するか、それとも完全にダウンするかを確認する。
6. BIOSの "F1 for error "を無効にし、キーボード/マウスを接続せずにOSを起動してみる。
7. PCIeネットワークカードがあれば(このテストではRealtek製でないものが理想)、同じ問題が起こるかどうか確認してください。
もしかしたら、同じ問題にぶつかった人が返信してくれるかもしれません。私は結局キーボードを接続したままにしていたので、このような状況には遭遇しませんでした(最終的にはパワートップでスリープしても平気なワイヤレスキーボードに交換しました)。ハードウェアの欠陥による奇妙な問題かもしれません。
CPU: i5-12600K
PSU Corsair RM750e
NVMe: Samsung 980 Pro
RAM: 2x16 GB DDR5
OS: Ubuntu 23.04 Server (USBから起動)
当初、ASRock B760M Pro RSを購入しました。BIOSを調整し、RealtekカードのASPMを強制的に有効にしても、PC-3を下回ることができませんでした。私の総ワット数は約15ワットでした。ひどいものではありませんでしたが、このマシンは24時間365日稼働する新しいホームサーバー用であり、もっと良くなることはわかっていました。ASRockのBIOSはPCの状態を明確に設定しておらず、Auto、Enabled、Disabledの3つの状態になっているだけなので、サポートを追加する予定があるかどうかASRockにメールしましたが、何も返事がありませんでした。それで、私はASRockとおさらばした。
ASRockを返品し、ASUS Prime B760-M-Aに乗り換えました。BIOSを設定し、powertopを実行した。ASPM L1はユーザーによる変更なしでRealtekで動作していた。約11ワットでした。DPケーブルとUSBワイヤレスKB/マウスを抜くと、7.2ワットまで下がりました。すごい!システムは非常に安定しているようだ。デスクトップ・コンピューターが電力使用に関してここまで進歩したとは、とても信じられない。
AsusのPrime b760M d4でビルドしたところ、私のマザーボードと全く同じことがわかりました。Asusに連絡して、CPU接続のpci/m2スロットに関するフィードバックがあるかどうか確認しました。x16 スロットに intel I226-v を、cpu m2 スロットに samsung 970 evo を接続すると C6 になります。
しかし、私のX710-da2ネットワークカードはx4スロットで動作させなければならない。
私のi226-v nicでは何の問題もない。
私の使用目的は、低消費電力の10ギガビットルーターを構築することでした。現在OPNsenseを使用していますが、システム負荷を下げるためにVyosに切り替えるかもしれません。
で試してみました
1. Intel X520-DA2(中国製ボード)、ASPMをサポートしていません
2. Melanox ConnectX4(中国製ボード)、ASPMをサポートしますが、C3のみを許可します
3. Randome I226 NIC - 中国製 - ASPM をサポートしていますが、ASPM を有効にすることはできません
それで、あなたは私に正確なモデルやあなたがあなたのi226v-nicを購入した場所を教えてください。
これを使ってみました。 https://www.aliexpress.com/item/1005005929535264.html
以前にもお聞きしたことがあると思いますが、有益な記事とお時間をありがとうございます。
サーバーを所有するという考えは、信じられないほど魅力的です。僕はPCを作り始めた時と同じように、youtubeのビデオを見たり、記事を読んだりして、なんとなくやってみたんだ。サーバー構築について調べると、自分が何をしているのか知る必要があることがすぐにわかる。
plex/jellyfinサーバーに、常時オン、低消費電力、完全なトランスコード機能を求めるなら、どのようなものがお勧めですか?皆さんはsynologyやQNapのような製品を高く評価したり低く評価したりしているようですが、それは私を躊躇させます。ありがとうございました。
素晴らしい記事をありがとう!今年、私はQNAP TS-351 (Intel J1800)とGigabyte Brix J4105の代わりに低消費電力NASを自作しました。私の要件は、この新しいシステムの平均消費電力がこの2つのシステムの合計よりも低く、はるかに優れた性能を持つことでした。あなたの(過去の)記事、オランダのTweakersフォーラム、ドイツのHardwareluxxフォーラム、unRAIDフォーラム、その他の情報源の助けを借りて、私は以下のように考えました:
- Intel i5-13500
- Gigabyte B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- 静かになる ピュアパワー12 M 550W
- 1x Toshiba MD04ACA50D 5TB (私のNASから)
- 2x 東芝 MG07ACA14TE 14TB (私のNASから)
- Crucial P1 1TB (NVMe)
- Samsung 980 1TB (NVMe)
- Crucial BX500 1TB (USB経由でバックアップ)
- トランセンド SSD230S 2TB (SATA SSD)
- Philips OEM USB2.0ドライブ(ブートドライブ)
このセットアップで、私は現在、様々なアプリケーションとデータベースで50近いDockerコンテナを実行しており、アイドル時に壁から17Wに達することができます。SSHを除いて、すべてがスピンダウンし、サービスにアクセスすることもない。これにはかなり満足している。パッケージC8は、特にほとんどのアプリケーションがあまり動作していない時や、停止している時に到達することがある。すべてを停止すると、unRAIDで最低でも11Wに達する。
Intel 600/700で気づいたもう1つのことは、ZigbeeやZ-WaveデバイスのようなUSB2.0シリアルデバイスを使うと、消費電力がかなり増えるということです。5-7Wといったところだ。私は現在、これを回避するためにPi上でser2netを使っています。GigabyteとIntelに問い合わせましたが、どちらもこの問題は否定していました。
また、私はほとんどのアプリでEコアを利用しており、平均1~2Wの節約になっている。タスクセットでそれらのコアに移動させるシステム・プロセスもある。これはかなり良いようだ。
Realtek NICについては、最近アプリストアで入手できる「ネイティブ」Realtekドライバを試したが、私の場合はL1を完全に無効にした。その結果、4Wが追加されました。カーネルドライバに戻し、L1を強制する: `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` でL1を強制するとうまくいく。
何か質問があれば、いつでも連絡してほしい。良いお年を<3!
/sys/bus/pci/devices/$DEVICELOC/link/l1_aspm
の設定については知りませんでした。MSIボードのRTL8125で試してみたところ、とてもうまくいきました。カスタムカーネルを構築する代わりに、ブート時にこれを設定するだけなので、ずっと簡単です。残念ながら、古いGigabyte H110NのRTL8168にはこのsysfs設定がないようなので、Intel i210(1Gビットにもかかわらず、AliExpressの2.5GビットIntel i225より少し高い)に交換する機会があるまで、カスタムカーネルを使い続けることになるだろう。私のセットアップ
I5-12500
Asrock B660M Steel Legend
64GB DDR4-3200 Corsair LPX
2xNVMEドライブ (SK Hynix Gold P31 x 1、TeamGroup x 1)
ASM1064 PCI-Express 3x1 to 4 SATAアダプタ
Realtek 2.5G NIC
3x120mmファン
Proxmox 8、Linux 6.5.11カーネル。パワーセーブガバナー有効。
すべてを基本的なものだけにし、ストレージやその他のデバイスをすべて取り外した。オンボードオーディオ、realtek nic、ASM1062 SATAコントローラーを無効にした。USBスティックから起動してPowertopを実行したところ、C2が~50%、C3が~50%でした。それ以上ではありませんでした。すべてのデバイスがLSPCIを使用してASPMをサポートしていることを確認し、バイオスで見つけたASPM電源関連の設定をすべて有効にしました。卑劣なオーバークロック設定も探したが、有効になっているものは見つからなかった。この構成では、電力使用量は~20Wでした。ASM1064 SATAコントローラーとNVMEドライブを追加しても、大きな違いはありませんでした。powertop --auto-tuneを毎回実行しましたが、大きな影響はありませんでした。
その後、Nvidia 1660 Super GPUを追加し、軽量Linux VMにパススルーしました。nvidiaドライバをパーシステンス・モードで実行すると、nvidia-smiが~1ワットを使用していると報告する。これで~10~20Wの節約になる。
8台のHDD(Western Digital RedsとSeagate Exoドライブのコンボ)を追加すると、マシンのアイドリングは~100Wで、80%の時間をC2で過ごす。
その後、メインのVMを起動し、SATAコントローラをパススルーする。電力使用量は30W増加して130Wになり、そのままです。ホストのPowertopは、パッケージがいかなるCステートにも入らないことを示しています。ドライブのスピンドダウンは設定していません。
何か質問しているのかわかりませんが、私の経験を共有したいだけです。大きな違いはなかったとしても、いくつかのことを学んだのは確かです。
VMからホスト上のLinux LXCコンテナに移行しようかと考えている。VMが電力管理に何らかの影響を与えているのではないかと思っています。非常に詳細で興味深い記事をありがとう!
Corsair SFX SF450 Platinum
ASRock Z690-ITX
Corsair DDR4 2*16GB 3200 MHz
2 Samsung NVMe 980 Pro 1TB on board miniPCIe (ZFS Mirror)
1 Samsung EVO 870 2TB SATAオンボード (ext4)
I5-12400ステッピングH0
Realtek 2.5G 無効
CPU 上に Noctua ファン x 1 (92mm)
Proxmox 8.1 (1 Docker LXCをプレックスで実行)
スクリーンなし、キーボードなし、マウスなし
BIOSはASRockのデフォルト・パラメータでロード + オーディオ/Wifiは無効、ASPMはすべて有効
壁でのアイドル時消費電力 = 18W
Powertopによると、Pkg C2 28%、C3 64%、Core CPU C7 97% です。
とにかく、マザーボード (Asus Pro WS W680-ACE IPMI) の ASPM ページですべてを有効にしてみたのですが、Native Aspm (Enabled にすると OS ASPM サポートが追加されるはずです) だけは毎回 Auto にリセットされてしまうことに気づきました。何か手がかりはありますか?
このコマンドを実行すると、これが実際のデバイスの状態です:
BIOSに関しては、私の推測では、"Native ASPM" Auto/Enabledでもおそらく同じ結果になると思います。しかし、万が一カーネルがデータ損失に関する理由で意図的にシステム上でASPMを無効にした場合に備えて、外部バックアップを取っておくことをお勧めします。お使いのASPEED AST1150ブリッジが何を実行しているのかわかりませんが、ASPMが無効になっているようなので、その下流のデバイスも無効になっていても不思議ではありません。
トラブルシューティングの際には、再起動やテストの間にBIOS設定を1つずつ変更するのが便利です。PowerTOPで何もわからない場合(Ubuntu Live DVDのようなもの経由でも)、次善の策として、Kill A Wattデバイスを使用して変更の影響を測定するのがよいでしょう。
このボードをどう思いますか: ASRock PG Riptide Intel Z690 So. 1700 デュアルチャネル DDR4 ATX リテール
8つのSATAポートがあるので、他のPCIeカードは必要ありません(追ってお知らせします)。さらに、i5 12400Fと既存のHDD'SとSSDがある。
MSIのメインボードを搭載した私のオフィスのコンピュータでは、ここに書かれているようなC-State、省エネモード、その他の設定はありません。これはMSIのせいでしょうか、それともボード自体のせいでしょうか?B450M PRO-VDH MAX (MS-7A38)です。
何かありましたら、よろしくお願いします。
このボードについてどう思いますか: ASRock PG Riptide Intel Z690 So. 1700 デュアルチャネル DDR4 ATX 小売り
8つのSATAポートがあるので、他のPCIeカードは(追って通知があるまで)必要ないでしょう。さらにi5 12400Fと既存のHDDとSSD
MSIのメインボードを搭載した私のオフィスのコンピュータでは、ここに書かれているようなC-State、省エネモード、その他の設定はありません。これはMSIのせいでしょうか、それともボード自体のせいでしょうか?B450M PRO-VDH MAX (MS-7A38)です。
コメントありがとうございました。)
ご指摘のB450Mマザーボードについては、AMDマザーボードであり、私はB550ボードを数枚しか持っていないので、あまり経験がありませんが、よくわかりません。Global C-State Control "という基本的なトグルがあるかもしれません。CPUにもよりますが、Linuxを使用しているのであれば、6.x系の新しいカーネルは異なるamd_pstateスケーリングドライバをサポートしており、全体的な電力面でプラスに働くかもしれません。
同僚がミニPCを購入し、Unraidをインストールしました。これはm.2-SATAアダプタ付きで、6つのSATAポートがあります。これはおそらく2x m.2でも利用可能で、Ryzerカードを2枚取り付けることができます。
https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/
2つのドックと2x VMを使用し、何も設定しない場合の消費電力はアイドルモードで約9W。HDDは5台接続。
背後にモバイルCPUがあり、そのようなものを見つけることができるという考えです。何か経験はありますか?結果は良さそうで、性能は十分なはずです。
- Mini PCには独自の電源があり、HDDには160Wの2台目のPico PSUから電源を供給している。彼は空のNAS筐体を持っているが、2つのファンだけでさらに11Wを消費しているため、それをもう1度見直すことにした。
私のアイデアは、Mini PCを開け、HDDを含むすべてを私のATXケースに取り付けることだった。Nactuaのファンを1つか2つ、かなり下げて、Mini PC用のPico PSUに加えて、既存のATX電源を使用する。
ハードウェア
* CPU Alder Lake N6005
* サムスン980 1TB
* 32GB so-dimm
* 1 Gb/秒ネットワーク
ソフトウェア
* プロックスモックス 8
* LXC ホームアシスタント
* LXC Plex (I915 ハードウェアトランスコーディング)
* LXC dokuwiki
* LXC fileserve (smbd,filebrowser,vsftpd)
* LXC Syncthing
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
など
年中無休で稼働中
壁で計測した消費電力(ほとんどアイドル状態): 7ワット
=== AsRock Z690 ベースの自作「擬似 NAS」も持っています。
* CPU I5-12400
* 2 NVMe 1TB
* ハードディスク8台 ZFS Raidz2
* Proxmox 8
* デスクトップPCへの2.5Gb/秒ネットワーク
壁で測定した消費電力(ほとんどアイドル): 70ワット
オンデマンド動作
=== スイッチ8ポート
消費電力:8ワット
=== 現在の実験 ===
自宅での使用では、「疑似NAS」を24時間365日稼働させるのではなく、要求があったときだけ稼働させる。
NUC11にdebian wakeonlanをインストールし、次のようにしている。
必要なときに(スケジュールまたは手動で)実行できる
* Wakeonlan [MAC-ADDRESS-Z690] で NAS をウェイクアップする。
* systemctl suspend [PSEUDO-NAS-Z7690] でNASをスリープモードにする。
これはすべてうまくいく
消費量もモニターするHome-Assistantのグラフィカル・インターフェースに取り組んでいる。
これが私が見つけた最高の妥協点だ: NAS、低消費電力、ホームオートメーション)
アイドル時消費電力:~5.3ワット
ハードウェア
* asus prime h610i-plus d4
* インテル Core i3-12100
* Crucial RAM 32GB DDR4 2666MHz CL19 CT32G4DFD8266
* SAMSUNG 980 PRO SSD 2TB NVMe
* PicoPSU-150-XT
* Noctua NH-L9i-17xx、薄型 CPU クーラー
* Noctua NF-A8 PWM、ケースファン
ソフトウェア
* BIOS 3010
* Ubuntu 22.04.3サーバー (USBメモリから実行)
BIOS設定:
* EZ System Tuningを設定: EZ System Tuning set to: "Power Saving" (必要なBIOS設定をすべて自動的に設定します)
* PL1/PL2を35/69ワットに設定。(タイトな筐体と低電力ピコPUのため)。
ソフトウェア設定(付属のTVコンソールのディスプレイから設定する)
* パワートップ --オートチューン
* setterm -blank 1
キル・ア・ワットで壁で測定。測定値はほとんど5.1~5.5ワットの間で推移している。電力測定は、コンソール画面がブランクになった時点で行われる。パッケージのC-Stateはsshで収集。プロセッサーはほとんどの時間をパッケージCステートのC10(~90%)で過ごしている。
この構成の利点
* 非常に優れたアイドル電力
* シンプルなBIOS設定
* PCIe 4.0 x16スロットによるアップグレード/拡張の可能性(ただし、このスロットを使用すると、低いアイドル電力が台無しになる可能性があります。)
この構成の欠点
* 1GbE vs 2.5GbE
* picoPSUには4ピンの電源コネクタがあるが、ボードは8ピンの電源コネクタを希望している。
* シングルM.2スロット。PCIe 3.0 x4モード
私は2.5GbEが欲しかった。家に2.5GbEが大量に必要になったら、PCIe 4.0 x16スロットの2.5GbEカードで遊んでみるつもりだ。
その他の情報
* BIOSの "省電力 "設定は "ネイティブASPM "をオンにしなかった。しかし、オンにしても違いはなかった。
* BIOSでWIFI/Bluetoothモジュールを無効にしても違いはありませんでした。
OS: USBのUnraid
PSU: RM850x (2021)は低負荷で非常に効率的です。
ディスク: NVMeと一緒に2x12TB WD Red Plus NAS Drivesを追加しました。
RAM: 1x32GB 3400MHz DDR4 (現在のPCから移植)
ファン:Intel純正CPUファン+Fractal Node 304ケースのケースファンを低速で使用。
UPSから計測したアイドル時のワット数は、片方のHDDにLinux ISOをシードし、もう片方のドライブをスタンバイモードにして、~21Wだ。明らかに多くのワット数を追加している。パリティ・ドライブは、1日1回nvmeキャッシュをデータ・ドライブに同期させるときだけスピンアップするように設定した(少なくとも私はこのように機能させるつもりだ...)。いずれにせよ、21Wは初めてのseedboxにはありがたい :D
このPSU Efficiencyスプレッドシートはここの人たちにとって役に立つはずだ!データはcyberneticsから引用した:
https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
イーサネットが接続されていることで、パッケージCの状態がC3以下になるのを防いでいます。イーサネットを抜くと、約4Wの水滴が落ちます。
あなたにもこのようなことがありましたか?
私はUbuntu 24.04.1で、オーディオドライバはr8169で、ボードにはRealtek RTL8111/8168/8211/8411コントローラが搭載されています。
私はasmedia 1166をpcie x16スロットで動作させ、CPUに接続されたm2スロットを使用してc8に到達させることができました。
ルートポートの設定にアクセスするためにAsusのbiosを変更しなければならなかった。ルートポート1のMulti-VCを無効にし、x16スロットを使えるようにしたところ、cpuのパッケージ状態がc8になりました。m2スロットを同時にcpuに接続してもc8になりました。
簡単な手順
マザーボードからBIOSを取り外す
ch341 3.3vプログラマでBIOSをダンプする。
オープンソースの UEFI-Editor と "unhidden" root ポート設定で BIOS を改造。
BIOS をフラッシュ。
再ハンダ付け。
私のマザーボードは ASUS PRIME B760M-A D4 ですが、Prime H770-Plus D4 でも同じはずです。
マルチVCを無効にすることを提案してくれたIntelのサポートに感謝しなければならない。
ASUS P9DWSマザーボードで試してみましたが、残念ながら何をやっても(ACPI FADTテーブルにパッチを当てたり、Quirksを無効にするためにカーネルにパッチを当てたり、以下の方法でBIOS設定にパッチを当てても)うまくいきませんでした。Turbostatによると、保守的な(オンデマンドの可能性がある)CPUガバナーでかなり電力を節約できたようです。
もし興味があれば、その手順はここに大まかに書かれている。基本的にはBIOSを分解してすべてのメニューと設定をテキストファイルにし、必要な設定を見つけ、UEFIシェルからsetup_var.efiを使って値を設定します。この全てを *.nsh (UEFI) スクリプトに書く方が簡単で、やったことを覚えている / 他の人と共有できる / BIOS 画面から何かを変更したときに再適用しやすい:
https://github.com/luckylinux/aspm-troubleshooting?tab=readme-ov-file#patching-bios-settings
CPU: i5-14500
MB: Asus Z790-P D4 (これはH770-P D4と同じ値段で返品されたもので、おっしゃる通りPCIe 4.0 x4が追加されています)
RAM: 4x 8Gb (XMPなし) => 2x 32Gbに交換予定。
NVMe: Sabrent Rocket 1TB PCIe 3.0
PSU: Seasonic Focus GX-550
TrueNas Scale 23.10.2とUbuntu Server 23.10でテストしました。どちらもRealtekドライバを使用しました。
いくつか気づいたことがある:
はい、間違いありません。マザーボードにLogicool MX Keys usb2.0ドングルを接続したところ、シェルリーの消費電力が10.5Wから15-16Wになりました。私の記憶が正しければ、それはCPUのCステートに干渉していました(つまり、C6、C8に入らなくなった)。
USB2.0デバイスは、マザーボード(背面I/O)に接続されたポートでのみテストしました。USB2.0デバイスは、USB2.0以外のポートでは認識されませんでした。
私の推論は、BIOSおよび/またはUSBコントローラーのドライバーです。私は通常の操作ではUSBを使用していないので、それ以上の調査はしませんでした。今はTrueNasに戻っているが、私のCPUをサポートしていないpowertop 2.14で止まっているので、C-stateレポートが壊れている。
参考までに、私はBIOSバージョン1611とIntel ME 16.1.30.2307v4を使用しています。
他のテストに関しては
あなたの記事とコメントは本当に宝物です。多くのコメントを寄せてくれた皆さんに感謝します。私の経験を簡単に紹介したいと思います:
ASUS Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus。
キーボードとHDMIなし
Powertop 2.14 (--自動調整)
Ubuntu Server 23.04 Kernel 6.2.0-20(新規、アップデートなし):
6-7ワット(主にC10)
注:HDMI接続時(+2-3ワット)、ロジクールMXブルートゥースレシーバー+4-5ワット=ヘッドレス動作時7-8ワット)
さらに2xSamsung EVO 970をアップグレード:7-8ワット
追加アップグレード 4xSeagate X20 9-10ワット(スリープモード)
2x14mmファンをアップグレード 12-13ワット(最低レベル)
2xNVMEと4x3.5インチで13ワット弱は悪くない値です(C10で90%)。
カーネルを6.2.0-39にアップデートした後、C10は不可能になり、システムはC3までしか上がらず、消費電力は21ワットになった。
明らかにRealtekに関連している。手動で
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42
幸いなことに、C10ステータスに戻り、12-13ワットに戻った。
Ubuntu Server 23.10 Kernel 6.5.x 16-18ワット(ほとんどがC3)で同様の動作...
テストとしてUnraid(6.1.74)を試してみた。setpciでASPMの状態を手動で設定(上記参照)しても、システムは16ワットでハングし、経済的とは言えない.Ubuntuの方が数ワット低いので、ちょっと調べてみる必要がある。
いずれにせよ、構築と研究はとても楽しかったです。古いSynologyは新しいシステムより何倍も消費します。
Mattと他の皆さん、本当にありがとうございました。
Arc a380でテストしましたが、インターネットにあるレシピはどれもうまくいかず、20wのアイドル電力を消費しました :facepalm: 13500用のmATXマザーボードを推薦してください、mbもpcie分岐(x8x4x4)をサポートしていれば完璧です。
手短に言うと、GPUを取り付けると、最初のPCIスロットのCステートが2つに減ってしまうという問題がある。それ以外は、2 x Lexar 1TB NVMEと64GBメモリで、12600kで4.5-6Wという驚くべき低消費電力を実現しています。
私はasmチップを搭載したITXベースのi3-12100 nasを構築しようとしています。しかし、私が理解しているように、x16 pciスロットの使用はシステムをC2に保つことを強制します。
しかし、8台のHDD、2台のSSD、そして1台のnvme(チップセット)を動作させることで、高Cステートに到達することは少し関係ないのでしょうか?
あなたのワット数テストは、CPUに接続されていないスロットのasmだけを示していると仮定します。cpuでより高いcstatesを達成することで、およそ20Wを節約できるように見えますが?ハードドライブのアイドル容量と電力節約は、C-Statesとは関係ないのですか?
ドライブの電力節約とC-Stateの節約はほとんど関係ありません: というのも、特定のNVMeドライブ、特定のSSD、さらには特定のSATA構成は、C-Stateを抑制するように見えるからです。しかし、HDDを物理的にスピンダウンさせる(スピンアップさせる)ことによる省電力は、C-Stateを含め、システムで電力的に起こっている他のこととは完全に独立しているはずです。
ASPMを強制的に有効にしても、奇妙な安定性の問題が発生するのではないかと少し心配しています。1GbEカードは、Linuxでパワーマネージメントが正しく機能することを確認するための唯一の安全な選択だと思う。
ありがとう、マイケル
Asus Prime H770 Plus D4, I3-12100, 2x32GB Corsair Vengeance LPX 2666MHz RAM, be quiet!Pure Power 12 M (550 W)、WD blue SN570 512GB NVMEドライブ、Supermicro AOC-SG-I2 デュアルポートGbE、静音CPUクーラー Pure rock slim 2
RealtekドライバでASPMを強制したところ、解除していても問題が発生したようだが、WD blueをGen4x4のNVMEスロットに、SupermicorをGen4x4のPCI-Eスロットに、ハードウェアパッケージがC3のままでも接続できるようになった。Proxmox 8.2を使用すると、HWパッケージのC8で約60%、CPUのC10で98%、Core(HW)のC7で96%になります。BIOSの標準的な省電力設定をすべて適用し、powertop --auto-tuneを実行し、さらにコマンドラインでRealtekのL1 ASPMを設定した後です。
私が見ているのは短いスパイクだけで、powertopを実行している間、消費電力は15Wまで上がり、8Wまで下がっている。そのため、MVMEドライブ用の追加スロットが2つあるか、NVME -> 6x SATAアダプタカード(ASM1166チップセット搭載)を追加できる場所があります。
また、Realtek NICにASPMを設定した後、他のカードがパッケージ上でC3を起こさなくなったことも確認できました。もし誰かがSupermicroより安いオプションを望むなら、"10Gtek dual NIC card with 82576 Intel chipset "も問題なく動作します。
そもそもこの記事を見つけたのは、デスクトップ・システムでASPMを試してみたところ、2ワットという惨めな節電効果しか得られなかったからだ。あなたの記事によると、ASPMの最大の利点はCPUを深い節電状態にすることだそうで、私の問題はそこにあるのではないかと思います。私もあなたと同じように、できるだけ低消費電力にしたいストレージ・プラットフォームを動かすためにデスクトップ・パーツを使用しているので、興味を持っています。
アイドル時の消費電力が低いドライブを使用していることも興味深いです。
私はシーゲイトのironwolfドライブを2台持ってきたのですが、これらのドライブのアイドル時の消費電力はなんと8W(回転時)です。その後、12TBのWDヘリウムドライブを持ってきたが、回転時のアイドル消費電力は4W以下だった。スタンバイ時はシーゲートと同じような電力です。
2台のシーゲイト・ドライブに関するその他の問題点としては、(a)SMARTクエリなどのコマンドをドライブに送信すると、ドライブがスピンアップしてしまう。また、idle_c状態と思われる低速回転モードも、私の2台のシーゲイト・ドライブでは動作しません。私が使用しているソフトウェアTrueNASは、温度モニター機能のために5分ごとにSMARTクエリを送信します。そのため、シーゲイト・ドライブがスパンダウンしていると、そのドライブが起動します。結局、手動でコードにパッチを当てて、2台のシーゲイト・ドライブを温度監視からブラックリストに入れ、ドライブがスタンバイ状態の場合はSMARTヘルス・チェックをスキップするようにしました。
システムはヘッドレスで動作し、4つのスピンドル、3つのSATA SSDと1つのNVME SSDで、アイドル時で約48W、すべてのスピンドルを回転させた状態で約34Wです。システムには3台のファンがあります、
NVMEに関しても興味深い観察結果があります。
私のシステムでは、NVMEドライブは一貫してSATA SSDよりもはるかに高温で動作し、また通常はアクティブスピンドルよりも高温で動作することがわかりました。NUCでは、アイドル時でもNVMEが70℃のスロットル限界に達していたため、アクティブ冷却に頼らざるを得ませんでした。あなたのように、電源状態に関しては、私はこれらのものが少しあちこちにあることを発見しました。
ウィンドウズの例ですが、ASPMはシステム内の3台のNVMEドライブにはまったく影響を与えないようです。L1もL0も温度には影響しません。私はSamsung 980 Pro、WD SN850X、PCI Express Intel DC P4600を使用しています。
基本的にDC P4600は常に30℃以下で、ASPMモードの影響を受けません。
WD SN850Xは、周囲環境にもよるが、40℃台前半から半ばで動作し、ASPMの影響を受けない。
WD SN570もテストしましたが、SN850Xと同じ挙動で、ASPMの影響はなく、アイドリングは45℃前後です。
最後に、980 ProもASPMの影響を受けませんが、このドライブで低電力状態をトリガーすることができます。
サムスン980 Proは、最初のNVME省電力状態にすると、約7~8℃下がりますが、これはありがたいことですが、私のNVMEドライブで最も高温であり、20℃台で動作する私のSATA SSDよりもはるかに高温です。興味深いことに、2番目の省電力状態ではさらに1~2℃しか下がりません。
ネット上の様々なレビューやレポートによると、WDのNVMEドライブは一貫して、より深い省電力状態をサポートしていないようです。幸いなことに、私のWDドライブはサムスンドライブほど熱くなりません。
私は970 EVOも所有しており、以前は約65℃でアイドル状態でしたが、大きなヒートシンクの付いたPCIe NVMEアダプタの中に置くことで40℃台前半まで下げました。NVMEドライブは、SATA SSDに比べて熱くなるし、アイドル時の消費電力も非常に高い。
CPU/マザーボードに関しては、インテル第12世代は、C6-C10ステータスに多くの時間を費やすことができなければ、本当にその利点を失い始める(そして残念ながら、そのステータスに達するかどうかは、試してみるまで知る方法がない)。しかし、一般的に言って、24時間365日中程度の負荷がかかるようなシステムであれば、個人的には現時点ではAMDに傾倒し始めるだろう。
ひょっとしてASUS Prime H770-Plus D4のCSMバージョンを検討されているのでしょうか?私が調べたところでは、12500や13500のようなi5とCSMを組み合わせると、vPro Enterprise機能が使えるようになり、DASHやKVM/IPMIのようなリモート管理機能が使えるようになるようです。DASHはASPEED AST2600 BMCソリューションほど強力ではなく、通常5~10Wの追加電力を消費する。
同時に、CSMは企業並みの安定性をもたらすことを意図しており、CステートのチューニングなどのBIOSオプションが少なくなる可能性がある。
今、製品ページをざっと見てみると、非CSMモデルとの違いはASUS Control Center Expressへのアクセスだけだ。CSMモデルの技術仕様ページは、「1 x ACC Express Activation Key Card」が追加されている以外は同じです。マニュアルも同じで、特徴的な機能は記載されていません。両方のBIOS(1663)をダウンロードしましたが、チェックサムは同じでした。
ACC Expressソフトウェアが提供する機能を除いて、機能/特徴/BIOSがすべてまったく同じであっても驚かない。しかし、誰かが試してみる以外に確かめる方法はない。
システムは9600なしでc10に達することができる。まだ準備してないので挿してない。
このボードで本当に最悪なのは、ファンの最低回転数が20%ということだ。そして、なぜかわからないが、X710-DA2での私の最小消費電力は11,5Wだ。CPUクーラーをパッシブタイプに変えるつもりだ。もう1ワット増えるかもしれない。
X710-DA2に興味がある人への情報:少なくとも私にはWoLはありません。あれにパッチを当てるのは純粋な癌だ-EFIでやれ。EFIでやってください。積極的に冷却するか、シンクを交換する必要がある。私は後者にした。pcieキットでカードを横向きにする。https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7 を付けたので、今はドレメルも持っている。カードはスペーサーでmoboに固定する必要がある。ヒント:efiシェルは自作efiに限る。そのmoboがefiを開くことは忘れてください。
もしかしたら、同じCPUまたはi3-12thgenで、上記のような電源用の優れたm-ATXまたはitxボードをご存知ですか?
* ASUS PRIME H610I-PLUS D4 (ITX、DDR4、しかし1GのRealtekイーサネットは大きな賭けかもしれない)
* ASUS PRIME H610M-A D4-CSM (mATX、DDR4、1G Intel)
* ASUS PRIME Z790M-PLUS (mATX、DDR5、1G Intel)
Intel 1Gイーサネットが本当に気に入っているのは驚くことではないでしょう。
はっきりさせておくと、私はこれらのどれも実際に試したことはありません。私の仮定では、BIOSなどはH770-PLUS D4とほぼ同じだろうし、結果も同じになるだろうということです。しかし、はっきりしたことはわかりません。Z790M-PLUSには4xPCIeと3xNVMeが搭載されています。DDR5に問題がないと仮定すると、おそらく私が選ぶのはこのマザーボードでしょう。しかし、小型のチップセットヒートシンクには、多少の通気が必要ではないかと考えています。
他にも多くの適切なオプションがあります。PRIMEシリーズ以外にも、ASUS以外にもです。歴史的に、私はいつもギガバイトを使っていました。しかし、この世代ではうまくいきませんでした。
セットアップ
- ASUS PRIME H610M-A D4-CSM
- i3 12100 Intelクーラー
- Samsung 970 Evo Plus 1TB (ブートドライブ) (最初のM.2スロット)
- Mushkin 2x 16GB DDR4 3200
- Be quiet M12 550
- 最小限の Debian 12
マットのBios設定をmATXメインボードに転送した!
壁で測定 (Fritz Dect 200) = 6,4 Watt (アイドル)
PicoPSU-90では5,7ワット(ただしWOL-スタンバイではもっと高い消費電力!)。
あなたの素晴らしい仕事に感謝します。あなたのBiosインストラクションがなかったら、低電力状態にするのに1ヶ月かかったでしょう。
私のセットアップ:
* インテルCore i5-14600K (トランスコーディング用に 2 つのエンジン (プレックスなど) を搭載した UHD 770 が欲しかった)
* ASUS プライム Z790M-PLUS
* キングストン DDR5 32GB 4800 MHz (KF552C36BBE-32)
* インテル SATA SSD 240GB (ファームウェア 400i) (次のイテレーションで NVMe でプレイを開始する予定です)
* Corsair RM750x ATX 3.1 (CP-9020285-EU)
+ powertop--auto-tune (v2.15)。これがないと、システムはパッケージ C6 を超えることはありません。
搭載されているインテル1Gは実際にはインテルi219-Vで、「00:1 f.6 イーサネットコントローラー:インテルコーポレーションデバイス0dc8(rev 11)」と報告されています。これにより、最大C8になり、C10には到達しません。可能な限りのBIOS設定を試してみましたが、C8より良くなることはありませんでした。最後に、オンボード LAN を無効にすることを決め、ASPM L1 をサポートする「ランダムスペア」LAN カード (BCM95709A0907G) の 1 枚を挿入したところ、それがパッケージ C10 に入っていることがようやくわかりました。
そのBCMカードはナンセンスです。オンボードLANを備えたC8状態でのセットアップの消費量は<9 W(Shelly Plug Sで測定すると約8.5 W)と低くなる可能性がありますが、BCMカードを搭載したパッケージC10は11+ Wなので、テスト用としては良くありません。USB3 アダプターを試してみると、パッケージ C3 または C6 がロックされてしまい、どちらもうまくいきません。
最新のカーネル+パッケージでFedora 41 (カスタムオペレーティングシステム-最小限のパッケージセット) とUbuntu Server 24.04 LTS (最小インストール) の両方を試しましたが、違いはありません。オンボードLANを有効にしても、C8よりも優れていることはありません。
Powertopで私が気付いた奇妙なことの1つは、EコアがC6より深くなることはなく、PコアはC7まで低くなるということです。ただし、パッケージ C ステートには影響しません。i5-14600K の E コアをすべて無効にしても、パッケージ C10 は許可されません。E コアを無効にすると、7.2 W という低い電力が得られました(ただし、パッケージ C8 を上回ることはありませんでした)。そのため、E コアを無効にすると約 1 W を「節約」できます。
私の以前のホームサーバーは、インテルCore i7-4771を搭載したASUS B85M-Gをベースにしていましたが、「アイドル」状態では全体で約60〜70 Wを消費していました。
このような低消費電力を実現できるビルドについて調査と記事を書いてくれて本当にありがとうございました。
私は実際に、本当に効率的なホームサーバーのためのmATXメインボードも探しています。受動的に冷却されたケース(HDPlex H3)でそれを構築するという追加の注意点があります。
さて、これは私のメインボードの選択を少し難しくします、なぜなら - それが思われるように - 私は2つのメインボードから選択しなければならないからです:
Asus Prime Z790M Plus(アサスプライムZ790Mプラス)
+ インテル1Gイーサネット
- ちょっと小さくて薄っぺらなVRM冷却
Asus TUF B760M Plus II
+私の国ではかなり安い
+かさばるヒートシンク
- 2.5G Realtekイーサネット
私は現在、強力なVRMヒートシンクよりも別のイーサネットを追加するのが簡単であるため、TUFに傾いていますが、2.5G realtekイーサネットコントローラーがどれほどのショーストッパーであるかについてあなたの意見が欲しかったです。
よろしくお願いします!
そのことを念頭に置き、使用するCPUによっては、VRM冷却はそれほど重要ではないかもしれません。私が使用したH770-PLUSには、VRMクーラーがトップVRM全体にわたって搭載されていませんでした。私は自分のものにいくつかの小型ヒートシンクを追加しましたが、VRMがあまり熱くならないので、実際には必要ありませんでした。
パッシブ冷却で私がより懸念しているのは、チップセットが大量のデータを処理している際にチップセットのヒートシンクが非常に熱くなる可能性があることです。TUF GAMING B760M Plus IIは、Prime Z790M Plusと同じもの(黒色で回転しているだけ)のようです。おそらく、ヒートシンクを取り外して保証対象外の改造を行わない限り、できることはあまりないでしょう。
それはさておき、C-Statesを良好に取得するために必要な手順を踏むのであれば、Realtek 2.5Gは必ずしも障害となるものではありません。ただ、期待以上に問題がある場合に備えて、返品が容易な小売業者から購入することをお勧めします。
これがユニットの欠陥なのか設計上の欠陥なのかはわかりませんが、30日間の返品ポリシーを提供していないショップからこのボードを購入するリスクを冒すことはありません。ASUSのサポートは、このような場合の保証と同様に、まったく役に立たなかった。
CPU: i7-14700
マザーボード: Asus Z790-P WIFI (2.5G LAN 接続)
RAM: 96GB DDR5 (2x32GB + 2x16GB)
NVMe: Samsung 970 EVO Plus 1TB
PSU: Corsair RM750x
消費電力はモニターなしで測定しました。
いくつかの観察結果:
----電源装置の重要性----
1) Seasonic Focus 1000w電源装置で開始したところ、消費電力は14.4wでした。Corsair RM750xに切り替えたところ、消費電力が4w削減されました。RM750xの電力効率は20Wで約80%です。つまり、私の元々のFocus 1000wは20Wでの電力効率が悪い(10.1*0.8/14.4=56%)に違いありません!ですから皆さん、より良いPSUへの投資をご検討ください(参考: RM750xの数値は、このシートを参照:https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14はIntel 13/14世代のCPUをサポートしていません(当初はC3ステートのみ表示されていました)。最新のpowertop 2.15をコンパイルする必要がありましたが、それによりC6-C10ステートを確認できるようになりました。
---- ASUS Z790-PのオンボードSATAコントローラの問題 ----
3) 驚くべき観察結果として、オンボードSATAインターフェースにSSDを接続すると、CPUのCステートはC6までしか到達しない(C8もC10もまったく到達しない)。しかし、同じSSDをASM1166 PCIe-to-SATAカードに接続すると、C10に達することができました。このことから、このマザーボードのオンボードSATAコントローラはASPMを適切にサポートしていないことが示唆されます(「lspci -vv」のオンボードSATAコントローラの出力には、ASPM機能が一切表示されません)。
GPUの追加コスト
4) Nvidia GTX 1050 Ti GPUを追加したところ、アイドル時の消費電力がなんと16Wも増加しました。すぐに、nvidia GPUのアイドル時の消費電力は「nvidia-smi --persistence-mode=1」という最適化で削減できることに気づきました。これにより、16Wが8W(GPUパフォーマンスモードP8)になりました。しかし、GPUなしの場合の10.1Wのアイドル時の消費電力に比べると、まだ80%の追加です。おそらく、GPUを残しておく価値はないでしょう。さらに調査したところ、GPU自体はアイドル時に約3Wしか消費しないことが分かりましたが、GPUがあるためCPUのC-stateはC6に維持され、その結果、8Wの差が生じます(GPUありの場合とGPUなしの場合の比較)。
5) GPUをチップセット搭載のPCIeスロットに取り付けたところ、消費電力がさらに6W増加しました(当初はCPU搭載のPCIeスロットにありました)。はい、あらゆる最適化を行っても、このマザーボードのチップセット搭載スロットにGPUを取り付けると、8+6=14Wの電力が追加されます。Cステートが最大C6から最大C3に変わったことに気づきました。これが6Wの追加の原因であると思われます。
全体的には、結果に満足しており、楽しい経験でした。(写真関連の作業用に)GPUを追加したいのですが、消費電力が高すぎて無理です。低消費電力サーバーでGPUを使用した経験のある方はいますか?CPUのCステートを解放して、C8/C10に到達させる方法はあるのでしょうか?注:アイドル時の消費電力について話しています(GPUはグラフィック出力には使用されておらず、モニターにも接続されていません)。
AMDのチップセットが電力使用量でこれほど遅れていることに驚いています。初期のAMD APUを搭載したmini-ITXマザーボードには複数の優れたオプションがあり、パッケージ全体を低電力にするための協調的な努力があった昔を懐かしく思います。
新しいAMD X870チップセットのTDPは7Wとされているのを見たばかりですが、これまでに発表されたマザーボードは少しやり過ぎのようです(「ROG Strix X870-A Gaming WIFIには、最大90Aの定格の16+2+2パワーステージが付属しています」とalktechは述べています)。
私のpfsenseとtruenasのボックスを10GbEネットワークでアップグレードしようとしていて、この投稿に出会いました。Intel 1GBイーサネットコントローラーを搭載したボードを使用するというアドバイスを受けて、私はAsrock b660m pro RSを使用し、両方のボックスにpentium g7400を使用しました。将来の拡張性のために、フルレングスのPCIeポートが欲しかったのです。
ここで微調整を試してみるつもりです:https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/
許容できる電力消費が得られるかどうかを確認します。ASUSのH610Mを使用することについてのあなたのコメントを見ましたが、これらのボードがあまり運が悪ければ、おそらくそれに切り替えるでしょう。人々がb660mの電力消費を下げることに成功したかどうかについて多くの情報を見つけることができないようですので、報告します。
どんなアドバイスでもいただければ幸いです!
- 中国製マザーボードCWWK Q670 V1、ボードには3xnvme、8 sata、pcie5 x16(2x8に分割可能)、2x2.5Gbsが搭載されています。
- i5 13500T
- 1 モジュール 48GB DDR5 Crucial Pro.
- 2xSamsung evo 970 plus, 1xLexar NM790
ピコ電源(現在もう一つ持っていない)
- 1ポートにLAN接続
アイドル状態でProxmoxは約8-10Wで動作しています。
私の意見では、バイオは洗練されておらず、1つのポートでASPMに問題があり、ASPMを有効にするとsamsung evoだけが動作し、他のディスクでは問題ありません。
プロセッサはC6状態にしかならない。
ご意見をお聞かせください!
私のASUS Prime H610i-Plus (i3-12100 CPU)とRealtek RTL8111/8168コントローラでL1 ASPMを有効にすると、約4-5Wを節約でき、パッケージCのステートをC8に浸すことができる。r8169 ASPMを有効にしないと、パッケージCの状態はC2/3で止まってしまう。
ブート時にこれを有効にするようにモジュール・サービスを設定することもできる。今のところ問題なく動作している。
DDR4を選んだのは、その辺に転がっているメモリがあったからだとおっしゃっていましたね。もしDDR4メモリがなかったら、何を使っていましたか?DDR4かDDR5か?Ausのメインボードには両方のオプションがあります。今はDDR5のルートを考えています。
スロットが足りなくなって10Gbitのネットワークカードを使いたいのであれば、CPU接続スロットで椅子取りゲームをして、さまざまなデバイスを接続したときのCステートと消費電力レベルを確認する価値があるかもしれない。私のSATAカードのテストでは、NVMeドライブの1つをチップセット接続スロットからCPU接続x16スロットに移動させた結果、C8からC6に低下し、対応する消費電力が1ワット増加したことを思い出してください。理想的ではありませんし、特定のハードウェアの組み合わせで同じ結果が得られる保証もありませんが、試してみる価値はあるかもしれません。
もう一つの選択肢は、x1スロットを利用することだ。PCIe 3.0 x1スロットは、8Gビット/秒または1GB/秒という大まかな値で、10GビットNICの理論上のスループットからそれほど離れていないはずだ。しかし、それを確かめるには試してみる必要があり、このマザーボードには残念ながらオープンエンドのx1スロットがないため、マザーボードスロットかカードを装着するための手術のリスクが高い。あるいは、帯域幅が低下してもよければ、NVMeドライブをPCIe x1アダプタに接続することもできる。
- NAS
- メディアサーバー(映画、音楽、電子書籍、写真など)
- スマートホーム
- ゲーム(AAA)、写真・ビデオ編集、音楽制作のためのWindows 11搭載VM
- AIと遊ぶ(チャット、写真、ビデオなど)
- スマートフォンとノートパソコンのバックアップサーバー
重要度による優先順位
- 静か
- アイドル時のエネルギー効率
- フットプリントが小さい(Mini-ITXマザーボード)
- 優れた価格性能比
- アップグレード性
これが今の私の選択です:
- マザーボード
- インテル i5 12500
- 64GB RAM (モボのアップグレードで64GB追加可能)
- RTX 3060 12GB (ASUS Dual GeForce RTX 3060 V2 OC Edition 12GB)
- 2x 12TB HDD(将来的には6倍にアップグレード可能。ただ、どれが一番静かなのかわからない。WD Red Plus 12TBについては良い評判を聞いている。現在、2x Seagate Ironwolf 8TB (ST8000VN0004)をSynology DS220+に入れていますが、とてもうるさいです。)
- 2x 2TB NVME (ProxmoxとVM用のRAID1)
- 2x 1TB または 2TB SSD (キャッシュ)
- 2x 2TB SSD (RAID1 オプションの高速ストレージ、現在のプロジェクト用)
- SFX PSU (最も効率的で、フルモジュラー式で、その時点で手頃な価格のものを選びます)
- Jonsbo N3シャーシ
このセットアップについてどう思いますか?
ソフトウェア面でどのようにセットアップするかはまだわからない。でも、おそらくProxmoxをスーパーバイザーにして、あとはその上に載せることになるだろう。
I3-12100 CPU
静かです!ピュアロックスリム2
ASUS Pro B660M-C D4-CSMメインボード
静かになるPure Power 12 M 550W
Corsair Vengeance 2 x 32GB、3600MHz、DDR4-RAM
このコンボでも7Wのアイドルが得られますが、ビジネス用マザーボードなので、H770より好きです。
245K
Cooler Master MWE Gold 850 V3
ラム@1.1V
8125D 2.5Gのアタッチとアクティブ (6.13カーネルが必要)
L1 と L0sL1 は完全にサポートされ、有効になっています。
すべてPCH/チップセットで、CPUではありません。
アイドル時18.5W
このボードはチップセットに2つのNVMEと6つのSATAを搭載しています。 G5 PCIE16は分岐をサポートしています。
1.intel_idleドライバが現在arrow lakeをサポートしていないため、Powertopは動作しません。--auto-tuneの影響はありません。
2.NPUはアイドル時にバイナリファームウェアを必要とする。 修正の可能性
A.BIOSのバグ
B.現在トラブルシュートできないが、Cステートが高くなる何らかの設定。
C.別のPSUを試してみようと思っている。 Cybeneticsによると、私が選んだものはローアイドルでは2番目に優れている。
D.6.14と6.15カーネルは改善されているはずだ。
- 富士通Esprimo P957(中古で購入)
- MB: Fujitsu D3502、Intel Q270、5x SATA、1NVMe、1x PCIe x16、1x PCIe x4、2x PCIe x1
- CPUインテル i5-7500
- RAM: 4x 8GB DDR4-2400
- PSU:280W、効率(230V時、10% / 20% / 50% / 100%負荷):86% / 90% / 94% / 93%
- StarTech.com 6P6G-PCIE-SATA-CARD (ASM1166)をPCIe x16ポートに接続
- flexiDOCK MB024SP-B: 4x 2.5インチ SAS/SATA SSD/HDDモバイルラック、5.25インチベイ用
- ディスク: 2x 3.5" HDD 2TB、4x 2.5 "HDD 2TB、1x 2TB SSD、1x 256GB NVMe (HDDは「低速」5400 RPMスピナー)
P957ミニタワーケースには2x 3.5 "ディスクしか搭載できないが、flexiDOCKを5.25 "ベイに装着すれば、さらに4x 2.5 "ディスクを詰め込むことができる。
PCIe x16ポートとSATAカードはともにL0s L1 ASPM機能を報告しているが、システムはASPMを有効にせず、私はC3パッケージのC-Stateで止まっていた。SATAカードがなければC8に達することができた。その後、https://gist.github.com/baybal/b499fc5811a7073df0c03ab8da4be904、PCIeポートとSATAカードを強制的にL0s L1 ASPMを有効にすることができ、システムはC7に到達しました。
他のPCIeポートはL1 ASPM機能しか報告しないことに注意してください。
アイドル時の消費電力の概算値(私のリーダーがどの程度正確かは不明だが、+-1W):
- 5W / C8: NVMe以外のディスクなし、SATAカードなし、ケースファンなし
- 8W / C3: NVMe以外のディスクなし、SATAカードなし、ケースファンなし
- 8W / C7:全HDDスタンバイ、SATAカード、ケースファン2台(SATAカード/PCIeポートにL0s L1を強制使用)
- 13W C7:全HDDアイドル、SATAカード、ケースファン2基(SATAカード/PCIeポートに強制L0s L1)。
- 15W C3:全HDDアイドル、SATAカード、ケースファン2基
最初はAsus B760M-A WIFI D4で始めましたが、Asrock Z690 Extremeに切り替えました。i5 12600とBeQuietと一緒に友達からとても安く手に入れました!ダーク・パワー・プロ 11、なぜなら SATA ポートが 8 つあるから... そして、まあ、とても安い。しかし、隠しBIOS設定を変更した後でも、Asrockは常にASUSボードよりも4〜7W高く、すべてのドライブに4ポートのSATA拡張カードが必要でした(こちらをお読みください:https://old.reddit.com/r/homelab/comments/1998oh8/how_to_get_higher_pkg_cstates_on_asrock/)
しかし、アマゾンの倉庫でASUS Prime H770-Plus D4が90ユーロで売られているのを見つけたので、結局それと6ポートのASM1166(詳細は後述)を手に入れました。
私のビルド:
ASUS Prime H770-Plus D4
Intel I5 12600
64GB Kingston FURY Beast (2x 32GB)
2x Samsung 980 Pro 1TB
3x MX500 2TB
6x 18TB HDD (1x WD181KFGX, 5x Toshiba MG09ACA18TE)
3x 140mm Fans (Fractal Define 7)
Corsair RM650
「静かにしろ!」からの変化コルセアRM650のダークパワープロ11は、私の消費電力を約20Wで約2W下げました。50Wでも同じ測定値でした。
1つのNVMEを除いてすべてが切り離され、プロキシモックスがアイドル状態:9〜10W(7Wには到達できませんでした... しかし、どういうわけかC8にも到達できず、C6にしか到達できませんでした)
接続されているものすべて(画面もUSBもない)アイドル状態のドライブ:47~50W
接続されているものすべて (画面なし、USB なし)、ドライブがスピンダウンし、SSD がアクティブで、スリープ状態ではない。ほとんどの場合、サーバの通常の状態 (19~21 W)
このビルドは私の新しいメディアとストリーミングサーバーに使用され、SSD(ZFS raidz1)は私のクラウドに使用され、後でHDDプール(Btrfs+SnapRAID)に移動される新しい「ファイル」のキャッシュドライブの一種としても使用されます。SSDとHDDはmergerfsを使用しているため、Jellyfinと特定の*arrではパスが変更されません。また、いずれかのHDDでエピソードや映画を視聴している場合、ZFSのようにプール全体ではなく、1つのドライブだけをスピンアップする必要があります。
インスパイアされたのは:
https://blog.muffn.io/posts/part-3-mini-100tb-nas/
そして:https://perfectmediaserver.com/
これが通常のトピックを超える場合は申し訳ありませんが、エネルギーを節約する方法でもあるということです。
ASPMに関するいくつかの問題がありました。
Intel Sparkle A310 Eco (もう使われていない) などの一部のデバイスや、一部の PCIE ノードは、ASPM ポリシーを具体的に設定するまでは BIOS ですべてが正しく設定されていると感じたとしても、Proxmox で L1 に入りたくありませんでした。
echo "powersupersave" | sudo tee /sys/module/pcie_aspm/parameters/policy
(「パワーセーブ」も機能しましたが、実際に何が違うのか分かりません。メーターにも変化は見られませんでした)。
何が利用できるかは、以下で確認できます。
cat /sys/module/pcie_aspm/parameters/policy
残念ながらその頃、私も ASM1166 で問題が発生し始めました (アマゾンから GLOTRENDS SA3026-C 6 ポート PCIe X4 SATA を入手しました)。
コントローラがドライブとの接続を失ったようです。次のようなエントリがいくつかあります (dmesg-H)。 それらは奇妙に思えました。しかし、最終的には常に1つのドライブに次のエントリがありました。 ケーブルを交換したり、別のポート、別のディスクを使用したりしましたが、ある時点で常に 1 つのディスクにアクセスできなくなりました。
hdparm-C /dev/sdx は長い待ち時間の後に入出力エラーを返し、dmesg にも次のようなエントリが入力されました。 いくつかのUnraidフォーラムで、ASM1166のファームウェアバージョンではASPMがまったく許可されていないものもあれば、使用に問題があるものもあります。最後に、別のファームウェアをフラッシュする必要がありました。
この記事のファームウェアのトリミング版を使用しました。
https://winraid.level1techs.com/t/latest-firmware-for-asm1064-1166-sata-controllers/98543/63
そして、このサイトのSilverstoneツール(ファイルダウンロード「互換性の問題を修正してIntel 600シリーズチップセットマザーボードをサポート」を参照)でフラッシュしたところ、フラッシュツール「RomUpdWin.exe」が含まれています。(最初の投稿でも参照されています)
https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/
残念ながらそのためには Windows が必要です。Linux用のツールはここで見つけましたが:
https://dl.radxa.com/accessories/m2-to-hexa-sata-adapter/tools/
これを使ってファームウェアのバージョンを読みましたが、スレッドの何人かの人が Windows ツールでも動作したと報告していたので、より安全な方法をとることにしました。
私はこのガイドを使いました(ドイツ語ですが、写真だけで十分です。かなり分かりやすいです)
https://forums.unraid.net/topic/141770-asm1166asm1064-flashen-mit-der-firmware-der-silverstone-ecs06-karte-sata-kontroller/
ところでこれはASM1064カードでも動作するはずです。
これまで(数時間後)エラーは表示されませんでした。通常は、hdparm-y でドライブをスピンダウンした数分後に発生しました。
ASM1166 が接続されているルートポートから dmesg-H にまだいくつかのエラーメッセージが表示されますが、すべて正常に動作します。 lspci: これで、ようやくすべてのサービスの設定を開始できます:)
Snapraidドライブのパリティを計算したところ、dmesgが前述のPCIeエラーを大量に出力していることに気づきました。すべてが機能しているように見えたので、ブート時に多少のエラーが出ても「大丈夫」でしたが、このスパムは許せませんでした。
別のPCIe-6x SATA ASM1166を別の会社に注文しましたが、同じ問題が発生しました。どちらも同じファームウェアバージョンを使用していることが判明しました:221118-00-48-00
そこで、そのRadxa社は、ASM1166を使用するM.2-6x SATAアダプタを販売しているようです。前のコメントでLinux用のファームウェア・フラッシュ・ツールへのリンクを掲載しました。( https://dl.radxa.com/accessories/m2-to-hexa-sata-adapter/tools/ ) 今、バックアップのASM1166を持っているので、そのリンクからLinuxのツールを使ってROMファイルASM1166_10250005.ROMをフラッシュしてみることにした。
これでエラーはなくなり、スピンダウン/アップも問題なく動くようになった。そして私のシステムはほとんどの時間(80-85%)C10になっています。以下は私が成功したフラッシュプロセスの出力です:
あなたの記事が大好きです。本当に奥が深い!実は、次のビルドは君の記事を参考にしようと思っているんだ。
あなたのボードでのNVMeの使用に関する簡単な質問です:
CPU接続のM.2で256GbのPM981をブートドライブとして使い、チップセット接続のM.2で2x 1TBのPM981をミラーリングしてDockerアプリ/VMに使いたいと思っています。
HDDは4台しかないので、他のPCIeスロットは使用しません。
- -> C-Statesに関しては問題ないでしょうか?後で3つのNVMeも使用するとのことですが、どのように接続したかは明記されていませんね。
ありがとうございました!
CPU: i5-12400 (H0 ステッピング)
MB: B760M GAMING AC DDR4-オーストラリアで入手可能-*重要* ボードのオプションはここに限られています:)-
RAM: 2x16GB キングストン・フューリー
ストレージ:サムソン SSD 970 EVO プラス 250GB NVMe
WD wd40ezrz 4 GB ハードディスクドライブ
ギガバイト SSD 240 GB GP-GSTFS31240gntd
PSU-15年前のSeasonicもあるけどコルセアRM750と比べたら-コルセアの消費電力は1W以下だった
OS: Ubuntu 24.04.2 LTS
Wifi での動作:11W/12W-(HDD スピンダウン)-80-90% C10-安定性に若干の問題
LAN (2.5GB Realtek) での実行:16w/17w-(HDD スピンダウン)-90% C3-安定性の問題は気づかなかった
要約:
Realtek LANアダプターを搭載したマザーボードを購入したのは、最終的にネットワークスイッチをアップグレードして速度を活用したかったからです。
そこで、2023年12月31日のアレックスによる上記のコメントで言及した `echo 1 > /sys/bus/pci/devices/0000\: 04\: 00.0/link/l1_aspm` コマンドを実行しました。
sudo と root を使用しても、パーミッション拒否エラーが返されます。
そのコマンドを正しく実行する方法を私が理解していないに違いないので、これは他の人への警告に過ぎません。
-そのコマンドがうまくいくと思って realtek 2.5GB を購入しないでください-
私のようにc3で行き詰まるかもしれません
Wi-Fiの不安定さに少し悩まされました。モニター/キーボード/マウスなしで実行すると、最終的には応答しなくなり、電力使用量が最大23wに達しました。
しかし、キーボードを接続したままにしてもハングアップしません。私の現在の理論では、何も接続されていないと奇妙なスリープモードになり、何も起動できません。
私のビルドを複製したい場合は、'powertop--auto-tune'を実行しないでください。これなしで11wになりました。これを実行すると、ハングの原因となる設定が変更されるようです。
結論:
奇妙に思えますが、とりあえずwifiを使い続けるつもりです。
電力が少なく、現在のネットワークでは2.5GBを(まだ)切り替えることができません。
さらに、イーサネットケーブルがないので、パートナーはNASをガレージに隠すことができます(古いケースはきれいではないため)
しかし、誰かがその l1_aspm コマンドを正しく実行するための指示を与えることができれば、非常にありがたいです。
私の問題のいくつかはOSベースだったのかもしれません。テストにubuntuを使っていただけです。
もうすぐヘキソス/トゥルーナスに切り替えようとしています。実行時に何か変更があった場合は報告します
私がRealtekカードのアドレスを自動的に検索し、ASPM L1を有効にするために使用しているスクリプトをアップロードしました。この記事の最後にあります。