我們將從一些歷史開始:
- 2016 年:在 Skylake 上建置低功耗 PC – 空閒 10 瓦
- 2019:9 瓦閒置功率:創建低功耗家用 NAS / 檔案伺服器與 4 顆儲存硬碟機
- 2021 年:(無記錄)– 在 Gigabyte H470M DS3H 上使用 Intel i3-10320 時功率為 11 瓦
並非我所有的系統都如此成功。 2022 年,我測量了其他幾個 19 瓦和 27 瓦的系統,作為降低 AMD Radeon 搭配多部顯示器的嚴重耗電量一部分。雖然我確實設法在一段時間後關閉了 27 瓦 AMD 系統的電源,但並不是每個 CPU/主機板組合都適合 10瓦特棒球場。
—
在進一步討論之前,該系統的 7 瓦數字是在添加儲存之前的資料。 7 瓦(在牆上測量)包括:
- 主機板(英特爾H770)
- CPU(英特爾 i5-12400)
- 64GB內存
- SSD(啟動 Ubuntu Server 23.04)
- 電源(海盜船)
- 在 BIOS 中設定 C 狀態,使其達到 C8
- 具有自動調諧功能的powertop(當連接埠進入睡眠狀態時會停用 USB 鍵盤)
請注意,如果我不允許powertop停用鍵盤,則在牆上測得的功率為 8 瓦。
—
讓我們了解詳細的規格和組件選擇。這次我有以下目標:
- 低空閒功率
- 合理的 CPU 壓縮效能
- 能夠處理 12 個硬碟 + 至少 1 個 NVMe
- (最終)將這 12 個硬碟轉換為 6 個 NVMe + 6 個 SSD SATA 的能力
- 控製成本 – 由於需要購買主機板,因此請嘗試堅持使用 DDR4 並重複使用我已有的 CPU。
組裝一個新系統並希望達到 10 瓦範圍(從牆上測量)的範圍通常不僅是一個挑戰,而且有點賭博。有時,您只需要對組件進行最有根據的猜測,構建您的裝備,盡您所能進行調整,然後讓晶片落在它們可能的地方。
主機板 – 華碩 Prime H770-Plus D4
在開始之前,先快速瀏覽一下主機板佈局。綠色 CPU 連接插槽和橘色晶片組連接插槽將在本文中變得相關。
在撰寫本文時,廣泛使用的消費者選項是 Intel 600/700 系列和 AMD 500/600 系列主機板。
我的上述目標之一是最終容納 6 個 NVMe 硬碟的容量。
深入了解為什麼這可能是一個挑戰(請隨意跳過本節)…
問題:有 0 個具有 6 個 M.2 插槽的消費性主機板可以在 PCIe 模式下同時使用。在 AMD 上,MEG X570S Unify-X Max *看起來*就像它一樣,但檢查手冊,您會發現如果您嘗試填充所有 6 個,最後一個必須是 SATA 變體。華擎 Z790 PG Sonic 也有 6 個插槽,但您只能使用其中 5 個(有一個合理的藉口:他們提供 Gen5 NVMe 插槽,但有一個或/或警告)。
為什麼會有此問題:消費性主機板上存在晶片組通道限制。假設我希望能夠在 Gen4x4 中運行所有 M.2,並且假設製造商實際上願意將所有通道專用於 M.2 NVMe 插槽(他們沒有),AMD X570 和 Intel B760 最多可運行 3 個 M.2插槽,AMD B650 和Intel H670/Q670/Z690/W680 管理四個。 AMD X670 和 Intel H770 主機板上有五個 M.2 插槽。 Z790 板上有 6 個。除此之外,還需要採取特殊措施,例如搶佔主 PCIE 插槽的通道。如果需要純粹的 M.2 數量,製造商理論上可以在 Gen4x2 中運行通道或添加一些 Gen3 M.2 插槽,但此時他們已經創建了「非常」利基產品。
解決方案: PCI-E 轉 M.2 轉接器變得必要。現在,在尋找主機板時,問題在於是否將 M.2 插槽新增至任何可用的 PCI-E 插槽(支援 x4 或更高)。我的選擇現在僅限於 AMD X570、Intel H770 和 Intel Z790 主機板。請注意,雖然在某些主機板上使用分叉可以從主 PCIe 插槽中獲取超過 1 個 NVMe,但我決定不依賴它。
我決定走英特爾路線有以下幾個原因:
- 晶片組TDP: Intel 600/700系列晶片組的TDP皆為6W,而AMD X670晶片組的TDP相當高(7w+7w)。 AMD 晶片組的功耗讓我擔心了一段時間,因為之前的 X570 晶片組的 TDP 為 11w,並且需要風扇。
- 晶片組速度: Intel H670/Q670/W680/Z690/H770/Z790 晶片組具有到 CPU 的 DMI 4.0 x8 連結。 AMD X570/B650/X670 有一個連接到 CPU 的 PCIe 4.0 x4 連結。 Intel 的理論吞吐量應該是 AMD 的兩倍(16GB/s vs 8GB/s)。
- 我已經擁有 Intel 系統可以使用的 64GB DDR4。 AMD 600 系列晶片組皆僅支援 DDR5。
- 我已經擁有英特爾第 12 代 CPU。
- 我還沒有看到任何關於 AM5 功耗的積極討論。完全沒有。更新:當我寫這篇文章時,實際上有消息稱 AMD 7000 系列 CPU 在主機板插槽引腳與 CPU 接觸的地方燃燒/膨脹。是的,對不起 AMD,這次不行。
英特爾就是這樣。在檢查了市場上可用的 DDR4 主機板後,我很快就將選擇範圍縮小到 2 個製造商:MSI 和 ASUS。
不關心主機板比較嗎?請隨意跳過此部分。
誘人的 MSI 主機板是 PRO Z790-P WIFI DDR4 和 Z790-A WIFI DDR4。表面上幾乎相同,除了「A」更高級一些(音頻、後端口、散熱器、電源相位等)。優點/缺點:
- Pro:4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 總共支援 6 個 Gen4 NVMe
- 專業版:額外 2 個 PCIE Gen3x1
- 專業版:6 個 SATA 端口
- 缺點:Intel 2.5G LAN(已知有問題且有缺陷)
- 缺點:我不喜歡 MSI BIOS
- 缺點:我目前的 B660 主機板導致閒置功耗高於預期,該主機板是 MSI。
有吸引力的華碩選項是 Prime H770-Plus D4 和 Prime Z790-P D4(可選 WIFI 版本)。進入 TUF、Strix 或 ProArt 的費用太高了。
我先列出 H770-Plus 的優點/缺點:
- Pro:3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 總共支援 6 個 Gen4 NVMe
- 專業版:額外 2 個 PCIE Gen3x1
- 缺點:只有 4 個 SATA 連接埠
Pro:2.5G Realtek 網路適配器(目前比 Intel 2.5G LAN 更好)(見評論)Z790-P D4 類似,只是它有更多的電源相位、更好的散熱、更多的 USB 連接埠、額外的風扇接頭,並且出於我們的目的…:
- +1 PCIE Gen4x4
- -1 PCIE Gen3x1
最終,ASUS Prime H770-Plus D4 當時便宜了約 100 美元,這也是我選擇的。
我發現「更便宜」的主機板的一個優點是它們的組件往往更少,因此空閒時的吸血鬼功耗也更少,儘管這並不總是確定的。
CPU – Intel i5-12400(H0 步進) – Alder Lake
我已經在之前的桌面版本中擁有了該 CPU。當時選擇它用於桌面系統是因為:
- 它有 AV1 硬體解碼
- 它具有英特爾第 12 代產品線中最高的性能,避免了 E 核心晶片開銷
- 無論如何,在那個版本中,我得到了一塊帶有 2xDP 的新主機板,而使用舊一代對我來說沒有意義。
那個桌面版本結果令人失望,被列為我最不喜歡的版本之一。
一些細節…
我遇到的問題是,有時在Linux 中只有2 個DP 連接顯示器中的1 個會被喚醒,這意味著我必須拔出/重新連接另一個DP 連接器,或者手動掛起/恢復系統,以便它可以重試。
另一個問題是,在 Windows/Linux 之間重新啟動有時會導致奇怪的問題,需要完全關閉/重新啟動。
在 Ubuntu 上使用 Wayland 進行硬體解碼仍然存在問題,當程式嘗試使用它來播放影片時,問題就會隨之而來。
最後,與我以前的英特爾系統不同,它的功耗都可能降低到 10 瓦附近,而這款系統的空閒功耗為 19 瓦,儘管我懷疑我使用的 MSI 主機板可能是一個因素。
我遇到的大部分頭痛都與 GPU 和顯示器有關。由於我即將建立一些面向伺服器的東西,所以這不再是一個因素。
記憶體 – 64GB DDR4-3200
這是我使用的:
- 2x16GB 金士頓 HyperX 雙列 (Hynix DJR)
- 2x16GB 金士頓 HyperX 單列 (Hynix CJR)
這是我已經擁有的記憶。我在雙列套件的 XMP 設定檔(16-18-18-36)下運行了 4 個記憶體。其他一切基本上都保留為預設值,除了我以 1.25 伏特運行 RAM(高於庫存 1.20,但低於 XMP 1.35v 設定)。 TestMem5 和 Memtest86 在 1.22v 下表現出穩定性,儘管在以前的主機板上測試該記憶體表明 1.22v 不穩定,因此為了在穩定性方面提供一點額外的緩衝,我將電壓提高到 1.25v。
啟動硬碟 – Sandisk Ultra 3D 1TB SSD
這個組件不是故意選擇的。當我想要安裝一個新的 Ubuntu Server 進行測試時,這恰好是我目前沒有使用的唯一一個 SSD。我打算在 PCIE 和 NVMe 裝置上進行大量 A/B 測試,因此將 Ubuntu 23.04 安裝到 SATA SSD 上可以保持 PCIE 插槽空閒。
請注意,經過測試,主作業系統將在Samsung SSD 970 EVO Plus 500GB NVMe上運行。沒什麼好說的,只是三星的東西往往能夠可靠地進入低功耗模式。
使用過這兩種驅動器後,我在測試中無法測量它們之間的任何功率差異。 Tom’s Hardware 測試的 Samsung 空閒功率為 0.072 瓦(透過 ASPM/APST),Anandtech 測試的 Sandisk Ultra 3D 空閒功率為 0.056 瓦(透過 ALPM)。兩者都遠低於我的 Kill-A-Watt 儀表的 1W 解析度。
電源 – 海盜船 RM750
儘管這個 750W PSU 對於功率約為 10 瓦的系統來說似乎有些過大,但當 12 個驅動馬達同時旋轉時,瞬時負載可能會相當高。 Seagate 聲稱其 10TB 3.5 吋硬碟之一的 12V 電源軌上的峰值電流為 2A/3A DC/AC。即使峰值隨機讀取/寫入電流也可以超過 2A。
如果 PSU 無法勝任這項任務,這種突發性的電力需求可能會出現問題。如果由 6 個驅動器組成的陣列在同一時刻總共拉動 150-200 瓦的功率,而 CPU 峰值達到 120 瓦,則閒置時的功耗從大約 10 瓦躍升到大約 400 瓦。這很容易導致瞬時電壓驟降- 如果電壓驟降到足以導致立即崩潰/重啟,那可能沒什麼大不了的,但如果電壓驟降到足以導致資料在內存刷新期間或另一個驅動器正在寫入時損壞… ……這是一個更痛苦的問題。在某種程度上加大 PSU 的尺寸(或在電源軌上添加一些串聯電容器)是有意義的。
幸運的是,儘管在峰值效率範圍之外運行,但 Corsair RM 系列的大部分產品在很寬的範圍內都相當高效。
功率測量 – 初始
一些重要的部分:
- 從牆上測量的功率
- Intel PowerTOP 用於自動調整設置
- Ubuntu伺服器23.04
一些可能重要的BIOS位元:
- 在 BIOS (C10) 中啟用了 CPU C 狀態
- ASPM 已啟用,所有設定均設定為 L1
- 啟用 RC6(渲染待機)
- 啟用積極的 LPM 支援 (ALPM)
- 停用:高清音訊、連接模式、LED、GNA 設備、序列埠
9-10瓦是顯示輸出開啟時的消耗。
顯示器關閉後的功耗為7 瓦(對於 600 秒計時器,consoleblank=600 核心啟動參數),這是該系統一週大部分時間的消耗量。
如果停用 USB 鍵盤電源管理,功耗為8 瓦。如果您不從其他地方透過 SSH 連接到伺服器,則可能需要花費額外的電量來使用鍵盤。
有問題的功率測量 – 充滿旋轉鏽跡(旋轉下降)
正如一開始提到的,我一開始有 12 個硬碟。一半是 2.5 英寸,另一半是 3.5 英寸。由於主機板只有 4 個 SATA 端口,因此使用 SATA 控制器和端口倍增器來處理剩餘的驅動器。此外,早期使用了 4 個 NVMe 驅動器:其中一個是 Western Digital SN770,即使在空閒狀態下也有變得相當熱的趨勢,這表明它可能不會進入低功耗模式。
當所有設備連接完畢、處於空閒狀態、顯示器關閉、12 個驅動器轉至待機狀態時,我驚訝地發現我的空閒功耗從 7 瓦一直上升到高達 24-25 瓦。太過分了!出了點問題。
耗電量難題-大功率排除與診斷
我斷開了硬碟並開始一次測試一個組件。這些都是相當粗略的測試,旨在粗略地了解罪魁禍首,因此這裡的數字並不精確。
我很快就發現我使用的 JMB585 SATA 控制器導致功耗增加了 6-10 瓦範圍(稍後部分將進行精確測量)。控制器本身只需要幾瓦的功率,而且微型散熱器保持涼爽,所以顯然還有更多的事情發生。電力去哪了?
我決定觀察 CPU 封裝的 C 狀態。如果沒有 JMB585 SATA 控制器,系統將達到 C6。當 JMB585 重新連接時,系統的最佳命中是 C3。啊哈!但為什麼?事實證明,如果 PCIE 連接的裝置不進入 ASPM L1,CPU 就不會進入深度睡眠狀態。 JMB585 控制器卡似乎沒有 ASPM 支援。
進一步的實驗揭示了一些我不知道的東西,它與 C6 與 C8 有關。如果沒有任何東西連接到 CPU 連接的 PCIE 通道,系統只會存取 C8。換句話說,如果在頂部 PCIE 插槽或頂部 NVMe 插槽上插入任何東西,C6 是最大的。在簡單的測試中,C6 和 C8 之間的功耗差異*似乎*小於一瓦。
因此,雖然 C8 是一種奢侈,但達到 C6 是必須的。 C3用電量太大。如果 SATA 控制器會阻止 CPU 達到最佳省電狀態,我開始考慮是否應該尋找具有 6-8 個 SATA 連接埠的主機板,這樣我就不必依賴附加控制器…
對 SATA HBA 的一些搜尋表明,雖然這裡沒有太多選擇,但 ASM1166 SATA 控制器應該支援 ASPM L1,儘管必須刷新韌體才能使其正常工作(並在較新的 Intel 主機板上工作)。這是我必須訂購的東西:我有 Marvel 和 JMicron 備件,但他們不支援 ASPM。事實上,我多年來一直迴避 ASMedia,但出於必要,他們現在有了另一個機會:我訂購了幾個 ASM1166 6 連接埠 SATA 控制器。
旁白:糟糕的TLP,糟糕!來自 pcieport 的 AER 總線錯誤
值得一提的是…在使用 WD Black SN770 (Gen4 NVMe) 進行初步測試時,我在使用主(頂部 CPU 連接)PCIE 和 NVMe 連接埠時發現了一個問題。運行 dmesg 會導致輸出中充斥著以下內容:
pcieport 0000:00:06.0: AER: 收到更正的錯誤: 0000:02:00.0
nvme 0000:02:00.0: PCIe 總線錯誤: 嚴重性 = 已修正,類型 = 物理層,(接收器 ID)
pcieport 0000: 00:06.0: PCIe匯流排錯誤:嚴重性 = 已修正,類型 = 資料連結層,(傳送器 ID)
pcieport 0000:00:06.0: AER: 首先報告此代理程式的錯誤
nvme 0000:02:00.0: [ 6 ] BadTLP
……經過多次嘗試和錯誤,我發現如果「PEG – ASPM」BIOS 設定設定為 [Disabled] 或 [L0s],則不會出現錯誤。
當然,這是一個糟糕的選擇,因為 [L1] 對於節能至關重要。如果使用 [L1] 或 [L0sL1],唯一的選擇是將這些連接埠的連結速度設定為 [Gen3],這不會阻止錯誤,但會大大減少錯誤。
一些研究表明根本原因可能是多種原因。因為更換主機板或 CPU 並不是一個令人愉快的想法,所以我最大的希望是更換為不同品牌的 NVMe。
我訂購了一些 Crucial P3 NVMe 硬碟。事實證明這是一次成功的嘗試:用 Crucial 硬碟取代 WD 硬碟後,我不再收到任何錯誤,但請記住這些是 Gen3 硬碟。
功耗難題 – 發現 L1.1 和 L1.2 僅在晶片組連接的連接埠上啟用
當我在 CPU 連接的 PCIEx16 插槽和頂部 M2 插槽中安裝 2 個 Crucial P3 NVMe 驅動器時,我注意到空閒溫度比預期要高。雖然 NAND 的溫度約為 27-29C,但控制器報告的溫度為 49-50C,遠高於我對這些特定驅動器的預期。
我將其從 PCIEx16 插槽移至晶片組連接的 PCIEx4 插槽。這些驅動器之間的一個有趣的區別透過 lspci -vvv 顯示出來:
CPU 連接的 M2 插槽: L1SubCtl1:PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
晶片組連接的 PCIE 插槽: L1SubCtl1:PCI-PM_L1.2+ PCI-PM_L1.1 + ASPM_L1。
L1 子狀態似乎僅在晶片組連接的插槽上啟用。不幸的是,但它似乎與上面螢幕截圖中可用的 BIOS 設定一致。
我們再次參考那張主機板圖片來說明情況:
我將兩個 NVMe 驅動器放在晶片組連接的 PCIE 插槽上。現在,兩者均顯示 L1.1+/L1.2+,兩個控制器溫度均從 49-50C 範圍降至 38-41C。
不幸的是,當使用這2 個具有不同插槽配置和各種BIOS 設定的Crucial 英睿達NVMe 驅動器嘗試進行各種A/B 測試時,我發現溫度方面的行為非常不一致,但值得注意的是,在這些測試期間也連接了JMB585 和NVMe 啟動磁碟機。例如,兩個驅動器可能在 40C 左右空閒,直到軟重啟,此時 1(或兩個驅動器)現在可能在 50C 範圍內空閒。有時,只要 x16 插槽未填充,似乎可以在連接 CPU 的 M.2 上保留 1 個驅動器,並在兩個驅動器上保持 40°C 的溫度。想必我遇到了某種錯誤。無論 Crucial NVMe 驅動器發生什麼情況,三星啟動 NVMe 似乎都能保持一致的空閒溫度,因此我懷疑 Crucial 驅動器本身至少有部分原因。
有趣的是,有時在晶片組連接的插槽上,一個(或兩個)控制器溫度會一路下降至 29C 範圍。由於試圖找到Crucial P3 的低功耗4TB NVMe 替代品並不是一個現實的目標,因此我此時最大的希望是不相容ASPM 的JMicron JMB 585 在某種程度上是罪魁禍首,因為它很快就會被替換為相容 ASPM 的 ASMedia ASM 1166。
最新更新:不幸的是,我沒有在其餘的測試過程中追蹤溫度,並且驅動器之間的散熱器/氣流都混亂不堪。但無論其價值如何,在最終版本中,我的 Crucial P3 控制器溫度為 31-34C,NAND 溫度為 23-24C。
耗電量難題 – 從 JMB585 切換到 ASM1166。
幾週後,ASM1166 到達。首先,關於該卡的一些資訊如果您正在考慮的話可能會有所幫助…
我從韌體閃存開始 – ASM1166 卡通常具有舊固件,無法與 Intel 600 系列主機板配合使用,據我了解可能存在電源管理問題。較新的韌體可以在各個地方找到,但我決定從 SilverStone 獲取副本(https://www.silverstonetek.com/en/product/info/expansion-cards的下載部分中的「修復相容性問題」) /ECS06/ )並依照https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/中的說明進行操作。請注意,SilverStone 檔案具有與我透過關注https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707上的執行緒找到的韌體相同的 MD5 。
對於計劃購買其中一款 ASMedia 卡的人來說,我應該注意到,像大多數 SATA 控制器和 HBA 一樣,品質確實參差不齊。我的其中一張卡的散熱器有點彎曲:導熱墊足夠厚,可以防止附近的組件短路,但請注意,這些產品可能真的很不穩定。在這種情況下,多花一點錢從有良好退貨政策的地方購買可能是謹慎的做法之一。
我做了相當多的 A/B 測試,所以這裡是一個快速的「JMicron JMB585 vs ASMedia ASM1166」在系統總功耗方面的比較,儘管它可能只適用於這個平台(或甚至這個特定的主機板)。
無人駕駛
首先,在沒有任何磁碟機連接到卡片的情況下(SATA SSD啟動磁碟機連接到主機板)的功耗以獲得基準。 PowerTOP 用於除鍵盤以外的所有裝置(增加 +1 瓦)。顯示輸出進入睡眠狀態後的測量值。
- 8 瓦 – 無 SATA 控制器 – C8 電源狀態
- 9 瓦 – ASM1166,位於晶片組連接的 x4 插槽上 – C8 電源狀態
- 12 瓦 – CPU 連接的 x16 插槽上的 JMB585 – C3 電源狀態
- 15 瓦 – JMB585,位於晶片組連接的 x4 插槽上 – C3 電源狀態
- 22 瓦 – CPU 連接的 x16 插槽上的 ASM1166 – C2 電源狀態
如果將ASM1166 插入晶片組連接的插槽(僅+1 瓦),ASM1166 的表現會很好,但如果連接到主PCI-E 插槽(+14 瓦),則表現會很糟糕,此時CPU 封裝功率狀態會驟降至C2。令人震驚的是,JMB585 的行為相反,在連接CPU 的插槽上它的消耗較低(並且不會導致C2)——但是,當驅動器實際連接時,您很快就會發現情況發生了變化…
我對控制器進行了額外的測試,包括用幾個NVMe 驅動器玩“搶椅子”遊戲,看看多個設備是否會對事情造成影響,但沒有發生任何意外的情況,所以我將跳過這些細節。
新增驅動器
完成基線測量後,接下來是時候在這些控制器上實際安裝一些驅動器了。 SATA SSD 啟動磁碟機保留在主機板上,增加了 2 個 NVMe 硬碟(除非另有說明,否則透過晶片組連接),並將 4 個 2.5 吋 SATA 硬碟放置在控制器上。我將列出硬碟進入待機狀態後的「旋轉下降」功耗 – 在每次測試中,當驅動器處於空閒狀態時,「旋轉上升」正好高出 2 瓦。
- 10 瓦 – ASM1166,位於晶片組連接的 x4 插槽上 – C8 電源狀態
- 11 瓦 – ASM1166 位於晶片組連接的 x4 插槽上,其中 1 個 NVMe 移至 CPU 連接的 x16 插槽 – C6 電源狀態
- 11 瓦 – 晶片組連接的 x4 插槽上有 2 個 ASM1166,只有 1 個 NVMe 驅動器 – C8 電源狀態
- 16 瓦 – JMB585,位於晶片組連接的 x4 插槽上 – C3 電源狀態
- 24 瓦 – CPU 連接的 x16 插槽上的 JMB585 – C2 電源狀態
由於透過晶片組連接插槽連接 4 個驅動器,ASM1166 的系統功耗增加了 +2 瓦,而 JMB585 則增加了 +8 瓦。沒有比賽。
另一個好處是,我能夠在系統中使用兩張ASM1166 卡,而嘗試同時使用兩張 JMB575 卡會導致系統拒絕啟動,儘管這可能是特定於平台或主機板的問題。
不過,這需要權衡——我總是發現 JMB585 非常可靠,包括與 JMB575 連接埠倍增器搭配使用時。我過去使用 ASMedia SATA 控制器的經驗並不出色:ASM1166 的可靠性還有待觀察,但至少它不適合用作端口倍增器,因為它不支援 FBS(僅 CBS)。
ASM1166 還有其他一些小問題:
- 卸下/重新插入 NVMe 啟動驅動器時,出現一條 BIOS 訊息,聲稱由於 GPT 損壞而無法啟動。必須暫時移除 ASM1166 卡,BIOS 才能再次「找到」NVMe 啟動磁碟機(之後可以重新安裝)。
- ASM1166 卡聲稱有「很多」連接埠——這會導致額外的啟動時間,因為 Linux 必須遍歷所有連接埠。
更新:SATA 和 SSD 品牌
其中一則評論提到較舊的三星 840 PRO SSD 限制為 C3,而 Crucial Force GT SSD 則允許 C8。雖然這些是較舊的驅動器,但我仍然發現這有點令人驚訝。這是值得調查的。
我使用 H770 作為測試台,配備 Samsung 850 EVO SATA SSD 啟動驅動器和 Crucial P3 NVMe,並建立了自訂核心以允許 Realtek 網路適配器達到 L1.2。沒有ASM1166,只是使用Intel板載SATA。在運行具有自動調諧功能的 powertop 並讓顯示器進入睡眠狀態後,我達到了 C10。我嘗試了手邊的各種驅動器,每次都關閉系統電源以交換驅動器並重複該過程。結果如下。
導致系統卡在 C6 的驅動器:
- 1TB 愛國者 P210 SATA 固態硬碟
允許 C10 的驅動器:
- 500GB 三星 850 EVO SATA 固態硬碟
- 4TB 2.5吋希捷 SATA 硬碟
- 8TB 3.5吋希捷SATA硬碟
- 14TB 東芝 SATA 硬碟
- 1TB 閃迪 Ultra 3D SATA 固態硬碟
- 4TB Sandisk Ultra 3D SATA SSD(註:緩慢調整)
- 4TB 英睿達 MX500
我建議謹慎選擇SATA SSD品牌和型號。隨著時間的推移,我將嘗試使用我測試過的驅動器更新此列表,但請記住,存儲領域的某些製造商已經表現出在其某些主線產品中悄悄更換為劣質組件的傾向,因此您應該始終驗證您在退貨期限內購買的任何儲存裝置聲稱的效能指標。請隨意對您遇到的好/壞驅動器發表評論。
功耗之謎——結論
如果以低消耗為目標,請注意以下幾點:
1) 主機板支援和 BIOS 配置至關重要 – 我的主機板的 BIOS 非常不靈活。在此情況下,必須啟用「本機 ASPM」和適當的 L1 狀態(以允許作業系統控製而不是 BIOS 控制)才能實現低功耗工作。
2) 設備均需支援ASPM L1。否則你就真的在擲骰子了。正如您可能已經猜到的那樣,這裡最困難的部分是找到支援它的 SATA 控制器 – 如果可能,請為主板提供足夠多的英特爾晶片組連接的 SATA 端口,以避免需要單獨的卡。我應該指出,找到在 ASPM 下具有工作低功耗 APST 電源狀態的 NVMe 驅動器並不總是給定的,您也需要在那裡做一些研究。
3) 如果可以達到 C8 電源狀態,請避免使用 CPU 連接的 PCIe 通道(頂部 PCIe 和 M2 插槽)。在這個特定的主機板上,我的建議是盡可能避免完全使用它們,除非您需要到 CPU 的低延遲全頻寬路徑,或者您的裝置非常活躍,無論如何都不會休眠。回想一下,如果插入 x16 PCI-E 插槽,我的 JMicron 和 ASMedia SATA 卡都會導致 CPU 封裝 C 狀態驟降至 C2。
4) 從牆上測量功率是確保您「認為」正在發生的事情確實發生的唯一方法。如果您使用 Kill-A-Watt 設備,隨著時間的推移,它會收回成本 – 考慮我在 2006 年購買的設備(當時透過 eBay 購買的價格為 16 美元 + 14 美元運費)。當時我發現我們很少使用的傳真機總是處於開機狀態,所用的功率為7 瓦…在接下來的10 年中,只要在不使用時關閉該設備,就比為「Kill-A-Watt 「支付的費用還要多。
裝載一堆硬碟時的功耗
現在,在整個過程中,各種零件已移入和移出系統,目前設定如下:
- 1x 三星 970 EVO Plus NVMe(500GB 啟動驅動器)
- 2 個 Crucial P3 NVMe(每個 4TB)
- 5 個希捷 2.5 吋硬碟(每個 5 TB – 已使用 4 TB)
- 6 個希捷 3.5 吋硬碟(每個 10 TB – 已使用 8 TB)
- 2x ASM1166 卡提供 SATA 連接埠
從牆上測量的總功率(顯示打開,鍵盤啟用):
- 所有 11 個 HDD 均處於活動-空閒狀態時為 50 瓦
- 空閒 B 中配備 6 個 3.5 英寸 HDD 時為 38 瓦
- 空閒 C 中配備 6 個 3.5 英寸 HDD 時為 34 瓦
- 21 瓦,6 個 3.5 吋 HDD 處於 Standby_Z 狀態(轉速下降)
- 18 瓦,5 個 2.5 吋硬碟也處於待機狀態
- 16 瓦,顯示輸出也關閉
- 允許 PowerTOP 停用 USB 鍵盤時為 15 瓦
希捷將這些 3.5 吋硬碟的待機功耗定為每個約 0.8 瓦,2.5 吋硬碟的待機功耗為每個約 0.18 瓦。這與我在上面看到的一致。我的活動-空閒數字實際上也與希捷規格非常匹配。
明顯的觀察結果是:與系統的其他組件相比,3.5 吋驅動器是耗電的怪物。
HDD 最終將被 SSD 取代。由於 HDD 待機期間的空閒消耗非常低,因此不會出現太大的匆忙,並且隨著我的 HDD 驅動器/備件出現故障以及 SSD 價格下降,此過程將逐漸發生。
「最終遊戲」的計劃是全 SSD 構建。最初的計劃是為 1 個啟動磁碟機、6 個 NVMe(可能是 Crucial P3 4TB)用於 RAIDZ2 陣列,以及 6 個 SATA(可能是 Samsung 870 QVO 8TB)用於第二個 RAIDZ2 陣列。由於使用CPU 連接的M2/PCIe 插槽不僅會帶來不可預測性,而且還會帶來輕微的C 狀態/功耗/溫度成本,因此我可能會更改該計劃,放棄第一個陣列中的幾個NVMe,而使用SATA,以便我不必接觸 CPU 連接的通道。時間會證明一切。
不必要的儲存細節
只有當您對有關存儲的詳細細節感興趣時,此部分才值得閱讀。否則請隨意跳到最後一部分。
NVMe啟動磁碟機
如前面所提到的,這是三星 970 EVO Plus。目前,500GB 空間的使用量不到 4GB(存在 64GB 交換分割區,但始終處於 0 使用狀態)。最初選擇它是因為三星在可靠性方面享有盛譽(最近一直在下降),而且三星在每次閒置功耗方面的評論中也得分很高。此驅動器幾乎始終處於空閒狀態,控制器和 NAND 溫度在整個測試過程中都保持較低水平 (20-24C)。它最終可能會更換為 SATA SSD 以釋放 NVMe 連接埠。
2.5吋硬碟
這些磁碟機用於主 6 磁碟機 ZFS RAIDZ2 陣列 – 使用最多的陣列。每周有一天,它都會忙於一項需要在 24 小時內讀取幾 TB 資料的任務。本週剩餘時間的使用情況是零星的,並且驅動器在一周的大部分時間裡都在旋轉。對於任何想知道為什麼使用 2.5 吋驅動器而不是 3.5 吋驅動器的人來說,有一個原因:功耗。
老實說,2.5 吋希捷硬碟的耗電量相當令人印象深刻。轉速下降時,它們的額定功率為 0.18w,在低功耗空閒狀態下,它們的額定功率為 0.85w,讀/寫平均值的額定功率約為 2w。有許多 SSD 的功耗數據都比這種旋轉鏽跡更糟。 5TB 容量可提供大量每瓦儲存空間。
這些 2.5 吋希捷硬碟的主要缺點是:
- 不是偉大的表演者。 80-120MB/s 峰值讀/寫。公平地說,許多 TLC/QLC SSD 在 SLC 快取耗盡時就會陷入這些寫入層級。
- SMR(疊瓦磁記錄)。讀取很好,但當隨機寫入發生時,寫入效能絕對會下降——它就像沒有 SLC 快取、也沒有 TRIM 的 QLC SSD。
- 低額定工作負載(55TB/年 vs 3.5 吋 Exos 硬碟 550TB/年)。
- 沒有可設定的錯誤復原時間 (SCT ERC),並且如果這些磁碟機在不斷嘗試重新讀取有問題的磁區時遇到錯誤,則可能會掛起幾分鐘。 Ubuntu 需要配置為等待,而不是在 30 秒後嘗試重置驅動器。
- 如果它們變熱,錯誤率就會更高(我不得不更換一些並且發現它們不喜歡運行熱)。
- 典型的 HDD 痛點(旋轉速度慢等)。
為了絕對公平地對待希捷,這些都是作為外部 USB 備份驅動器出售的。將這些 15 毫米高的驅動器從機箱中拉出並將它們用作 NAS 中的 RAID 成員並未完全按照預期使用它們。超低功耗是巨大的,但也存在明顯的權衡。
從長遠來看,這些2.5吋4/5TB硬碟將慢慢被4TB SSD硬碟(可能全部是NVMe)取代。 4TB 容量的 SSD 將於 2021/2022 年開始在消費者端上市,成本約為旋轉器的 4-5 倍。不到兩年後,它們的成本已降至約 2 倍,而且我預計優質品牌的使用壽命將是希捷旋轉器的 2 倍以上。
如果 Crucial P3 (Gen3) 型號仍然可用,我可能會繼續使用該型號,儘管僅限於 Gen3 速度。我強烈考慮過 Crucial P3 Plus (Gen4),但評論中的功耗更高,儘管在極少數情況下性能也明顯更高。我對 P3 Plus (Gen4) 最擔心的是,如果我遇到 ASPM/APST 問題,Tom’s Hardware 顯示它的 2TB 型號比 P3 (Gen3) 多出 0.3w 的空閒功率。我更喜歡“最壞情況”的功率盡可能低。
3.5吋硬碟
用於輔助 6 驅動器 RAIDZ2 陣列 – 每週旋轉約 2 小時的備份陣列,在此期間接收持續的大量寫入。
3.5 吋希捷硬碟的耗電量與您的預期相符。這些 10TB 硬碟的額定待機功耗約為 0.8w,閒置功耗為 2-5w,讀取和寫入功耗為 6-9w。
這裡有兩個問題:
- 這些在寫入時的額定功率總計約為 45-50 瓦。如果在備份期間發生長時間停電,那麼我並不希望有一點額外的 UPS 負載(我堅持使用消費性 1500 瓦 UPS)。
- 這些裝置在待機狀態下的額定功率總計約為 4.8 瓦。再說一次,我不介意削減一些 UPS 負載。
從長遠來看,這些硬碟可能會被三星 870 QVO 8TB SATA 硬碟取代。 870 QVO 使用ALPM 時閒置時功耗為0.041w/0.046w,在不使用ALPM 時閒置時功耗為0.224w/0.229w,複製時功耗為2.0-2.7w(根據Toms/Anandtech 的數據)。
從價格角度來看,三星 8TB SATA SSD 目前比 8TB spinner 貴一些(接近成本的 3 倍),因此除非這些驅動器由於某種原因開始更頻繁地使用,否則更換 SSD 幾乎肯定會等到我備件已經用完了。
NVMe 快取驅動器
用 SSD 取代我的旋轉鏽跡是一個可能需要一段時間的過程。
同時,ZFS 有幾個選項可以在較慢的儲存之前使用高速儲存(通常是 SSD):
- 「特殊」分配類別 – 允許您根據需要專門為元資料和「小」區塊建立 vdev。
- 快取驅動器,通常稱為 L2ARC。
如果您在建立池時建立「特殊」vdev,則所有元資料(以及您選擇的大小的小塊)都將繼續「特殊」vdev,而不是旋轉的 rust。非常快速的文件清單和目錄遍歷,同時保持文件本身的旋轉生鏽。是的,您可以「ls」一堆目錄,而無需將硬碟從睡眠狀態喚醒。最大的缺點是,因為您的所有元資料都位於此 vdev 上,所以如果它死亡,對所有資料的存取基本上就會消失。所以它至少應該要被鏡像。甚至可能是三向鏡。告別一些連接埠。
L2ARC 有點不同。它本質上是一個二級緩存。當 RAM 中的快取已滿時,ZFS 會將某些區塊複製到 L2ARC,然後再從 RAM 中逐出該內容。下次需要存取該資料時,將從 L2ARC 而不是磁碟讀取資料。與「特殊」vdev 相比的一個好處是,您只需 1 個 SSD 即可 – 如果 L2ARC 中的資料出現問題(校驗和錯誤、磁碟機損壞等),ZFS 將僅從原始磁碟讀取內容。此外,一旦 L2ARC 滿了,ZFS 將在 L2ARC SSD 的開頭再次啟動,並覆蓋之前寫入的內容,這有一些優點(舊數據不再被訪問)和缺點(經常訪問的數據,需要獲取)再次寫入L2ARC)。您也可以隨意從池中新增/刪除 L2ARC 裝置 – 想要新增 64GB SSD、500GB SSD 和 2TB SSD?繼續吧——ZFS 將在它們之間分配區塊。幾天後需要從池中取出 500GB SSD 並在其他地方使用它?往前走吧。 L2ARC 的最大缺點是,如果您在新增裝置時忘記指定“快取”,則可能會弄亂池。它也是不完美的:即使經過仔細調整,也很難讓 ZFS 在 L2ARC 從內存中逐出之前將您想要的所有內容寫入 L2ARC。同時,根據您的數據,L2ARC 可能會看到大量寫入,您可能必須仔細觀察 SSD 的運作狀況。
過去我使用過“特殊”,使用過 L2ARC,並且同時使用過兩者(您甚至可以告訴 L2ARC 不要快取“特殊”vdev 中已包含的內容)。
這次,我只是在 4TB NVMe 上使用了 L2ARC:一旦所有其他 2.5 吋硬碟都被 SSD 取代,並且 SSD 快取的速度優勢不再適用,我可以簡單地刪除此快取裝置(儘管理論上有 1 個) L2ARC 快取驅動器處理大量讀取*將*允許其他NVMe 驅動器更多地保持在低功耗模式…)。
結論-後悔嗎?二次猜測?有什麼可能會有所不同嗎?
與華擎 J4005 建造不同,在建造過程中我意識到我在很多方面都限制了自己,但在這裡我沒有同樣的感覺。這次我最終得到了低空閒功率和一個功能相當強大的系統,即使將來重新調整用途,該系統也應該很靈活。
我對我的組件選擇非常滿意,儘管我很想知道 MSI PRO Z790-P DDR4(我考慮過的其他主機板之一)相比之下會如何。在功能方面,MSI 具有 6xSATA 連接埠的優勢,但它也有臭名昭著的 Intel 2.5G 網路晶片的明顯缺點。 MSI 還有一個 PS/2 端口,我從未真正檢查過 PS/2 鍵盤功耗是否低於 USB(回想一下,如果我允許 powertop 關閉 USB 鍵盤端口,我可以節省 1 瓦)。當然,比較 ASPM 和 ALPM 設置,並看看我在連接 CPU 的 PCIe/M.2 插槽時遇到的障礙是否以相同的方式存在,這會很有趣。
雖然該系統目前在空閒且驅動器處於待機狀態時處於 15-16 瓦範圍內,但一旦所有HDD 都替換為SSD,我預計空閒消耗約為10-11 瓦,這對於價值72TB 的驅動器來說還不錯, 64GB RAM,以及相當不錯的處理器。
更新:最新的 Linux 核心禁用了大多數 Realtek NIC 的 L1 省電模式,這會阻止 CPU 進入正常的 C 狀態,從而大大增加功耗。雖然有解決方法,但今後我可能會將自己限制在包含 Intel 1 Gigabit 網路適配器的主機板上(當很明顯他們已經解決了所有問題時,可能會轉向 Intel 2.5 Gigabit)。您可以在下面的評論中找到有關 Realtek 網卡情況的更多詳細資訊。
我想如果你找到一個帶有更多 sata 埠的板子,很多麻煩是可以避免的!
就我而言,我從未設法讓我的晶元超過 C3。我有意嘗試減少多餘元件的數量(就像那些 SATA 控制器一樣,我讀過關於它們可能有多成功和錯過的資訊)。
我將仔細檢查我的 BIOS 設置,以確保我已經啟用了您在文章中提到的所有相關內容。
非常有趣的文章,非常感謝。
所以你並不關心 ECC,有些人說 ECC 對於永續運作的伺服器來說是必須的,尤其是 ZFS。
此外,NVME 似乎比 SSD 更耗油。
我正在尋找省錢的 ECC 主機板,但還沒找到,W680 主機板很難買到。
與此同時,我在 J5040 Asrock 主機板上執行 Unraid,鏡射兩顆 1TB SSD,以及三顆大部分時間都在休眠的機械式 WD。
系統閒置時的耗電量為 19 瓦,在加入 Asmedia Controller (4) 之前為 16-17 瓦 (C6)。我很快就會用 Corsair 取代舊的 seasonic PSU。
謹啟
吉爾特
請記住,如果使用第 2 個 M.2 插槽,6 個 SATA 連接埠中只有 5 個可以使用。如果我沒記錯的話,H470M DS3H 的 BIOS 也隱藏了一些選項(例如強制 IGPU 或專用 GPU),除非將它置於 CSM 模式。此外,如果我安裝了 LSI SAS HBA,它會隨機在開機畫面中掛斷並顯示錯誤,這就需要再次嘗試重新啟動 - 不過一般的 SATA 控制器都可以正常運作。撇開這些奇怪的細微差異不談,我覺得它很可靠,而且運作得很好,我相當喜歡這塊主機板。
您是否打算發表一篇類似的文章,但針對支援 ECC 且低耗電的系統,而且仍能相容於 Linux (我認為 AMD 的低耗電對 Linux 來說並不是最好的例子)。
我打算很快就自己做一個這樣的系統,我想知道我是否應該在下個月或兩個月內開始製作系統,或者等一下再閱讀您的文章,您的文章會提供一些有用的網站,可以幫助我在選擇元件時做出更明智的決定。
儘管如此,還是非常感謝您所撰寫的詳盡文章。您的工作令人印象深刻,強調建立高效能低耗電 NAS 的重要部分。
我也買了 970 Evo Plus (2TB) 作為開機硬碟,可以證實它必須連接至晶片組才能達到低封裝 C-States (C8)。我發現有趣的是,當 SSD 連接到晶片組時,封裝 C3 與 C8 的差異會大很多。我相信這是因為晶片組本身只有在所有連接的裝置都支援 ASPM 且 SATA Link Power Management 啟動時,才會進入深度睡眠狀態。
將固态硬盘连接到 CPU PCIe 只增加了 ~2W 的功耗 (封装 C3 vs C8),而没有 ASPM 的设备连接到芯片组似乎只为芯片组额外增加了 5W,但对封装 C-State 有相同的影响 (C3)。
值得注意的是,我有一張 PCIe 1.1 DVB-C Capture 卡連接至晶片組。雖然 lspci 將 ASPM 列為該卡的功能之一,而且我以 pcie_aspm=force 啟動核心,但該卡並沒有啟用 ASPM。我必須透過 setpci 強制啟用 ASPM,請參閱 https://wireless.wiki.kernel.org/en/users/documentation/aspm - 似乎沒有問題。這有助於我達到 15W 的閒置功率。不幸的是,擷取卡仍需要 ~5W 的電力,否則我目前只連接了 2x4TB 的 Toshiba HDD,當閒置時會轉速下降。
必須停用所有連接埠的 Sata Hot Plug,否則套件只能達到 C6。
超棒的文章,感謝您提供這些資訊。
我正在計畫打造我的 nas。由於耗電是主要的問題,您對以下的建置有何看法 (但我對於系統、可能的情況和/或如此低 tdp 晶片的限制還是有點菜鳥)?
Asrock N100M micro ATX (搭載最新的 Intel® 四核心處理器 N100 (最高 3.4 GHz),配備 6W tdp。由於只有 2 個 SATA 連接埠,我們的構想是在 1 x PCIe 3.0 x16 插槽上增加一個具有 8 個額外 SATA 連接埠的 SAS HBA 卡。儲存裝置方面,TrueNas 作業系統需要 1 個 M2 (主機板上的那個),虛擬機器、docker 需要 2 個 SSD 鏡射 SATA...,最後需要 8 個硬碟 Seagate EXO 7200 rpm (一開始 2 個,之後會依需求增加)。
至於電源供應器,則是 Seasonic Focus PX 550W - Modular 80+ Platinum ATX,最後則是獨一無二的 32GB 記憶體 (非 ECC)。
非常感謝
關於 SAS HBA 卡,我建議您多看看其他人在您考慮的特定卡上看到的閒置功耗:常用的卡在完全不做任何事的情況下通常會有幾瓦的功耗。我不確定 *BSD 是如何處理這些顯示卡的,但在少數預設啟用 ASPM 的顯示卡中,Linux 最後會因為一些問題而在核心中停用 ASPM。儘管如此,在這種情況下,華擎 N100 可能比獨立的 CPU/ 主機板組合更好用,因為我預期它對擴充卡的 c-State 影響較不敏感,不過這只是我對華擎 J4x05 主機板的猜測,可能並不適用於 N100。
Seasonic PX 550W 看起來是很棒的選擇。
整體看來是個穩固的構造!
您有什麼訣竅可以幫助您找出可以達到低耗電量的主機板?有時候人們會推薦 ITX 主機板,但我沒有找到任何關於 ITX 與 ATX 通常能省多少瓦特的測量結果。ITX 主機板不適用於這次的建置,但 ATX 似乎也不是耗電的主要來源。一般而言,似乎很難找出哪些主機板省電,哪些不省電?
您說的 「E-core 矽晶片開銷 」是什麼意思?您為什麼要試著避開它?我知道有 E 核心的 CPU 可能比較複雜,但我原以為當 CPU 在低負載下執行非密集型任務時,E 核心可能會導致較低的耗電量。
再次感謝您提供的寶貴資訊。我希望能夠建立一個具有類似電源效率的系統。現在我有一塊技嘉 Z790 UD AX 主機板和一個 i5-13500 系統,但功耗卻無法低於 28W。
ITX 的優點在於它會限制元件數量,但嚴格來說並不是必要的 - 上星期我實際上重新使用了我一開始提到的「Intel i3-10320 on a Gigabyte H470M DS3H」,並將它的閒置功耗降至 6 瓦 (無頭、無鍵盤、僅內建 Intel i219V 1GbE 網路、BIOS 中的 c-states、3 個 Samsung SATA SSD 840/860/870、Corsair RM850 電源供應器、Ubuntu Server with powertop)。這是一款非常功利的主機板。我不會再另外寫一篇文章,因為這塊主機板已經沒有了,但是這篇文章中的 MicroATX Gibabyte H470 主機板的 6 瓦和 ATX ASUS H770 主機板的 7 瓦是我到目前為止最好的兩個結果,值得注意的是這兩塊主機板都不是 ITX。還有一點我剛剛注意到:這兩款板卡都只有 6 個電源相位。
至於 "E-core silicon overhead"(E-核心矽晶片開銷),可以在 https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ 找到許多詳細資訊,但我會嘗試總結一下。i5-12400 擁有 6 個 P 核心和 0 個 E 核心,也就是一般所說的 6+0,但它有兩個變體:一個是「C0」步進,原本是 8+8 的核心融合成 6+0;另一個是「H0」步進,直接以 6+0 製造,一開始就沒有任何 E 核心硬體。在測試中 (該文章第 5 頁),C0 的耗電量比 H0 高出 16 瓦 (視基準而定),其中閒置時高出近 11 瓦。現在,他們的 C0 樣本有可能有其他造成漏電的問題,或是有其他變數在起作用,但無論如何,這兩顆內建實體 E-Cores 硬體的晶片在閒置測試中表現不佳。
因為我的大部分系統都需要極低的閒置功耗,所以在我看到一些數據顯示內建 E 核心的晶片閒置功耗低於 10 瓦之前,我沒有理由購買任何結合 P/E 核心的晶片。但我還沒有看到。這是 Intel 最近受到很大威脅的領域:AMD Mini PC 的 Ryzen 9 7940HS ( https://youtu.be/l3Vaz7S3HmQ?t=610 ) 現在的閒置功耗已降至約 6-7 瓦,如果 AMD 將這種 APU 設計帶入桌上型電腦,或是像華擎這樣的廠商開始將這些令人印象深刻的 HS 晶片包裝在客製化主機板上,Intel 可能很快就會失去低閒置功耗的市場。
話雖如此,即使您的主機板上有許多低效率的 MOSFET,您所說的 28 瓦功耗似乎還是有點高,除非您有一些會轉動的鐵銹或 PCIe 卡會耗電。您有檢查過您是否達到 C6 或更好的功率狀態嗎?回想一下,當我把 ASM1166 放在主 PCIe 插槽上時,我被限制在 C2 狀態,耗電 22 瓦。
您說得沒錯,我分享的 28 W 並不是最好的。我犯了一個錯誤,以為拔掉硬碟的 SATA 連接線就可以讓硬碟關機。事後看來很明顯,您也需要將它們從 PSU 拔下。此外,我還有許多周邊設備連接到電腦上,但我沒意識到它們會消耗電力(尤其是插入式螢幕會造成很大的差異)。在中斷所有硬碟和所有周邊設備的連接後,我得到的讀數在 8-10W 的範圍內。
為了希望這能成為對其他人有用的數據點,我將分享一些更多的細節。CPU 是 i5-13500,搭配技嘉 Z790 UD AX 主機板。唯一連接的是一顆 SATA SSD 和一條記憶體。PSU 是 850 瓦的 Corsair RM850x。系統達到 C8 甚至 C10。還可以做一些事情來降低功耗。我是在 GNOME 空轉時測量的(我假設沒有執行 DE 可以省下一點 CPU),我有兩個 CPU 風扇,即使在低溫下也會緩慢運作,系統是在 WiFi 上(我假設乙太網路消耗較少電力),而且我沒有停用機殼 LED 或 HD 音效。
我現在對耗電程度非常滿意。或許,有一個啟示是 Intel E-cores 對閒置功耗的影響不大,至少在這顆 CPU 上是如此。我現在唯一的問題是系統不穩定,間中會重新開機😭。我想我已經把問題縮小到 CPU 有問題或主機板有問題(我試過更換 PSU,memtest86+ 說記憶體沒問題)。我購買零件的公司聲稱兩者都沒問題,但除非我找到其他解決方案,否則我會試著用一些低階零件更換 CPU 和主機板:第 13 代 i3 和華碩 B760M-A 主機板。如果這能解決問題,希望我可以退還其他零件,在最壞的情況下,我將使用伺服器的預算零件和工作站的高階零件。
我已經嘗試了所有的設定,一旦啟用 c8/10,系統就會變得不穩定,並在某個時候關機,我已經檢查了所有的硬碟和纜線,更換了兩次電源供應器,目前正在等待 intel 的 CPU RMA。從這個主題來看,這似乎是技嘉的問題,我也嘗試了不同的 BIOS 韌體,但都沒有成功,所以如果 CPU RMA 無法修復,似乎就是技嘉 z790 主機板的問題。
我很失望,因為我的退貨期限已過,而且真的不想處理技嘉的 RMA,所以如果 CPU RMA 無效,我就只能忍受它,或是把它賣掉,再買另一塊主機板。
由於這個主題有點老了(2023 年 12 月),我想知道是否有人遇到過這個問題,並且能夠解決。
謝謝。
我目前正在測試一台 ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos),在閒置狀態下,暫停顯示器和 USB (滑鼠、鍵盤),電源表顯示 6.7-8.1 W:
- i5 13500
- 2 x 16 GB 3600 MHz (檔位 1)
- 1 TB KC 3000
- RM550x 2021
- 2 x 120 mm 風扇 @ 450 rpm
- 音訊編解碼器開啟
- 關閉 WiFi
Arch Linux + RTL8125 模組 (我的路由器不支援 EEE)
停用 Realtek 卡後,電源表顯示 6.4 - 6.7 W
帶 LAN 的 PC 狀態
C2 (pc2) 0,7%
C3 (pc3) 1,3%
C6 (pc6) 41,1%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0%
C10 (pc10) 55,8%
無 LAN 的 PC 狀態
C2 (pc2) 0,6%
C3 (pc3) 0,6%
C3 (pc3) 0,9%
C6 (pc6) 0,0%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0%
C10 (pc10) 97,8%
我在 B660 AORUS MASTER DDR4 (16+1+1) 上也有類似的結果。
我想分享一下我的新 12-14 W PC 的使用經驗。
我剛製造了一台無風扇的 mini-ITX 電腦。機殼也是被動式散熱器 - AKASA Maxwell Pro,內建 AMD Ryzen 5600G (Zen 3, 65W TDP)、技嘉 B550I AORUS PRO AX (bios FB)、1x 16GB DDR4 (我打算升級到 2x32GB)、1x 2TB Samsung 980Pro m.2 SSD。使用 AKASA 的 12V AC/DC 電源供應器 (最大 150 瓦) 和 Inter-Tech 的 MINI-ITX PSU 160 瓦。
在 Windows 10 下,整台電腦的閒置功耗為 12-14W(在直流側測量,電源計劃是平衡的,但我在 bios 中啟用了 ASPM、Pstates 和 C-states,並在 Windows 電源計劃的進階設定中啟用了 PCIe 節能)。
負載下 (Cinebench R23) 為 61-65W。目前我正在降低壓縮,以獲得更好的功耗和溫度。
----------
我的小型家庭實驗室和 NAS 的閒置功耗低於 2W ‼️
我推薦 Odroid H3 (H3+) 使用 BIOS 1.11 和 Debian 11 + DietPi + 核心 6.0.0 (或更新版本) + 透過 powertop 應用調整,其閒置功耗僅為 1.2 - 1.5W (相較於 RPi 4 的 2.7W - source) ⚡️ (我的配置:1x 16GB RAM 和 1x SATA SSD)。
参见: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif
最大記憶體容量為 64 GB RAM,並擁有 1 個 m.2 連接埠、2 個 SATA 3 和 2 個 LAN 2.5Gbps。它的速度比 Raspberry Pi 4 快得多,閒置時功耗更低。負載時的耗電量為 20 瓦 (+ 取決於連接的裝置)。
如果您需要更多 SATA 連接埠,則可使用下列方式將 m.2 連接埠擴充為 5x SATA: https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
我目前正在努力讓我的新 NAS 在沒有資料磁碟機的情況下,閒置時的耗電量低於 40W,我無法理解為什麼會耗電那麼多。我的遊戲桌上型電腦空載時的功耗更低。
這是一台 Asrock H670M-ITX/ac,配備 i3-12100、8GB 記憶體和 be quiet 400W PSU。原本使用 Kingston NV2 NVMe 作業系統,但發現換成 SATA SSD 後,空載功耗降低了約 10 瓦 (50 瓦 - > 40 瓦)。
根據 powertop,核心進入 C7 沒有問題,但封包拒絕離開 C2。不知道這有多重要。
我會繼續努力,以您的文章作為參考。)
Matt、
您的文章啟發了我,所以我購買了相同的主機板 (prime h770 plus d4) 和類似的處理器等。我可以達到最低 12-14 瓦。目前我對此感到滿意,但由於封裝無法再達到 c8,導致額外的 8 瓦電力讓我非常沮喪,您在您的建置中看到類似的情況嗎?
可悲的是,這是對內核中的 Realtek 驅動程式所做的故意變更。它確保幾乎所有 Realtek 介面卡都停用 L1,似乎是為了回應一些 Realtek 介面卡在啟用這些低耗電狀態時遇到的穩定性問題。在我目前的測試系統上,由於系統不再超越 C3,因此在閒置狀態下,螢幕睡眠時的功耗會增加 4 瓦。
嘗試 Tseting 所連結的 Realtek 驅動程式可能是目前最簡單的解決方案,雖然我不知道它在不支援的核心版本上會如何,而且我個人也不是核心模組的忠實粉絲。為了方便起見,我貼在這裡: https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
當然還有一個更難的解決方法 - 對於熟悉編譯內核的人來說,還原上面 diff 中的變更就可以恢復 L1/L1. 1 的 RTL8168h/8111h、RTL8107e、RTL8168ep/8111ep、RTL8168fp/RTL8117 和 RTL8125A/B 裝置 (較舊的裝置已經停用) - 如果您想要允許 L1.2,您可以強制 rtl_aspm_is_safe() 回傳 true,不過在我的測試系統上,這並沒有比 L1.1 帶來任何好處。
除非核心開發人員改變心意,否則 Intel NIC 似乎是未來唯一可行的選擇。Intel 1G NIC 一般都非常穩固。令人擔憂的是,我發現在我的微星主機板上停用 Realtek 網卡並不能完全將它移除 (仍然卡在 C3),因此購買有 Realtek 網卡的主機板並計劃停用它並使用 Intel 網路擴充卡可能會有風險。值得注意的是,廠商可以在 8125A/B 介面卡上設定一個旗號,表示 L1.2 已經經過測試並允許使用,Linux 核心會尊重這個旗號,但我不知道是否有任何主機板或擴充卡採用這個旗號。
感謝您分享的詳細資訊。
您的設定啟發了我,我已經購買了「Prime h770-plus」,包括 4800 DDR Ram。
不幸的是,當在 bios 中啟用 aspm(以及 PCI Express clock gating)時,我在使用 NVME SSD 時也遇到問題。封鎖 WD 某些省電模式的變通方法也沒有用。我試了 SN750 (1tb) 和 SN850X(2tb)。
您是否仍然可以推薦 Crucial P3,還是它也會經常因為 ASPM 問題而失敗?
板上有哪些其他 NVME 在啟用 ASPM 時運作穩定?
您在連續運作時,是否有效率地執行設定?
此外,我發現至少在 SATA1 上的 840pro (256gb) 可以防止系統低於 C3。另一方面,Crusial Force GT (128GB) 可以運作到 C8。
我透過移除核心中的檢查,解決了 Realtek NIC 的問題。
謝謝您,並致上最崇高的敬意
「我想如果您找到有更多 SATA 連接埠的主機板,就可以避免許多頭痛的問題!」
預設值並非如此 - 因為這取決於使用何種 SATA 控制器及/或這些連接埠的連接方式。N5105 使用板上控制器的機率很高,特別是針對 N5105,Kingnovy 和 Topton 販售的 6-SATA 連接埠 NAS 變異體廣為人知。
黑色使用 JMS585,綠色 PCB 則使用 ASM1166 - 黑色只能使用 C3,綠色則可以使用 C8 (我自己也有綠色的變體,所以我自己也有驗證)。如果我需要備份伺服器以上的功能,我會選擇這條路線 - 使用更強大的 Intel LGA1700。
Odroid H3 是一個很好的例子,說明您可以將閒置功耗降到多低 - 在 Spindown 中透過 SATA 連接 2x HDD 的情況下,閒置功耗<2W......不過,只要您加入(錯誤的)元件,功耗就會快速增加 - 請查看這裡的功耗統計:
https://github.com/fenio/ugly-nas
TLDR:最後它的耗電量比您在這裡的建置還要多 - 而且我必須補充,我之前擁有一台 Odroid H2,它燒毀了他們的 5V 通道,並將(昂貴的)固態硬碟也一併燒毀......從那時起,我就不再使用 Odroid H3 這種異國風格的組合,而是使用絕對最高的最低耗電量。
我想說的是,最後一切都歸結於 - 實用性與耗電量的對比。
雖然如此,我還是對這套組合留下深刻印象 - 750 瓦 PSU 的空載功耗只有 7 瓦,實在相當驚人。
我目前正在將我的家庭伺服器從 j3455 升級到 11400。
在切換硬體時,我發現了一個奇怪的問題:
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (最新的 bios) +asm1166。
如果我從 USB 開機,但沒有連接任何 sata 磁碟機,C 狀態包會達到 c8。
如果我從 USB 開機,並將 SATA 磁碟機連接到內建的 SATA 控制器,套件 C 狀態只會達到 C2 (+4W)。
如果我使用連接至 pcie asm1166 的 SATA 磁碟機從 USB 開機,套件 C 狀態會達到 c8。
所以對我來說,b560 SATA 控制器似乎在省電上有問題。即使我啟用所有的 L1 並執行 powertop tune,它也不會低於 c2。
您知道什麼原因會導致 b560 SATA 控制器多耗 4 瓦電力嗎?
最後,長時間來說,增加另一個 ASM1166 來取代板上控制器可能會比較便宜。
這是啟用的,我也試過停用,但沒有改變耗電量或 C 狀態。(暫時維持啟用)
在 BIOS 中,我可以指定 M.2_2 使用 SATA 或 PCIE。根據 BIOS 和手冊,只有當 M.2_2 設定為 SATA 時,SATA6G_2 才會被封鎖。
但我已將 ASM1166 連接到 M.2_2,並設定為 PCIE。我確認所有板上 SATA 連接埠在此設定下都能如預期般運作。
所有連接埠的熱插拔預設為停用。我啟用了它,看看是否會改變什麼,但沒有。暫時將其保留在停用狀態。
我從 USB 開機,並嘗試不同的裝置: 2x SSD (Emtec 和舊款 Samsung)、2x 3.5" HDD (WD 和 Seagate) 甚至 1x LG DVD 燒錄器。
看來連接哪一種裝置都沒有問題。
它始終如一,只要我透過 SATA 連接裝置,板上 C2 就會達到最大值。
為了驗證這一點,我從 USB 隨身碟啟動並附加 SATA 裝置,然後在啟動時拔除所有裝置。
只要最後一個 SATA 裝置從 Live 系統中斷開連接,系統就會立即進入 pc6 狀態,接下來很快就會進入 pc8 狀態。
當重新連接所有 SATA 裝置時,它會停留在 PC6/8,但 dmesg 也無法識別重新插入的裝置 (最有可能的原因是熱拔插已停用)。
我會瀏覽 dmesg 開機日誌,也許會有有趣的發現。
-但是當 asm1166 連接到 m.2 插槽時,bios 或 lspci 都沒有任何顯示。 所以看起來 asrock 主機板有一些問題。 不知道接下來要怎麼做。
此外,有一件事我不太明白,如果我將家庭伺服器當作 NAS 使用,但同時也當作路由器使用,這樣會不會因為它總是要做一些工作,而無法在閒置時達到高 c 狀態?我有一個千兆位元的連線,目前我在 pi4 上使用 openwrt,但在啟用 qos 的情況下,下載速度只有一半。
再次感謝您。
至於作為路由器,雖然我不確定,但我希望在未來幾週內測試一下。目前我有一台華擎/英特爾的 J4005B-ITX 在這裡執行 OpenWRT 作為路由器,但它的主機板限制是 C6(雖然它在 Powertop 之後有 88-92% 的時間都花在那裡,使用典型的家庭流量,包括我剛才測試的 YouTube 串流)。這東西由我的一台舊 Antec 電源供應器供電,它穩定地維持在 10 瓦。
編輯/更新 12 月 13 日:為了跟進,我使用華碩 H770 + i3-12100 + Intel i350-4T 執行 OpenWRT,並在 systemd-nspawn 容器中以 SYSTEMD_SECCOMP=0 的權限執行。
如果什麼都不做,90-95% 的時間都會在 C10。
測試 A:僅處理 1 台觀看 YouTube 的裝置,90% 處於 C10。連線到非常輕微的家庭流量 (平均低於 3Mbit/s 的尖峰流量),它有 80-90% 的時間處於 C10 狀態。從我的一台網路伺服器下載時,速率上限為 4MB/s(約 32Mbit/s),它下降到約 50-60% 的 C10 範圍內。
測試 B:從外部 VPS 執行 iperf 測試到本機 (轉送連接埠):
- 0Mbps = 約 82% C10 (僅限家庭流量)
- 1Mbps = 約 73% C10
- 5Mbps = 約 61% C10
- 10Mbps = 約 58% C10
- 20Mbps = 約 30% C10
- 30Mbps = 約 12% C10
......它在剛超過 40Mbps 時就變成了 0。
測試 C:有趣的是,在兩個本機網路之間通過路由器 (沒有 NAT,只是轉送) 提供了不同的結果:
- 0Mbps = 約 82% C10 (僅限家庭流量)
- 1Mbps = 約 82% C10
- 5Mbps = 約 80% C10
- 10Mbps = 約 74% C10
- 20Mbps = 約 70% C10
- 30Mbps = 約 64% C10
......它在剛超過 70Mbps 時為 0。
由於我使用的是 nspawn 容器,我無法在 OpenWRT 的防火牆部分嘗試軟體流量卸載,看看它是否會減輕測試 A 和 B 的影響 - 它所做的「流量卸載」很可能會讓結果更接近測試 C。
就我所知,這裡的啟示是電腦作為防火牆可以處理某種程度的流量,同時還能找到機會讓自己睡覺。但如果它一直保持清醒......其他選擇也開始看起來很誘人。我剛再次測試 Intel J4005 (只連接顯示器),在 OpenWRT 中,即使關閉 C-States,它的功耗也只有 9-10W,我懷疑 J5xxx 系列的功耗也差不多 (N100就不知道了)。如果需要更高的功耗,我的 Ryzen 5600G 在 Ubuntu LiveDVD 上禁用 C-states,功耗為 22-23W。在我看來,只要 Alder Lake 失去 C-State 的優勢,這兩款產品就會開始變得同樣吸引人。
編輯/更新 12 月 15 日:裸機,將 Debian 設定為路由器。測試 B 的結果幾乎一樣,除了 C10 的時間每項都增加了 6% - 仍然在 40Mbps 以上就碰壁了。流量表沒有幫助。
測試 C 的結果比較好,最後的數字是
- 70Mbps = 約 70% C10
- 75Mbps = 約 60% C10
- 80Mbps = 0% C10(在此碰壁)
當我為測試 C 啟用流量表時,我又多賺了一點:
- 80Mbps = 約 60% C10
- 85Mbps = 約 45% C10
- 90Mbps = 0% C10 (在此碰壁)
測試 D: 為了測試連線數增加所造成的影響,我開啟了一個 torrent 客戶端,並加入了一堆全域下載速度上限為 1MB/s 的 torrent。
- 0 連線 = 約 80% C10 (僅限家庭流量)
- 16 連線 = 36-39% C10 不等
- 32 連線 = 33-35% C10 不等
- 64 連線 = 變化 26-29% C10
- 128 連線 = 變化 21-29% C10
- 256 連線 = 約 20% C10
- 512 連線 = 約 15% C10
- 1024 連接 = 約 5% C10
......我嘗試了不同點的流量表。沒有正面的差異。
在這個過程中,我有幾個有趣的發現。
首先,流量表根本沒什麼幫助。如果有的話,線上速度測試的峰值似乎比較低。也許是我使用的 Intel i350-T4 (在 Debian 裸機 H770 和 OpenWRT 裸機 J4005 中) 的特殊情況。
其次,在容器中使用 OpenWRT 並不是一個愉快的經驗。我遇到了一些奇怪的問題,有些連線很穩固,有些則很吃力。也許經過足夠的調整和哄騙,可以讓它順利運作。我發現虛擬機器在未安裝的情況下會佔用 2-2.5% 的 CPU 全時間,而且對 C-States 並不容易,所以我沒有繼續追尋它。
第三,這是個非常隱晦的問題,很可能是華碩 H770 或我的硬體組合,甚至是我執行的 linux 核心特有的問題......如果內建的 Realtek 網卡在 BIOS 中啟用,但沒有被啟動(透過 systemd-networkd .network 檔案),安裝並啟動另一張網卡會導致系統有 50% 的時間處於 C3 狀態。我所說的「啟用」,是指即使是 [Match]name=X 這麼簡單的東西,其餘都是空的。我試了 i210、i340 和 i350。在使用 i350-T4 時,我注意到在關閉板載網卡並將網卡移到第二個 PCIEx1 插槽後,powertop 中相對應的 SMBUS 項目也消失了。有時候,華碩的 PCIE 匯流排上似乎有些小鬼在跑來跑去。
我按照您的建置購買了相同的主機板與 i3-13100 cpu。
我有一個問題無法解決,也不知道該去哪裡找。
我已經安裝了 ubuntu 22.04,也試過 23.04,但問題還是一樣:
當我嘗試 ping http://www.google.com 時,只要我移除鍵盤和滑鼠,就會發生問題:
- 或者是 "ping sendmsg no buffer space available",驅動程式是 r8168
- 或 "pcie link is down"(驅動程式 r8125
我已經移除所有能找到的電源管理選項。
我嘗試插入另一個 USB 裝置。
有任何線索嗎?
1. 檢查「dmesg」的輸出是否有任何相關事件。
2. 查看是否在透過 22.04/23.04 LiveCD 開機時發生,或是否僅在安裝後發生。
3. 嘗試 Ubuntu 23.10 (我 *think* 釋出版本隨 RTL8125 上停用 ASPM 的核心一起出貨) - LiveCD 或安裝,視 #1 的結果而定。
4. 嘗試不同的 USB 連接埠,每次試一組,縮小是鍵盤或滑鼠(或兩者皆是)的問題,嘗試不同品牌的鍵盤/滑鼠,看看是否有差異。
5. 拔下/重新拔下網路線,看看網路是否恢復正常,還是永久癱瘓。
6. 禁用 BIOS 中的 "F1 for error",並嘗試在未插入鍵盤/滑鼠的情況下開機至作業系統,然後觀察插入和拔出鍵盤/滑鼠時的情況。
7. 如果您身邊有 PCIe 網路卡(最好是非 Realtek 的網路卡),看看它是否也有同樣的問題。
也許其他遇到相同問題的人會回覆。我沒有遇到這種情況,因為我最後還是讓鍵盤插著(最後換成無線鍵盤,它不介意被 Powertop 睡著)。這可能是硬體有缺陷的怪問題。
CPU: i5-12600K
電源供應器: Corsair RM750e
NVMe: Samsung 980 Pro
記憶體:2x16 GB DDR5
作業系統:Ubuntu 23.04 Server (透過 USB 執行)
我最初買的是華擎 B760M Pro RS。在調整 BIOS,甚至強制啟用 Realtek 卡上的 ASPM 之後,我還是無法降低 PC-3。我的總瓦數約為 15 瓦。雖然不算太糟,但這台機器是用於 24x7 全天候運作的新家庭伺服器,我知道它可以做得更好。我發電子郵件給華擎,因為他們的 BIOS 並沒有明確設定 PC 狀態值,只有自動、啟用和停用三種狀態。所以我就不跟他們合作了。
我把華擎退回去,換了華碩 Prime B760-M-A。我設定了 BIOS 並執行 powertop。ASPM L1 在 Realtek 上運作,無需使用者變更。我的功耗約為 11 瓦。拔掉 DP 纜線和 USB 無線鍵盤/滑鼠後,瓦特數降至 7.2 瓦。太棒了!它可以降到 PC10,而且系統看起來非常穩定。令人難以置信的是,桌上型電腦在耗電量方面竟然有如此大的進步。
我剛做了一個華碩 Prime b760M d4 的建置,在我的主機板上有完全相同的發現。我已經聯絡華碩,看看他們是否有任何關於 CPU 連接 pci/m2 插槽的回饋。當 intel I226-v 位於 x16 插槽,Samsung 970 evo 位於 cpu m2 插槽時,我的主機板就會到達 C6。
不過,我的 X710-da2 網路卡必須使用 x4 插槽,因為如果使用 x16 封裝,c-state 只能到 c2/c3。
我的 i226-v nic 沒有任何問題。
我的用途是建立一個低功耗的 10 gigabit 路由器。目前使用 OPNsense,但可能會改用 Vyos 以降低系統負載。
我試過
1. Intel X520-DA2(中國主機板),不支援 ASPM
2. Melanox ConnectX4(來自中國的板),支援 ASPM,但只允許 C3
3. 來自中國的 Randome I226 網卡 - 支援 ASPM,但無法啟用 ASPM
那麼。您能否告訴我確切的型號或您在哪裡購買了 i226V-NIC?
我相信您已經聽過了,但還是要感謝您提供的資訊和時間。
我是 100% 的新手,老實說有點不知所措,但擁有伺服器的想法非常吸引人。我對這一切的態度就像我剛開始製作電腦時一樣,看了一堆 youtube 影片,讀了一堆文章,就這樣糊塗過去了。研究伺服器建置後,我立刻發現您其實需要知道自己在做什麼,而閱讀您的文章更讓我明白這一點。
您對於 plex/jellyfin 伺服器有什麼建議?大家對 Synology 和 QNap 等產品的評價不是很高就是很低,這讓我有點猶豫。再次感謝
感謝您的精彩報導!今年我為自己打造了一台低功耗的 NAS,以取代我預先打造的 QNAP TS-351(Intel J1800)和技嘉 Brix J4105。我的要求是這台新系統的平均耗電量必須比這兩台系統的總和還要少,而且效能還要優異。在您 (之前) 的文章、荷蘭 Tweakers 論壇、德國 Hardwareluxx 論壇、unRAID 論壇和其他一些資料來源的協助下,我得出以下的結果:
- Intel i5-13500
- 技嘉 B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- 安靜 Pure Power 12 M 550W
- 1x 東芝 MD04ACA50D 5TB (來自我的 NAS)
- 2x 東芝 MG07ACA14TE 14TB (來自我的 NAS)
- Crucial P1 1TB (NVMe)
- Samsung 980 1TB (NVMe)
- Crucial BX500 1TB (透過 USB 連接的備份)
- 創見 SSD230S 2TB (SATA 固態硬碟)
- Philips OEM USB2.0 磁碟機 (開機磁碟機)
使用此設定,我目前執行近 50 個 Docker 容器與各種應用程式和資料庫,閒置時牆面功率可達 17 瓦。除了 SSH 之外,所有東西都關閉,也沒有存取任何服務。我對此相當滿意。封包 C8 可以達到,尤其是當大部分應用程式都沒有做什麼或我停止它們時。當我停止所有應用程式時,unRAID 的最低功耗可以達到 11W。
我 (和其他幾個人) 在 Intel 600/700 上注意到的另一件事是,使用 USB2.0 Serial 裝置 (例如 Zigbee 或 Z-Wave 裝置) 會大幅增加耗電量。大約是 5-7W。我目前在 Pi 上使用 ser2net 來避免這個問題。我聯絡過技嘉和 Intel,但他們都否認這是個問題。
我也在大部分應用程式中使用 E-cores,平均可省下 1-2W 的電力。有些用於系統進程,我傾向於使用 taskset 移動到這些核心。這似乎很好。
關於 Realtek 網卡,我最近嘗試了應用程式商店提供的「原生」Realtek 驅動程式,但對我來說完全無法使用 L1。導致額外的 4 瓦電力。還原為核心驅動程式並使用下列方式強制 L1: `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` 工作。
如果您有任何問題,可以隨時聯絡我們。祝您新年快樂 <3!
/sys/bus/pci/devices/$DEVICELOC/link/l1_aspm
設定 - 感謝你的建議。我剛在 MSI 主機板上的 RTL8125 試過,效果非常好 - 只需在開機時設定即可,比建立自訂核心容易多了。不幸的是,這裡舊版 Gigabyte H110N 上的 RTL8168 似乎沒有公開 sysfs 設定,所以在我有機會換成 Intel i210 之前,它還是要繼續使用自訂核心(雖然是 1Gbit,但現在在 AliExpress 上比 2.5Gbit Intel i225 稍貴)。我的設定
I5-12500
Asrock B660M 鋼鐵傳說
64GB DDR4-3200 Corsair LPX
2xNVME 硬碟 (1 個 SK Hynix Gold P31, 1 個 TeamGroup)
ASM1064 PCI-Express 3x1 至 4 SATA 轉接器"
Realtek 2.5G 網卡
3x120mm 風扇
Proxmox 8 w/ Linux 6.5.11 核心。啟用 Powersave Governor。
我嘗試把所有東西簡化為最基本的東西,並移除所有儲存裝置和其他裝置。我停用了板上音效、realtek nic 和 ASM1062 SATA 控制器。從 USB 隨身碟開機並執行 Powertop 時,C2 和 C3 的耗電率分別為 ~50% 和 ~50%。從未超過。我確認所有裝置都使用 LSPCI 支援 ASPM,並啟用了 BIOS 中能找到的所有 ASPM 電源相關設定。我也尋找了偷偷摸摸的超頻設定,但沒有發現任何啟用的設定。在此組態下,耗電量約為 20W。加入 ASM1064 SATA 控制器和 NVME 硬碟並沒有顯著的差異。我每次執行 powertop --auto-tune 都沒有明顯的影響。
之後,我新增了 Nvidia 1660 Super GPU,並將其傳輸至輕量級 Linux 虛擬機器。然後,我以持久模式執行 nvidia 驅動程式,nvidia-smi 報告它使用 ~1 瓦特。這樣可以節省 ~10-20 瓦。
加入 ~8 HDD(Western Digital Reds 和 Seagate Exo 硬碟機的組合)後,機器的閒置功耗約為 100 瓦,且 80% 的時間都在 C2 狀態。
接著我啟動我的主虛擬機器,並透過 SATA 控制器。電源使用量增加了 30 瓦至 130 瓦,並維持在該值。主機上的 Powertop 顯示套件從未進入任何 C 狀態。我沒有設定任何磁碟機旋轉。
不確定我是否在問什麼,只是分享我的經驗。即使沒有造成很大的差異,我肯定也學到了一些東西。
我在想,我可能會從虛擬機器轉移到主機上的 Linux LXC 容器。我想知道虛擬機器是否在某種程度上影響了電源管理。再次感謝您非常詳細且有趣的說明!
Corsair SFX SF450 白金版
華擎 Z690-ITX
Corsair DDR4 2*16GB 3200 MHz
2 個 Samsung NVMe 980 Pro 1TB on board miniPCIe (ZFS 鏡像)
1 個 Samsung EVO 870 2TB 板載 SATA (ext4)
I5-12400 步進 H0
禁用 Realtek 2.5G
CPU 上有 1 個 Noctua 風扇 (92mm)
Proxmox 8.1 (1 個使用 plex 執行的 Docker LXC)
無螢幕、無鍵盤、無滑鼠
BIOS 載入華擎預設參數 + 音訊/無線網路停用,ASPM 隨處啟用
在牆上的閒置功耗 = 18W
Powertop 說 | Pkg C2 28%、C3 64% | Core CPU C7 97
總之,我在主機板(Asus Pro WS W680-ACE IPMI)的ASPM頁面中啟用了所有功能,唯一注意到每次都會重設為Auto的是Native Aspm(啟用後應該會新增OS ASPM支援),但每次進入BIOS都會看到設定為Auto。您有任何線索嗎?
當我執行這個指令時,這是裝置的實際狀態:
至於 BIOS,我猜 "Native ASPM" Auto/Enabled 可能會造成相同的結果。您可以嘗試將「Native ASPM」設為「Disabled」,嘗試在作業系統上強制您的 BIOS 設定,然後看看「lspci」是否會在目前寫著「ASPM Disabled」的 8 個項目中的任何一個報告改善情況 - 不過,您可能應該確保您有外部備份,以防核心基於資料遺失的理由而故意在您的系統上停用它。我不確定您的 ASPEED AST1150 橋接器執行的是什麼,但既然 ASPM 似乎在它上面被停用,如果它的下游裝置也被停用,我也不會感到意外。
在排除故障時,您可能會發現在重新開機/測試之間一次變更一個 BIOS 設定是很有用的。如果您無法讓 PowerTOP 告訴您任何事情 (即使是透過 Ubuntu Live DVD 之類的東西),您下一個最好的選擇可能就是使用 Kill A Watt 裝置來測量您的變更所造成的影響。
您覺得這塊板子如何?華擎 PG Riptide Intel Z690 So.
由於我將擁有 8 個 SATA 連接埠,所以我不需要另一個 PCIe 卡 (直到另行通知為止)。加上 i5 12400F 與現有的 HDD'S 和 SSD
在我使用微星主機板的辦公室電腦中,我沒有任何這裡提到的 C-State、節能模式或其他設定。這是微星的問題還是主機板本身的問題?它是 B450M PRO-VDH MAX (MS-7A38)。
感謝您的幫助與指教。
您覺得這塊板子如何?華擎 PG Riptide Intel Z690 So.
由於我將有 8 個 SATA 連接埠,所以我不需要另一個 PCIe 卡 (直到另行通知為止)。加上 i5 12400F 與現有的硬碟和固態硬碟
在我使用微星主機板的辦公室電腦中,我沒有任何這裡提到的 C-State、節能模式或其他設定。這是微星的問題還是主機板本身的問題?它是 B450M PRO-VDH MAX (MS-7A38)。
感謝您的協助與意見:)
我不太確定您提到的 B450M 主機板,雖然它是 AMD 主機板,但我只有幾塊 B550 主機板,所以沒有太多經驗。您可能有一個非常基本的切換項目,稱為「Global C-State Control」,不過您可能得翻遍所有功能表項目才能找到。視 CPU 而定,如果您使用 Linux,較新的 6.x 核心會支援不同的 amd_pstate 擴充驅動程式,這可能會對整體電源有正面的效益。
現在有位同事買了一台迷你電腦,並安裝了 Unraid。這台電腦搭配 m.2 至 SATA 轉接器,因此有 6 個 SATA 連接埠。這款電腦可能也有 2x m.2,因此可以安裝 2 張 Ryzer 卡。
https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/
在閒置模式下,2 個底座和 2x VM 在沒有任何設定的情況下,耗電量約為 9W。連接了 5 個硬碟。
我的想法是背後有一個行動 CPU,您可以找到類似的東西。您有任何經驗嗎?結果看起來不錯,效能應該足夠。
- Mini PC 有自己的電源供應器,硬碟則透過第二台 160 瓦的 Pico PSU 供電。他有一個空的 NAS 機殼,但是光是兩個風扇就多消耗了 11 瓦,所以他要再看看。
我的想法是打開 Mini PC,然後把所有東西,包括硬碟,都安裝在我的 ATX 機殼裡。1 或 2 個 Nactua 風扇,將功率大幅調低,然後用現有的 ATX 電源供應器,再加上 Mini PC 的 Pico PSU。
硬體:
* CPU Alder Lake N6005
* 三星 980 1TB
* 32 GB SO-DIMM
* 1 Gb/s 網路
軟體
* Proxmox 8
* LXC Home-Assistant
* LXC Plex (I915 硬體轉碼)
* LXC dokuwiki
* LXC fileserve (smbd,filebrowser,vsftpd)
* LXC Syncthing
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
等等。
全天候運行
在牆上測量的耗電量 (大部分時間閒置): 7 瓦
===== 我也有一台以 AsRock Z690 為基礎的家用「偽 NAS」====。
* CPU I5-12400
* 2 NVMe 1TB
* 8 個 ZFS Raidz2 硬碟
* Proxmox 8
* 2.5 Gb/s 網路連接到我的桌上型電腦
在牆上測量的耗電量 (大部分時間閒置): 70 瓦
依需求執行
=== 交換器 8 連接埠 ===
耗電量 : 8 瓦
=== 我目前的實驗 ===
對於家庭使用而言,我不需要全天候運行我的「偽 NAS」,而是只在需要時才運行
我在 NUC11 上安裝 debian wakeonlan,然後
當需要時 (不論是排程或人工要求),我可以執行
* wakeonlan [MAC-ADDRESS-Z690] 來喚醒 NAS
* systemctl suspend [PSEUDO-NAS-Z7690] 將 NAS 置於睡眠模式。
所有這些都運作良好
我正在開發 Home-Assistant 的圖形化介面,它也會監控消耗。
這是我找到的最佳折衷方案: NAS、低耗電、家庭自動化)
閒置功率:~5.3 瓦
硬體:
* 華碩 prime h610i-plus d4
* Intel Core i3-12100
* Crucial RAM 32GB DDR4 2666 MHz CL19 CT32G4DFD8266
* 三星 980 PRO 固態硬碟 2TB NVMe
* PicoPSU-150-XT
* Noctua NH-L9i-17xx, Low-Profile CPU Cooler
* Noctua NF-A8 PWM, 機殼風扇
軟體:
* BIOS 3010
* Ubuntu 22.04.3 伺服器 (從 USB 隨身碟執行)
BIOS 設定:
* EZ System Tuning 設定為: 「省電」(這會自動設定所有需要的 BIOS 設定)
* PL1/PL2 設定為 35/69 瓦。(由於機箱狹小且 pico-psu 功耗較低)
軟體設定 (透過連接的電視主控台顯示器設定)
* Powertop --auto-tune
* setterm -blank 1
在牆上用 kill-a-watt 測量。讀數大多在 5.1 到 5.5 瓦之間。當控制端螢幕空白時即進行功率測量。套件 C-State 是透過 ssh 收集的。處理器大部分時間都處於套件 C 狀態 C10 (~90%)。
此配置的一些優點:
* 非常好的閒置電源
* 簡單的 BIOS 設定。
* PCIe 4.0 x16 插槽可用於潛在的升級/擴充 (不過,使用它看起來可能會擾亂低閒置電源)
此配置的一些缺點:
* 1GbE vs 2.5GbE
* picoPSU 有一個 4 pin 電源連接器,而主機板需要一個 8 pin 電源連接器 (網路研究顯示這在低功耗情況下是沒問題的)
* 單 M.2 插槽。PCIe 3.0 x4 模式
我原本想要 2.5GbE。當我的家裡需要 2.5GbE 時,我可能會在 PCIe 4.0 x16 插槽上安裝 2.5GbE 卡。
其他資訊:
* 神奇的「省電」BIOS 設定並未開啟「原生 ASPM」。然而,開啟它也沒有任何作用。
* 在 BIOS 中停用 WIFI/Bluetooth 模組也沒有任何作用。
作業系統:USB 上的 Unraid
電源供應器: RM850x (2021),因為它在低負載時非常有效率。
磁碟:新增 2x12TB WD Red Plus NAS 磁碟機與 NVMe。
記憶體:1x32GB 3400MHz DDR4 (從目前 PC 拆下)
風扇:Intel 原廠 CPU 風扇 + Fractal Node 304 機殼的低速風扇。
我從 UPS 測得的閒置瓦特數約為 21W,其中一顆硬碟上有 Linux ISO 種子,另一顆硬碟則處於待機模式。很明顯,它們為建置增加了許多瓦數。我將校驗磁碟機設定為每天只在同步 nvme 快取至資料磁碟機時才轉動一次 (至少我是打算這樣運作的...),而 CPU 的速度也足夠用來觀賞 Creative Commons Licensed 電影。無論如何,21W 對我的第一個 seedbox 來說已經很不錯了 :D
這份 PSU 效能試算表對這裡的人應該很有用!資料來自 cybernetics:
https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
我的乙太網路插上後,我的封包 C 狀態就不會降到 C3 以下。當我拔下網路線時,會有約 4W 的電流滴落。
我很好奇您是否也有這樣的問題。
我使用的是 Ubuntu 24.04.1,音訊驅動程式是 r8169,主機板有 Realtek RTL8111/8168/8211/8411 控制器。
我可以讓 asmedia 1166 在 pcie x16 插槽上運行,並使用 m2 插槽連接至 cpu 和 c8。
我必須修改華碩的 bios 才能存取 root 連接埠的設定。在根連接埠 1 上停用 Multi-VC,現在可以使用 x16 插槽,而且我的 CPU 封裝狀態已降至 c8。同時使用 m2 插槽連接 CPU 時,我也能達到 c8。
簡化步驟:
從主機板上拆下 BIOS
使用 ch341 3.3v 燒錄器 Dump BIOS
使用開放原始碼的 UEFI 編輯器修改 BIOS,並「解除隱藏」root port 設定。
刷新 BIOS
重新燒錄。
我的主機板是 ASUS PRIME B760M-A D4,但在 Prime H770-Plus D4 上也應該一樣。
我必須感謝 Intel 支援人員建議停用 Multi-VC,不然我自己也想不出來。
我在華碩 P9DWS 主機板上做了一次嘗試,但不幸的是,無論我做了什麼(即使在修補 ACPI FADT 表、修補 Kernel 以停用 Quirks 或使用以下方法修補 BIOS 設定之後),都無法成功。不過,我成功地將 CPU 電壓降低了 90 mV,根據 Turbostat 的資料,這似乎為保守的 CPU 調速器(可能是按需調節)節省了不少電力。
如果有興趣的話,這裡有非常粗略的程序說明。基本上,您可以將 BIOS 拆解成一個顯示所有選單 & 設定的文字檔,找到想要的設定,然後從 UEFI Shell 使用 setup_var.efi 設定值。將這些全部寫入 *.nsh (UEFI) Script 會比較容易,這樣您就可以記住您做了什麼 / 可以與其他人分享 / 如果您之後更改了 BIOS 螢幕上的內容,也比較容易重新套用:
https://github.com/luckylinux/aspm-troubleshooting?tab=readme-ov-file#patching-bios-settings
CPU: i5-14500
主機板:華碩 Z790-P D4 (這顆主機板是客戶退回的,價格與 H770-P D4 相同,而且如您所說,它有額外的 PCIe 4.0 x4)
RAM: 4x 8Gb (no XMP) => 將被 2x 32Gb 取代
NVMe: Sabrent Rocket 1TB PCIe 3.0
電源供應器:Seasonic Focus GX-550
在 TrueNas Scale 23.10.2 和 Ubuntu Server 23.10 上進行測試。在這兩個平台上,我都使用了 Realtek 驅動程式。
一些觀察:
是的,我確定。當我在主機板上連接羅技 MX Keys usb2.0 加密狗時,shelly 的耗電量從 10.5W 升至 15-16W。如果我沒記錯的話,它搞亂了 CPU 的 C-states(即不再進入 C6、C8)。
我只在連接主機板的連接埠 (後方 I/O 上) 測試過 USB2.0 裝置。非 USB2.0 連接埠甚至無法辨識 USB2.0 裝置。
我的推論是 BIOS 和/或 USB 控制器的驅動程式。由於我在正常操作中不使用任何類型的 USB,所以我沒有進一步調查。我現在回到 TrueNas,但它卡在 powertop 2.14 上,而它不支援我的 CPU,所以 C-state reporting 斷了。
為了提供資訊,我正在執行 BIOS 版本 1611 和 Intel ME 16.1.30.2307v4。
至於其他測試:
您的文章和評論真是寶物。感謝每一位貢獻良多的人。我想簡單分享一下我的經驗:
華碩 Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus
沒有鍵盤和 HDMI
Powertop 2.14 (--auto-tune)
Ubuntu Server 23.04 Kernel 6.2.0-20 (全新,無更新):
6-7 瓦 (主要為 C10)
註:如果連接 HDMI (+2-3 瓦) 和羅技 MX 藍牙接收器 +4-5 瓦 = 無頭操作 7-8 瓦)
額外升級 2xSamsung EVO 970:7-8 瓦
額外升級 4xSeagate X20 9-10 瓦 (睡眠模式)
升級 2x14mm 風扇 12-13 瓦 (最低等級)
略低於 13 瓦的 2xNVME 和 4x3.5 吋機型還不賴 (C10 達 90%)。
核心更新至 6.2.0-39 之後,C10 不再可能,系統只升至 C3,耗電 21 瓦。
顯然與 Realtek 有關。手動設定
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42
幸運地回到 C10 狀態,因此又有 12-13 瓦的電力。
與 Ubuntu Server 23.10 Kernel 6.5.x 的類似行為 16-18 瓦 (大部分為 C3) ...
我嘗試了 Unraid (6.1.74) 作為測試。系統不太省油,掛在 16 瓦,即使透過 setpci 手動設定 ASPM 狀態(見上文)... Ubuntu 少了幾瓦,你得做一些研究。
無論如何,建置和研究都很有趣,舊 Synology 的耗電量比新系統高出好幾倍。
再次感謝 Matt 和大家。
我用 Arc a380 測試過,網路上的方法都不管用,閒置功耗只有 20 瓦 :facepalm: 請推薦適用於 13500 的 mATX 主機板,如果 mb 也支援 pcie bifurcation (x8x4x4) 那就更完美了。
簡而言之,我遇到了一個問題,就是第一個 PCI 插槽在安裝 GPU 的情況下,會將 C states 減少到 2。除此之外,在使用 2 x Lexar 1TB NVME 和 64 GB 記憶體的情況下,我看到 12600k 的功耗低至 4.5-6W,這實在令人驚訝。
我想使用 asm 晶片建立一個以 ITX 為基礎的 i3-12100 nas。不過,據我瞭解,使用 x16 pci 插槽會迫使系統維持在 C2。
但是,運行 8 個硬碟、2 個固態硬碟和 1 個 nvme (晶片組) 是否會讓達到高 Cstates 有一點不相干?
我假設您的瓦特數測試只顯示非 CPU 連接插槽中的 ASM。看起來,如果我的 CPU 能達到較高的 Cstates,我大概可以省下 20 瓦的電力?硬碟機的閒置容量與省電與 C-States 無關?
硬碟機省下的電力與 C-State 省下的電力大多數沒有關係: 我說主要是因為某些 NVMe 硬碟機、某些固態硬碟,甚至某些 SATA 配置似乎會抑制 C-States。但硬碟機實際轉下 (相對於轉上) 所節省的電源,應該完全獨立於系統電源的任何其他情況,包括 C-States。
我有點擔心,即使我強制啟用 ASPM,也可能會造成一些奇怪的穩定性問題。我想 1GbE 網卡仍是唯一安全的選擇,以確保電源管理能在 Linux 下正常運作。
非常感謝 Michael
Asus Prime H770 Plus D4, I3-12100, 2x32GB Corsair Vengeance LPX 2666MHz RAM, be quiet!Pure Power 12 M (550 W)、WD blue SN570 512GB NVME 硬碟機、Supermicro AOC-SG-I2 Dual Port GbE、be quiet Pure rock slim 2 CPU 散熱器
在 Realtek 驅動程式上強制使用 ASPM 之後 (即使停用驅動程式似乎也會造成問題),我可以將 WD blue 插入 Gen 4x4 NVME 插槽,並將 Supermicor 插入 Gen4x4 PCI-E 插槽,而硬體套件不會停留在 C3。使用 Proxmox 8.2 時,硬體套件在 C8 的使用時間約為 60%,CPU 在 C10 的使用時間約為 98%,C7 的 Core(HW) 使用時間約為 96%,因此在牆上測量的耗電量約為 8-9W。在應用所有標準 BIOS 省電設定並執行 powertop --auto-tune 之後,再加上透過命令列在 Realtek 上設定 L1 ASPM。
我所看到的都是短暫的峰值,消耗功率升至 15W,但在執行 powertop 時又回落至 8W。因此,我有 2 個額外插槽,可用於 MVME 硬碟機,或加入 NVME -> 6x SATA 轉接卡 (使用 ASM1166 晶片組)。
我也可以證實,在 Realtek NIC 上設定 ASPM 之後,其他網卡就不會再造成封包上的 C3 了。如果有人想要比 Supermicro 更便宜的選擇,「10Gtek 雙網路卡 with 82576 Intel 晶片組」也很好用。
我發現您這篇文章的第一個原因是,我在桌上型電腦系統上做了 ASPM 試驗,發現它只能幫我省下可憐的 2 瓦電力,您的文章指出我的發現有些地方不對,我或許需要做更多的研究,可惜幾乎沒有人會針對特定的東西提供省電數字。您的文章告訴我,ASPM 的最大優點在於它能讓 CPU 進入深度省電狀態,所以我懷疑這就是我的問題所在。我對此也很感興趣,因為我和您一樣,都是使用桌上型電腦零件來執行儲存平台,而我希望該平台的耗電量越低越好。
有趣的是,您的硬碟機閒置功耗也很低。
我帶了兩台 Seagate ironwolf 硬碟機,但我很後悔,這兩台硬碟機的閒置耗電量高達 8 瓦 (轉動時),雖然待機時不到 1 瓦。後來我帶了一些 12tb 的 WD helium 硬碟機,轉動時的閒置功耗低於 4 瓦。待機時耗電量與 seagate 差不多。
這兩台 seagate 硬碟機的其他問題是:(a) 如果傳送任何指令到硬碟機,例如 SMART 查詢,它們就會轉動,這是非常奇怪的行為,我以前從未見過硬碟機有這種行為,即使使用 seachest 工具查詢它們的休眠狀態也會讓它們轉動,而連接到相同 ASmedia 控制卡的 WD 硬碟機則沒有這種行為。此外,我認為屬於 idle_c 狀態的較慢 RPM 轉速模式也無法在我的兩台 Seagate 硬碟機上運作。我使用的 TrueNAS 軟體每 5 分鐘就會傳送一次 SMART 查詢,以取得溫度監控功能,此功能難以關閉,而且只能全局開啟/關閉。因此,如果 seagate 硬碟機斷電,就會喚醒它;最後,我手動修補程式碼,將兩部 seagate 硬碟機列入溫度監控的黑名單,並在硬碟機處於待機狀態時跳過 SMART 健康檢查。
有鑒於此,我的用電量與您的相比可謂驚人:系統無頭運作、4 個轉軸、3 個 SATA SSD 和 1 個 NVME SSD,閒置時約為 48 瓦,所有轉軸旋轉時約為 34 瓦。系統中有 3 個風扇、
我對 NVME 也有有趣的觀察。
在我的系統中,我發現 NVME 硬碟的運轉溫度一直遠高於 SATA SSD,而且通常也高於主軸的運轉溫度。在 NUC 中,我必須使用主動式冷卻,因為 NVME 即使在閒置時也會達到 70C 的節流極限。和您一樣,我也發現這些東西在電源狀態時會有很多不同的地方。
舉例來說,我在 Windows 中發現 ASPM 似乎對系統中的 3 顆 NVME 硬碟完全沒有影響。L1 和 L0s 對溫度都沒有影響。我有一個 Samsung 980 Pro、一個 WD SN850X,以及一個 PCI Express Intel DC P4600,它有自己的強大散熱器。
基本上,DC P4600 的溫度總是低於 30C,不會受到 ASPM 模式的影響。
WD SN850X 的溫度則視環境而定,從低到 40 度左右,而且不受 ASPM 影響。
我也測試了 WD SN570,其表現與 SN850X 相同,不受 ASPM 影響,怠速溫度約為 45C。
最後,980 Pro 也不受 ASPM 影響,但我可以使用這台硬碟機觸發較低的 Power 狀態,怠速溫度約為 54-60C。
因此 Windows 有隱藏的電源設定,讓您可以直接調整 NVME 電源狀態,Samsung 980 Pro 在第一個 NVME 省電狀態下會降低約 7-8C 的溫度,雖然值得讚賞,但它仍是我最熱的 NVME 硬碟,而且比我 20 多度運轉的 SATA SSD 還要熱。有趣的是,第二次省電狀態只會再降低 1-2C。
根據網路上的各種評測和報告,WD NVME 硬碟似乎一直都不支援更深的省電狀態。幸好我的 WD 硬碟機不像 Samsung 硬碟機那麼熱。
我也擁有一台 970 EVO,它在閒置時的溫度大約是 65C,我把它放在 PCIe NVME 轉接器裡面,再加上一個大的散熱片,它的溫度就降到 40 度以下,所以我對 Samsung 硬碟機的溫度經驗不是很好。我已經決定我不是 NVME 硬碟機的粉絲,對我來說它們運行時會很熱,而且閒置功耗比 SATA SSD 還要高,但您似乎已經破解了它們。
至於 CPU/主機板,Intel 第 12 代如果無法長時間處於 C6-C10 狀態,就會開始失去它的優點 (不幸的是,除非您嘗試,否則無法知道您是否會達到這些狀態)。但一般而言,對於 24 小時都會適度負載的系統,我個人會在這個時候開始更傾向於 AMD。
我想知道您有沒有考慮過華碩 Prime H770-Plus D4 的 CSM 版本。據我所知,CSM 與 12500 或 13500 之類的 i5 相結合,應該可以允許 vPro Enterprise 功能,進而帶來 DASH、KVM/IPMI 類似的遠端管理功能。DASH 的功能遠不及完整的信驊 AST2600 BMC 解決方案,後者通常需要額外 5-10W 的電力。
與此同時,CSM 也打算帶來企業級的穩定性,這可能意味著調整 C-States 等的 BIOS 選項較少。
現在快速瀏覽一下產品頁面,我發現它和非 CSM 型號之間唯一的差異就是可以存取華碩控制中心 Express。CSM 機型的技術規格頁面除了增加「1 x ACC Express 啟動鑰匙卡」之外,其他都完全相同。手冊也完全相同,沒有提到任何區別功能。我下載了兩個 BIOS (1663),校驗和完全相同,不過我想功能可以透過旗標翻轉。
除了 ACC Express 軟體提供的功能外,如果特性/功能/BIOS 都完全相同,我也不會感到驚訝。但除了有人嘗試之外,沒辦法確定。
沒有 9600,系統也能達到 c10。它還沒準備好,所以我沒有插入它。
主機板上最爛的地方是最低風扇轉速只有 20%。我不知道為什麼,我的最低功耗是 11.5 瓦,但使用的是 X710-DA2。我會把 CPU 散熱器改成被動式的。可能會再增加瓦特。
我只想告訴其他對 X710-DA2 感興趣的人:至少我沒有 WoL。在 EFI 模式下進行修補是純粹的癌症。那玩意在主動模式下會變得很熱。您需要主動冷卻或更換水槽。我選擇後者。使用 pcie 套件將顯示卡轉成水平放置。裝上 https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7,所以我現在也擁有一台 dremel。您需要使用距離墊片讓顯示卡 STAND 在 mobo 上。提示:efi 外殼只能使用自製的 efi。忘記那個開啟它的 efi 的 mobo。
萬一,對於相同的CPU或第3-12代,您是否知道任何好的 m-ATX或itx板,例如上述?
- Asus PRIME H610I-PLUS D4 (ITX、DDR4,但 1G Realtek 乙太網路可能是一大賭注)
- 華碩 PRIME H610M-A D4-CSM (mATX, DDR4, 1G Intel)
- 華碩 PRIME Z790M-PLUS (mATX, DDR5, 1G Intel)
我很喜歡最後兩款產品的 Intel 1G 乙太網路,這並不令人意外。說清楚一點,我並沒有實際試過這些產品:我的假設是 BIOS 等可能與 H770-PLUS D4 類似,而且我可以照出結果。但我不確定。Z790M-PLUS 內建 4xPCIe 和 3xNVMe - 假設 DDR5 不會造成問題,我可能會傾向使用 Z790M-PLUS。不過,我懷疑小型晶片組散熱器可能需要一些氣流。
當然,還有許多其他適合的選擇,包括 PRIME 系列以外的產品,也包括華碩以外的產品。過去,技嘉一直是我的首選。只是這一代不適合我。
設定:
- ASUS PRIME H610M-A D4-CSM
- i3 12100 搭配 Intel 散熱器
- Samsung 970 Evo Plus 1TB 作為開機磁碟機 (在第一個 M.2 插槽上)
- Mushkin 2x 16GB DDR4 3200
- Be quiet M12 550
- 最低限度的 Debian 12
我將 Matt 的 Bios 設定轉移到 mATX 主機板!
在牆上測量 (Fritz Dect 200) = 6,4 瓦 (閒置)
使用 PicoPSU-90 時,我可以達到 5.7 瓦 (但在 WOL-Standby 時的耗電量要高得多!)
感謝您的偉大工作,如果沒有您的 Bios 說明,我可能要花一個月的時間才能達到低耗電狀態...
我實際上也在尋找 mATX 主機板來打造真正高效的家庭伺服器。我只是一個額外的警告,即在被動冷卻的外殼 (HDPlex H3) 中構建它。
現在,這使得我的主板選擇有點困難,因為 - 看起來 - 我必須在兩個主機板之間進行選擇:
華碩 Prime Z790M Plus
+ 英特爾 1G 乙太網
- VRM 散熱有點小而脆弱
華碩 TUF B760M Plus II
+ 在我的國家便宜不少
+ 更笨重的散熱器
- 2.5G Realtek 乙太網
我目前傾向於 TUF,因為另一個乙太網比更強的 VRM 散熱器更容易添加,但我想聽聽您對 2.5G realtek 乙太網控制器有多大的影響發表意見。
提前致謝!
有鑒於此,根據您打算執行的 CPU,VRM 散熱可能並不重要。我所使用的 H770-PLUS 甚至沒有橫跨頂端 VRM 的 VRM 散熱器。雖然我在我的電腦上加了一些小型散熱器,但由於 VRM 一開始就不是很熱,所以實際上並不需要。
我對於被動式散熱更為關注的是晶片組散熱片,因為當晶片組推送大量資料時,散熱片會變得非常熱。TUF GAMING B760M Plus II 看起來和 Prime Z790M Plus 採用相同的散熱片 (只是黑色和旋轉的)。除了拆下散熱器並進行一些可避免保固的改裝之外,您在這方面也許做不到什麼。
撇開這些不談,如果您願意為了獲得良好的 C-States 而煞費苦心,Realtek 2.5G 不一定會讓您失望。雖然我會確保從有簡易退貨政策的零售商購買,以防問題比預期更多。
我不知道這是有缺陷的單元還是設計缺陷,但我不會冒險從不提供 30 天退貨政策的商店購買這塊板。華碩支援完全無用,在這種情況下的保修也是如此。
CPU: i7-14700
主機板: 華碩 Z790-P WIFI (已連接 2.5G LAN)
記憶體:96GB DDR5 (2x32GB + 2x16GB)
NVMe: Samsung 970 EVO Plus 1TB
PSU: Corsair RM750x
耗電量是在沒有顯示器的情況下測量的。
一些觀察:
---- PSU 的重要性 ----
1) 我一開始使用 Seasonic Focus 1000w PSU,耗電量為 14.4w。改用 Corsair RM750x 後,功耗降低了 +4w。RM750x 在 20w 時的電源效率約為 80%,這表示我原本的 Focus 1000w 在 20w 時的電源效率一定很差 (10.1*0.8/14.4=56%)! 所以,各位請考慮投資一個更好的電源供應器(參考: RM750x的數字在這張表:https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14並不支援Intel 13/14Gen CPU (最初只顯示C3狀態)。我必須編譯最新的 powertop 2.15,才能看到 C6-C10 狀態。
---- ASUS Z790-P 有問題的板上 SATA 控制器 ----
3) 一個令人驚訝的觀察是,如果我在板載 SATA 介面上安裝固態硬碟,CPU 的 c-state 只能到 C6 (沒有 C8,也沒有 C10)。但是,如果我將相同的固態硬碟連接至 ASM1166 PCIe-to-SATA 卡,就可以達到 C10。這似乎暗示此主機板的內建 SATA 控制器無法正確支援 ASPM (內建 SATA 控制器的「spci -vv」輸出並未顯示任何 ASPM 功能)。
---- 添加 GPU 的成本 ----
4) 加入 Nvidia GTX 1050 Ti GPU 後,閒置時的功耗增加了 16w。很快,我發現 nvidia GPU 閒置瓦特可以透過最佳化「nvidia-smi --persistence-mode=1 」來降低,16 瓦特變為 8 瓦特 (GPU 效能模式 P8)。然而,在沒有 GPU 的情況下,這仍是我 10.1 瓦閒置功率的 80%。可能不值得保留 GPU。更多的研究顯示 GPU 本身在閒置時只消耗約 3 瓦,但因為有 GPU 的關係,CPU 的 C-States 會保持在 C6,因此有 8 瓦的差異 (有 GPU 與沒有 GPU)。
5) 當我將 GPU 連接到晶片組連接的 PCIe 插槽時,功耗又增加了 6 瓦 (一開始是在 CPU 連接的 PCIe 插槽)。是的,在所有的優化下,如果您將 GPU 連接到此主機板的晶片組連接插槽,GPU 會增加 8+6=14w 的功耗。我注意到 C-state 從最大 C6 改為最大 C3,這可能就是額外 6w 的來源。
總體來說,我對結果很滿意,這是一個有趣的體驗。我真的很想加裝 GPU (例如用於與相片相關的工作),但它的耗電量太昂貴。有人有在低功耗伺服器上使用 GPU 的經驗嗎?是否有任何方法可以釋放 CPU 的 c-state,讓它們可以達到 C8/C10?請注意,我說的是閒置時的耗電量 (GPU 並未用於圖形輸出,也未連接顯示器)。
我很驚訝 AMD 晶片組在功耗方面遠遠落後。我懷念過去的時光,當時早期的 AMD APU 為 mini-ITX 主機板提供了多種不錯的選擇,並且人們齊心協力使整個封裝具有低功耗。
我剛剛看到新的 AMD X870 晶片組的 TDP 應該是 7 W,但到目前為止宣佈的主機板似乎有點矯枉過正(“ROG Strix X870-A 遊戲 WIFI 配備 16+2+2 功率級,額定電流高達 90A”,alktech 說)。
希望使用 10 GbE 網路升級我的 pfsense 和 truenas 盒子,並看到了這篇文章。按照使用帶有 intel 1gb 乙太網控制器的主機板的建議,我選擇了 Asrock b660m pro RS,兩個盒子都選擇了 pentium g7400。我想要一個額外的全長PCIe埠,以便在將來進行一些擴展。
打算在這裡嘗試調整:https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/
以查看我是否可以獲得一些可接受的功耗。我看到了您關於使用 ASUS 的 H610M 的評論,如果我對這些板子沒有太多運氣,可能會切換到它。會回來報告,因為我似乎找不到太多關於人們是否成功降低 b660m 功耗的資訊。
任何建議將不勝感激!
- 中國主機板 CWWK Q670 V1,該板有 3xnvme,8 sata,pcie5 x16,有可能分為 2 x8(理論上,我們可以把 5 nvme 磁碟),2x2.5Gbs
- i5 13500T
- 1 個模組 48GB DDR5 Crucial Pro。
- 2xSamsung evo 970 plus, 1xLexar NM790
pico 電源供應器 (我目前沒有其他電源供應器)
- 在一個連接埠連接 lan
在閒置狀態下,Proxmox 運作約 8-10W
一般而言,參數都很好,但在我看來,BIOS 並不精緻,其中一個連接埠的 ASPM 有問題,只有三星 evo 在啟用 ASPM 時可以運作,其他連接埠都可以使用其他磁碟。
處理器只能降到 C6 狀態
感謝您的意見!
為我的 ASUS Prime H610i-Plus (i3-12100 CPU) 與 Realtek RTL8111/8168 控制器啟用 L1 ASPM,可以節省約 4-5W 電力,讓套件 C 狀態可以浸入 C8。在未啟用 r8169 ASPM 的情況下,封裝 C 狀態會懸掛在 C2/3。
您也可以設定模組服務,在開機時啟用此功能。目前對我來說運作良好。
您提到您選擇 DDR4 是因為您手邊有記憶體。如果您沒有 DDR4 記憶體,您會用什麼?DDR4 還是 DDR5?Aus 主機板提供這兩種選項。現在我正在考慮 DDR5 路線。