7 Watt im Leerlauf bei Intel 12/13 Generation: die Grundlage für den Aufbau eines stromsparenden Servers/NAS

Von Matt Gadient

Beginnen wir mit einer kleinen Vorgeschichte:

2016: Bau eines Low-Power-PCs auf Skylake – 10 Watt im Leerlauf
2019: 9 Watt im Leerlauf: Erstellen eines energiesparenden Heim-NAS-/Dateiservers mit 4 Speicherlaufwerken
2021: (kein Eintrag) – 11 Watt mit einem Intel i3-10320 auf einem Gigabyte H470M DS3H

Nicht alle meine Systeme waren so erfolgreich. Im Jahr 2022 habe ich im Rahmen des Projekts Eindämmung der „Gas-Guzzling“-Tendenzen von AMD Radeon mit Multi-Monitorein paar andere Systeme mit 19 Watt und 27 Watt gemessen. Obwohl ich es einige Zeit später geschafft habe, den Stromverbrauch des 27-Watt-AMD-Systems zu senken, ist nicht jede CPU/Motherboard-Kombination für die 10-Watt-Grenze geeignet.

—

Bevor wir weitermachen, möchte ich darauf hinweisen, dass die 7 Watt für dieses System vor dem Einbau eines Speichers angegeben wurden. Die 7 Watt (gemessen an der Wand) beinhalten:

Hauptplatine (Intel H770)
CPU (Intel i5-12400)
64GB RAM
SSD (Ubuntu Server 23.04 wird gebootet)
Netzteil (Corsair)
C-States im BIOS so eingestellt, dass es C8 erreicht
powertop mit Auto-Tune (was die USB-Tastatur deaktiviert, wenn der Port in den Ruhezustand ge

Beachten Sie, dass ich, wenn ich nicht zulasse, dass powertop die Tastatur deaktiviert, 8 Watt an der Wand gemessen bekomme.

—

Kommen wir zu den detaillierten Spezifikationen und der Auswahl der Komponenten. Dieses Mal hatte ich die folgenden Ziele:

geringer Stromverbrauch im Leerlauf
angemessene CPU-Leistung für die Komprimierung
in der Lage, 12 Festplatten + mindestens 1 NVMe zu verwalten
Kapazität, um diese 12 Festplatten (eventuell) in 6 NVMe + 6 SSD SATA zu konvertieren
die Kosten unter Kontrolle zu halten – da der Kauf eines Motherboards erforderlich wäre, versuche ich, bei DDR4 zu bleiben und eine CPU zu verwenden, die ich bereits habe.

Die Zusammenstellung eines neuen Systems mit der Hoffnung, in den Bereich von 10 Watt zu kommen *von der Wand aus gemessen*, ist oft nicht nur eine Herausforderung, sondern auch ein bisschen ein Glücksspiel. Manchmal muss man einfach seine besten Vermutungen in Bezug auf die Komponenten anstellen, sein System bauen, tunen, was man kann, und die Dinge laufen lassen, wie sie fallen.

Hauptplatine – ASUS Prime H770-Plus D4

Bevor ich beginne, hier ein kurzer Blick auf das Motherboard-Layout. Die GRÜNEN Steckplätze, die mit der CPU verbunden sind, und die ORANGEfarbenen, die mit dem Chipsatz verbunden sind, werden im Laufe dieses Berichts relevant werden.

Zum Zeitpunkt des Verfassens dieses Artikels waren Mainboards der Intel 600/700-Serie und der AMD 500/600-Serie weithin verfügbar.

Eines meiner oben genannten Ziele war die Kapazität für eventuelle 6 NVMe-Laufwerke.

Ich gehe näher darauf ein, warum dies eine Herausforderung sein kann (Sie können diesen Abschnitt gerne überspringen)…
Problem: Es gibt 0 Consumer-Motherboards mit 6x M.2-Steckplätzen, die alle gleichzeitig im PCIe-Modus genutzt werden können. Bei AMD sieht das MEG X570S Unify-X Max so aus, aber ein Blick ins Handbuch verrät, dass der letzte Steckplatz eine SATA-Variante sein muss, wenn man alle 6 Steckplätze nutzen will. Das ASRock Z790 PG Sonic hat ebenfalls 6 Steckplätze, aber man kann nur 5 davon nutzen (mit einer legitimen Ausrede: Sie bieten einen Gen5-NVMe-Steckplatz an, aber der kommt mit einem Entweder-Oder-Vorbehalt).
Warum es dieses Problem gibt: Es gibt Chipsatz-Lane-Beschränkungen auf Consumer-Boards. Angenommen, ich möchte alle M.2-Steckplätze in Gen4x4 nutzen und ein Hersteller wäre bereit, alle Lanes für M.2-NVMe-Steckplätze zur Verfügung zu stellen (was nicht der Fall ist), würden AMD X570 und Intel B760 maximal drei M.2-Steckplätze bieten, während AMD B650 und Intel H670/Q670/Z690/W680 vier Steckplätze zur Verfügung stellen. Fünf M.2-Steckplätze sind auf AMD X670- und Intel H770-Boards möglich. Sechs auf einem Z790-Board. Darüber hinaus wären außergewöhnliche Maßnahmen erforderlich, wie z. B. das Entfernen von Lanes aus dem Haupt-PCIE-Steckplatz. Wenn die Anzahl der M.2-Steckplätze erhöht werden soll, könnten die Hersteller theoretisch Lanes in Gen4x2 ausführen oder einige Gen3-M.2-Steckplätze hinzufügen, aber dann haben sie ein *sehr* großes Nischenprodukt geschaffen.
Die Lösung: PCI-E-zu-M.2-Adapter wurden notwendig. Bei der Suche nach einem Motherboard ging es nun darum, die vorhandenen M.2-Steckplätze mit allen verfügbaren PCI-E-Steckplätzen, die x4 oder mehr unterstützen, zu kombinieren. Meine Optionen waren nun auf AMD X570-, Intel H770- und Intel Z790-Motherboards beschränkt. Beachten Sie, dass die Verwendung von Bifurkation auf einigen Motherboards zwar eine Möglichkeit ist, mehr als 1 NVMe aus dem Haupt-PCIe-Steckplatz herauszuholen, ich habe mich jedoch entschieden, mich nicht darauf zu verlassen.

Ich habe mich aus mehreren Gründen für die Intel-Route entschieden:

Chipsatz-TDP: Die Chipsätze der 600/700er-Serie von Intel haben alle einen TDP von 6 W, während der TDP des AMD X670-Chipsatzes ziemlich hoch ist (7 W + 7 W). Der Stromverbrauch der AMD-Chipsätze macht mir seit einiger Zeit Sorgen, da frühere X570-Chipsätze einen TDP von 11 W hatten und einen Lüfter benötigten.
Chipsatzgeschwindigkeit: Intel H670/Q670/W680/Z690/H770/Z790 Chipsätze haben eine DMI 4.0 x8 Verbindung zur CPU. AMD X570/B650/X670 haben eine PCIe 4.0 x4-Verbindung zur CPU. Theoretisch sollte der Durchsatz bei Intel doppelt so hoch sein wie bei AMD (16 GB/s gegenüber 8 GB/s).
Ich hatte bereits 64 GB DDR4, die das Intel-System nutzen konnte. AMD-Chipsätze der 600er-Serie sind alle nur für DDR5 geeignet.
Ich hatte bereits eine Intel-CPU der 12ten Generation.
Ich habe noch keine positive Diskussion über den Stromverbrauch von AM5 gesehen. Überhaupt nicht. Update: Während ich dies schrieb, gab es Neuigkeiten über AMD-CPUs der 7000er-Serie, die an der Stelle, an der die Pins des Motherboard-Sockels auf die CPU treffen, durchbrennen/beulen. Ja, tut mir leid, AMD, dieses Mal nicht.

Also war es Intel. Nachdem ich mir die auf dem Markt erhältlichen DDR4-Motherboards angesehen hatte, konnte ich die Auswahl schnell auf 2 Hersteller eingrenzen: MSI und ASUS.

Interessieren Sie sich nicht für die Brettvergleiche? Dann können Sie das hier überspringen.
Die verlockenden MSI-Boards waren das PRO Z790-P WIFI DDR4 und das Z790-A WIFI DDR4. Oberflächlich betrachtet sind sie fast identisch, außer dass das „A“ ein wenig hochwertiger ist (Audio, rückwärtige Anschlüsse, Kühlkörper, Leistungsphasen usw.). Vor- und Nachteile:
Pro: 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 unterstützt insgesamt 6 Gen4 NVMe
Pro: 2x PCIE Gen3x1 zusätzlich
Pro: 6 SATA-Anschlüsse
Nachteil: Intel 2.5G LAN (bekanntermaßen problematisch und fehleranfällig)
Nachteil: Ich bin kein Fan des MSI-BIOS
Nachteil: Mein aktuelles B660-Board, das einen höheren Idle-Verbrauch als erwartet aufweist, ist ein MSI.
Attraktive ASUS-Optionen waren das Prime H770-Plus D4 und das Prime Z790-P D4 (optionale WIFI-Edition). Die TUF, Strix oder ProArt waren einfach zu teuer.
Ich beginne mit einer Auflistung der Vor- und Nachteile des H770-Plus:
Pro: 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 unterstützt insgesamt 6 Gen4 NVMe
Pro: 2x PCIE Gen3x1 zusätzlich
Nachteil: Nur 4 SATA-Anschlüsse
~~Pro: 2.5G Realtek Netzwerkadapter (heutzutage dem Intel 2.5G LAN vorzuziehen)~~ (siehe Kommentare)
Das Z790-P D4 ist ähnlich, hat aber mehr Leistungsphasen, bessere Kühlung, mehr USB-Anschlüsse, einen zusätzlichen Lüfteranschluss und für unsere Zwecke…:
+1 PCIE Gen4x4
-1 PCIE Gen3x1

Letztendlich war das ASUS Prime H770-Plus D4 zu diesem Zeitpunkt etwa 100 Dollar günstiger und ich habe mich dafür entschieden.

Ein Vorteil, den ich bei „billigeren“ Boards festgestellt habe, ist, dass sie in der Regel weniger Komponenten haben und daher im Leerlauf weniger Strom verbrauchen, obwohl das nicht immer eine Gewissheit ist.

CPU – Intel i5-12400 (H0 stepping) – Alder Lake

Ich hatte diese CPU bereits als Teil eines früheren Desktop-Builds. Damals wurde sie für das Desktop-System ausgewählt, weil:

sie AV1-Hardware-Dekodierung hatte
sie die höchste verfügbare Leistung aus der Intel-Produktpalette der 12. Generation hatte, die den E-Core-Silizium-Overhead vermeidet
in diesem Build wollte ich sowieso ein neues Motherboard mit 2xDP kaufen, und eine ältere Generation zu verwenden, machte für mich keinen Sinn.

Dieses Desktop-Build erwies sich als Enttäuschung und zählt zu meinen unbeliebtesten Builds.

Einige Details…
Ich hatte Probleme, bei denen manchmal nur einer von zwei DP-angeschlossenen Monitoren in Linux aufwachte, was bedeutete, dass ich entweder den anderen DP-Anschluss ziehen/umstecken oder das System manuell in den Ruhezustand versetzen/fortsetzen musste, damit es erneut versucht werden konnte.
Ein weiteres Problem war, dass ein Neustart zwischen Windows/Linux manchmal seltsame Probleme verursachte, die ein vollständiges Ausschalten/Neustarten erforderten.
Die Hardware-Dekodierung unter Ubuntu mit Wayland ist immer noch problematisch, und wenn Programme versuchten, damit Videos abzuspielen, traten Probleme auf.
Im Gegensatz zu meinen vorherigen Intel-Systemen, die alle unter die 10-Watt-Marke gebracht werden konnten, lief dieses System mit 19 Watt im Leerlauf, obwohl ich vermutete, dass das von mir verwendete MSI-Motherboard ein Faktor sein könnte.

Die meisten Kopfschmerzen, die ich hatte, betrafen die GPU und den Bildschirm. Da ich im Begriff war, etwas Serverorientiertes zu bauen, war das kein Faktor mehr.

SPEICHER – 64GB DDR4-3200

Das habe ich verwendet:

2x16GB Kingston HyperX dual-rank (Hynix DJR)
2x16GB Kingston HyperX single-rank (Hynix CJR)

Das war Speicher, den ich bereits hatte. Ich habe die 4 Speichersticks mit dem XMP-Profil des Dual-Rank-Kits betrieben, das 16-18-18-36 betrug. Alles andere habe ich im Wesentlichen auf den Standardwerten belassen, außer dass ich den RAM mit 1,25 Volt betrieben habe (höher als die Standardwerte von 1,20, aber niedriger als die XMP-Einstellung von 1,35 Volt). TestMem5 und Memtest86 zeigten Stabilität bei 1,22V, obwohl Tests dieses Speichers auf früheren Motherboards gezeigt hatten, dass 1,22V instabil waren, also erhöhte ich die Spannung auf 1,25V, um einen kleinen zusätzlichen Puffer in Sachen Stabilität zu haben.

Boot-Laufwerk – Sandisk Ultra 3D 1TB SSD

Diese Komponente wurde nicht absichtlich gewählt. Als ich eine frische Ubuntu-Server-Installation zum Testen durchführen wollte, war dies die einzige SSD, die ich noch herumliegen hatte und die gerade nicht benutzt wurde. Ich wollte viele A/B-Tests mit PCIE- und NVMe-Geräten durchführen, so dass die Installation von Ubuntu 23.04 auf einer SATA-SSD sinnvoll war, um PCIE-Steckplätze frei zu halten.

Beachten Sie, dass das Hauptbetriebssystem nach den Tests auf einer Samsung SSD 970 EVO Plus 500GB NVMe ausgeführt werden sollte. Dazu gibt es nicht viel zu sagen, außer, dass die Samsung-Laufwerke dazu neigen, zuverlässig in den Energiesparmodus zu wechseln.

Da ich beide Laufwerke verwendet habe, kann ich bei meinen Tests keinen Leistungsunterschied zwischen ihnen messen. Tom’s Hardware testete die Samsung im Leerlauf mit 0,072 Watt (über ASPM/APST), und Anandtech testete die Sandisk Ultra 3D im Leerlauf mit 0,056 Watt (über ALPM). Beide liegen deutlich unter der 1-W-Auflösung meines Kill-A-Watt-Meters.

Netzteil – Corsair RM750

So sehr dieses 750-W-Netzteil für ein System, das auf 10 Watt ausgelegt ist, als Overkill erscheinen mag – wenn 12 Laufwerksmotoren gleichzeitig laufen, ist die momentane Last wahrscheinlich ziemlich hoch. Seagate gibt 2A/3A DC/AC-Spitzenströme auf der 12-V-Schiene für eines seiner 10 TB 3,5-Zoll-Laufwerke an. Selbst die Spitzenwerte für zufällige Lese-/Schreibvorgänge können über 2 A betragen.

Dieser stoßweise Strombedarf kann problematisch werden, wenn das Netzteil der Aufgabe nicht gewachsen ist. Wenn ein Array aus 6 Laufwerken zusammen 150-200 Watt zieht, während die CPU in der Spitze 120 Watt zieht, ist das ein Sprung von etwa 10 Watt im Leerlauf auf etwa 400 Watt. Dies kann leicht zu einem sofortigen Spannungseinbruch führen – wenn der Einbruch groß genug ist, um einen sofortigen Absturz/Neustart zu verursachen, ist das wahrscheinlich keine große Sache, aber wenn der Einbruch gerade groß genug ist, dass Daten während einer Speicheraktualisierung oder wenn ein anderes Laufwerk mitten im Schreibvorgang ist, beschädigt werden… ist das ein schmerzhafteres Problem. Eine gewisse Überdimensionierung des Netzteils (oder das Hinzufügen von Kondensatoren zu den Stromschienen) ist sinnvoll.

Glücklicherweise ist ein Großteil der Corsair RM-Serie trotz des Betriebs außerhalb des Spitzenwirkungsgrads in einem weiten Bereich ziemlich effizient.

Leistungsmessungen – Initial

Ein paar wichtige Informationen:

Die Leistung wurde an der Wand gemessen
Intel PowerTOP wurde zur automatischen Anpassung der Einstellungen verwendet
Ubuntu Server 23.04

Ein paar potenziell wichtige BIOS-Bits:

CPU C-States wurden im BIOS aktiviert (C10)
ASPM wurde aktiviert und alles auf L1 gesetzt
RC6 (Render Standby) aktiviert
Aggressive LPM-Unterstützung aktiviert (ALPM)
DEAKTIVIERT: HD-Audio, Konnektivitätsmodus, LEDs, GNA-Gerät, serieller Anschluss

9-10 Watt war der Verbrauch, wenn die Bildschirmausgabe eingeschaltet war.

7 Watt war der Verbrauch, wenn das Display ausgeschaltet war (Kernel-Boot-Parameter consoleblank=600 für einen 600-Sekunden-Timer), was bei diesem System die meiste Zeit der Woche der Fall ist.

8 Watt war der Verbrauch, wenn die Energieverwaltung der USB-Tastatur deaktiviert war. Wenn man sich nicht per SSH in den Server einwählt, kann es notwendig sein, das zusätzliche Watt für die Tastatur zu verwenden.

Problematische Leistungsmessungen – Belastet mit sich drehendem Rost (nicht drehend)

Wie eingangs erwähnt, habe ich mit 12 Festplatten begonnen. Die Hälfte waren 2,5″ und die andere Hälfte 3,5″. Da das Motherboard nur 4 SATA-Anschlüsse hat, wurden ein SATA-Controller und ein Port-Multiplier verwendet, um die restlichen Laufwerke zu verwalten. Zusätzlich wurden anfangs 4 NVMe-Laufwerke verwendet: eines davon, ein Western Digital SN770, neigte dazu, selbst im Leerlauf ziemlich heiß zu werden, was darauf hindeutet, dass es wahrscheinlich nicht in den Energiesparmodus ging.

Mit allen angeschlossenen Geräten, im Leerlauf, mit ausgeschaltetem Bildschirm und mit den 12 Laufwerken im Standby-Modus war ich schockiert, als ich feststellte, dass mein Stromverbrauch im Leerlauf von 7 Watt auf satte 24-25 Watt gestiegen war. Viel zu viel! Irgendetwas stimmte nicht.

Rätsel des Stromverbrauchs – Untersuchung und Diagnose bei hohem Stromverbrauch

Ich trennte die Festplatten und begann, die Komponenten einzeln zu testen. Das waren ziemlich grobe Tests, um eine ungefähre Vorstellung von dem Übeltäter zu bekommen, daher sind die Zahlen hier nicht präzise.

Ich fand schnell heraus, dass der von mir verwendete JMB585-SATA-Controller den Stromverbrauch um etwa 6-10 Watt erhöhte (genaue Messungen in einem späteren Abschnitt). Der Controller selbst sollte nur ein paar Watt verbrauchen, und der winzige Kühlkörper blieb kühl, also war da offensichtlich mehr los. Wohin ging der Strom?

Ich beschloss, die C-Zustände des CPU-Pakets zu beobachten. Ohne den JMB585-SATA-Controller erreichte das System C6. Als der JMB585 wieder angeschlossen wurde, erreichte das System höchstens C3. Aha! Aber warum? Es stellte sich heraus, dass die CPU nicht in den Tiefschlaf geht, wenn ein über PCIE angeschlossenes Gerät nicht in den ASPM L1-Modus wechselt. Die JMB585-Controllerkarten scheinen keine ASPM-Unterstützung zu haben.

Bei weiteren Experimenten fand ich noch etwas anderes heraus, das ich nicht kannte, und das hat mit C6 vs. C8 zu tun. Das System erreicht nur dann C8, wenn nichts an die an die CPU angeschlossenen PCIE-Lanes angeschlossen ist. Mit anderen Worten: Wenn irgendetwas an den oberen PCIE-Steckplatz oder den oberen NVMe-Steckplatz angeschlossen ist, ist C6 das Maximum. Der Unterschied in der Leistungsaufnahme zwischen C6 und C8 schien in einem einfachen Test weniger als ein Watt zu betragen.

Während C8 also ein Luxus wäre, war C6 ein Muss. C3 verbraucht zu viel Strom. Wenn SATA-Controller die CPU daran hindern, die besten Stromsparzustände zu erreichen, begann ich mich zu fragen, ob ich nach einem Motherboard mit 6-8 SATA-Anschlüssen hätte suchen sollen, damit ich nicht auf zusätzliche Controller angewiesen wäre…

Eine kleine Suche nach SATA-HBAs ergab, dass es hier zwar nicht viele Optionen gibt, aber der ASM1166 SATA-Controller sollte ASPM L1 unterstützen, obwohl die Firmware geflasht werden muss, damit er richtig funktioniert (und auf neueren Intel-Boards überhaupt funktioniert). Das mußte ich bestellen: Ich habe Marvel- und JMicron-Ersatzteile, aber die unterstützen kein ASPM. Eigentlich hatte ich ASMedia seit Jahren gemieden, aber aus der Not heraus bekamen sie jetzt eine neue Chance: Ich bestellte ein paar ASM1166 6-Port-SATA-Controller.

Nebenbei: BadTLP, Bad! AER-Bus-Fehler aus dem pcieport

Eine Erwähnung wert… Während der anfänglichen Tests mit einer WD Black SN770 (Gen4 NVMe) fand ich ein Problem, wenn die primären (oben an die CPU angeschlossenen) PCIE- und NVMe-Ports verwendet wurden. Das Ausführen von dmesg führte zu einer Ausgabe, die mit Dingen wie diesen übersät war:

pcieport 0000:00:06.0: AER: Corrected error received: 0000:02:00.0
nvme 0000:02:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
pcieport 0000:00:06.0: PCIe Bus Error: severity=Corrected, type=Data Link Layer, (Transmitter ID)
pcieport 0000:00:06.0: AER: Error of this Agent is reported first
nvme 0000:02:00.0: [ 6] BadTLP

…nach vielem Ausprobieren fand ich heraus, dass keine Fehler auftraten, wenn die BIOS-Einstellung „PEG – ASPM“ auf [Disabled] oder [L0s] gesetzt war.

Natürlich war dies eine schlechte Option, da [L1] für die Energieeinsparung entscheidend ist. Wenn [L1] oder [L0sL1] verwendet wurde, bestand die einzige Möglichkeit darin, die Link-Geschwindigkeit dieser Ports auf [Gen3] zu setzen, was die Fehler zwar nicht beendete, aber erheblich reduzierte.

Einige Nachforschungen ergaben, dass die Grundursache eine Vielzahl von Dingen sein kann. Da der Austausch des Motherboards oder der CPU kein angenehmer Gedanke war, bestand meine beste Hoffnung darin, auf eine andere NVMe-Marke umzusteigen.

Ich bestellte einige Crucial P3 NVMe-Laufwerke. Dies erwies sich als erfolgreiches Unterfangen: Nachdem ich die WD-Laufwerke durch die Crucial-Laufwerke ersetzt hatte, traten keine Fehler mehr auf, obwohl es sich um Gen3-Laufwerke handelt.

Rätsel des Stromverbrauchs – L1.1 und L1.2 sind nur bei mit dem Chipsatz verbundenen Anschlüssen aktiviert

Als ich die beiden Crucial P3 NVMe-Laufwerke in dem mit der CPU verbundenen PCIEx16-Steckplatz und dem oberen M2-Steckplatz installiert hatte, bemerkte ich höhere Leerlauftemperaturen als erwartet. Während der NAND bei etwa 27-29 °C lag, meldeten die Controller 49-50 °C – viel mehr als ich für diese speziellen Laufwerke erwartet hatte.

Ich wechselte die Festplatte vom PCIEx16-Steckplatz in einen mit dem Chipsatz verbundenen PCIEx4-Steckplatz. Ein interessanter Unterschied zwischen diesen Laufwerken zeigte sich über lspci -vvv:

CPU-verbundener M2-Steckplatz: L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
Chipsatz-verbundener PCIE-Steckplatz: L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+

L1-Sub-States scheinen nur auf den Chipsatz-verbundenen Steckplätzen aktiviert zu werden. Das ist bedauerlich, aber es scheint mit den verfügbaren BIOS-Einstellungen im obigen Screenshot übereinzustimmen.

Schauen wir uns noch einmal das Bild des Motherboards an, um die Situation zu verdeutlichen:

Ich habe beide NVMe-Laufwerke an die mit dem Chipsatz verbundenen PCIE-Steckplätze angeschlossen. Jetzt zeigten beide L1.1+/L1.2+ an und die Temperatur des Controllers sank von 49-50C auf 38-41C.

Leider konnte ich bei verschiedenen A/B-Tests mit diesen beiden Crucial NVMe-Laufwerken mit unterschiedlichen Steckplatzkonfigurationen und verschiedenen BIOS-Einstellungen ein sehr inkonsistentes Temperaturverhalten feststellen, obwohl das JMB585 und ein NVMe-Boot-Laufwerk während dieser Tests ebenfalls angeschlossen waren. Zum Beispiel konnten beide Laufwerke im Leerlauf bei etwa 40 °C liegen, bis ein Soft-Neustart durchgeführt wurde, woraufhin 1 (oder beide) nun im Leerlauf im Bereich von 50 °C liegen konnten. Manchmal schien es möglich zu sein, ein Laufwerk an der mit der CPU verbundenen M.2-Festplatte zu belassen und die Temperatur von 40 °C auf beiden Laufwerken beizubehalten, solange der x16-Steckplatz nicht belegt war. Vermutlich habe ich eine Art Fehler entdeckt. Die Samsung Boot-NVMe-Laufwerke schienen eine konstante Idle-Temperatur zu halten, unabhängig davon, was mit den Crucial NVMe-Laufwerken geschah, also vermutete ich, dass die Crucial-Laufwerke selbst zumindest teilweise schuld daran waren.

Interessanterweise sank die Temperatur eines (oder beider) Controller manchmal bis in den Bereich von 29 °C, wenn die mit dem Chipsatz verbundenen Steckplätze verwendet wurden. Da die Suche nach einem stromsparenden 4TB-NVMe-Ersatz für die Crucial P3 kein realistisches Ziel war, bestand meine größte Hoffnung zu diesem Zeitpunkt darin, dass die ASPM-inkompatible JMicron JMB 585 irgendwie daran schuld war, da sie bald durch die ASPM-kompatible ASMedia ASM 1166 ersetzt werden sollte.

Verspätetes Update: Leider habe ich die Temperaturen während des restlichen Tests nicht im Auge behalten, und die Kühlkörper/Luftströme zwischen den Laufwerken sind alle durcheinander geraten. Aber was auch immer es wert ist, im endgültigen Build liegen die Temperaturen meines Crucial P3-Controllers bei 31-34°C und die NAND-Temperaturen bei 23-24°C.

Rätsel des Stromverbrauchs – Umstieg vom JMB585 auf den ASM1166.

Nach ein paar Wochen kam die ASM1166 an. Zunächst ein paar Informationen über die Karte, die Sie vielleicht hilfreich finden, wenn Sie sie in Betracht ziehen…

Ich begann mit einem Firmware-Flash – ASM1166-Karten haben oft eine alte Firmware, die nicht mit Intel-Motherboards der 600er-Serie funktioniert und, soweit ich weiß, Probleme mit der Energieverwaltung haben kann. Neuere Firmware kann an verschiedenen Stellen gefunden werden, aber ich entschied mich für eine Kopie von SilverStone („fix compatibility issue“ im Download-Bereich von https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/) und folgte den Anweisungen auf https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/. Beachten Sie, dass die SilverStone-Dateien einen identischen MD5-Wert hatten wie die Firmware, die ich in dem Thread auf https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707 gefunden habe.
Für alle, die vorhaben, eine dieser ASMedia-Karten zu kaufen, sollte ich anmerken, dass die Qualität wie bei den meisten SATA-Controllern und HBAs da draußen sehr unterschiedlich ist. Eine meiner Karten hatte einen Kühlkörper, der ein wenig schief saß: Das Wärmeleitpad war dick genug, um zu verhindern, dass er nahe gelegene Komponenten kurzschließt, aber seien Sie sich darüber im Klaren, dass diese Produkte sehr fehleranfällig sein können. Dies ist eine der Situationen, in denen es sinnvoll sein kann, etwas mehr zu bezahlen, um bei einem Anbieter mit guten Rückgaberechten zu kaufen.

Ich habe eine ganze Reihe von A/B-Tests durchgeführt, daher hier ein schneller Vergleich „JMicron JMB585 vs. ASMedia ASM1166“ in Bezug auf den Gesamtstromverbrauch des Systems, auch wenn er vielleicht nur für diese Plattform (oder vielleicht sogar nur für dieses spezielle Motherboard) gilt.

ANTRIEBSLOS

Zunächst wird der Stromverbrauch ohne angeschlossene Laufwerke gemessen (das SATA-SSD-Boot-Laufwerk ist an das Motherboard angeschlossen), um eine Basislinie zu erhalten. PowerTOP wurde für alle Geräte außer der Tastatur verwendet (+1 Watt hinzugefügt). Messungen, nachdem der Display-Ausgang in den Ruhezustand überging.

8 Watt – Kein SATA-Controller – C8-Stromversorgungszustand
9 Watt – ASM1166 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungszustand C8
12 Watt – JMB585 auf dem mit der CPU verbundenen x16-Steckplatz – Leistungsstatus C3
15 Watt – JMB585 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungszustand C3
22 Watt – ASM1166 auf dem CPU-verbundenen x16-Steckplatz – Leistungszustand C2

Das ASM1166 schneidet hier gut ab, wenn es in einen mit dem Chipsatz verbundenen Steckplatz eingesteckt wird (nur +1 Watt), aber es schneidet schrecklich ab, wenn es an den Haupt-PCI-E-Steckplatz angeschlossen wird (+14 Watt), wo der Leistungsstatus des CPU-Pakets auf C2 sinkt. Schockierenderweise verhält sich der JMB585 genau andersherum, sein Verbrauch ist auf dem mit der CPU verbundenen Steckplatz geringer (und er verursacht kein C2) – Sie werden jedoch bald sehen, dass sich die Dinge ändern, wenn die Laufwerke tatsächlich angeschlossen sind…

Ich habe zusätzliche Tests mit den Controllern durchgeführt, einschließlich „Reise nach Jerusalem“ mit ein paar NVMe-Laufwerken, um zu sehen, ob mehrere Geräte einen Schraubenschlüssel in die Dinge werfen würde, aber nichts Unerwartetes stattgefunden hat, so dass ich diese Details überspringen werde.

WENN FESTPLATTEN INSTALLIERT SIND

Nachdem die Basismessungen abgeschlossen waren, war es an der Zeit, einige Laufwerke an diese Controller anzuschließen. Das SATA-SSD-Boot-Laufwerk blieb auf der Hauptplatine, 2 NVMe-Laufwerke wurden der Mischung hinzugefügt (mit dem Chipsatz verbunden, sofern nicht anders angegeben), und 4 der 2,5-Zoll-SATA-Festplatten wurden auf dem Controller platziert. Ich werde den Verbrauch im „heruntergefahrenen Zustand“ auflisten, nachdem die Festplatten in den Standby-Modus gegangen sind – im „hochgefahrenen Zustand“ war er in jedem Test genau 2 Watt höher, während die Festplatten im Leerlauf waren.

10 Watt – ASM1166 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungsstatus C8
11 Watt – ASM1166 in einem mit dem Chipsatz verbundenen x4-Steckplatz mit 1 NVMe, das in den mit der CPU verbundenen x16-Steckplatz verschoben wurde – Leistungszustand C6
11 Watt – 2x ASM1166 auf mit dem Chipsatz verbundenen x4-Steckplätzen, mit nur 1 NVMe-Laufwerk – Leistungszustand C8
16 Watt – JMB585 auf einem Chipsatz-verbundenen x4-Steckplatz – Leistungszustand C3
24 Watt – JMB585 auf einem CPU-verbundenen x16-Steckplatz – Leistungszustand C2

Bei 4 über einen mit dem Chipsatz verbundenen Steckplatz angeschlossenen Laufwerken erhöht der ASM1166 den Stromverbrauch des Systems um +2 Watt, während der JMB585 +8 Watt verbraucht. Unbestritten.

Ein zusätzlicher Vorteil ist, dass ich beide ASM1166-Karten im System verwenden konnte, während der Versuch, beide JMB575-Karten gleichzeitig zu verwenden, dazu führte, dass sich das System weigerte zu booten, obwohl das ein plattform- oder mainboardspezifisches Problem sein könnte.

Es gibt jedoch einen Kompromiss – ich habe die JMB585 immer als grundsolide und zuverlässig empfunden, auch in Verbindung mit einem JMB575-Portmultiplier. Meine bisherigen Erfahrungen mit ASMedia-SATA-Controllern waren weniger gut: Die Zuverlässigkeit des ASM1166 bleibt abzuwarten, aber zumindest ist er ein schlechter Kandidat für einen Port-Multiplier, da er kein FBS unterstützt (nur CBS).

Ein paar andere kleinere Probleme, die mit dem ASM1166 auftraten:

Beim Entfernen/Wiedereinsetzen des NVMe-Boot-Laufwerks erschien eine BIOS-Meldung, die besagte, dass aufgrund einer GPT-Beschädigung nicht gebootet werden konnte. Die ASM1166-Karten mussten vorübergehend entfernt werden, damit das BIOS das NVMe-Boot-Laufwerk wieder „finden“ konnte (danach konnten sie wieder installiert werden).
Die ASM1166-Karten geben an, über *viele* Ports zu verfügen – dies verursacht zusätzliche Boot-Zeit, da Linux alle Ports durchlaufen muss.

Update: SATA und SSD-Marken

In einem der Kommentare wurde erwähnt, dass eine ältere Samsung 840 PRO SSD auf C3 begrenzt ist, während eine Crucial Force GT SSD C8 erlaubt. Obwohl es sich um ältere Laufwerke handelt, fand ich dies dennoch etwas überraschend. Es war eine Untersuchung wert.

Ich habe das H770 als Testumgebung mit einem Samsung 850 EVO SATA SSD-Boot-Laufwerk zusammen mit einem Crucial P3 NVMe verwendet und einen benutzerdefinierten Kernel erstellt, damit der Realtek-Netzwerkadapter L1.2 erreichen kann. Kein ASM1166, nur die Intel onboard SATA. Ich erreichte C10, nachdem ich powertop mit auto-tune laufen ließ und den Bildschirm in den Ruhezustand versetzte. Ich habe verschiedene Laufwerke ausprobiert, die ich zur Hand habe, und das System jedes Mal ausgeschaltet, um die Laufwerke zu wechseln und den Vorgang zu wiederholen. Hier sind die Ergebnisse.

Laufwerke, die dazu führten, dass das System bei C6 hängen blieb:

1TB Patriot P210 SATA SSD

Laufwerke, die C10 ermöglichten:

500GB Samsung 850 EVO SATA SSD
4TB 2,5-Zoll-Seagate-SATA-Festplatte
8TB 3,5-Zoll-SATA-Festplatte von Seagate
14TB Toshiba SATA HDD
1TB Sandisk Ultra 3D SATA SSD
4TB Sandisk Ultra 3D SATA SSD (Hinweis: langsamer Abgleich)
4TB Crucial MX500

Ich empfehle, bei der Auswahl von SATA-SSDs vorsichtig zu sein. Ich werde versuchen, diese Liste im Laufe der Zeit mit Laufwerken zu aktualisieren, die ich getestet habe, aber denken Sie daran, dass bestimmte Hersteller im Speicherbereich dazu neigen, die Hauptprodukte stillschweigend gegen minderwertige Komponenten auszutauschen. Sie sollten also immer die Leistung aller Speichergeräte überprüfen, die Sie innerhalb Ihres Rückgabefensters kaufen. Sie können gerne einen Kommentar hinterlassen, wenn Sie auf gute oder schlechte Produkte stoßen.

Stromverbrauchsrätsel – Fazit

Ein paar wichtige Punkte, wenn man einen niedrigen Verbrauch anstrebt:

1) Motherboard-Unterstützung und BIOS-Konfiguration sind entscheidend – ich hatte schon Motherboards mit sehr unflexiblen BIOSen. Auf diesem hier müssen „Native ASPM“ und die entsprechenden L1-Zustände aktiviert sein (um OS-gesteuert statt BIOS-gesteuert zu ermöglichen), damit der niedrige Stromverbrauch funktioniert.

2) Alle Geräte müssen ASPM L1 unterstützen. Andernfalls müssen Sie wirklich würfeln. Am schwierigsten ist es, SATA-Controller zu finden, die dies unterstützen – wenn möglich, sollten Sie sich ein Motherboard mit genügend SATA-Anschlüssen mit Intel-Chipsatz besorgen, um keine separate Karte zu benötigen. Ich sollte anmerken, dass es nicht immer selbstverständlich ist, NVMe-Laufwerke zu finden, die unter ASPM den stromsparenden APST-Energiezustand unterstützen, und dass Sie auch hier einige Nachforschungen anstellen sollten.

3) Wenn Sie den Energiestatus C8 erreichen können, vermeiden Sie die Verwendung von an die CPU angeschlossenen PCIe-Lanes (oberer PCIe- und M2-Steckplatz). Bei diesem speziellen Motherboard würde ich Ihnen raten, sie nach Möglichkeit ganz zu vermeiden, es sei denn, Sie benötigen entweder den Low-Latency-Pfad mit voller Bandbreite zur CPU oder Ihre Geräte sind so aktiv, dass sie ohnehin nie schlafen. Es sei daran erinnert, dass sowohl meine JMicron- als auch meine ASMedia-SATA-Karten den C-Status des CPU-Pakets auf C2 sinken ließen, wenn sie in den x16-PCI-E-Steckplatz eingesteckt wurden.

4) Das Messen des Stroms aus der Steckdose ist der einzige Weg, um sicher zu gehen, dass das, was man *denkt*, auch wirklich passiert. Ein Kill-A-Watt-Gerät wird sich im Laufe der Zeit bezahlt machen, wenn Sie es benutzen – bedenken Sie, dass ich mein Gerät 2006 gekauft habe (damals $16USD + $14USD Versand über eBay). Damals stellte ich fest, dass unser selten genutztes Faxgerät, das immer eingeschaltet war, 7 Watt verbrauchte… allein dadurch, dass ich dieses eine Gerät ausschaltete, wenn es in den nächsten 10 Jahren nicht benutzt wurde, hat sich das Kill-A-Watt-Gerät mehr als bezahlt gemacht.

Stromverbrauch bei einer Reihe von HDDs

Nachdem im Laufe dieses Prozesses verschiedene Teile in das System ein- und ausgewechselt wurden, sieht die aktuelle Konfiguration wie folgt aus:

1x Samsung 970 EVO Plus NVMe (500GB Boot-Laufwerk)
2x Crucial P3 NVMe (jeweils 4TB)
5x Seagate 2.5″ HDD (jewiels 5TB – 4TB genutzt)
6x Seagate 3,5″-HDD (jeweils 10TB – 8TB genutzt)
2x ASM1166-Karten mit SATA-Anschlüssen

Von der Wand gemessene Gesamtleistung (Bildschirm eingeschaltet, Tastatur aktiviert):

50 Watt mit allen 11 Festplatten im aktiven Leerlauf
38 Watt mit den 6x 3,5″ HDD im Idle_B
34 Watt mit den 6x 3,5″ HDD im Idle_C
21 Watt mit der 6x 3,5″-Festplatte im Standby_Z (heruntergedreht)
18 Watt mit der 5x 2,5″ HDD ALSO im Standby
16 Watt bei ausgeschaltetem Displayausgang ALSO
15 Watt, wenn PowerTOP die USB-Tastatur deaktivieren kann

Seagate gibt den Standby-Verbrauch dieser 3,5″-Laufwerke mit jeweils etwa 0,8 W und der 2,5″-Laufwerke mit jeweils etwa 0,18 W an. Dies stimmt mit meinen obigen Angaben überein. Meine Zahlen für die aktive Leerlaufzeit stimmen auch ziemlich gut mit den Angaben von Seagate überein.

Die offensichtliche Beobachtung: Im Vergleich zu den übrigen Systemkomponenten sind die 3,5″-Laufwerke stromhungrige Monster.

Die HDDs werden irgendwann durch SSDs ersetzt werden. Da der Stromverbrauch im Leerlauf so niedrig ist wie im HDD-Standby-Modus, besteht keine große Eile, und dieser Prozess wird nach und nach stattfinden, wenn meine HDD-Laufwerke/Ersatzteile sterben und die SSD-Preise sinken.

Der Plan für das „Endspiel“ ist ein reiner SSD-Bau. Ursprünglich war der Plan für 1 Boot-Laufwerk, 6xNVMe (wahrscheinlich Crucial P3 4TB) für ein RAIDZ2-Array und 6xSATA (wahrscheinlich Samsung 870 QVO 8TB) für das zweite RAIDZ2-Array. Da die Verwendung der mit der CPU verbundenen M2/PCIe-Steckplätze nicht nur Unvorhersehbarkeit mit sich bringt, sondern auch leichte Kosten für C-State/Strom/Temperatur mit sich bringt, könnte ich diesen Plan ändern und ein paar NVMe im ersten Array aufgeben und stattdessen SATA verwenden, damit ich die mit der CPU verbundenen Lanes nicht anfassen muss. Die Zeit wird es zeigen.

Unnötige Details zur Lagerung

Dieser Teil ist nur lesenswert, wenn Sie sich für akribische Details über die Lagerung interessieren. Andernfalls können Sie mit dem letzten Abschnitt fortfahren.

NVMe-Boot-Laufwerk
Wie bereits angedeutet, handelt es sich um eine Samsung 970 EVO Plus. Derzeit werden weniger als 4 GB des 500-GB-Speicherplatzes genutzt (eine 64-GB-Swap-Partition ist vorhanden, wird aber immer auf 0 genutzt). Die Wahl fiel ursprünglich auf diese Festplatte, weil Samsung einen guten Ruf für seine Zuverlässigkeit hat (die in letzter Zeit etwas nachgelassen hat), und weil Samsung in Tests immer dann gut abschnitt, wenn es um den Stromverbrauch im Leerlauf ging. Dieses Laufwerk befindet sich fast immer im Leerlauf, und die Temperaturen von Controller und NAND blieben während aller Tests niedrig (20-24 °C). Möglicherweise wird sie irgendwann gegen eine SATA-SSD ausgetauscht, um einen NVMe-Anschluss freizugeben.
2,5″-HDD
Diese Laufwerke werden für das primäre ZFS RAIDZ2-Array mit 6 Laufwerken verwendet – das am meisten genutzte. An einem Tag in der Woche ist sie mit einer Aufgabe beschäftigt, die das Lesen von einigen TB im Laufe von 24 Stunden beinhaltet. Der Rest der Woche wird nur sporadisch genutzt, und die Laufwerke werden die meiste Zeit der Woche heruntergefahren. Wenn Sie sich fragen, warum 2,5-Zoll-Laufwerke anstelle von 3,5-Zoll-Laufwerken verwendet werden, gibt es einen Grund: den Stromverbrauch.
Der Stromverbrauch der 2,5-Zoll-Festplatten von Seagate ist wirklich beeindruckend. Im Leerlauf liegt der Wert bei 0,18 W, im Leerlauf bei 0,85 W, und die durchschnittlichen Lese-/Schreibwerte liegen bei etwa 2 W. Es gibt viele SSDs mit schlechteren Stromverbrauchswerten als diese Spinning Rust. 5 TB Kapazität bedeuten eine Menge Speicherplatz pro Watt.
Die größten Nachteile dieser 2,5-Zoll-Festplatten von Seagate sind:
Keine großartige Leistung. 80-120 MB/s Spitzenwerte beim Lesen/Schreiben. Fairerweise muss man jedoch sagen, dass viele TLC/QLC-SSDs auf diese Schreibgeschwindigkeiten fallen, wenn ihr SLC-Cache erschöpft ist.
SMR (Shingled Magnetic Recording). Die Leseleistung ist in Ordnung, aber die Schreibleistung stürzt bei zufälligen Schreibvorgängen absolut ab – sie verhält sich wie eine QLC-SSD ohne SLC-Cache, die auch nicht über TRIM verfügt.
Geringe Nennauslastung (55 TB/Jahr gegenüber 550 TB/Jahr bei 3,5″-Laufwerken von Exos).
Keine konfigurierbare Fehlerbehebungszeit (SCT ERC), und diese Laufwerke können bei einem Fehler minutenlang hängen bleiben, während sie unermüdlich versuchen, den problematischen Sektor neu zu lesen. Ubuntu muss so konfiguriert werden, dass es wartet, anstatt zu versuchen, das Laufwerk nach 30 Sekunden zurückzusetzen.
Höhere Fehlerraten, wenn sie heiß werden (ich musste schon einige austauschen und habe festgestellt, dass sie es nicht mögen, wenn sie heiß laufen).
Typische HDD-Probleme (langsames Hochdrehen usw.).
Um gegenüber Seagate absolut fair zu sein, werden diese Festplatten als externe USB-Backup-Laufwerke verkauft. Diese 15 mm großen Festplatten aus dem Gehäuse zu nehmen und sie als RAID-Mitglieder in einem NAS zu verwenden, ist nicht gerade eine bestimmungsgemäße Verwendung. Der extrem niedrige Stromverbrauch ist enorm, aber es gibt offensichtliche Kompromisse.
Langfristig werden diese 2,5-Zoll-Laufwerke mit 4/5 TB langsam durch 4-TB-SSD-Laufwerke (möglicherweise alle NVMe) ersetzt werden. SSDs mit einer Kapazität von 4 TB sind seit 2021/2022 für den Endverbraucher verfügbar und kosten etwa das 4-5fache der Spinner. Weniger als 2 Jahre später sind sie auf etwa den doppelten Preis gesunken, und ich erwarte, dass anständige Marken mehr als doppelt so lange halten wie die Spinner von Seagate.
Wenn das Crucial P3 (Gen3)-Modell weiterhin verfügbar ist, werde ich wahrscheinlich bei diesem Modell bleiben, obwohl es auf Gen3-Geschwindigkeiten beschränkt ist. Ich habe die Crucial P3 Plus (Gen4) in Erwägung gezogen, aber der Stromverbrauch war in den Testberichten höher, obwohl es nur sehr wenige Situationen gab, in denen auch die Leistung deutlich höher war. Meine größte Sorge bei der P3 Plus (Gen4) war, dass sie bei Problemen mit ASPM/APST laut Tom’s Hardware im Leerlauf 0,3 W mehr Strom verbraucht als die P3 (Gen3) für das 2-TB-Modell. Ich ziehe es vor, dass der Stromverbrauch im schlimmsten Fall so niedrig wie möglich ist.
3,5″-FESTPLATTE
Wird im sekundären RAIDZ2-Array mit 6 Laufwerken verwendet – ein Backup-Array, das etwa 2 Stunden pro Woche hochgefahren wird und auf das konstant viele Daten geschrieben werden.
Der Stromverbrauch der 3,5-Zoll-Festplatten von Seagate entspricht in etwa dem, was man erwarten würde. Diese 10-TB-Laufwerke verbrauchen im Standby-Modus jeweils 0,8 W, im Leerlauf 2-5 W und beim Lesen und Schreiben 6-9 W.
Hier gibt es zwei Bedenken:
Diese Laufwerke sind so ausgelegt, dass sie beim Schreiben zusammen etwa 45-50 Watt verbrauchen. Das ist ein bisschen zusätzliche USV-Last, die ich nicht wirklich haben möchte, wenn es während der Backups zu einem längeren Stromausfall kommt (ich bleibe bei 1500-Watt-USVs).
Diese sind so ausgelegt, dass sie im Standby-Modus zusammen etwa 4,8 Watt ziehen. Auch hier würde es mir nichts ausmachen, etwas USV-Last einzusparen.
Langfristig werden diese Laufwerke wahrscheinlich durch Samsung 870 QVO 8TB SATA-Laufwerke ersetzt. Die 870 QVO verbraucht 0,041 W/0,046 W im Leerlauf mit ALPM, 0,224 W/0,229 W im Leerlauf ohne ALPM und 2,0-2,7 W während einer Kopie (laut Toms/Anandtech).
Preislich gesehen ist die 8TB-SATA-SSD von Samsung derzeit ein gutes Stück teurer als 8TB-Spinner (fast das Dreifache). Wenn diese Laufwerke also nicht aus irgendeinem Grund häufiger verwendet werden, wird der Austausch gegen die SSDs mit ziemlicher Sicherheit warten, bis ich keine Ersatzteile mehr habe.
NVMe-Cache-Laufwerk
Das Ersetzen meines Spinning Rust durch SSDs ist ein Prozess, der wahrscheinlich eine Weile dauern wird.
In der Zwischenzeit hat ZFS einige Optionen, um Hochgeschwindigkeitsspeicher (typischerweise SSD) vor langsamerem Speicher zu nutzen:
„Special“ Allocation Class – erlaubt es Ihnen, ein vdev speziell für Metadaten und für „kleine“ Blöcke zu erstellen, falls gewünscht.
Ein Cache-Laufwerk, allgemein bekannt als L2ARC.
Wenn Sie bei der Pool-Erstellung ein „spezielles“ vdev erstellen, werden alle Metadaten (und optional kleine Blöcke einer von Ihnen gewählten Größe) auf dem „speziellen“ vdev statt auf dem rotierenden Rost abgelegt. Sehr schnelle Dateilisten und Verzeichnisdurchläufe, während der Spinning Rust für die Dateien selbst verwendet wird. Ja, Sie können eine Reihe von Verzeichnissen „ls“, ohne Ihre Festplatten aus dem Schlaf zu wecken. Der größte Nachteil ist, dass alle Metadaten auf dieser Festplatte liegen, und wenn sie jemals stirbt, ist der Zugriff auf alle Daten im Grunde genommen weg. Sie sollte also zumindest gespiegelt werden. Vielleicht sogar eine 3-Wege-Spiegelung. Verabschieden Sie sich von ein paar Ports.
Der L2ARC ist ein wenig anders. Es handelt sich im Wesentlichen um einen Level-2-Cache. Wenn der Cache im RAM voll ist, kopiert ZFS einige der Blöcke in den L2ARC, bevor es den Inhalt aus dem RAM entfernt. Wenn das nächste Mal auf diese Daten zugegriffen werden muss, werden sie von der L2ARC anstatt von der Festplatte gelesen. Ein Vorteil gegenüber dem „speziellen“ vdev ist, dass man mit nur einer SSD auskommt – wenn es ein Problem mit den Daten in der L2ARC gibt (schlechte Prüfsumme, Laufwerk stirbt, etc.), liest ZFS den Inhalt einfach von der Originalplatte. Wenn die L2ARC voll ist, fängt ZFS einfach wieder am Anfang der SSD an und überschreibt die Daten, die es vorher geschrieben hat, was einige Vorteile (alte Daten, auf die nie mehr zugegriffen wird) und Nachteile (Daten, auf die häufig zugegriffen wurde und die erneut auf die L2ARC geschrieben werden müssen) hat. Sie können auch nach Belieben L2ARC-Geräte zum Pool hinzufügen/entfernen – wollen Sie eine 64GB SSD, 500GB SSD und 2TB SSD hinzufügen? Nur zu – ZFS wird die Blöcke auf sie verteilen. Möchten Sie die 500-GB-SSD ein paar Tage später aus dem Pool entfernen und anderweitig verwenden? Kein Problem. Der größte Nachteil des L2ARC ist, dass Sie wahrscheinlich Ihren Pool vermasselt haben, wenn Sie beim Hinzufügen des Geräts vergessen haben, „Cache“ anzugeben. Außerdem ist er unvollkommen: selbst bei sorgfältiger Einstellung ist es schwer, ZFS dazu zu bringen, ALLES, was man will, auf den L2ARC zu schreiben, bevor er aus dem Speicher entfernt wird. Gleichzeitig kann die L2ARC, abhängig von Ihren Daten, eine Menge Schreibvorgänge sehen, und Sie müssen den Zustand Ihrer SSD sorgfältig überwachen.
In der Vergangenheit habe ich die „Spezial“-Vdev und die L2ARC benutzt, und ich habe beide gleichzeitig benutzt (man kann die L2ARC sogar anweisen, Dinge, die bereits auf der „Spezial“-Vdev enthalten sind, nicht zu cachen).
Dieses Mal habe ich mich einfach für einen L2ARC auf einer 4TB NVMe entschieden: sobald alle anderen 2,5″-Laufwerke durch SSD ersetzt wurden und die Geschwindigkeitsvorteile eines SSD-Caches nicht mehr gelten, kann ich dieses Cache-Gerät einfach entfernen (obwohl theoretisch ein L2ARC-Cache-Laufwerk, das den Großteil der Lesevorgänge abwickelt, es den anderen NVMe-Laufwerken ermöglichen würde, länger im Energiesparmodus zu bleiben…).

Fazit – Bedauern? Zweifeln? Was hätte anders laufen können?

Im Gegensatz zum ASRock J4005, bei dem ich nach einiger Zeit merkte, dass ich mich in vielerlei Hinsicht selbst in die Knie gezwungen hatte, habe ich hier nicht das gleiche Gefühl. Diesmal hatte ich eine niedrige Leerlaufleistung UND ein ziemlich leistungsfähiges System, das auch dann noch flexibel sein sollte, wenn es in Zukunft wiederverwendet wird.

Ich bin mit der Wahl meiner Komponenten recht zufrieden, obwohl ich neugierig wäre, wie das MSI PRO Z790-P DDR4 (eines der anderen Mainboards, die ich in Betracht gezogen habe) im Vergleich abschneiden würde. Was die Funktionalität angeht, hat das MSI den Vorteil von 6xSATA-Anschlüssen, aber es hat den offensichtlichen Nachteil des berüchtigten Intel 2.5G-Netzwerkchips. Das MSI hat auch einen PS/2-Anschluss, und ich habe noch nie überprüft, ob der Stromverbrauch der PS/2-Tastatur niedriger ist als der des USB-Anschlusses (ich erinnere mich, dass ich 1 Watt einspare, wenn ich zulasse, dass Powertop den USB-Tastaturanschluss abschaltet). Und natürlich wäre es interessant, die ASPM- und ALPM-Einstellungen zu vergleichen und zu sehen, ob die Probleme, auf die ich mit CPU-gebundenen PCIe/M.2-Steckplätzen gestoßen bin, in gleicher Weise bestehen.

Während dieses System derzeit im Leerlauf mit Laufwerken im Standby im Bereich von 15-16 Watt liegt, würde ich, sobald alle HDDs durch SSDs ersetzt sind, einen Leerlaufverbrauch von etwa 10-11 Watt erwarten, was für 72 TB an Laufwerken, 64 GB RAM und einen ziemlich guten Prozessor nicht schlecht ist.

Aktualisierung: Aktuelle Linux-Kernel deaktivieren die L1-Energiesparmodi der meisten Realtek-NICs, was die CPU daran hindert, in vernünftige C-Zustände zu gelangen, was den Stromverbrauch um einiges erhöht. Es gibt zwar Workarounds, aber in Zukunft werde ich mich wahrscheinlich auf Motherboards mit Intel 1-Gigabit-Netzwerkadaptern beschränken (und vielleicht zu Intel 2,5-Gigabit wechseln, wenn klar ist, dass sie alle Probleme gelöst haben). Weitere Details über die Realtek NIC-Situation finden Sie in den Kommentaren unten.

156 Anmerkungen | Sagen Sie einen Kommentar

Sortieren nach Ältestem | Sortieren nach neuestem

Anonymous auf Mai 14, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt, toller Artikel!

Ich schätze, eine Menge Kopfschmerzen hätten vermieden werden können, wenn du ein Board mit mehr SATA-Anschlüssen gefunden hättest!

Bei mir ist es mir nie gelungen, meinen Chip über C3 hinaus zu bringen. Ich habe absichtlich versucht, die Anzahl der überflüssigen Komponenten zu reduzieren (wie diese SATA-Controller, von denen ich gelesen hatte, wie fehleranfällig sie sein können).

Ich werde meine BIOS-Einstellungen noch einmal überprüfen, um sicherzustellen, dass ich alle relevanten Dinge, die Sie in Ihrem Artikel erwähnt haben, aktiviert habe.
Geert auf Mai 22, 2023 - Klicken Sie hier, um zu antworten
Hallo!
Sehr interessanter Artikel, vielen Dank.
Also ist Ihnen ECC egal, manche sagen, es sei ein Muss für einen Always-on-Server, besonders mit ZFS.
Außerdem scheinen NVMEs mehr Treibstoff zu verbrauchen als SSDs.
Ich bin auf der Suche nach einem sparsamen ECC-Motherboard, habe aber noch nichts gefunden, W680-Boards sind schwer zu bekommen.
In der Zwischenzeit betreibe ich Unraid auf einem J5040 Asrock Board mit zwei 1TB SSDs im Mirror und 3 mechanischen WDs, die die meiste Zeit schlafen.
Das System verbraucht 19 Watt im Leerlauf, vor dem Hinzufügen eines Asmedia Controllers (4) waren es 16-17 Watt (C6). Ich werde das alte Seasonic-Netzteil bald durch ein Corsair-Netzteil ersetzen.
Viele Grüße
Geert
Hamun auf Juli 4, 2023 - Klicken Sie hier, um zu antworten
Welches Betriebssystem haben Sie verwendet?
- Matt Gadient auf Juli 4, 2023 - Klicken Sie hier, um zu antworten
  Ubuntu Server 23.04
Anonymous auf August 9, 2023 - Klicken Sie hier, um zu antworten
Erstaunlicher Artikel Matt. Dies hat mich sehr inspiriert. Da es keinen Bericht gibt, was halten Sie von Gigabyte H470M DS3H mit i5 für Low-Power-Low-Profile-Medienserver mit 30-40TB-Medien?
- Matt Gadient auf August 9, 2023 - Klicken Sie hier, um zu antworten
  Ich habe ihn tatsächlich eine Zeit lang als NAS verwendet. Als Medienserver würde der CPU die Hardware-AV1-Dekodierung fehlen, aber abgesehen davon würde es vermutlich gut funktionieren.
  
  Denken Sie daran, dass, wenn der zweite M.2-Steckplatz belegt ist, nur 5 der 6 SATA-Anschlüsse funktionieren. Wenn ich mich richtig erinnere, hat das BIOS des H470M DS3H auch einige Optionen versteckt (z.B. IGPU oder dedizierte GPU erzwingen), wenn es nicht in den CSM-Modus versetzt wurde. Außerdem blieb das System auf dem Startbildschirm mit einer Fehlermeldung hängen, wenn ich einen LSI SAS HBA installiert hatte, was einen weiteren Neustartversuch erforderte - normale SATA-Controller funktionierten jedoch problemlos. Abgesehen von diesen seltsamen kleinen Nuancen fand ich es zuverlässig und funktionierte großartig und ich mag das Board sehr.
Robert auf August 15, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt, danke für die interessante Lektüre. Ich versuche, den Stromverbrauch auf einem NAS-System mit zwei 3,5''-HDDs zu minimieren, auf dem auch das Betriebssystem und einige virtuelle Maschinen auf zwei SSDs laufen. Mit einem Intel J4205 Board und 2 WD Red 6 TB stürzt das System ein paar Minuten nachdem ich die HDDs in den Ruhezustand versetzt habe ab. Mit Absturz meine ich, dass alles ausgeschaltet ist und ich das System neu starten muss. Haben Sie so etwas schon einmal erlebt? Das System läuft normalerweise mit 25 W, mit ausgeschalteten Festplatten liegt es bei 15 W. Das Netzteil ist ein 250-Watt-Netzteil, das ich hier herumliegen hatte. Ist es möglich, dass sich das ATX-Netzteil aufgrund der geringen Last abschaltet?
- Matt Gadient auf August 15, 2023 - Klicken Sie hier, um zu antworten
  Einige ältere Netzteile schalten sich ab, wenn die Last zu niedrig ist (einige BIOS haben eine Einstellung für eine Scheinlast, um dies zu verhindern). Einige wirklich alte Netzteile überschreiten die Spannungsvorgaben, wenn die Last auf einer Schiene sehr niedrig ist. Auch Netzschwankungen können bei sehr geringer Last problematischer sein.
  - Robert auf August 22, 2023 - Klicken Sie hier, um zu antworten
    Kleines Update, ich habe ein neues 300W im 50€ Bereich bestellt. Spaßige Tatsache, der Stromverbrauch ist 1 W weniger als vorher, entweder aufgrund der höheren Effizienz oder weil der Lüfter weniger läuft. Der Low Power Use Case ist jetzt auch in Ordnung.
Ahmed auf August 30, 2023 - Klicken Sie hier, um zu antworten
ECC könnte für ein System, das rund um die Uhr läuft und wichtige NAS-Daten verarbeitet, wichtig sein (unabhängig davon, ob ZFS verwendet wird oder nicht, ist ECC für NAS immer noch eine gute Funktion).

Haben Sie vor, einen ähnlichen Artikel zu veröffentlichen, aber für ein System mit ECC-Unterstützung und niedrigem Stromverbrauch im Leerlauf, das immer noch mit Linux kompatibel wäre (ich denke, der niedrige Stromverbrauch von AMD im Leerlauf ist nicht das Beste für Linux als Beispiel).

Ich plane, selbst bald ein solches System zu bauen, und würde gerne wissen, ob ich in den nächsten ein oder zwei Monaten mit dem Bau beginnen oder vielleicht noch ein wenig warten sollte, um Ihre Veröffentlichungen zu lesen, die mir einige nützliche Informationen liefern, die mir helfen können, eine fundiertere Entscheidung bei der Auswahl der Komponenten zu treffen.

Nichtsdestotrotz, vielen Dank für den gründlich geschriebenen Artikel. Sie haben hier eine beeindruckende Arbeit geleistet, indem Sie die wichtigen Teile des Aufbaus eines sehr effizienten stromsparenden NAS hervorgehoben haben.
- Matt Gadient auf August 30, 2023 - Klicken Sie hier, um zu antworten
  Kurzfristig ist in Bezug auf ECC nichts geplant. Ich verwende in der Regel nur Kingston-Speicher und teste ihn gründlich mit Memtest86 und TestMem5, bevor ich ihn einsetze. Wäre es möglich, ECC in eine aktuelle Low-Power-Plattform zu integrieren, würde ich mich dafür entscheiden, aber für mich wäre es eher eine nette Spielerei als eine Notwendigkeit.
  
  Auf jeden Fall wünsche ich Ihnen viel Erfolg mit Ihrem Bau!
Olivier auf September 6, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt!
Danke für deine Artikel über NAS, die sehr detailliert und informativ sind!
Ich bin gerade dabei, mein eigenes mit einem i3-10500T, 16GB und 4xHDD aufzubauen.
Als Netzteil habe ich ein Antec EarthWatts 380W EA-380D (80+ Bronze) als Refurbished für 25€ gefunden, ist es das wert? oder ist es zu alt?
Wenn du noch andere Modelle hast, die du mir empfehlen kannst, würde ich mich freuen. Vielen Dank im Voraus.
- Matt Gadient auf September 6, 2023 - Klicken Sie hier, um zu antworten
  Normalerweise kaufe ich heutzutage die Corsair RM- oder SF-Serie wegen ihrer sehr guten Effizienz im Leerlauf. Aber die sind ein bisschen teuer. Ich mochte die EA-380D-Netzteile schon immer sehr (obwohl ich kürzlich eines meiner letzten verschenkt habe), wenn das also gut in Ihr Budget passt, würde ich sagen, greifen Sie zu.
xblax auf September 11, 2023 - Klicken Sie hier, um zu antworten
Dieser Artikel hat mir geholfen, mich für ein B760M-K D4-Mainboard mit i3-1200 für mein Heimserver-Upgrade zu entscheiden, nachdem ich hier gesehen habe, welch niedriger Stromverbrauch möglich ist. Ich habe von einem FM2A88M-HD+ mit AMD A4-4000 aufgerüstet und konnte den Stromverbrauch im Leerlauf von 40W auf 15W senken, was bedeutet, dass sich die neue Hardware in ein paar Jahren im Grunde selbst bezahlt machen wird.

Ich habe auch eine 970 Evo Plus (2TB) als Boot-Laufwerk und kann bestätigen, dass sie mit dem Chipsatz verbunden sein muss, um niedrige Paket-C-Zustände (C8) zu erreichen. Was ich interessant fand, war, dass der Unterschied zwischen Paket C3 und C8 viel größer war, wenn die SSD mit dem Chipsatz verbunden ist. Ich glaube, das liegt daran, dass der Chipsatz selbst nur dann in den tiefen Ruhezustand geht, wenn alle angeschlossenen Geräte ASPM unterstützen und das SATA Link Power Management aktiv ist.

Der Anschluss der SSD an den CPU-PCIe erhöht den Stromverbrauch nur um ~2W (Paket C3 vs. C8), während ein Gerät ohne ASPM, das an den Chipsatz angeschlossen ist, zusätzliche 5W nur für den Chipsatz zu verbrauchen scheint, aber den gleichen Effekt (C3) auf den Paket-C-Status hat.

Eine interessante Sache ist, dass ich eine PCIe 1.1 DVB-C Capture Karte an den Chipsatz angeschlossen habe. Obwohl ASPM in lspci als Fähigkeit für die Karte aufgeführt ist und ich den Kernel mit pcie_aspm=force gebootet habe, wurde es für diese Karte nicht aktiviert. Ich musste ASPM über setpci erzwingen, siehe https://wireless.wiki.kernel.org/en/users/documentation/aspm - scheint ohne Probleme zu funktionieren. Das half mir, die 15W Leerlaufleistung zu erreichen. Leider verbraucht die Capture-Karte immer noch ~5W, ansonsten habe ich derzeit nur 2x4TB HDD von Toshiba angeschlossen, die im Leerlauf herunterdrehen.

Übrigens muss Sata Hot Plug für alle Ports deaktiviert sein, sonst erreicht das Paket nur C6.
danwat1234 auf September 15, 2023 - Klicken Sie hier, um zu antworten
Sieht aus, als wären Sie kein Fan von USB-Laufwerken. Sie hätten ein oder zwei Hubs und einige Gehäuse gebrauchen können. Guter Bericht!
Anonymous auf September 22, 2023 - Klicken Sie hier, um zu antworten
Hallo!

Super toller Artikel, danke für all diese Informationen.

Ich plane gerade den Bau meines nas. Da der Stromverbrauch das Hauptthema ist, was haltet ihr von folgendem Aufbau (ich bin aber ein ziemlicher Noob, was das System und die Möglichkeiten bzw. Einschränkungen eines solchen Low-TDP-Chips angeht) ?

Asrock N100M micro ATX (mit dem neuen Intel® Quad-Core Prozessor N100 (bis zu 3,4 GHz) mit einem 6W tdp. Da es nur 2 SATA-Ports gibt, ist die Idee, eine SAS-HBA-Karte mit 8 zusätzlichen SATA-Ports auf dem 1 x PCIe 3.0 x16 Slot zu installieren. Für den Speicher wäre es 1 M2 (der vom Motherboard) für TrueNas OS, 2 SSD Mirroring Sata für VM, Docker, ... und 8 HDD Seagate EXO 7200 rpm Laufwerke als letzter Schritt (2 am Anfang und dann entwickelnd basierend auf dem Bedarf).

Für die Stromversorgung, ein Seasonic Focus PX 550W - Modular 80+ Platinum ATX und schließlich eine einzigartige Stick von 32GB Ram (non ECC).

Vielen Dank im Voraus
- Matt Gadient auf September 22, 2023 - Klicken Sie hier, um zu antworten
  Ich habe kürzlich den N100 in Betracht gezogen, der der neueste Liebling der Mini-PC-Welt zu sein scheint. Die N100-Boards haben nur einen Speicherkanal, aber für die meisten Situationen, in denen die Speicherbandbreite nicht kritisch ist, ist das völlig in Ordnung. Das größte Problem, das ich in den letzten Jahren festgestellt habe, ist, dass diese ASRock Onboard-CPU-Boards so teuer geworden sind, dass ein billiges Motherboard + CPU oft in Reichweite ist, zusammen mit mehr PCI-E-Lanes, mehr Onboard-SATA und ähnlichem Stromverbrauch, solange man hohe C-States erreichen kann. Aber ich würde mir das ASRock N100 schnell zulegen, wenn der Preis stimmt. Beachten Sie, dass der x16-Steckplatz mit x2 betrieben wird, so dass Sie bei einer PCIe 2.0-Karte maximal 1 GB/s Durchsatz und bei einer PCIe 3.0-Karte maximal 2 GB/s erreichen - es ist unwahrscheinlich, dass Sie diese Geschwindigkeiten bei normaler Nutzung mit mehreren Festplatten erreichen, aber bei diesen Boards sollte man sich dessen bewusst sein.
  
  Was die SAS-HBA-Karte angeht, würde ich vorschlagen, sich umzuschauen, um zu sehen, welchen Stromverbrauch im Leerlauf andere auf der spezifischen Karte, die du in Betracht ziehst, sehen: die populären Karten ziehen oft ein paar Watt, während sie absolut nichts tun. Ich bin mir nicht sicher, wie *BSD mit den Karten umgeht, aber von den wenigen, die ASPM standardmäßig aktiviert haben, scheint Linux es irgendwann im Kernel aufgrund von Problemen zu deaktivieren. Abgesehen davon ist dies eine Situation, in der das ASRock N100 besser abschneiden könnte als eine separate CPU/Motherboard-Kombination, da ich davon ausgehe, dass es weniger empfindlich auf die C-State-Implikationen einer Erweiterungskarte reagiert, obwohl dies nur eine Vermutung ist, basierend auf dem, was ich mit meinen ASRock J4x05-Boards gesehen habe, und möglicherweise nicht auf das N100 zutrifft.
  
  Das Seasonic PX 550W sieht wie eine gute Wahl aus.
  
  Insgesamt sieht es nach einer soliden Konstruktion aus!
paldepind auf September 23, 2023 - Klicken Sie hier, um zu antworten
Vielen Dank für diesen tollen Beitrag mit vielen hilfreichen Informationen.

Haben Sie irgendwelche Tipps für die Identifizierung von Motherboards, die einen niedrigen Stromverbrauch erreichen können? Manchmal werden ITX-Motherboards empfohlen, aber ich habe keine Messungen darüber gefunden, wie viel Watt ITX im Vergleich zu ATX normalerweise einspart. Nun, ITX wäre für diesen Aufbau nicht geeignet gewesen, aber ATX scheint ohnehin keine signifikante Quelle für den Stromverbrauch gewesen zu sein. Im Allgemeinen scheint es sehr schwierig zu sein, herauszufinden, welche Motherboards stromsparend sind und welche nicht.

Was meinen Sie mit dem "E-Core-Silizium-Overhead" und warum haben Sie versucht, ihn zu vermeiden? Mir ist klar, dass die CPUs mit E-Kernen wahrscheinlich komplexer sind, aber ich hätte gedacht, dass die E-Kerne zu einem geringeren Stromverbrauch führen könnten, wenn die CPU nicht-intensive Aufgaben bei geringer Last ausführt.

Nochmals vielen Dank für die tollen Informationen. Ich hoffe, dass ich in der Lage sein werde, ein System mit einer ähnlichen Energieeffizienz zu bauen. Im Moment habe ich ein Gigabyte Z790 UD AX-Motherboard und ein i5-13500-System, das ich nicht unter 28 W bekommen kann.
- Matt Gadient auf September 23, 2023 - Klicken Sie hier, um zu antworten
  Bei Motherboards mit niedrigem Stromverbrauch gilt die Faustregel, dass eine geringere Anzahl von Komponenten tendenziell zu einem niedrigeren Stromverbrauch führt. Das ist keine robuste Regel, aber in diesem Fall ist sie in der Regel gut genug. Ein schneller "Schnuppertest" ist ein Blick auf die Anzahl der Leistungsphasen (etwas, womit die Hersteller stark werben): Viele Phasen, die mit hohen Schaltfrequenzen laufen, sind großartig für Hardcore-Übertakter, aber für einen niedrigen Stromverbrauch wollen wir nur wenige Phasen, die mit einer so niedrigen Frequenz geschaltet werden, dass ein MOSFET-Kühlkörper auf der Hauptplatine nur dekorativ ist.
  
  Der Vorteil von ITX ist, dass es die Anzahl der Komponenten einschränkt, aber das ist nicht unbedingt notwendig - letzte Woche habe ich das "Intel i3-10320 auf einem Gigabyte H470M DS3H", das ich am Anfang erwähnt habe, wiederverwendet und es auf 6 Watt im Leerlauf heruntergebracht (Headless, keine Tastatur, nur Onboard Intel i219V 1GbE Netzwerk, c-states im BIOS, 3 Samsung SATA SSDs 840/860/870, Corsair RM850 Netzteil, Ubuntu Server mit powertop). Es ist ein sehr utilitaristisches Motherboard. Ich werde keinen separaten Bericht verfassen, da das Board nicht mehr erhältlich ist, aber 6 Watt auf dem MicroATX Gibabyte H470 Board und 7 Watt auf dem ATX ASUS H770 Board in diesem Bericht sind meine besten beiden Ergebnisse bisher, und beide waren nicht ITX. Und noch etwas ist mir aufgefallen: Beide Boards haben nur 6 Leistungsphasen.
  
  Was den "E-core Silizium-Overhead" betrifft, so können viele Details unter https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ gefunden werden, aber ich werde versuchen, sie zusammenzufassen. Der i5-12400 wird mit 6 P-Kernen und 0 aktivierten E-Kernen ausgeliefert, allgemein als 6+0 bezeichnet. Es gab jedoch 2 Varianten: ein "C0"-Stepping, das ursprünglich ein 8+8 war, bei dem die Kerne zu einem 6+0 verschmolzen wurden, und ein "H0"-Stepping, das direkt als 6+0 hergestellt wurde und von Anfang an keine E-Kern-Hardware enthielt. In den Tests (Seite 5 des Artikels) verbrauchte der C0 je nach Benchmark bis zu 16 Watt mehr Strom als der H0, einschließlich fast 11 Watt mehr im Leerlauf. Es ist natürlich möglich, dass die C0-Probe andere Probleme hatte, die zu Leistungsverlusten führten, oder dass eine andere Variable im Spiel war, aber so oder so haben die beiden Chips mit physischer E-Core-Hardware im Leerlauftest nicht gut abgeschnitten.
  
  Da ich mich bei den meisten meiner Systeme auf einen extrem niedrigen Idle-Verbrauch konzentriere, kann ich den Kauf eines der kombinierten P/E-Core-Chips nicht rechtfertigen, bis ich Daten sehe, die zeigen, dass Chips mit E-Cores im Idle-Betrieb unter 10 Watt liegen. Und das habe ich einfach noch nicht. Dies ist ein Bereich, in dem Intel derzeit sehr bedroht ist: Die AMD Mini-PCs gehen jetzt auf einen Idle-Stromverbrauch von etwa 6-7 Watt für einen Ryzen 9 7940HS ( https://youtu.be/l3Vaz7S3HmQ?t=610 ) herunter und wenn AMD diese Art von APU-Design auf die Desktop-Seite bringt oder jemand wie ASRock anfängt, einige dieser beeindruckenden HS-Chips in ein kundenspezifisches Motherboard zu verpacken, könnte Intel den Markt für niedrigen Idle-Strom schnell verlieren.
  - paldepind auf September 27, 2023 - Klicken Sie hier, um zu antworten
    Vielen Dank für die tolle Antwort 🙏. Es gibt nicht viele Informationen da draußen auf diese Art von Sachen, so dass Sie Ihr Wissen teilen ist sehr wertvoll und geschätzt.
    
    Ich kann sehen, dass die Hauptplatine, die ich gekauft habe, wahrscheinlich nicht ideal ist (es wirbt eine Menge von Phasen).
    - Matt Gadient auf September 27, 2023 - Klicken Sie hier, um zu antworten
      Was die Phasen betrifft, so verwende ich sie zwar als Schnuppertest, aber sie sind auch nicht perfekt: Wenn die Phasen Ihres Motherboards sehr effiziente MOSFETs verwenden, könnte es bei einer bestimmten Schaltfrequenz ein Motherboard mit weniger, aber weniger effizienten MOSFETs übertreffen. Und es gibt sicherlich noch viele andere Komponenten der Hauptplatine, die die Situation variabel machen. Der Punkt ist, dass ich wette, dass es irgendwo da draußen ein 6-Phasen-Motherboard gibt, das Strom frisst, und wahrscheinlich auch ein 20-Phasen-Motherboard, das einen Aufbau unter 10 Watt ermöglicht, obwohl ich nicht erwarten würde, dass dies der Regelfall ist.
      
      Aber selbst wenn Ihr Board viele ineffiziente MOSFETs hätte, scheint der von Ihnen angegebene Stromverbrauch von 28 Watt etwas hoch zu sein, es sei denn, Sie haben einen sich drehenden Rost oder eine PCIe-Karte, die Strom schluckt. Haben Sie überprüft, ob Sie C6 oder einen besseren Leistungszustand erreichen? Ich erinnere mich, dass ich, als ich den ASM1166 in den Haupt-PCIe-Steckplatz eingesetzt habe, auf C2 beschränkt war und 22 Watt verbraucht habe.
      - paldepind auf Oktober 9, 2023
        Entschuldigung für die späte Antwort (ich habe keine erwartet und bekomme keine Benachrichtigungen). Gut, dass ich brauchte, um wieder zu lesen einige der großen Info hier
        
        Sie haben in der Tat Recht, dass die 28 W, die ich angegeben habe, nicht optimal waren. Ich habe den Fehler gemacht, zu denken, dass die SATA-Kabel meiner Festplatten ausgeschaltet bleiben, wenn ich sie abziehe. Wie sich im Nachhinein herausstellte, muss man sie auch vom Netzteil abziehen. Außerdem hatte ich eine Reihe von Peripheriegeräten an den PC angeschlossen, von denen ich nicht wusste, dass sie Strom verbrauchen würden (insbesondere ein angeschlossener Monitor macht einen großen Unterschied). Nachdem ich alle Festplatten und Peripheriegeräte abgeklemmt habe, erhalte ich Messwerte im Bereich von 8-10 W.
        
        Um diese Daten hoffentlich für andere nützlich zu machen, werde ich einige weitere Details mitteilen. Die CPU ist ein i5-13500 in einem Gigabyte Z790 UD AX-Motherboard. Das einzige, was angeschlossen ist, ist eine SATA-SSD und ein einzelner Speicherstick. Das Netzteil ist ein 850W Corsair RM850x. Das System erreicht C8 und sogar C10. Man könnte noch ein paar Dinge tun, um die Leistungsaufnahme zu reduzieren. Ich habe gemessen, während GNOME im Leerlauf lief (ich nehme an, wenn kein DE läuft, spart das ein bisschen CPU), ich habe zwei CPU-Lüfter, die selbst bei niedrigen Temperaturen langsam laufen, das System ist auf WiFi (ich nehme an, dass Ethernet weniger Strom verbraucht), und ich habe weder die Gehäuse-LEDs noch HD Audio deaktiviert.
        
        Ich bin jetzt sehr zufrieden mit dem Stromverbrauch. Vielleicht ist eine Erkenntnis, dass die Intel E-Cores die Leistungsaufnahme im Leerlauf nicht sehr beeinflussen, zumindest bei dieser CPU. Das einzige Problem, das ich jetzt habe, ist, dass das System instabil ist und sporadisch neu startet 😭. Ich denke, ich habe das Problem auf eine fehlerhafte CPU oder ein fehlerhaftes Motherboard eingegrenzt (ich habe versucht, das Netzteil zu ersetzen, und memtest86+ sagt, dass der Speicher in Ordnung ist). Die Firma, bei der ich die Teile gekauft habe, behauptet, dass beides in Ordnung ist, aber wenn ich keine andere Lösung finde, werde ich versuchen, die CPU und das Motherboard durch einige Low-End-Teile zu ersetzen: einen i3 der 13. Wenn das Problem damit behoben ist, kann ich die anderen Teile hoffentlich zurückgeben. Im schlimmsten Fall werde ich die günstigen Teile für einen Server und die höherwertigen Teile für eine Workstation verwenden.
    - Jon auf Dezember 13, 2023 - Klicken Sie hier, um zu antworten
      Hallo paldepind,
      
      ich habe genau das gleiche Setup (i5-13500 + Z790 UD AX), mein Boot-Laufwerk ist Samsung 990 pro 4TB
      und ich habe genau das gleiche Problem - sporadische Reboots. Konnten Sie herausfinden, was die Ursache dafür ist?
      
      Ich habe sowohl das neueste BIOS F9b als auch F5 ausprobiert und mehrere BIOS-Einstellungen geändert, aber bis jetzt hat nichts geholfen. Mein Verdacht ist, dass das Boot-Laufwerk in einen Energiesparmodus geht und sich davon nicht erholen kann, aber ich weiß nicht, wie ich das beweisen kann.
      - Daniel auf Dezember 13, 2023
        Wurden in Ihren Fällen vor dem Zurücksetzen Ereignisse in den Systemprotokollen aufgezeichnet?
      - Jon auf Dezember 18, 2023
        Hallo,
        
        es gibt keine Ereignisse vor dem Absturz, ich habe auch netconsole konfiguriert - immer noch nichts protokolliert.
        Mit aktuellem BIOS, Standardeinstellungen und 970 evo plus als Bootgerät (keine andere Platte angeschlossen) scheint das System stabil zu sein, aber leider zieht es im Leerlauf durchschnittlich 32W, was nicht akzeptabel ist.
        
        Im Moment ändere ich eine Einstellung nach der anderen und warte 12h+, um herauszufinden, was wirklich die Ursache ist, und das dauert eine Menge Zeit.
      - Matt Gadient auf Dezember 18, 2023
        Dies könnte ein völlig anderes Szenario sein, aber ich hatte das Gigabyte Z790 D DDR4 vor etwa einem Monat gekauft und beim Versuch, ein 1 TB großes Verzeichnis mit etwa 1 Million Dateien aus einem RAIDZ-Array in eine tar.zstd-Datei zu komprimieren, kam es auf einem anderen Laufwerk innerhalb von 30 Minuten zu einem zufälligen Neustart. Dies geschah immer und immer und immer wieder. Das Deaktivieren von C-States im BIOS verhinderte das Problem. Nach dem Tausch der gesamten Hardware gegen das ASUS H770-Board funktionierte alles einwandfrei. Ich habe im Laufe der Jahre viele Gigabyte-Boards gekauft - dies war das erste, das ich zurückgeben musste.
      - Zac auf Mai 20, 2024
        Ich habe ein ähnliches Problem auf einem Gigabyte z790-Board (z790 Aorus Elite AX DDR4), alles ist stabil, bis ich hohe c-Zustände (c8/10) aktivieren.
        Ich habe alle Einstellungen ausprobiert, sobald ich c8/10 aktiviere, wird das System instabil und schaltet sich irgendwann ab. Ich habe alle Laufwerke und Kabel überprüft, die PSU zweimal ersetzt und warte derzeit auf eine CPU-RMA von Intel. Nach diesem Thread hier zu urteilen, scheint es ein Gigabyte-Problem zu sein. Ich habe auch verschiedene BIOS-Firmwares ausprobiert, ohne Erfolg, also scheint es, wenn eine CPU-RMA das Problem nicht behebt, wäre es ein Problem mit Gigabyte z790-Motherboards.
        
        Enttäuschend für sicher, wie ich bin aus der Rückkehr Fenster und wirklich nicht wollen, um mit Gigabyte RMA, so dass, wenn CPU RMA nicht funktioniert, werde ich nur haben, um mit ihm zu leben oder verkaufen Sie es aus und kaufen Sie ein anderes Board.
        
        Da dieser Thread schon ein wenig alt ist (Dez. 2023), frage ich mich, ob jemand anderes dieses Problem hatte und es lösen konnte.
        
        Ich danke Ihnen.
  - Daniel auf November 14, 2023 - Klicken Sie hier, um zu antworten
    Ich bin mir nicht sicher, ob die Anzahl der Phasen ein guter Indikator ist.
    
    Ich teste derzeit ein ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos) und im Leerlauf, mit dem Monitor und USB (Maus, Tastatur) suspendiert, zeigt der Leistungsmesser 6,7-8,1 W. Der Rest des Systems:
    
    - i5 13500
    - 2 x 16 GB 3600 MHz (Gang 1)
    - 1 TB KC 3000
    - RM550x 2021
    - 2 x 120 mm Lüfter mit 450 U/min
    - Audiocodec eingeschaltet
    - WiFi ausgeschaltet
    
    Arch Linux + RTL8125-Modul (mein Router unterstützt EEE nicht)
    
    Bei deaktivierter Realtek-Karte zeigt der Stromzähler 6,4 - 6,7 W an
    
    PC-Zustände mit LAN
    C2 (pc2) 0,7%
    C3 (pc3) 1,3%
    C6 (pc6) 41,1%
    C7 (pc7) 0,0%
    C8 (pc8) 0,0%
    C9 (pc9) 0,0%
    C10 (pc10) 55,8%
    
    PC-Zustände ohne LAN
    C2 (pc2) 0,6%
    C3 (pc3) 0,9%
    C6 (pc6) 0,0%
    C7 (pc7) 0,0%
    C8 (pc8) 0,0%
    C9 (pc9) 0,0%
    C10 (pc10) 97,8%
    
    Ich hatte ähnliche Ergebnisse auf einer B660 AORUS MASTER DDR4 (16+1+1).
    - Daniel auf November 16, 2023 - Klicken Sie hier, um zu antworten
      Ich vergaß zu erwähnen. Obwohl die Ergebnisse anständig sind, empfehle ich dieses ASUS-Board nicht - es ist im Leerlauf instabil. Ich hatte mehrere zufällige Abschaltungen (plötzliche Stromausfälle).
    - Jackie D auf Juli 9, 2024 - Klicken Sie hier, um zu antworten
      Hat das AORUS MASTER Motherboard das gleiche Problem mit dem niedrigen Leerlauf?
      - Daniel auf Juli 10, 2024
        Nein. Es ist grundsolide. Läuft fast 24/7, bis jetzt ohne einen einzigen Absturz.
  - Wolfgang auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
    Danke für den Artikel Matt!
    
    Ich habe vor kurzem einen i3-13100 (4+0) und einen i3-13500 (6+8) gekauft, um die "E-core overhead"-Behauptungen zu testen, die ich online gesehen habe. Ich freue mich, berichten zu können, dass der Stromverbrauch im Leerlauf bei beiden Chips identisch ist! Vielleicht ist der erhöhte Stromverbrauch nur beim i5-12400 C0 der Fall, leider habe ich keinen zum Testen zur Hand.
    - Matt Gadient auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
      Gut zu hören, danke für die Weitergabe!
Dave auf September 25, 2023 - Klicken Sie hier, um zu antworten
Können Sie mir bitte eine USV mit niedrigem Stromverbrauch im Leerlauf empfehlen? Ich habe gelesen, dass die Leistungsaufnahme im Leerlauf stark variiert.
htmlboss auf Oktober 9, 2023 - Klicken Sie hier, um zu antworten
Hey danke für diesen Bericht Matt! Ich habe auf der Suche nach einem Low-Power-System zu bauen, als meine persönliche Cloud-Entwicklungsumgebung, die ich SSH in von jedem PC (kein Fan von der Github Codespaces Preis lol) handeln kann. Ein erster Blick auf Ihre Forschung zeigt, dass dies ein guter Startpunkt für mich ist :)

Ich verwende derzeit einen nicht mehr geleasten Quanta 1u, den ich kurz vor dem Covid-Hit bei Ebay ersteigert habe, und seine Single-Core-Leistung zeigt wirklich ihr Alter. Außerdem läuft er im Leerlauf mit 80W >.<
Lukas auf Oktober 12, 2023 - Klicken Sie hier, um zu antworten
Hallo, danke für den tollen Artikel!
Ich würde gerne meine Erfahrungen mit meinem neuen 12-14 W PC teilen.

Ich habe gerade lüfterlose mini-ITX PC gebaut. Gehäuse ist auch ein passiver Kühler - AKASA Maxwell Pro und im Inneren ist AMD Ryzen 5600G (Zen 3, 65W TDP), Gigabyte B550I AORUS PRO AX (Bios FB), 1x 16GB DDR4 (ich plane ein Upgrade auf 2x32GB), 1x 2TB Samsung 980Pro m.2 SSD. Es wird von einem 12V AC/DC-Netzteil von AKASA (max. 150W) und einem Inter-Tech MINI-ITX PSU 160 W versorgt.

12-14W Stromverbrauch im Leerlauf für den gesamten PC unter Windows 10 (gemessen auf der DC-Seite, Energieplan ist ausgeglichen, aber ich habe ASPM, Pstates und C-States im Bios und PCIe-Stromsparen in den erweiterten Einstellungen im Windows-Energieplan aktiviert).
Unter Last (Cinebench R23) 61-65W. Derzeit mache ich Undervolting, um den Stromverbrauch und die Temperaturen zu verbessern.

----------

mein kleines Heimlabor & NAS hat unter 2W Stromverbrauch im Leerlauf ‼️

Ich empfehle Odroid H3 (H3+) mit BIOS 1.11 und Debian 11 + DietPi + Kernel 6.0.0 (oder neuer) + angewandte Tweaks via powertop hat es einen Leerlaufstromverbrauch von nur 1.2 - 1.5W (verglichen mit 2.7W für RPi 4 - Quelle) ⚡️(mit meiner Konfiguration: 1x 16GB RAM und 1x SATA SSD).

See: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif

Die maximale Speichergröße ist 64 GB RAM und er hat 1x m.2 Port, 2x SATA 3 und 2x LAN 2.5Gbps. Er ist viel schneller als der Raspberry Pi 4 mit geringerem Stromverbrauch im Leerlauf. Unter Last kann er 20W verbrauchen (+abhängig von den angeschlossenen Geräten).

Wenn Sie mehr SATA-Anschlüsse benötigen, dann kann der m.2-Anschluss auf 5x SATA erweitert werden, indem Sie dies verwenden: https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
Martin auf Oktober 17, 2023 - Klicken Sie hier, um zu antworten
Vielen Dank für diesen großartigen Artikel, der sehr nützliche Informationen enthält.

Ich kämpfe derzeit damit, mein neues NAS dazu zu bringen, im Leerlauf ohne Datenlaufwerke weniger als 40 W zu verbrauchen, und ich kann beim besten Willen nicht verstehen, warum es so viel verbraucht. Mein Gaming-Desktop verbraucht im Leerlauf weniger.

Es handelt sich um ein Asrock H670M-ITX/ac mit einem i3-12100, 8 GB RAM und einem 400-W-Netzteil von be quiet. Ursprünglich habe ich eine Kingston NV2 NVMe für das Betriebssystem verwendet, aber ich habe festgestellt, dass der Austausch gegen eine SATA SSD den Stromverbrauch im Leerlauf um etwa 10W (50W - > 40W) reduziert hat.

Laut powertop, Kerne erhalten in C7 kein Problem, aber Paket weigert sich, C2 zu verlassen. Ich bin mir nicht sicher, wie wichtig das ist.

Ich werde weiter daran arbeiten, mit Ihrem Artikel als Referenz :)
- Matt Gadient auf Oktober 17, 2023 - Klicken Sie hier, um zu antworten
  Die C-States des Pakets machen den Unterschied. Die Schritte, die ich in der Regel durchführe: (1) Entfernen Sie alles, was mit einem PCIE-Steckplatz verbunden ist, (2) stellen Sie sicher, dass die C-States im BIOS aktiviert sind, wobei der höchste C-State ausgewählt ist (normalerweise C10, aber auf manchen Motherboards auch nur C6-C8), (3) beginnen Sie mit dem Ausprobieren und Verändern der BIOS-Einstellungen, bis Sie den Übeltäter gefunden haben. Ich verwende für gewöhnlich einen Ubuntu-USB-Stick zum Testen, da man mit einer Live-Installation manchmal seltsame Dinge mit dem Betriebssystem anstellen kann (Debian Testing hat kürzlich einen meiner Versuche vereitelt).
nice auf Oktober 28, 2023 - Klicken Sie hier, um zu antworten
Danke, ich erreiche normalerweise c10, nachdem ich diesen Build mit proxmox konfiguriert habe. Im aktuellen Ubuntu 23.10 erreichen wir jedoch nur c3, wenn es sich um ein Kernelproblem handelt. Ich frage mich, ob es anderen Leuten auch so geht
- Dan auf November 2, 2023 - Klicken Sie hier, um zu antworten
  Auch ich habe dieses Problem gefunden. Nach vielen frustrierenden Stunden und Tagen des Testens, habe ich es ein wenig eingegrenzt. Ich verwende Archlinux und nach dem Booten mit jedem monatlichen Live-USB sehe ich, dass mein System nach Kernel 6.4.7 keinen tieferen Paket-C-Zustand als c3 erreichen kann. Das entspricht etwa 7-9 Watt mehr Leistung als c8. Möglicherweise liegt es nicht am Kernel, sondern an einem Paket innerhalb des Archlinux-Live-USB. Ich bin mir nicht sicher, wie es weitergehen soll. Jede Idee von jemandem, wie man das Problem eingrenzen kann, wäre willkommen.
  
  Matt,
  Ihre Artikel haben mich inspiriert, so dass ich das gleiche Motherboard (prime h770 plus d4) und einen ähnlichen Prozessor usw. gekauft habe. Ich war in der Lage, 12-14w Minimum zu erreichen. Damit bin ich im Moment zufrieden, aber die zusätzlichen 8w, die dadurch entstehen, dass das Paket nicht mehr c8 erreicht, sind sehr frustrierend. Haben Sie etwas Ähnliches in Ihrem Build gesehen?
  - Matt Gadient auf November 2, 2023 - Klicken Sie hier, um zu antworten
    Sehr interessant. Es sieht so aus, als ob das Problem, auf das ich in Debian gestoßen bin, kein isolierter Einzelfall war, wie ich dachte: Vor etwas mehr als einem Monat tauschte ich das Motherboard/CPU mit meinem Desktop-System aus, installierte Debian 12, aktualisierte auf Debian trixie/testing und traf auf das, was nun die gleichen C-State-Probleme zu sein scheinen, die Sie beide haben. Mit einem Ubuntu-USB-Stick funktionierten die C-States korrekt. Ich hatte keine Zeit, mit der Diagnose zu beginnen, also habe ich einfach Debian 12 bookworm/stable neu installiert (derzeit mit Kernel 6.1), was C8 erlaubte.
    - Matt Gadient auf November 2, 2023 - Klicken Sie hier, um zu antworten
      Als Nachbereitung habe ich heute Debian 12 aktualisiert, was dazu führte, dass der Kernel von 6.1.0-12-amd64 auf 6.1.0-13-amd64 aktualisiert wurde. Beim Neustart blieb ich bei C3 hängen. Das Zurücksetzen auf 6.1.0-12 stellte C8 wieder her. Es sieht wirklich so aus, als ob es sich um einen Kernel-Bug/Regression handelt, der offensichtlich in ältere Kernel zurückportiert wird. Im 6.1-Zweig sieht es so aus, als ob es irgendwo zwischen 6.1.52 und 6.1.55 liegt. Ich habe keine Ahnung, ob irgendjemand Fehlerberichte eingereicht hat oder ob der Fehler in der Hauptversion behoben wurde, und ich habe im Moment keine Zeit, die Changelogs zu durchforsten, aber wenn der Fehler nicht behoben wird, werde ich mich wohl damit befassen müssen.
      - tseting auf November 5, 2023
        https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
        Mehrere Untersuchungen haben ergeben, dass es sich um ein Treiberproblem mit RealTekLAN handelt. Wenn Sie die Treiber für den 8125-Chipsatz von der Realtech-Seite herunterladen und installieren, können Sie c10 wie bisher erreichen.
Marc Gutt auf November 4, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt,
du solltest ein anderes Netzteil wie das Corsair RM550x (2021) oder BeQuiet 12M 550W in Betracht ziehen. Das Corsair ist das beste Netzteil für Low-Power-Setups, aber extrem schwer zu bekommen. Es wird den Stromverbrauch noch weiter senken (2 bis 4 Watt).
Diese und andere Optimierungen werden in diesem Thema erwähnt:
https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/
Dan auf November 6, 2023 - Klicken Sie hier, um zu antworten
Ich kann bestätigen, dass die Installation des neuesten Realtek r8125-Treibers von der Realtek-Website das Problem bei mir gelöst hat. Mein System erreicht jetzt wieder den c8-Status. Ich bin nicht sicher, ob es jemals c10 erreicht, aber das Bios sagt, dass es unterstützt wird. Kann mir jemand sagen, wie ich c10 überprüfen kann?
- Matt Gadient auf November 7, 2023 - Klicken Sie hier, um zu antworten
  Da powertop nur langsam aktualisiert wird, können Sie powertop laufen lassen, während der Bildschirm schläft. Warten Sie etwa eine Minute, wecken Sie dann den Bildschirm und sehen Sie nach, ob powertop einen Prozentsatz in C10 anzeigt. Alternativ können Sie sich per SSH in den Rechner einwählen und powertop ausführen, während der Bildschirm schläft.
  - Dan auf November 9, 2023 - Klicken Sie hier, um zu antworten
    Danke Matt, ssh in die Maschine bestätigt c10. Versuchen Sie jetzt, niedriger als 12w zu bekommen. Habe alles im Bios ausprobiert, also sind die Schuldigen psu, dram power/timings, und möglicherweise der Leistungsmesser (kann keinen killa-watt meter in Großbritannien bekommen, aber ich denke, meiner ist gleichwertig). Danke
Matt Gadient auf November 6, 2023 - Klicken Sie hier, um zu antworten
Vielen Dank an diejenigen, die die Details zu den Realtek-Netzwerkadaptern in Bezug auf die c-States weitergegeben haben. Die Ursache ist der folgende Patch, der anscheinend für 6.x-Kernel, die am oder nach dem 13. September 2023 gebaut wurden, herausgegeben wurde: https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/diff/drivers/net/ethernet/realtek/r8169_main.c?id=v6.1.53&id2=v6.1.52

Leider handelt es sich dabei um eine absichtliche Änderung des im Kernel enthaltenen Realtek-Treibers. Sie stellt sicher, dass L1 auf praktisch allen Realtek-Adaptern deaktiviert ist, anscheinend als Reaktion auf eine Reihe von Realtek-Adaptern, bei denen Stabilitätsprobleme auftreten, wenn diese niedrigen Energiezustände aktiviert sind. Auf meinem aktuellen Testsystem führt dies zu einer Leistungserhöhung von 4 Watt im Leerlauf, wenn der Bildschirm ausgeschaltet ist, da das System nicht mehr unter C3 abfällt.

Der Realtek-Treiber, der von Tseting verlinkt wurde, ist wahrscheinlich die einfachste Lösung für den Moment, obwohl ich keine Ahnung habe, wie er auf nicht unterstützten Kernel-Versionen funktioniert und ich persönlich kein großer Fan von Kernel-Modulen bin. Ich werde ihn der Einfachheit halber hier einfügen: https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software

Es gibt natürlich auch einen schwierigeren Workaround - für diejenigen, die mit der Kompilierung des Kernels vertraut sind, wird das Rückgängigmachen der Änderung im obigen diff L1/L1 wiederherstellen. 1 auf RTL8168h/8111h, RTL8107e, RTL8168ep/8111ep, RTL8168fp/RTL8117 und RTL8125A/B Geräten wiederherstellen (bei allen älteren Geräten war es bereits deaktiviert) - wenn Sie L1.2 zulassen wollen, können Sie rtl_aspm_is_safe() zwingen, true zurückzugeben, obwohl dies auf meinem Testsystem keinen Vorteil gegenüber L1.1 brachte.

Wenn die Kernel-Entwickler ihre Meinung nicht ändern, sieht es so aus, als ob Intel NICs die einzige brauchbare Option für die Zukunft sind. Intel 1G NICs haben sich im Allgemeinen als sehr solide erwiesen. Beunruhigenderweise habe ich festgestellt, dass die Deaktivierung der Realtek-NIC auf meinem MSI-Board diese nicht vollständig entfernt (sie bleibt immer noch bei C3 hängen), so dass der Kauf eines Boards mit einer Realtek-NIC mit dem Plan, diese zu deaktivieren und eine Intel-Netzwerkerweiterungskarte zu verwenden, riskant sein könnte. Es ist erwähnenswert, dass Hersteller auf einem 8125A/B-Adapter ein Flag setzen können, um anzuzeigen, dass L1.2 getestet und erlaubt ist, was der Linux-Kernel respektiert, aber ich weiß nicht, ob es in irgendwelche Motherboards oder Erweiterungskarten geschafft wurde.
SaveEnergy auf November 12, 2023 - Klicken Sie hier, um zu antworten
Hallo,
danke für die ausführlichen geteilten Informationen.
Ihr Setup hat mich inspiriert und ich habe mir das "Prime h770-plus" inklusive 4800er DDR Ram zugelegt.
Leider habe auch ich Probleme mit NVME SSD's, wenn aspm im Bios aktiviert ist (und PCI express clock gating). Die Workarounds zum Blockieren bestimmter Stromsparmodi der WD's half leider nicht. Versucht wurden die SN750 (1tb) und die SN850X(2tb).
Können Sie die Crucial P3 weiterhin empfehlen oder steigt diese auch regeläßig mit Verweis auf ASPM Probleme aus?

Wer hat welche andere NVME an dem Board zuverlässig mit aktiviertem ASPM laufen?

Sie betreiben das Setup denk ich produktiv im Dauerbetrieb?

Zusätzlich habe ich festgestellt, dass eine 840pro (256gb) mindestens am SATA1 verhindert, dass das System tiefer als C3 geht. Eine Crusial Force GT (128GB) funktioniert hingegen bis C8.
Das Problem mit dem Realtek NIC habe ich durch Ausbau des Checks im Kernel umschifft.
Danke und viele Grüße
- SaveEnergy auf November 13, 2023 - Klicken Sie hier, um zu antworten
  Hallo,
  habe nun eine Samsung 990 pro ausprobiert. Leider führt das weiter zu den bereits bekannten nvme aspm Fehlern.
  Hat noch jemand Ideen?
  Am Netzteil kann das doch eigentlich nicht liegen (fänd ich sehr merkwürdig), weil hier voch ein Corsair cx 750 temporär verwendet wird.
  Falls alles nichts hilft hätte jemand Eine gute Board Alternative?
  Irgendwie trete ich was Hardware angeht leider zu oft ins Fettnäpfchen ;-(.
  - Firesucker auf September 3, 2024 - Klicken Sie hier, um zu antworten
    Bei mir funktioniert eine 1 TB Samsung Pro perfekt. Erreicht C10 sogar mit einem Intel X710-DA2 angeschlossen
jit-010101 auf November 14, 2023 - Klicken Sie hier, um zu antworten
Zu:

"Ich schätze, eine Menge Kopfschmerzen hätten vermieden werden können, wenn Sie ein Board mit mehr SATA-Anschlüssen gefunden hätten!"

Das stimmt so nicht ganz - denn es kommt darauf an, welcher SATA-Controller verwendet wird und/oder wie die Ports angeschlossen sind. Die Chancen sind hoch, dass ein Onboard-Controller verwendet wird, und speziell für das N5105 gibt es eine weithin bekannte NAS-Variante mit 6 SATA-Ports, die von Kingnovy und Topton vertrieben wird.

Die Schwarze verwendet JMS585 und die Grüne verwendet ASM1166 - die Schwarze ist auf C3 festgelegt und die Grüne kann bis zu C8 gehen (habe ich selbst überprüft, weil ich die grüne Variante habe). Wenn ich mehr als nur einen Backup-Server bräuchte, würde ich diesen Weg einschlagen - mit einem viel leistungsfähigeren Intel auf LGA1700.

Ein gutes Beispiel dafür, wie niedrig der Stromverbrauch im Leerlauf sein kann, ist das Odroid H3 - <2W im Leerlauf mit 2x HDDs über SATA in Spindown ... sobald man jedoch (die falschen) Komponenten hinzufügt, wird das schnell schneller gehen - siehe die Stromverbrauchsstatistiken hier:

https://github.com/fenio/ugly-nas

TLDR: Am Ende schluckt es mehr Strom als dein Build hier - und ich muss hinzufügen, dass ich zuvor ein Odroid H2 besaß, das die 5V-Lane durchbrannte und die (teuren) SSDs mit sich riss ... seitdem bleibe ich weg für das absolute Maximum des niedrigsten Stromverbrauchs in exotischen Kombinationen wie dem Odroid H3.

Ich würde sagen, am Ende kommt es darauf an, wie praktisch alles ist und wie hoch der Stromverbrauch ist.

Abgesehen davon bin ich von dieser Konstruktion hier beeindruckt - 7W im Leerlauf mit einem 750W-Netzteil ist schon was.
Frederik auf November 18, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt, ich habe deinen Artikel mehrfach gelesen und bin ziemlich beeindruckt von dem Wissen, das in dem Beitrag und den Kommentaren zu finden ist.
Ich bin gerade dabei, meinen Heimserver von j3455 auf 11400 zu aktualisieren.
Beim Wechsel der Hardware bin ich auf ein seltsames Problem gestoßen:
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (letztes Bios) +asm1166.

Wenn ich von USB ohne angeschlossene SATA-Laufwerke boote, erreicht Paket C den Status c8.
Wenn ich von USB mit einem SATA-Laufwerk boote, das an den Onboard-SATA-Controller angeschlossen ist, erreicht der Status des Pakets C nur C2 (+4W).
Wenn ich von USB mit einem SATA-Laufwerk boote, das an einen pcie asm1166 angeschlossen ist, erreicht das Paket c status c8.

Mir scheint also, dass der b560 SATA-Controller Probleme mit dem Stromsparen hat. Selbst wenn ich L1 für alles aktiviert habe und powertop tune laufen lasse, geht er nicht unter c2.

Haben Sie eine Idee, woran es liegen könnte, dass der b560 SATA-Controller 4 W mehr verbraucht?
- Matt Gadient auf November 18, 2023 - Klicken Sie hier, um zu antworten
  Nicht sicher. Onboard-SATA auf diesem Board sollte vom Intel-Chipsatz stammen und Sie erwähnen, dass Sie L1 für alles aktiviert haben. Die ersten Dinge, die ich versuchen würde:
  - Prüfen Sie, ob SATA Link State Power Management aktiviert ist (auf meinem H770 ist es unter Advanced/PCHStorageConfiguration/AggressiveLPMSupport).
  - Auf der Seite des ASUS Prime B560M-A Motherboards steht, dass sich der SATA_2-Anschluss die Bandbreite mit dem M.2_2-Steckplatz teilt. Ich weiß nicht, wie dies intern gehandhabt wird, aber wenn Sie an SATA_2 angeschlossen sind, versuchen Sie einen der anderen SATA-Anschlüsse auf dem Motherboard
  - Deaktivieren Sie SATA-Hotplug (xblax erwähnte dies oben)
  - Versuchen Sie eine andere SSD, falls Sie eine haben, um zu sehen, ob es einen Unterschied gibt (SaveEnergy erwähnte dies oben)
  - Frederik auf November 20, 2023 - Klicken Sie hier, um zu antworten
    Hallo Matt, danke für deinen Beitrag! Ich habe das Folgende versucht, aber nicht erfolgreich. Das Board verbraucht immer noch 4-5W wegen C2.
    Am Ende könnte es auf lange Sicht billiger sein, einen weiteren ASM1166 anstelle des Onboard-Controllers einzubauen :D
    
    Überprüfen Sie, ob SATA Link State Power Management aktiviert ist (auf meinem H770 unter Advanced/PCHStorageConfiguration/AggressiveLPMSupport)
    
    Dies ist aktiviert, ich habe es auch mit deaktiviert versucht, aber es hat weder den Stromverbrauch noch die C-States verändert. (Ich lasse es vorerst aktiviert)
    
    Auf der Seite des ASUS Prime B560M-A Motherboards steht, dass sich der SATA_2-Anschluss die Bandbreite mit dem M.2_2-Steckplatz teilt. Ich weiß nicht, wie dies intern gehandhabt wird, aber wenn Sie an SATA_2 angeschlossen sind, versuchen Sie einen der anderen SATA-Anschlüsse auf dem Motherboard
    
    Im BIOS kann ich angeben, ob M.2_2 SATA oder PCIE verwendet. Laut BIOS und Handbuch ist SATA6G_2 nur blockiert, wenn M.2_2 auf SATA eingestellt ist.
    Aber ich habe das ASM1166 in M.2_2 angeschlossen und als PCIE konfiguriert. Ich habe bestätigt, dass alle Onboard-SATA-Anschlüsse mit dieser Einstellung wie erwartet funktionieren.
    
    SATA-Hotplug deaktivieren (xblax erwähnte dies oben)
    
    Hotplug ist für alle Ports standardmäßig deaktiviert. Ich habe es aktiviert, um zu sehen, ob sich dadurch etwas ändert, aber das war nicht der Fall. Ich belasse es vorerst auf Deaktiviert.
    
    Versuchen Sie eine andere SSD, wenn Sie eine haben, um zu sehen, ob es einen Unterschied gibt (SaveEnergy erwähnte dies oben)
    
    Ich habe von USB gebootet und verschiedene Geräte ausprobiert: 2x SSDs (Emtec und ältere Samsung), 2x 3,5" HDDs (WD und Seagate) und sogar 1x LG DVD-Brenner.
    Es scheint keine Rolle zu spielen, welche Art von Gerät angeschlossen ist.
    
    Es ist immer das Gleiche, sobald ich ein Gerät über SATA anschließe, ist C2 maximal.
    Um dies zu überprüfen, habe ich von einem USB-Stick mit angeschlossenen SATA-Geräten gebootet und dann alle Geräte während des Bootens abgesteckt.
    Sobald das letzte SATA-Gerät physisch vom aktiven System getrennt wird, geht es sofort auf pc6 und kurz darauf auf pc8.
    
    Wenn ich alle SATA-Geräte wieder anschließe, bleibt es in PC6/8, aber auch dmesg erkennt den Replug nicht (wahrscheinlich weil Hotplug deaktiviert ist)
    Ich werde die dmesg-Bootprotokolle durchgehen, vielleicht taucht etwas Interessantes auf.
Anonymous auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
Hallo, ich arbeite an einem System mit ASRock H610M-ITX und i3-12100, und der ASM1166 M.2-Adapter, den ich habe, scheint nicht erkannt zu werden, selbst nachdem ich die Firmware von SilverStone geflasht habe. Aus dem Datenblatt des H610m-ITX geht hervor, dass der M.2-Steckplatz mit dem Chipsatz verbunden ist. Gibt es irgendetwas, was ich an dieser Stelle tun kann?
- Matt Gadient auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
  Nicht sicher. Ich würde es zuerst wieder einbauen, nur für den Fall, dass die Verbindung fehlerhaft ist, und/oder vorübergehend eine NVMe-SSD einbauen und/oder überprüfen, dass nichts im BIOS diesen Steckplatz blockiert. Als Nächstes würde ich überprüfen, ob es in einem anderen System mit einem angeschlossenen Laufwerk korrekt funktioniert, und dann überprüfen, ob die Firmware korrekt aktualisiert wurde. Wenn das funktioniert, würde ich, um festzustellen, ob es spezifisch für diesen M.2-Steckplatz auf dem Motherboard ist, versuchen, den ASM1166 auf einen PCIe-M2-Adapter zu setzen (derzeit etwa 3 USD von Aliexpress oder 10 USD von Amazon) und in den Haupt-PCIe-Steckplatz zu installieren - ich habe die x1- und x4-Varianten verwendet und sie sind ziemlich praktisch.
  - Anonymous auf Januar 31, 2024 - Klicken Sie hier, um zu antworten
    Ich bin endlich dazu gekommen, einen PCIE-M.2-Adapter auf dem CPU-x16-Steckplatz zu verwenden. Es funktioniert, aber der Paketstatus bleibt nur bei C2, genau wie bei Ihnen. Tja, sieht so aus, als könnte ich einige der Festplattenschächte in meinem NAS-Gehäuse nicht nutzen.
- baegopooh auf Januar 25, 2024 - Klicken Sie hier, um zu antworten
  Ich habe ein gleiches Problem hier mit asrock z170-itx fatal1ty / asm1166 m.2 sata controller.
  -m.2 Steckplatz des Mobos funktioniert (getestet mit m.2 ssd)
  -sata controller funktioniert (getestet mit m.2-pcie adapter&x16 slot des mobo und m.2 slot eines anderen minipc)
  Aber mit asm1166 an den m.2-Steckplatz angeschlossen, wird nichts im Bios oder lspci angezeigt.
  
  Es sieht also so aus, als ob das Asrock Board ein Problem hat.
  Ich weiß nicht, wie ich weiter vorgehen soll.
  - Matt Gadient auf Januar 25, 2024 - Klicken Sie hier, um zu antworten
    Es scheint definitiv ein seltsames Problem zu sein, das mit ASRock zusammenhängt, wie Sie vorgeschlagen haben, und/oder ein Problem mit dem M.2-Steckplatz. Ich habe einen kurzen Blick in das Handbuch für dieses Motherboard geworfen und konnte nichts finden, was mit dem BIOS zu tun hat und zutreffen könnte. An meiner Stelle würde ich versuchen, CSM ein- und auszuschalten, nur so zum Spaß (manchmal beeinflusst es seltsame Dinge), aber ich wäre nicht optimistisch.
  - baegopooh auf Februar 7, 2024 - Klicken Sie hier, um zu antworten
    Die Deaktivierung von CSM führte dazu, dass der Bootvorgang mit 5 Pieptönen fehlschlug (irgendetwas stimmt mit der Grafikkarte nicht). Das Aktivieren von cm und das Deaktivieren von Storage Oprom halfen nicht.
  - Anonymous auf März 26, 2024 - Klicken Sie hier, um zu antworten
    Interessanterweise hat Wolfgang von Wolfgang's Channel den ASM1166 M.2-Adapter in einem ASRock N100DC-ITX-Board zum Laufen gebracht, wobei das System den C8-Power-Status erreichen konnte. Alle PCIe-Lanes auf diesem Board sollten direkt vom N100 kommen.
    https://youtu.be/-DSTOUOhlc0?t=254
Walter auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt, danke für die beste und detaillierteste Erklärung, wie man das macht. Ich habe gestern den ASUS Prime H770-Plus D4 für $99 bei amazon gekauft, um dein Setup zu replizieren, Lieferung in ein paar Wochen und ich wollte dich fragen, ob der Intel i5-12400 immer noch die CPU ist, die du zu diesem Zeitpunkt empfehlen würdest. Ich frage, weil Sie erwähnen, dass Sie die CPU bereits hatten (obwohl es sorgfältig zu der Zeit für ein anderes Projekt ausgewählt wurde). Ich muss eine CPU speziell für dieses Projekt kaufen und möchte die leistungsstärkste, da ich davon ausgehe, dass sie ohnehin im Leerlauf mit geringer Leistung läuft.

Eine Sache, die ich nicht verstehe: Wenn ich den Heimserver nicht nur als NAS, sondern auch als Router verwende, würde das verhindern, dass er im Leerlauf einen hohen Stromverbrauch hat, da er ja immer etwas arbeiten muss? Ich habe eine Gigabit-Verbindung und verwende derzeit openwrt auf einem pi4, aber mit aktiviertem qos erreiche ich die halbe Download-Geschwindigkeit.

Nochmals vielen Dank.
- Matt Gadient auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
  Mindestens ein paar Leute in den Kommentaren verwenden den i5-13500 und haben die niedrigen Leistungswerte erreicht. Er hat eine höhere Turbofrequenz, mehr Cache und 8 E-Cores. Da du also die leistungsstärkste CPU suchst, die gleichzeitig wenig Strom verbraucht, vermute ich, dass dies die bessere Option sein könnte. Es ist möglich, dass einige der schnelleren Prozessoren auch völlig in Ordnung sind, aber natürlich musst du einen größeren Batzen Geld ausgeben, um das herauszufinden, und ich bin mir nicht sicher, ob der ASUS H770 die hohen Stromanforderungen während des Turbos bewältigen würde.
  
  Was die Eignung als Router angeht, bin ich mir nicht sicher, obwohl ich hoffe, dass ich das in den nächsten Wochen ausprobieren kann. Momentan habe ich den alten ASRock/Intel J4005B-ITX, der OpenWRT als Router benutzt, aber das Limit des Motherboards ist C6 (obwohl er 88-92% der Zeit nach dem Powertop mit typischem Heimverkehr verbringt, einschließlich eines YouTube-Streams, den ich gerade getestet habe). Das Ding wird von einem meiner alten Antec-Netzteile mit Strom versorgt, und es liegt zuverlässig bei konstanten 10 Watt.
  
  EDIT/UPDATE 13. Dezember: Nur um nachzufassen, habe ich ein bisschen mit dem Asus H770 + i3-12100 + Intel i350-4T getestet, das OpenWRT in einem systemd-nspawn-Container mit SYSTEMD_SECCOMP=0 privilegiert ausführt. Die Ergebnisse sind ein bisschen durcheinander.
  
  Wenn man nichts tut, ist es in 90-95% der Zeit in C10.
  
  TEST A: Handhabung von nur 1 Gerät, das YouTube anschaut, 90% C10. Bei sehr leichtem Datenverkehr im Haushalt (sporadisch mit weniger als 3Mbit/s im Durchschnitt) blieb er 80-90% der Zeit in C10. Beim Herunterladen von einem meiner Webserver, bei dem die Rate auf 4 MB/s (etwa 32 MBit/s) begrenzt ist, fiel sie auf etwa 50-60 % in C10.
  
  TEST B: Durchführung von iperf-Tests von einem externen VPS zu einem lokalen Rechner (Weiterleitung eines Ports):
  - 0Mbps = ca. 82% C10 (nur Haushaltsverkehr)
  - 1Mbps = ca. 73% C10
  - 5Mbps = ca. 61% C10
  - 10Mbps = ca. 58% C10
  - 20Mbps = ca. 30% C10
  - 30Mbps = ca. 12% C10
  ...bei knapp über 40Mbps wird 0 erreicht.
  
  TEST C: Interessanterweise lieferte der Durchgang durch den Router zwischen 2 lokalen Netzen (kein NAT, nur Weiterleitung) andere Ergebnisse:
  - 0Mbps = ca. 82% C10 (nur Haushaltsverkehr)
  - 1Mbps = ca. 82% C10
  - 5Mbps = ca. 80% C10
  - 10Mbps = ca. 74% C10
  - 20Mbps = ca. 70% C10
  - 30Mbps = ca. 64% C10
  ...bei knapp über 70Mbps wurde 0 erreicht.
  
  Da ich mich in einem nspawn-Container befinde, war ich nicht in der Lage, Software-Flow-Offloading in der Firewall-Sektion von OpenWRT auszuprobieren, um zu sehen, ob es die Auswirkungen in den Tests A und B abmildern würde - es ist gut möglich, dass das "Flow-Offloading", das es macht, die Ergebnisse näher an Test C bringen würde. Es ist auch möglich, dass IPv6 in den Tests A und B besser abschneidet, indem es NAT überspringt, obwohl die Auswirkungen kleinerer, aber größerer Pakete immer einen Strich durch die Rechnung machen könnten.
  
  Soweit ich das beurteilen kann, lässt sich daraus ableiten, dass der Computer ein gewisses Maß an Datenverkehr als Firewall bewältigen kann und trotzdem noch Möglichkeiten zum Schlafen findet. Aber wenn er wach gehalten wird... dann werden auch andere Optionen verlockend. Ich habe gerade wieder den Intel J4005 getestet (nur an einen Monitor angeschlossen) und er liegt bei 9-10W in OpenWRT, selbst wenn die C-States deaktiviert sind, und ich vermute, dass die J5xxx-Serie ähnlich ist (keine Ahnung über N100). Wenn etwas mehr Leistung benötigt wird, dann schafft mein Ryzen 5600G 22-23W auf einer Ubuntu LiveDVD mit deaktivierten C-States. Beide sehen in meinen Augen gleich attraktiv aus, sobald Alder Lake seinen C-State-Vorteil verliert.
  
  EDIT/UPDATE 15. Dezember: Bare Metal, Debian als Router konfiguriert. TEST B war fast identisch, außer dass die Zeit in C10 für jedes Element +6% betrug - trotzdem wurde die harte Wand knapp über 40Mbps erreicht. Flow-Tabellen haben nicht geholfen.
  
  Test C schnitt etwas besser ab, wobei die endgültigen Zahlen lauteten:
  - 70Mbps = ca. 70% C10
  - 75Mbps = ca. 60% C10
  - 80Mbps = 0% C10 (hier wurde eine harte Wand erreicht)
  
  Als ich die Datenflusstabellen für Test C aktivierte, konnte ich noch ein wenig mehr herausholen:
  - 80Mbps = ca. 60% C10
  - 85Mbps = ca. 45% C10
  - 90Mbps = 0% C10 (hier stieß ich auf eine harte Wand)
  
  TEST D: Um die Auswirkungen einer steigenden Anzahl von Verbindungen zu testen, habe ich einen Torrent-Client gestartet und eine Reihe von Torrents mit einer begrenzten globalen Download-Geschwindigkeit von 1 MB/s hinzugefügt.
  - 0 Verbindungen = ca. 80 % C10 (nur Haushaltsdatenverkehr)
  - 16 Verbindungen = unterschiedliche 36-39 % C10
  - 32 Verbindungen = unterschiedliche 33-35% C10
  - 64 Verbindungen = unterschiedlich 26-29% C10
  - 128 Verbindungen = unterschiedlich 21-29% C10
  - 256 Anschlüsse = ca. 20% C10
  - 512 Verbindungen = ca. 15% C10
  - 1024 Verbindungen = ca. 5% C10
  ...Ich habe Flow-Tabellen an verschiedenen Stellen ausprobiert. Kein positiver Unterschied.
  
  Auf dieser Reise habe ich ein paar interessante Entdeckungen gemacht.
  
  Erstens halfen die Datenflusstabellen überhaupt nicht weiter. Wenn überhaupt, dann schienen die Online-Geschwindigkeitstests etwas weniger Spitzenwerte zu liefern. Vielleicht ist das etwas, das spezifisch für den von mir verwendeten Intel i350-T4 ist (in einem Debian Bare Metal H770 und einem OpenWRT Bare Metal J4005).
  
  Zweitens, OpenWRT in einem Container war keine angenehme Erfahrung. Es traten seltsame Probleme auf, bei denen einige Verbindungen stabil waren und andere Probleme hatten. Vielleicht ließe es sich mit etwas Optimierungsarbeit und Überredungskunst zum reibungslosen Funktionieren bringen. Ich habe festgestellt, dass eine VM bei einer reinen Installation 2-2,5 % der CPU-Leistung in Anspruch nimmt und die C-States nicht schont, also habe ich das nicht weiterverfolgt.
  
  Drittens, und das ist sehr obskur und wahrscheinlich spezifisch für das ASUS H770 oder vielleicht meine Hardware-Kombination oder vielleicht sogar den Linux-Kernel, den ich laufen ließ... wenn die eingebaute Realtek-NIC im BIOS aktiviert war, aber NICHT aktiviert wurde (über eine systemd-networkd .network-Datei), führte die Installation und Aktivierung einer anderen Netzwerkkarte dazu, dass das System 50% der Zeit in C3 verbrachte. Mit "aktiviert" meine ich sogar etwas so Einfaches wie ein [Match]name=X, während der Rest leer ist. Ich habe einen i210, i340 und i350 ausprobiert. Beim i350-T4 habe ich festgestellt, dass ein entsprechendes SMBUS-Element im Powertop ebenfalls verschwunden ist, nachdem ich die Onboard-NIC deaktiviert und die Karte in den zweiten PCIEx1-Slot verschoben hatte. Manchmal scheint es, als ob ASUS einige Kobolde auf dem PCIE-Bus herumlaufen lässt.
Walter auf Dezember 1, 2023 - Klicken Sie hier, um zu antworten
Vielen Dank, ich werde mir den i5-13500 besorgen und in ein paar Wochen, wenn ich alle Teile zusammen habe, über die Ergebnisse berichten.
tom auf Dezember 7, 2023 - Klicken Sie hier, um zu antworten
Hallo,

Ich folgte Ihrem Build und kaufte das gleiche Motherboard mit einem i3-13100 cpu.
Ich habe ein Problem, das ich nicht lösen kann, und ich weiß nicht, wo / was zu suchen.

Ich habe Ubuntu 22.04 installiert und es mit 23.04 versucht, aber das Problem ist immer noch das gleiche:

Immer wenn ich versucht habe, http://www.google.com anzupingen, habe ich ein Problem, SOFORT WIE ich meine Tastatur und Maus entferne:
- entweder "ping sendmsg no buffer space available" mit dem Treiber r8168
- oder "pcie link is down" mit Treibern r8125

Ich habe alle Energieverwaltungsoptionen, die ich finden konnte, entfernt.
Ich habe versucht, ein anderes usb-Gerät anzuschließen.

Irgendwelche Anhaltspunkte?
- Matt Gadient auf Dezember 7, 2023 - Klicken Sie hier, um zu antworten
  Nicht sicher. Es ist wirklich seltsam, dass USB-Geräte das Netzwerk beeinträchtigen können. Um mehr Informationen zu erhalten, würde ich Folgendes versuchen:
  1. Prüfen Sie die Ausgabe von "dmesg" auf zugehörige Ereignisse.
  2. Prüfen Sie, ob das Problem beim Booten über die 22.04/23.04 LiveCD auftritt oder ob es nur nach der Installation auftritt.
  3. Versuchen Sie Ubuntu 23.10 (ich *denke*, die Release-Version, die mit dem Kernel ausgeliefert wurde, der ASPM auf dem RTL8125 deaktiviert hat) - entweder per LiveCD oder per Installation, abhängig von den Ergebnissen aus #1.
  4. Probieren Sie verschiedene USB-Anschlüsse aus, immer nur einen, um herauszufinden, ob es an der Tastatur oder der Maus liegt (oder an beidem), probieren Sie eine Tastatur/Maus einer anderen Marke aus, um zu sehen, ob das einen Unterschied macht.
  5. Ziehen Sie das Netzwerkkabel ab und stecken Sie es wieder ein, um zu sehen, ob das Netzwerk wieder funktioniert oder ob es für immer unterbrochen ist.
  6. Deaktivieren Sie "F1 for error" im BIOS und versuchen Sie, das Betriebssystem zu starten, ohne dass Tastatur/Maus eingesteckt sind, und sehen Sie dann, was passiert, wenn sie eingesteckt und wieder entfernt werden.
  7. Wenn Sie eine PCIe-Netzwerkkarte haben (idealerweise eine andere als die von Realek für diesen Test), sehen Sie nach, ob sie das gleiche Problem hat.
  Vielleicht meldet sich noch jemand, der das gleiche Problem hat. Diese Situation wäre mir nicht begegnet, da ich meine Tastatur eingesteckt gelassen habe (und schließlich auf eine kabellose Tastatur umgestiegen bin, der es nichts ausmacht, dass sie vom Powertop ausgeschaltet wird). Es könnte immer ein seltsames Problem mit defekter Hardware sein.
  - tom auf Dezember 10, 2023 - Klicken Sie hier, um zu antworten
    Ich habe alles versucht, aber es ändert sich nichts. Ich werde es zurückschicken und ein anderes ausprobieren.
Rishi auf Dezember 7, 2023 - Klicken Sie hier, um zu antworten
Vielen Dank für den Bericht - ich dachte, ich würde meine Erkenntnisse teilen.

CPU: i5-12600K
PSU: Corsair RM750e
NVMe: Samsung 980 Pro
Arbeitsspeicher: 2x16 GB DDR5
OS: Ubuntu 23.04 Server (läuft über USB)

Ich habe ursprünglich ein ASRock B760M Pro RS gekauft. Nach dem Tuning des BIOS und sogar nach der erzwungenen Aktivierung von ASPM auf der Realtek-Karte konnte ich den PC-3 nicht unterkriegen. Meine Gesamtwattzahl lag bei ~15 Watt. Nicht schlecht, aber dieser Rechner war für einen neuen Heimserver gedacht, der rund um die Uhr laufen sollte, und ich wusste, dass er besser sein könnte. Ich habe ASRock eine E-Mail geschickt, da ihr BIOS keine expliziten Werte für den PC-Status festlegt, sondern nur einen Dreistatus von Auto, Enabled und Disabled hat, um zu erfahren, ob sie planen, Unterstützung hinzuzufügen, und habe keine Antwort erhalten. Also war ich mit ihnen fertig.

Ich gab das ASRock zurück und wechselte zu einem ASUS Prime B760-M-A. Ich konfigurierte das BIOS und ließ powertop laufen. ASPM L1 funktionierte auf dem Realtek ohne Benutzeränderungen. Ich war bei etwa 11 Watt. Nachdem ich das DP-Kabel und die drahtlose USB-KB/Maus entfernt hatte, sank die Leistung auf 7,2 Watt. Fantastisch! Ich konnte auf PC10 heruntergehen und das System scheint sehr stabil zu sein. Unglaublich, wie weit Desktop-Computer beim Stromverbrauch gekommen sind.
- Paul auf März 12, 2024 - Klicken Sie hier, um zu antworten
  Vielen Dank für diesen Beitrag! Ich habe mich gefragt, ob die CPUs der K-Serie in einem stromsparenden Build verwendet werden können. In meinem Land die 12600K ist viel billiger als nicht-K-Variante.
SaveEnergy auf Dezember 14, 2023 - Klicken Sie hier, um zu antworten
Bei meinem h770 plus (ddr5) wird c8 auch erreicht wenn die SSD im CPU zugeordneten nvme slot ist. Nachdem ich mit meinen Samsung und WD ssd's Probleme hatte, bin ich nun bei "SK hynix Platinum P41", welche bisher stabil läuft. Leider bin ich durch eine Netzwerkkarte von logilink (dual port) aktuell wieder bei c3 :-(. Hardere nun gerade aus China eine xl710-qda zu ordern *g, bin aber unsicher ob das so sinnvoll ist.
etnicor auf Dezember 17, 2023 - Klicken Sie hier, um zu antworten
Hallo,
habe gerade einen Build mit einem Asus Prime b760M d4 gemacht und hatte genau die gleichen Ergebnisse auf meinem Motherboard. Habe Asus kontaktiert, um zu sehen, ob sie irgendein Feedback in Bezug auf die cpu verbunden pci/m2 Steckplatz haben. Ich erreiche C6, wenn ich einen intel I226-v im x16-Steckplatz und einen samsung 970 evo im cpu m2-Steckplatz habe.

Meine X710-da2-Netzwerkkarte muss ich jedoch im x4-Steckplatz betreiben, da der C-Status bei Verwendung im x16-Paket nur bis c2/c3 geht.

Ich habe keine Probleme mit meiner i226-v Netzwerkkarte.

Mein Anwendungsfall war es, einen stromsparenden 10-Gigabit-Router zu bauen. Derzeit verwende ich OPNsense, werde aber möglicherweise zu Vyos wechseln, um die Systemlast zu verringern.
- baegopooh auf Februar 6, 2024 - Klicken Sie hier, um zu antworten
  Ich versuche, einen tiefen c-Status (mindestens c6) mit 2,5g oder 10g nic in einem mit der CPU verbundenen x16-Steckplatz zu erreichen.
  Ich habe versucht mit
  1. intel x520-da2(board aus china), das aspm nicht unterstützt
  2. melanox connectx4(Board aus China), das aspm unterstützt, aber nur c3 erlaubt
  3. randome i226 nic aus China - unterstützt aspm, kann aber aspm nicht aktivieren
  
  Können Sie mir bitte das genaue Modell mitteilen oder wo Sie Ihren i226v-Nic gekauft haben?
  - etnicor auf Februar 15, 2024 - Klicken Sie hier, um zu antworten
    Hallo,
    ich habe das hier benutzt. https://www.aliexpress.com/item/1005005929535264.html
    - baegopooh auf Februar 16, 2024 - Klicken Sie hier, um zu antworten
      Vielen Dank. Ich werde es versuchen.
Tony auf Dezember 23, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt,

Ich bin mir sicher, dass du das schon gehört hast, aber ich danke dir für deine informativen Beiträge und deine Zeit.
100% neu in diesem alle und es ist ein bisschen überwältigend, um ehrlich zu sein, aber der Gedanke an einen eigenen Server ist unglaublich attraktiv. Ich näherte sich dies alles genau wie ich tat, als ich anfing, PC-Bau, ein Haufen wenn youtube-Videos, lesen Sie einen Haufen von Artikeln und Art von muddle meinen Weg durch. Wenn man sich mit dem Aufbau von Servern beschäftigt, wird einem sofort klar, dass man wirklich wissen muss, was man tut, und das Lesen Ihrer Artikel macht dies noch deutlicher.

Was sind Ihre Vorschläge für einen Plex/Jellyfin-Server, der immer eingeschaltet ist, wenig Strom verbraucht und volle Transcoding-Fähigkeiten besitzt. Die Leute scheinen entweder viel oder wenig von Produkten wie Synology und QNap zu halten, was mich stutzig macht. Nochmals vielen Dank
- Matt Gadient auf Dezember 23, 2023 - Klicken Sie hier, um zu antworten
  Ich persönlich würde, wenn möglich, noch eine Weile warten und abwarten, wie sich der Ryzen 8700G in Bezug auf die Leistung verhält, wenn er auf den Markt kommt - wenn der Verbrauch im Leerlauf besser ist als bei der 5x00G-Serie, könnte er ein starker Konkurrent werden. Darüber hinaus habe ich meine 12100/12400 nicht in Transcoding-Aufgaben getestet und kann daher nicht viel spezifisches anbieten, abgesehen von der vagen Erkenntnis, dass man 2 Codec-Engines bekommt, sobald man die 12500 erreicht (im Vergleich zu 1 bei schwächeren Modellen). Vielleicht kann jemand anderes mit seinen jüngsten Erfahrungen und Beobachtungen etwas dazu beitragen.
JT auf Dezember 23, 2023 - Klicken Sie hier, um zu antworten
Überprüfen Sie Ihr Board, auf meinem ließ der Intel Network-Chip mein System nicht in tiefere C-States gehen (i226-V), sieht aus, als wäre er immer noch fehlerhaft.
Alex auf Dezember 31, 2023 - Klicken Sie hier, um zu antworten
Hallo Matt,

Danke für den tollen Bericht! Dieses Jahr habe ich mir ein stromsparendes NAS-System gebaut, um mein vorgefertigtes QNAP TS-351 (Intel J1800) und ein Gigabyte Brix J4105 zu ersetzen. Meine Anforderungen waren, dass dieses neue System im Durchschnitt weniger Strom verbrauchen sollte als diese beiden Systeme zusammen und eine weitaus bessere Leistung haben sollte. Mit Hilfe Ihrer (früheren) Artikel, des niederländischen Tweakers-Forums, des deutschen Hardwareluxx-Forums, des unRAID-Forums und einiger anderer Quellen kam ich auf die folgenden Werte:

- Intel i5-13500
- Gigabyte B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- be quiet! Pure Power 12 M 550W
- 1x Toshiba MD04ACA50D 5TB (von meinem NAS)
- 2x Toshiba MG07ACA14TE 14TB (von meinem NAS)
- Crucial P1 1TB (NVMe)
- Samsung 980 1TB (NVMe)
- Crucial BX500 1TB (Backup über USB angeschlossen)
- Transcend SSD230S 2TB (SATA-SSD)
- Philips OEM USB2.0-Laufwerk (Startlaufwerk)

Mit dieser Konfiguration führe ich derzeit fast 50 Docker-Container mit verschiedenen Anwendungen und Datenbanken aus und erreiche im Leerlauf 17 W aus der Steckdose. Alles wird heruntergefahren und es wird auf keine Dienste zugegriffen, außer SSH. Womit ich ziemlich zufrieden bin. Paket C8 kann erreicht werden, besonders wenn die meisten Anwendungen nicht viel tun oder wenn ich sie stoppe. Wenn ich alles stoppe, kann ich auf dem unRAID 11W erreichen.

Eine andere Sache, die mir (und einigen anderen) auf dem Intel 600/700 aufgefallen ist, war, dass die Verwendung von seriellen USB2.0-Geräten wie Zigbee- oder Z-Wave-Geräten den Stromverbrauch um einiges erhöht. Etwa 5-7W. Ich verwende derzeit ser2net auf einem Pi, um dies zu umgehen. Ich habe mich an Gigabyte und Intel gewandt, aber beide bestritten, dass dies ein Problem sei.

Ich verwende auch E-Kerne für die meisten Anwendungen, was mir im Durchschnitt 1-2 W erspart. Einiges geht für Systemprozesse, die ich mit Taskset auf diese Kerne verschiebe. Das scheint ziemlich gut zu funktionieren.

Was die Realtek-NIC betrifft, habe ich kürzlich den "nativen" Realtek-Treiber ausprobiert, der im App-Store verfügbar ist, aber das hat L1 für mich komplett deaktiviert. Das Ergebnis waren zusätzliche 4 W. Ich kehrte zum Kernel zurück und erzwang L1 mit: `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` funktioniert.

Wenn Sie irgendwelche Fragen haben, können Sie sich jederzeit melden. Ich wünsche euch ein tolles neues Jahr <3!
- Matt Gadient auf Januar 1, 2024 - Klicken Sie hier, um zu antworten
  Cela semble être une bonne configuration, j'apprécie que vous transmettiez les détails. Je ne connaissais pas le paramètre /sys/bus/pci/devices/$DEVICELOC/link/l1_aspm - merci pour cela. Je viens de l'essayer avec le RTL8125 sur ma carte MSI et cela fonctionne très bien - c'est beaucoup plus facile de le configurer au démarrage plutôt que de construire un noyau personnalisé. Malheureusement, la RTL8168 sur l'ancienne Gigabyte H110N n'a pas l'air d'avoir ce paramètre sysfs exposé, donc elle continuera à recevoir le traitement du noyau personnalisé jusqu'à ce que j'aie la chance d'échanger avec un Intel i210 (qui malgré le fait qu'il soit 1Gbit est maintenant légèrement plus cher que l'Intel i225 2.5Gbit sur AliExpress).
  - Jon auf Januar 9, 2024 - Klicken Sie hier, um zu antworten
    Eine etwas einfachere Methode, um an die ASPM L1-Einstellung für die Netzwerkschnittstelle zu gelangen, ist `/sys/class/net/$$$$/device/link/l1_aspm`, wobei `$$$$` der Name der Netzwerkschnittstelle ist, z.B. `enp1s0`.
    - Matt Gadient auf Januar 9, 2024 - Klicken Sie hier, um zu antworten
      Das ist auf jeden Fall einfacher als die Iteration durch alle PCI-Geräte, wie ich es in meinem Skript gemacht habe. Danke Jon.
- Wojtek auf Januar 6, 2024 - Klicken Sie hier, um zu antworten
  Hallo Alex,
  
  Wie sieht es mit der Stabilität dieses Builds bisher aus? Ich denke darüber nach, die gleiche CPU-Mobo-Kombination zu bekommen, aber ich bin besorgt, dass es im Leerlauf instabil sein wird, was meinen Zweck, mein altes Xeon-System in den Ruhestand zu schicken, zunichte machen würde.
  
  Mit freundlichen Grüßen,
  Wojtek
Matt Gadient auf Januar 3, 2024 - Klicken Sie hier, um zu antworten
Leider nicht zu diesem Zeitpunkt.
voltron4lyfe auf Januar 11, 2024 - Klicken Sie hier, um zu antworten
Vielen Dank für diesen Artikel, obwohl ich muss zugeben, ich fühle mich ein wenig besiegt. Ich war nie in der Lage, über C3 oder unter 20W zu bekommen. Alle C-Zustand Referenzen sind auf die pakcage Zustand. Der Kernzustand scheint eher im Bereich von C10 zu liegen.

Mein Aufbau:

I5-12500
Asrock B660M Steel Legend
64GB DDR4-3200 Corsair LPX
2xNVME-Laufwerke (1 SK Hynix Gold P31, 1 TeamGroup)
ASM1064 PCI-Express 3x1 auf 4 SATA Adapter"
Realtek 2.5G NIC
3x120mm Lüfter.
Proxmox 8 mit Linux 6.5.11 Kernel. Powersave Gouverneur aktiviert.

Ich habe versucht, alles auf das Wesentliche zu reduzieren und habe alle Speicher und andere Geräte entfernt. Ich habe Onboard-Audio, Realtek-Nic und den ASM1062 SATA-Controller deaktiviert. Wenn ich von einem USB-Stick gebootet habe und Powertop laufen ließ, waren es ~50% C2 und ~50% C3. Niemals darüber. Ich bestätigte, dass alle Geräte ASPM mit LSPCI unterstützen und aktivierte jede ASPM-bezogene Einstellung, die ich im Bios finden konnte. Ich habe auch nach heimtückischen Übertaktungseinstellungen gesucht, aber keine aktiviert gefunden. In dieser Konfiguration lag der Stromverbrauch bei ~20 W. Das Hinzufügen des ASM1064 SATA-Controllers und der NVME-Laufwerke hat keinen signifikanten Unterschied gemacht. Ich habe powertop --auto-tune jedes Mal ohne nennenswerte Auswirkungen ausgeführt.

Dann fügte ich eine Nvidia 1660 Super GPU hinzu, die ich in eine leichtgewichtige Linux-VM übergebe. Ich lasse dann die Nvidia-Treiber im Persistenzmodus laufen und nvidia-smi meldet, dass sie ~1 Watt verbrauchen. Das spart ~10-20W.

Wenn ich ~8 Festplatten (eine Kombination aus Western Digital Reds und Seagate Exo-Laufwerken) hinzufüge, verbraucht der Rechner im Leerlauf ~100W und verbringt 80% der Zeit in C2.

Dann starte ich meine Haupt-VM und schalte die SATA-Controller durch. Der Stromverbrauch steigt um 30 W auf 130 W und bleibt dort. Powertop auf dem Host zeigt an, dass das Paket nie einen C-Status erreicht. Ich habe kein Spindown der Laufwerke konfiguriert.

Ich bin mir nicht sicher, ob ich etwas verlange, ich teile nur meine Erfahrung. Auch wenn es keinen großen Unterschied gemacht hat, habe ich sicherlich ein paar Dinge gelernt.

Ich denke, dass ich von der VM auf einen Linux LXC-Container auf dem Host migrieren könnte. Ich frage mich, ob die VM irgendwie die Energieverwaltung beeinträchtigt. Nochmals vielen Dank für den sehr ausführlichen und interessanten Bericht!
Daniel auf Januar 13, 2024 - Klicken Sie hier, um zu antworten
Hallo, ich teile meine "frisch installierte" Erfahrung

Corsair SFX SF450 Platinum
ASRock Z690-ITX
Corsair DDR4 2*16GB 3200 MHz
2 Samsung NVMe 980 Pro 1TB on board miniPCIe (ZFS Mirror)
1 Samsung EVO 870 2TB on board SATA (ext4)
I5-12400 schrittweise H0
Realtek 2.5G deaktiviert
1 Noctua Lüfter auf CPU (92mm)
Proxmox 8.1 (1 Docker LXC läuft mit Plex)
Kein Bildschirm angeschlossen, keine Tastatur, keine Maus
BIOS geladen mit ASRock Standardparametern + Audio/Wifi deaktiviert, ASPM überall aktiviert

Idle-Verbrauch an der Wand = 18W
Powertop sagt | Pkg C2 28%, C3 64% | Core CPU C7 97%

UnraidUser auf Januar 22, 2024 - Klicken Sie hier, um zu antworten

Hallo @MattGadient, danke für deinen tollen Beitrag. Ich wollte dich fragen, ob du die Version von powertop und auch die Linux-Kernel-Version, die du verwendet hast, zur Verfügung stellen kannst. Mir und anderen Jungs in der Unraid-Community ist aufgefallen, dass powertop keinen pkg c-state anzeigt und auch core c_state zeigt ACPI an, was laut github passiert, wenn c-state nicht korrekt von powertop gelesen wird. Danke für eure Unterstützung

Matt Gadient auf Januar 22, 2024 - Klicken Sie hier, um zu antworten

Auf meinen 2 Systemen mit dem Intel i3-12100/i5-12400, PowerTOP 2.14 auf Kernel 6.1 und PowerTOP 2.15 auf Kernel 6.5.

Anonymous auf Januar 24, 2024 - Klicken Sie hier, um zu antworten

Vielen Dank für Ihre Antwort, es scheint, dass selbst wenn ACPI angezeigt wird, die CPU noch niedrigere C-Zustände erreichen kann. Ich weiß nicht, ob Sie Experte für Unraid sind, aber im Grunde habe ich ein paar NVMEs entscheidenden P3, die als Spiegel ZFS formatiert sind und auf diesen Laufwerken habe ich alle Ordner / Volumes etc. für die Docker-Container. Glauben Sie, dass, wenn diese SSDs den ganzen Tag laufen, sie nie zulassen, dass die CPU zu niedrigeren C-Zuständen gehen kann?
Wie auch immer, ich habe alles auf der ASPM-Seite meines Motherboards (Asus Pro WS W680-ACE IPMI) aktiviert, das Einzige, was mir aufgefallen ist, dass es jedes Mal auf Auto zurückgesetzt wird, ist das Native Aspm (wenn es aktiviert ist, sollte es die OS ASPM-Unterstützung hinzufügen), aber jedes Mal, wenn ich das BIOS aufrufe, sehe ich es auf Auto eingestellt. Haben Sie einen Anhaltspunkt?
Wenn ich diesen Befehl ausführe, ist das der aktuelle Status der Geräte:

 lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

0000:00:1b.0 PCI bridge: Intel Corporation Device 7ac0 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #17, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
0000:00:1c.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #1 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.1 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #2 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.3 PCI bridge: Intel Corporation Device 7abb (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 2.5GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.4 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #5 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1d.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #9 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
0000:02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:04:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 06) (prog-if 00 [Normal decode])
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <512ns, L1 <32us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
0000:06:00.0 VGA compatible controller: NVIDIA Corporation GP107 [GeForce GTX 1050] (rev a1) (prog-if 00 [VGA controller])
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:06:00.1 Audio device: NVIDIA Corporation GP107GL High Definition Audio Controller (rev a1)
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:1b.4 PCI bridge: Intel Corporation Device 7ac4 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e1:00.0 Non-Volatile memory controller: Micron/Crucial Technology P2 [Nick P2] / P3 / P3 Plus NVMe PCIe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e2:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e3:00.0 Non-Volatile memory controller: Micron/Crucial Technology P2 [Nick P2] / P3 / P3 Plus NVMe PCIe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Matt Gadient auf Januar 24, 2024 - Klicken Sie hier, um zu antworten
Ich habe unraid nicht verwendet, aber ich werde antworten, was ich kann, basierend auf meiner allgemeinen Linux-Erfahrung. Zur ersten Frage: Es kommt darauf an, was Sie mit "SSDs, die den ganzen Tag laufen" meinen. Ständige Festplattenaktivität wird verhindern, dass sie in bessere C-Zustände wechseln. Wenn Sie die Festplatten meinen, die mit deaktiviertem ASPM im Leerlauf sind, wie es den Anschein hat, scheint das Ausmaß, in dem die C-Zustände beeinträchtigt werden, von Gerät zu Gerät zu variieren, und leider kann ich mich nicht daran erinnern, den P3 mit vollständig deaktiviertem ASPM getestet zu haben.

Was das BIOS betrifft, so ist meine Vermutung, dass "Native ASPM" Auto/Enabled wahrscheinlich sowieso zum selben Ergebnis führt. Sie könnten versuchen, "Native ASPM" auf Disabled zu setzen, um Ihre BIOS-Einstellungen im Betriebssystem zu erzwingen, und dann sehen, ob "lspci" eine Verbesserung bei einem der 8 Einträge meldet, die derzeit "ASPM Disabled" anzeigen - Sie sollten jedoch sicherstellen, dass Sie externe Backups haben, nur für den Fall, dass der Kernel es auf Ihrem System aus Gründen des Datenverlusts absichtlich deaktiviert hat. Ich bin mir nicht sicher, was auf Ihrer ASPEED AST1150 Bridge läuft, aber da ASPM darauf deaktiviert zu sein scheint, würde es mich nicht überraschen, wenn alle Geräte, die ihr nachgeschaltet sind, ebenfalls deaktiviert sein könnten.

Bei der Fehlersuche kann es nützlich sein, jeweils 1 BIOS-Einstellung zwischen den Neustarts/Tests zu ändern. Wenn Sie PowerTOP nicht dazu bringen können, Ihnen etwas mitzuteilen (auch nicht mit einer Ubuntu Live DVD), ist Ihre nächstbeste Möglichkeit wahrscheinlich, ein Kill A Watt Gerät zu verwenden, um die Auswirkungen Ihrer Änderungen zu messen.

Maria auf Januar 26, 2024 - Klicken Sie hier, um zu antworten
Vielen Dank für den überragenden Artikel.
Was halten Sie von dem Board: ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail

Da ich 8 SATA Anschlüsse hätte, würde ich keine weitere PCIe Karte mehr benötigen (bis auf weiteres). Dazu den i5 12400F mit vorhandenen HDD'S und SSDs

In meinem Office Rechner mit MSI Mainboard habe ich keine einzige der C-State, Energiesparmodi oder sontige Einstellungen wie hier erwähnt. Liegt das an MSI oder an dem Board selbst? Ist ein B450M PRO-VDH MAX (MS-7A38).

Bin für jede Hilfe und jeden Kommentar dankbar :)
- Matt Gadient auf Januar 26, 2024 - Klicken Sie hier, um zu antworten
  Bislang hat niemand in den Kommentaren mit einem Motherboard der ASRock 600/700-Serie einen besseren Wert als C3 erreicht, wobei 15-20 W der typische Stromverbrauch im Leerlauf in einer Minimalkonfiguration ist.
  
  Bei der von Ihnen erwähnten B450M-Hauptplatine bin ich mir nicht sicher, obwohl es sich um eine AMD-Hauptplatine handelt und ich nur ein paar B550-Hauptplatinen besitze, also nicht viel Erfahrung mit ihnen habe. Möglicherweise gibt es einen ganz einfachen Toggle namens "Global C-State Control", obwohl Sie sich vielleicht durch alle Menüpunkte wühlen müssen, um ihn zu finden. Abhängig von der CPU unterstützen neuere Linux-Kernel der 6.x-Reihe verschiedene amd_pstate-Skalierungstreiber, die sich positiv auf die Gesamtleistung auswirken können.
- baegopooh auf Februar 6, 2024 - Klicken Sie hier, um zu antworten
  AMD erlaubt nur c1, c2 und c6 und powertop zeigt c6 als c3 (afaik)
Maria auf Januar 30, 2024 - Klicken Sie hier, um zu antworten
Vielen Dank für die Antwort. 15-20W sind natürlich nicht 7W ;)
Nun hat ein Kollege einen Mini PC gekauft und Unraid installiert. Diese mit einem m.2 zu SATA Adapter und hat dadruch 6 SATA Anschlüsse. Diese gäbe es wohl auch mit 2x m.2, sodass man 2 Ryzer Karten installieren könnte.

https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/

Verbauch liegt, ohne igrendwelche Einstellungen mit 2 Dockern und 2x VM bei ca. 9W im Idle. Angeschlossen sind 5 HDDs.

Der Gedanke ist, dass dahinter eine Mobile CPU hängt und man sowas in der Richtung findet. Gibt es da Erfahrungen? Die Ergebnisse sehen ja gut aus und die Leistung sollte auch reichen.
- Matt Gadient auf Januar 30, 2024 - Klicken Sie hier, um zu antworten
  Ein M.2-SATA-Adapter in einem solchen Mini-PC ist etwas, über das ich nachgedacht, es aber noch nicht ausprobiert habe. Wenn ich plane, die Laufwerke intern zu betreiben, ist die größte Überlegung für mich neben Platz und Wärme die Frage, wie sie mit Strom versorgt werden - ein Mini-PC mit einem internen SATA-Anschluss könnte eine einfache Möglichkeit sein, einige Laufwerke über einen Stromsplitter mit Strom zu versorgen, je nach Verbrauch der Laufwerke.
  
  Ich erwarte, dass die CPU-Leistung für die meisten Aufgaben völlig in Ordnung ist.
  - Maria auf Januar 30, 2024 - Klicken Sie hier, um zu antworten
    Mein Kollege hat es folgendermaßen gelöst:
    - Der Mini PC hat seine eigene Stromversorgung und die HDDs werden über eine 2. Pico PSU mit 160W versorgt. Als Gehäuse hat er ein leeres NAS Gehäuse, hier verbrauchen alleine die beiden Lüfter wohl schon 11W zusätzlich, das schaut er sich nochmal an.
    
    Mein Gedanke war, den Mini PC zu öffnen und alles, inkl. HDD in mein ATX Gehäuse zu bauen. 1 oder 2 Nactua Lüfter, stark runter geregelt und die Stromversorgung dann mit einem vorhanden ATX Netzteil zu nutzen, zusätzlich zu dem Pico PSU für den Mini PC.
Daniel auf Januar 31, 2024 - Klicken Sie hier, um zu antworten
=== Ich habe einen Intel NUC11-ATKPE002 ===

Hardware:
* CPU Alder Lake N6005
* Samsung 980 1TB
* 32 GB SO-DIMM
* 1 Gb/s Netzwerk

Software:
* Proxmox 8
* LXC Home-Assistent
* LXC Plex (I915 Hardware-Transkodierung)
* LXC dokuwiki
* LXC fileserve (smbd, filebrowser, vsftpd)
* LXC Syncthing
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
usw..

LÄUFT 24/7

Verbrauch gemessen an der Wand (meist im Leerlauf): 7 Watt

=== Ich habe auch ein selbstgebautes 'Pseudo-NAS' basierend auf AsRock Z690 ===

* CPU I5-12400
* 2 NVMe 1TB
* 8 Festplatten ZFS Raidz2
* Proxmox 8
* 2.5 Gb/s Netzwerk zu meinem Desktop PC

Verbrauch gemessen an der Wand (meist im Leerlauf): 70 Watt

LÄUFT AUF ABRUF

=== Switch 8 Ports ===

Verbrauch: 8 Watt

=== Mein aktuelles Experiment ===

Für den Heimgebrauch möchte ich mein 'Pseudo-NAS' nicht 24/7 laufen lassen, sondern nur bei Bedarf

Ich habe debian wakeonlan auf dem NUC11 installiert, dann
Bei Bedarf (entweder nach Zeitplan oder auf manuelle Anforderung) kann ich folgendes ausführen

* wakeonlan [MAC-ADDRESS-Z690] zum Aufwecken des NAS
* systemctl suspend [PSEUDO-NAS-Z7690], um das NAS in den Ruhezustand zu versetzen

All dies funktioniert ziemlich gut
Ich arbeite an einer grafischen Oberfläche im Home-Assistant, die auch den Verbrauch überwachen wird

Dies ist der beste Kompromiss, den ich gefunden habe: NAS, niedriger Verbrauch, Heimautomatisierung)
Dave auf Februar 1, 2024 - Klicken Sie hier, um zu antworten
Vielen Dank an alle für die vielen tollen Informationen auf dieser Seite. Es war eine große Hilfe. Ich habe eine schöne stromsparende itx-Konfiguration mit einem Core-Desktop-Prozessor gefunden, also dachte ich, ich würde meine Konfiguration und Ergebnisse mit anderen teilen, um ihnen zu helfen. Mein Anwendungsfall ist nicht derselbe wie einige der oben genannten, könnte aber für einige nützlich sein.

Leerlaufleistung: ~5,3 Watt

Hardware:
* ASUS PRIME H610I-PLUS D4
* Intel Core i3-12100
* Crucial RAM 32GB DDR4 2666 MHz CL19 CT32G4DFD8266
* SAMSUNG 980 PRO SSD 2TB NVMe
* PicoPSU-150-XT
* Noctua NH-L9i-17xx, Low-Profile CPU-Kühler
* Noctua NF-A8 PWM, Gehäuselüfter
Software:
* BIOS 3010
* Ubuntu 22.04.3 Server (läuft von einem USB-Stick)
BIOS-Einstellungen:
* EZ System Tuning eingestellt auf: "Power Saving" (dadurch werden alle benötigten BIOS-Einstellungen automatisch gesetzt)
* PL1/PL2 auf 35/69 Watt eingestellt. (wegen des engen Gehäuses und der stromsparenden Pico-PSU)
Software-Einstellungen (über das Display der angeschlossenen TV-Konsole eingestellt)
* powertop --auto-tune
* setterm -blank 1

Gemessen an der Wand mit einem Kill-a-Watt. Der Messwert bewegt sich meist zwischen 5,1 und 5,5 Watt. Die Leistungsmessung wird durchgeführt, sobald der Bildschirm der Konsole leer ist. Der C-Status des Pakets wird über ssh erfasst. Der Prozessor verbringt die meiste Zeit im Paket-C-Zustand C10 (~90%).

Einige Vorteile dieser Konfiguration:
* Sehr gute Leistung im Leerlauf
* Einfache BIOS-Konfiguration.
* PCIe-4.0-x16-Steckplatz für potenzielle Upgrades/Erweiterungen (die Verwendung dieses Steckplatzes könnte jedoch die geringe Leerlaufleistung beeinträchtigen)

Einige Nachteile bei dieser Konfiguration:
* 1GbE gegenüber 2,5GbE
* Die picoPSU hat einen 4-Pin-Stromanschluss, das Board möchte einen 8-Pin-Stromanschluss (Internetrecherchen zeigen, dass dies für Situationen mit geringer Leistungsaufnahme in Ordnung ist)
* Einzelner M.2-Steckplatz. PCIe 3.0 x4-Modus

Ich wollte 2.5GbE. Wenn ich im Haus die kritische Masse für 2.5GbE erreiche, werde ich wahrscheinlich mit einer 2.5GbE-Karte im PCIe 4.0 x16 Steckplatz herumspielen.

Andere Infos:
* Die magische BIOS-Einstellung "Power Saving" hat "Native ASPM" nicht aktiviert. Das Einschalten hat jedoch keinen Unterschied gemacht.
* Das Deaktivieren des WIFI/Bluetooth-Moduls im BIOS hat keinen Unterschied gemacht.
- Rusty auf Februar 12, 2024 - Klicken Sie hier, um zu antworten
  Vielen Dank für Ihr Build. Ich kopiert, was Sie als (Nachahmung ist die beste Form der Schmeichelei!) bekam. Wo haben Sie das BIOS PL1/PL2 geändert? Hier ist, was ich geändert habe:
  OS: Unraid auf USB
  NETZGERÄT: RM850x (2021), da es bei niedriger Last sehr effizient ist.
  Festplatten: 2x12TB WD Red Plus NAS-Laufwerke neben dem NVMe hinzugefügt
  RAM: 1x32GB 3400MHz DDR4 (aus dem aktuellen PC übernommen)
  Lüfter: Intel-CPU-Lüfter und Gehäuselüfter aus dem Fractal Node 304-Gehäuse bei niedriger Drehzahl.
  
  Die von meiner USV gemessene Leerlaufleistung beträgt ~21 W, wobei Linux-ISOs auf einer Festplatte gespeichert sind und sich die andere Festplatte im Standby-Modus befindet. Sie fügen dem Build eindeutig eine Menge Watt hinzu. Ich habe das Paritätslaufwerk so eingestellt, dass es nur einmal am Tag hochfährt, wenn ich den nvme-Cache mit dem Datenlaufwerk synchronisiere (zumindest plane ich, dass es so funktioniert...), und die CPU ist ausreichend schnell, um Creative-Commons-lizenzierte Filme zu sehen. Auf jeden Fall sind 21W für meine erste Seedbox ganz nett :D
  
  Diese PSU-Effizienz-Tabelle sollte für die Leute hier nützlich sein! Die Daten wurden von cybernetics übernommen:
  https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
IrishMarty auf Februar 8, 2024 - Klicken Sie hier, um zu antworten
Wirklich schöner Artikel. Low-Power-Builds sind jetzt eine absolute Notwendigkeit für mich hier in Großbritannien. Ich versuche, ein ITX-Gehäuse zu bauen, aber Ihre Ergebnisse über den mit der CPU verbundenen PCIe-Steckplatz machen mir Sorgen. Ich werde weiter recherchieren müssen.
etnicor auf Februar 15, 2024 - Klicken Sie hier, um zu antworten
Ich weiß nicht, ob es von Interesse ist.
Ich war in der Lage, die asmedia 1166 auf dem pcie x16-Steckplatz zum Laufen zu bringen und den m2-Steckplatz mit der CPU zu verbinden und c8 zu erreichen.

Ich musste das Asus-Bios modifizieren, um Zugang zu den Root-Port-Einstellungen zu bekommen. Deaktivierte Multi-VC auf Root-Port 1 und kann nun den x16-Steckplatz verwenden und ich erreiche den c8-CPU-Paketstatus. Ich erreiche c8, wenn ich den m2-Steckplatz verwende, der gleichzeitig mit der CPU verbunden ist.

Vereinfachte Schritte:
BIOS von der Hauptplatine deinstallieren
Dump BIOS mit einem ch341 3.3v Programmer
BIOS mit OpenSource UEFI-Editor und "unhidden" Root Port Einstellungen modifiziert.
BIOS geflasht
wieder zurückgelötet.

Mein Motherboard ist ein ASUS PRIME B760M-A D4, aber es sollte das gleiche auf Prime H770-Plus D4 sein.

Ich muss dem Intel-Support für den Vorschlag danken, Multi-VC zu deaktivieren, das hätte ich selbst nicht herausgefunden.
- Matt Gadient auf Februar 15, 2024 - Klicken Sie hier, um zu antworten
  Sehr interessant. Danke fürs Teilen.
Marcin auf Februar 23, 2024 - Klicken Sie hier, um zu antworten
Danke für den Bericht! Ich baute eine ähnliche Konfiguration und war in der Lage, 10,5 W im Leerlauf zu erreichen (würde mit einer besseren PSU niedriger sein), aber ich bin ziemlich glücklich. Der Stromverbrauch wurde mit einem Shelly Plug S gemessen.

CPU: i5-14500
MB: Asus Z790-P D4 (Habe diesen als Kundenrückläufer für den gleichen Preis wie den H770-P D4 bekommen, und wie Sie sagten, hat er einen zusätzlichen PCIe 4.0 x4)
RAM: 4x 8Gb (kein XMP) => wird durch 2x 32Gb ersetzt
NVMe: Sabrent Rocket 1TB PCIe 3.0
Netzteil: Seasonic Focus GX-550

Dies wurde auf TrueNas Scale 23.10.2 und Ubuntu Server 23.10 getestet. In beiden Fällen habe ich den Realtek-Treiber verwendet.

Ein paar Beobachtungen:
- Mit dem Z790-P D4 kann ich den mit der CPU verbundenen NVMe-Steckplatz ohne Auswirkungen auf den CPU-Status verwenden. Ich muss testen, ob die PCIe-5.0-Slots auch ohne BIOS-Modifikation verwendet werden können.
- Das Einstecken jeglicher Art von USB-Geräten auf dem Motherboard (Tastatur, USB-Dongle) fügt 5 W hinzu.
- Das Netzteil, das ich im Moment benutze, ist ziemlich schrecklich für niedrige Lasten: 60% bei 10W und 71% bei 20W. Mit einem besseren Netzteil (81% eff) würde dieser Build auf 7,8W runterkommen.
- Die Verwendung von 'consoleblank' schien keinen Effekt auf RC6 zu haben. Es meldete immer 0% im Powertop. Hier sind weitere Tests erforderlich
- Daniel auf Februar 24, 2024 - Klicken Sie hier, um zu antworten
  Sind Sie sicher, dass jedes USB-Gerät 5 W verbraucht? Können Sie bitte die Kommunikationsgeschwindigkeit überprüfen, z. B. mit "usb-devices"?
  - Marcin auf Februar 25, 2024 - Klicken Sie hier, um zu antworten
    Hallo Daniel!
    
    Ja, ich bin sicher. Als ich meinen Logitech MX Keys usb2.0 Dongle an das Motherboard angeschlossen habe, stieg der Stromverbrauch im Regal von 10,5 auf 15-16W. Wenn ich mich richtig erinnere, hat es die C-States der CPU durcheinander gebracht (d.h. es ging nicht mehr in C6, C8).
    
    Ich habe nur mit USB2.0-Geräten an den Ports getestet, die an der Hauptplatine angeschlossen sind (am Rear I/O). USB2.0-Geräte wurden nicht einmal an Nicht-USB2.0-Anschlüssen erkannt.
    Meine Theorie ist das BIOS und/oder die Treiber für den USB-Controller. Da ich im normalen Betrieb keine USB-Geräte verwende, habe ich das nicht weiter untersucht. Jetzt bin ich wieder bei TrueNas und es hängt mit powertop 2.14 fest, das meine CPU nicht unterstützt, so dass das C-State-Reporting kaputt ist.
    
    Zur Info: Ich verwende BIOS-Version 1611 und Intel ME 16.1.30.2307v4.
    
    Was die anderen Tests angeht:
    - 'consoleblank' hatte tatsächlich einen Effekt auf RC6. Ich habe nur nicht auf die richtige Stelle geschaut. Die iGPU war 100% in RC6.
    - Ich kann auch den mit der CPU verbundenen PCIe-5.0-Port verwenden und erreiche trotzdem C8, allerdings mit einigen Einschränkungen: C6-C8 bewegten sich um 10-20%. Ich habe dies nur mit einer Arc A750 getestet, weil es das einzige PCIe-Gerät ist, das ich derzeit habe. Möglicherweise ist die Karte selbst daran schuld, also werde ich das erneut testen, sobald ich eine ASM1166 habe.
    - Daniel auf Februar 26, 2024 - Klicken Sie hier, um zu antworten
      Ich frage, weil ich etwas Ähnliches auf B660- und B760-Boards bemerkt habe, allerdings nur mit 12-Mbps-USB-Geräten, und ich bin neugierig, ob dies auch für Z690/Z790 gilt.
Michael auf Februar 28, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt,
Glückwunsch zu dem fundierten und zeitaufwendigen Artikel. Die beste Quelle hier im Netz zum Thema, die ich finden konnte, insbesondere was den technischen Background angeht. Ich bin auf der Zug aufgesprungen und werde berichten ;-)

Eine kurze Frage bleibt: Gibt es eine genaue Angabe welcher Kingston HyperX Speicher verwendet wurde? Welche Rolle spielt der RAM überhaupt beim Stromverbrauch?

Danke nochmal und Grüße,
Michael
- Matt Gadient auf Februar 28, 2024 - Klicken Sie hier, um zu antworten
  Ich habe die Modellnummern der Sticks, die ich während des Tests verwendet habe, nicht zur Hand (und im Moment wird anderer Speicher verwendet). Was den Stromverbrauch angeht, habe ich keinen A/B-Test durchgeführt - das letzte Mal, dass ich mir die Mühe gemacht habe, den Stromverbrauch von RAM bewusst zu messen, war in einem Laptop mit DDR4-SODIMMs, wo laut "Intel Power Gadget" ein 8-GB-Stick 0,15 W im Leerlauf und 1,67 W beim Spielen verbrauchte, und ein 16-GB-Stick 0,29 W im Leerlauf und 2,18 W beim Spielen, aber ich nehme an, dass das wahrscheinlich nur Schätzungen waren - wenn Sie neugierig sind, können Sie Details dazu am Ende der folgenden Seite finden: https://mattgadient.com/faster-gaming-on-intel-uhd-620-kaby-lake-r-by-upgrading-ram/
  - Michael auf Februar 29, 2024 - Klicken Sie hier, um zu antworten
    Danke sehr für die ausführliche Antwort. Dann lege ich mal los, und werde berichten was ich erreicht habe.
    Bleibt die Frage welche Festplatten C10 ermöglichen. Da ist ja wirklich wenig im Netz zu finden. Haben Sie Erfahrungen mit 3,5" Seagate Exos Platten? Die Toshibas scheinen ja zu funktionieren. Danke
    - Matt Gadient auf Februar 29, 2024 - Klicken Sie hier, um zu antworten
      Die folgenden 3,5-Zoll-SATA-Laufwerke von Seagate mit 10 TB funktionieren bei mir derzeit alle mit C10. Seagate Exos X16 (ST10000NM001G), Seagate Ironwolf Pro (ST10000NE0008), Seagate Barracuda (ST10000DM0004). Bisher gab es noch keine Seagate-Laufwerke, die mir Probleme mit C10 bereitet haben.
Paul auf März 8, 2024 - Klicken Sie hier, um zu antworten
Hallo!
Ist es Lotterie, welche Stepping von 12400 ich bekommen, wenn ich eine von Einzelhandelsgeschäften kaufen? Ich habe gehört, dass die C0-Stufe im Leerlauf mehr verbraucht als die H0-Stufe.
Wollte auch fragen, ob 12600 eine gute Alternative sein könnte?
- Matt Gadient auf März 8, 2024 - Klicken Sie hier, um zu antworten
  Wenn Sie im Einzelhandel auf die S-Spec auf dem Etikett der Verpackung (oder auf der CPU selbst) schauen, sollte für den 12400 die Situation so aussehen, dass SRL4V=C0 und SRL5Y=H0 ist. In einer Reihe von Kommentaren wurde darauf hingewiesen, dass Chips mit E-Cores keine negativen Stromkosten verursachen. Was die anderen Modelle angeht, so kann ich nichts Genaues über den 12600 sagen, aber zumindest ein paar Leute in den Kommentaren haben den i5-13500 erfolgreich bei niedrigem Stromverbrauch eingesetzt (und er enthält E-Cores).
  - Paul auf März 12, 2024 - Klicken Sie hier, um zu antworten
    Danke für die Informationen über 12400 Steppings!
    Ich erwäge 12600, da es eine leistungsfähigere iGPU als 12400 hat. Beide CPUs sind 6P-Kerne +0E-Kerne.
    Weißt du, ob der 12600 auch unterschiedliche Steppings hat?
    - Matt Gadient auf März 12, 2024 - Klicken Sie hier, um zu antworten
      Ich bin mir da nicht sicher.
Michael auf März 27, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt,
Dein Artikel und die Kommentare sind ein wahrer Schatz. Danke an alle die so viel dazu beigetragen haben. Ich möchte meine Erfahrungen kurz teilen:

ASUS Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus
Ohne Keyboard und HDMI
Powertop 2.14 (--auto-tune)

Ubuntu Server 23.04 Kernel 6.2.0-20 (neu, keine Updates):
6-7 Watt (überwiegend C10)

Anmerkung: Wird HDMI angeschlossen (+2-3 Watt) und Logitech MX Bluetooth Empfänger +4-5 Watt = 7-8 Watt für headless-Betrieb)

Aufrüstung zusätzlich 2xSamsung EVO 970: 7-8 Watt
Aufrüstung zusätzlich 4xSeagate X20 9-10 Watt (sleep mode)
Aufrüstung 2x14mm Lüfter 12-13 Watt (niedrigste Stufe)

Knapp 13 Watt mit 2xNVME und 4x3,5" ist kein schlechter Wert (C10 zu 90%).

Nach einem Kernel-Update auf 6.2.0-39 ist C10 nicht mehr möglich, das System geht nur bis C3 und verbraucht 21 Watt.
Offensichtlich Realtek-assoziiert. Das manuelle Setzen von
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42

führt aber erfreulicherweise wieder zum C10-Status zurück und damit wieder 12-13 Watt

Ähnliches Verhalten mit Ubuntu Server 23.10 Kernel 6.5.x 16-18 Watt (überwiegend C3) ...

Probatorisch habe ich Unraid (6.1.74) probiert. Das System ist nicht ganz so sparsam, hängt bei 16 Watt, auch erst nach manuellen Setzen der ASPM States via setpci (s.o.) ... Ubuntu hat ein paar Watt weniger, da aus sich noch bisschen recherchieren.

Auf jeden Fall hat das Bauen und Recherchieren viel Spass gemacht, die alte Synology verbraucht ein Vielfaches als das neue System.
Danke noch mal Matt und an alle anderen.
Alexander auf März 27, 2024 - Klicken Sie hier, um zu antworten
Hallo! Lesen Sie alle Kommentare, aber nicht finden, klare Antwort ...
Mein ASRock B760M Pro RS/D4 kämpft mit 13500 c-states (maximal c3) und 20w Leerlaufleistung auf sauberem Proxmox.
Ich habe es mit Arc a380 getestet und keines der Rezepte aus dem Internet hat funktioniert, es zieht 20w im Leerlauf :facepalm:

Bitte empfehlen Sie ein mATX-Motherboard für 13500,
Es wäre perfekt, wenn mb auch pcie bifurcation unterstützen würde (x8x4x4)
kihoon auf April 8, 2024 - Klicken Sie hier, um zu antworten
Ich lese dies aus dem fernen Korea, und ich denke, dass es für meine NAS-Konfiguration sehr hilfreich sein wird.
Ich habe eine Frage. Gibt es einen Unterschied im Stromverbrauch zwischen dem H610, dem B660 und dem B760? Wenn ich eine GPU an PCIe anschließe, habe ich dann nur einen ineffizienten C2-Status?
cromo auf April 12, 2024 - Klicken Sie hier, um zu antworten
Ich habe versucht, ein HP Z2 G9 Workstation-Motherboard, das W680 ist und ECC unterstützt, wiederzuverwenden, aber nicht ohne Probleme mit der Energieeffizienz. Ich habe es hier im Detail erklärt: https://forums.servethehome.com/index.php?threads/a-cost-effective-intel-w680-ecc-server-repurposing-an-hp-z2-g9-motherboard.43943/

Kurz gesagt, ich habe ein Problem mit dem ersten PCI-Steckplatz, der die C-Status auf 2 reduziert, wenn eine GPU installiert ist. Ansonsten, mit 2 x Lexar 1TB NVMEs und 64 GB Speicher, sehe ich einen Stromverbrauch von nur 4,5-6W mit dem 12600k, was erstaunlich ist.
Anonymous auf April 13, 2024 - Klicken Sie hier, um zu antworten
Toller Artikel. Wirklich gut zu lesen.
Martin auf April 20, 2024 - Klicken Sie hier, um zu antworten
Interessante Lektüre, die Kommentare zum Artikel waren sehr nachdenklich ;)
Rasmus auf April 28, 2024 - Klicken Sie hier, um zu antworten
Hallo

Im suchen, um eine ITX-basierte i3-12100 nas mit dem asm-Chip zu bauen. Jedoch, wie ich verstehe, wird die Verwendung des x16 pci Steckplatzes das System zwingen, auf C2 zu bleiben.

Aber wird der Betrieb von 8 HDDs, 2 SSDs und einer Nvme (Chipsatz) das Erreichen hoher C-States nicht etwas irrelevant machen?

Ich gehe davon aus, dass Ihre Watt-Tests nur den asm in einem nicht mit der CPU verbundenen Steckplatz zeigen. Es sieht so aus, als würde ich etwa 20W sparen, wenn ich mit meiner CPU höhere Cstates erreiche? Die Idle-Kapazität der Festplatten und damit die Stromeinsparungen hängen nicht mit den C-States zusammen?
- Matt Gadient auf April 28, 2024 - Klicken Sie hier, um zu antworten
  Basierend auf meinen Ergebnissen würde ich etwa 12-14 W zusätzlichen Stromverbrauch erwarten, wenn Sie sich in C2 statt ~C8 befinden - ob das relevant oder unbedeutend ist, hängt von Ihren Designzielen ab. Was die Festplatten betrifft, so erwähne ich die Stromsparspezifikationen der von mir verwendeten Festplatten im Abschnitt "Unnötige Speicherdetails" am Ende des Beitrags, aber hier kann ich nur grob sagen, dass ich fast 5 W pro 3,5"-Laufwerk eingespart habe, wenn es heruntergefahren wurde, anstatt sich im aktiven Leerlauf zu befinden.
  
  Die Einsparungen beim Stromverbrauch des Laufwerks und beim C-State sind größtenteils nicht miteinander verbunden: Ich sage "meistens", weil bestimmte NVMe-Laufwerke, bestimmte SSDs und sogar bestimmte SATA-Konfigurationen C-States zu verhindern scheinen. Aber die Energieeinsparungen, die sich aus dem physischen Herunterfahren einer Festplatte (im Vergleich zum Hochfahren) ergeben, sollten völlig unabhängig von allen anderen Vorgängen im System sein, einschließlich C-States.
duxet auf Mai 2, 2024 - Klicken Sie hier, um zu antworten
Ich möchte ein B760 ITX-Motherboard für mein nächstes NAS-Setup kaufen, aber ich bin mir nicht sicher, welche 2.5GbE-NIC ich wählen soll: Intel oder Realtek. Ich war mir sicher, dass Intel die bessere Wahl wäre, aber ich habe im Unraid-Forum gelesen, dass ihre NICs das System daran hindern, einen besseren C-Status als C2 zu erreichen, wenn sie mit einem 2,5Gb-Link verwendet werden, während Realtek C8 erreichen kann. Selbst wenn das wahr ist, stellt sich die Frage, ob es möglich ist, ohne die Verwendung des Treibers r8125 anstelle von r8169. Kann jemand dies bestätigen oder verneinen?
- Matt Gadient auf Mai 2, 2024 - Klicken Sie hier, um zu antworten
  Alex hinterließ einen Kommentar (scrollen Sie bis zum 31. Dezember 2023), in dem er
```
echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm
```
  verwendete, um L1 für die Realtek-NIC auf seinem Gigabyte B760M zuzulassen, und Jon folgte in einem Kommentar mit einem einfacheren Gerätepfad.
  - duxet auf Mai 3, 2024 - Klicken Sie hier, um zu antworten
    Aber funktioniert es auch mit neueren Kernel-Versionen? Es sieht so aus, als ob es ein sehr holpriger Weg mit Realtek und ASPM ist, da es manchmal aktiviert wird: https://github.com/torvalds/linux/commit/a99790bf5c7f3d68d8b01e015d3212a98ee7bd57, aber später ist es wieder deaktiviert: https://lists.ubuntu.com/archives/kernel-team/2023-September/142666.html
    
    Ich bin ein wenig besorgt, dass, selbst wenn ich ASPM erzwinge, um aktiviert zu sein, es einige seltsame Stabilitätsprobleme verursachen könnte. Ich schätze, dass 1GbE-Karten immer noch die einzige sichere Wahl sind, um sicher zu sein, dass die Energieverwaltung unter Linux richtig funktioniert.
    - Luis auf Mai 9, 2024 - Klicken Sie hier, um zu antworten
      Ich kann bestätigen, dass ich bei einem Build, den ich gerade mit einer 2,5 GB Intel NIC mit einem i5 13500 abgeschlossen habe, im Leerlauf 7-8 W verbrauche, und zwar ohne HDDs. Ich kann C10 97% der Zeit erreichen und der i226-v Chip meldet, dass ASPM vollständig unterstützt wird. Meine Vermutung ist, dass ich mit ein paar weiteren Optimierungen näher an 7w im Leerlauf bleiben kann.
      - Philipb auf September 16, 2024
        Danke Luis, welches Brett hast du benutzt?
      - vixmix auf November 7, 2024
        Hallo Luis - welches Motherboard-Modell und welchen Chipsatz verwendest du?
      - Luis auf November 24, 2024
        Dies ist mit einem ASUS ROG Strix B760i
Carsten auf Mai 3, 2024 - Klicken Sie hier, um zu antworten
Ich habe gerade ein ASUS PRIME Z790-P (V2) mit DDR5 und Intel i3-14100 bekommen. Wäre toll zu sehen, Sie tun dies mit der neuesten Generation und DDR5 Unterschiede.
Alex auf Mai 13, 2024 - Klicken Sie hier, um zu antworten
Hat/kennt jemand eine Intel-Chip-basierte PCI-E-Karte mit mindestens zwei Gbit-RJ45-Anschlüssen, die nicht dazu führt, dass das HW-Paket auf C3 bleibt, anstatt auf C8 zu gehen? Ich möchte einen Proxmox-Server bauen, auf dem Opnsense als VM läuft, und wenn ich durch die Wahl der richtigen Karte 7 W einsparen könnte, wäre das fantastisch
Michael auf Mai 16, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt,
danke für den tollen Artikel. Ich benutze den gleichen Aufbau und erhalten C10 Staaten mit den beiden unteren M2-Slots mit Samsung 970 EVO. Was mich stört, ist die Temperatur. Der linke Slot hat konstant 15 Grad Celsius niedrigere Temperaturen. Ich verwende BeQuiet-Kühlkörper. Ich habe gegoogelt, aber keinen Anhaltspunkt gefunden. Hat jemand ein ähnliches Problem beobachtet?
Herzlichen Dank Michael
Alex auf Mai 17, 2024 - Klicken Sie hier, um zu antworten
Einige Puzzle-Elemente hinzufügen....

Asus Prime H770 Plus D4, I3-12100, 2x32GB Corsair Vengeance LPX 2666MHz RAM, be quiet! Pure Power 12 M (550 W), WD Blue SN570 512 GB NVME-Laufwerk, Supermicro AOC-SG-I2 Dual Port GbE, be quiet Pure Rock Slim 2 CPU-Kühler

Nachdem ich dem Realtek-Treiber ASPM aufgezwungen habe, was auch bei deaktiviertem Treiber Probleme zu verursachen schien, kann ich den WD Blue in den Gen 4x4 NVME-Steckplatz und den Supermicor in den Gen4x4 PCI-E-Steckplatz stecken, ohne dass das Hardwarepaket auf C3 bleibt. Mit Proxmox 8.2 erreiche ich etwa 60 % Zeit auf C8 für das HW-Paket, 98 % auf C10 für die CPU und 96 % auf C7 für den Kern (HW), was zu einem Stromverbrauch von etwa 8–9 W führt, gemessen an der Wand. Und das alles, nachdem alle Standard-BIOS-Energiespareinstellungen angewendet und powertop --auto-tune ausgeführt wurden sowie L1 ASPM auf dem Realtek über die Befehlszeile eingestellt wurde.

Ich sehe nur kurze Spitzen, bei denen der Verbrauch auf 15 W ansteigt, um dann bei laufendem Powertop wieder auf 8 W abzufallen. Ich habe also zwei zusätzliche Steckplätze für MVME-Laufwerke oder Orte, an denen ich NVME hinzufügen kann -> 6x SATA-Adapterkarten (mit ASM1166-Chipsatz).

Ich kann auch bestätigen, dass nach der Einstellung von ASPM auf der Realtek-NIC andere Karten kein C3 mehr auf dem Paket verursachen. Wenn jemand eine günstigere Option als die Supermicro möchte, funktioniert auch die „10Gtek Dual-NIC-Karte mit 82576 Intel-Chipsatz“ gut.
eduardz auf Mai 18, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt

hast du ein optimiertes Build für 2024 oder irgendwelche Tipps, Vorschläge?

Ich plane ein nas build für zfs (raidz2) mit 6 oder 8 Laufwerken + plex server.

Ich war auf der Suche nach einem Tower-Gehäuse / Motherboard für i5-14500t (plex igpu transcode) mit mindestens ddr5 (es hat einige Prüfsumme Fehlerkorrektur, aber nicht so gut wie ECC) oder vielleicht ein mobo mit ddr4 mit ecc un-buffered (unterstützt)
Anonymous auf Mai 18, 2024 - Klicken Sie hier, um zu antworten
Schöner Artikel, vor allem die Daten zum Stromverbrauch.
ChrisC auf Juni 9, 2024 - Klicken Sie hier, um zu antworten
Ausgezeichneter Artikel, aber ich bin auch verblüfft über das, was erreicht wurde.

Der Grund, warum ich Ihren Artikel überhaupt gefunden habe, ist, dass ich mit ASPM auf einem Desktop-System experimentiert habe und festgestellt habe, dass es mir nur miserable 2 Watt Strom spart. Ihr Artikel deutet darauf hin, dass irgendetwas mit meinen Ergebnissen nicht stimmt und ich vielleicht noch mehr nachforschen muss, leider spuckt kaum jemand Zahlen zur Stromeinsparung für bestimmte Dinge aus. Ihr Artikel deutet darauf hin, dass der größte Vorteil von ASPM darin besteht, dass es der CPU erlaubt, in einen tiefen Stromsparzustand zu gehen, daher vermute ich, dass genau dort meine Probleme liegen. Ich interessiere mich auch deshalb dafür, weil ich wie Sie Desktop-Komponenten für eine Speicherplattform verwende, die so wenig Strom wie möglich verbrauchen soll.

Interessant ist auch, dass Sie Festplatten haben, die einen so geringen Stromverbrauch im Leerlauf haben.

Ich habe zwei Seagate Ironwolf-Laufwerke mitgebracht, was ich bedaure, denn die Leistungsaufnahme dieser Laufwerke im Leerlauf beträgt satte 8 W (wenn sie sich drehen), obwohl sie im Standby unter 1 W liegen. Ich habe dann einige 12tb WD Helium-Laufwerke mitgebracht, die im Leerlauf weniger als 4 W verbrauchen, wenn sie sich drehen. Im Standby ist der Stromverbrauch ähnlich wie bei der Seagate.

Andere Probleme mit den beiden Seagate-Laufwerken sind (a) wenn ein Befehl an das Laufwerk gesendet wird, z.B. eine SMART-Abfrage, werden sie hochgefahren, was ein sehr seltsames Verhalten ist, das ich noch nie zuvor bei einem Laufwerk gesehen habe, sogar die Abfrage des Ruhezustands mit den Seagate-Tools fährt sie hoch, die WD-Laufwerke, die an dieselbe ASmedia-Controllerkarte angeschlossen sind, zeigen dieses Verhalten nicht. Auch der langsamere RPM-Spin-Modus, den ich für den idle_c-Status halte, funktioniert bei meinen beiden Seagate-Laufwerken nicht. TrueNAS, die Software, die ich verwende, sendet alle 5 Minuten eine SMART-Abfrage für die Temperaturüberwachungsfunktion, die sich nicht abschalten lässt und nur global ein- und ausgeschaltet werden kann. Wenn die Seagate-Laufwerke also heruntergefahren sind, werden sie aufgeweckt. Ich habe den Code schließlich manuell gepatcht, damit ich die beiden Seagate-Laufwerke von der Temperaturüberwachung ausschließen kann und damit die SMART-Zustandsprüfungen übersprungen werden, wenn sich die Laufwerke im Standby befinden.

Das System läuft im Leerlauf mit 4 Spindeln, 3 SATA-SSDs und 1 NVME-SSD und verbraucht im Leerlauf ca. 48 W und ca. 34 W, wenn alle Spindeln heruntergefahren sind. 3 Lüfter sind im System,

Ich habe auch interessante Beobachtungen bezüglich NVME gemacht.

In meinen Systemen habe ich festgestellt, dass NVME-Laufwerke durchweg viel heißer sind als SATA-SSDs und normalerweise auch heißer als aktive Spindeln. In einem NUC musste ich auf eine aktive Kühlung zurückgreifen, da das NVME-Laufwerk selbst im Leerlauf an der 70°C-Grenze lag. Wie Sie habe auch ich festgestellt, dass diese Dinger ein bisschen durcheinander sind, wenn es um den Energiezustand geht.

Ich habe zum Beispiel in Windows entdeckt, dass ASPM absolut keinen Einfluss auf eines der 3 NVME-Laufwerke im System zu haben scheint. L1 und L0s haben beide keinen Einfluss auf die Temperatur. Ich habe eine Samsung 980 Pro, eine WD SN850X und eine PCI-Express Intel DC P4600, die ihren eigenen, kräftigen Kühlkörper hat.

Die DC P4600 liegt im Grunde immer unter 30°C und wird vom ASPM-Modus nicht beeinflusst.
Die WD SN850X läuft je nach Umgebungsbedingungen im niedrigen bis mittleren 40er-Bereich und wird von ASPM nicht beeinträchtigt.
Ich habe auch eine WD SN570 getestet, und sie verhält sich genauso wie die SN850X, keine Beeinträchtigung durch ASPM, sie läuft im Leerlauf bei etwa 45°C.
Schließlich ist die 980 Pro auch nicht von ASPM betroffen, allerdings kann ich mit diesem Laufwerk niedrigere Energiezustände auslösen, der Leerlauf ist sehr hoch bei etwa 54-60C.

Windows hat also versteckte Energieeinstellungen, die es erlauben, direkt mit den NVME-Energiezuständen zu spielen. Die Samsung 980 Pro sinkt im ersten NVME-Energiesparzustand um etwa 7-8 °C, was zwar zu begrüßen ist, aber immer noch mein heißestes NVME-Laufwerk ist und viel heißer als meine SATA-SSDs, die in den 20er Jahren laufen. Interessanterweise sinkt die Temperatur im zweiten Stromsparzustand nur um weitere 1-2C.

Die NVME-Laufwerke von WD scheinen laut verschiedener Testberichte und Berichte im Netz durchweg keinen tieferen Energiesparzustand zu unterstützen. Glücklicherweise laufen meine WD-Laufwerke nicht so heiß wie mein Samsung-Laufwerk.

Ich besitze auch eine 970 EVO, die im Leerlauf ca. 65 °C hatte. Ich habe sie auf unter 40 °C heruntergekühlt, indem ich sie in einen PCIe-NVME-Adapter mit einem großen Kühlkörper eingebaut habe, daher sind meine Erfahrungen mit Samsung-Laufwerken in Bezug auf die Temperaturen nicht besonders gut. Ich habe beschlossen, dass ich kein Fan von NVME-Laufwerken bin, sie laufen für mich heiß und haben eine sehr hohe Leerlaufleistung im Vergleich zu SATA-SSDs, dennoch scheinen Sie sie zu knacken.
Edward auf Juli 24, 2024 - Klicken Sie hier, um zu antworten
Vielen Dank, dass Sie alle Ihre Tests mit uns teilen. Die Beobachtungen über die Verwendung von cpu-pcie-Lanes haben mich wirklich überrascht. Das bedeutet, dass es bei einem Mini-ITX-Build sehr schwierig wäre, über 4 SATA hinauszugehen, oder?
- Edward auf Juli 26, 2024 - Klicken Sie hier, um zu antworten
  Habe eine mögliche Lösung gefunden...
  MSI und ASRock haben beide ein z790 mitx Motherboard mit 3 m.2 Steckplätzen... Zwei davon sind mit dem Chipsatz verbunden. Damit könnte man einen m.2-zu-SATA-Adapter und ein nvme-Laufwerk verwenden und die cpu-pcie/cpu-m2-Steckplätze vermeiden. Beide Boards liegen allerdings im Bereich von $250-300, so dass das Verhältnis von Stromersparnis und Kosten einen Schlag erleidet.
RD auf August 27, 2024 - Klicken Sie hier, um zu antworten
Ich habe diesen unglaublich hilfreichen Artikel gefunden. Ich denke darüber nach, ein NAS zu bauen, um ein Synology-Gerät zu ersetzen, und bin besorgt über den erhöhten Stromverbrauch. Ich betreibe eine Reihe von Anwendungen (Heimautomatisierung), die den Speicher so gut wie ständig nutzen, so dass die Optimierung des Stromverbrauchs im *Leerlauf* nicht so nützlich ist wie die Reduzierung des Stromverbrauchs bei aktiver Nutzung. Helfen die von Ihnen oben empfohlenen Optionen und Einstellungen im Allgemeinen auch dabei, den Stromverbrauch des Systems zu senken, wenn es in Betrieb ist?
- Matt Gadient auf August 27, 2024 - Klicken Sie hier, um zu antworten
  Die Crucial P3 NVMe SSD und die Seagate 2,5"-HDD-Laufwerke sind beide extrem effizient, wenn auf sie zugegriffen wird (siehe den TomsHardware-Test der Crucial P3 2TB unter https://www.tomshardware.com/reviews/crucial-p3-ssd-review/2, um einen guten Eindruck davon zu erhalten, wie sie im Vergleich zu anderen abschneiden). Das Corsair RM(x)-Netzteil ist in Bezug auf die Effizienz ebenfalls ganz oben angesiedelt. Ich glaube nicht, dass Sie mit einer dieser Komponenten etwas falsch machen können, egal ob Sie im Leerlauf oder bei starker Beanspruchung arbeiten.
  
  Was die CPU/Hauptplatine anbelangt, so verliert der Intel der 12. Generation seine Vorteile, wenn er nicht in der Lage ist, viel Zeit in den C6-C10-Zuständen zu verbringen (und leider kann man nicht wissen, ob man diese Zustände erreicht, bis man es versucht). Aber im Allgemeinen würde ich persönlich bei einem System, das rund um die Uhr mäßig ausgelastet sein wird, zu diesem Zeitpunkt eher zu AMD tendieren.
Bastian auf August 31, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt, ich liebe die detaillierte Arbeit, die du der Low-Power-Heimserver-Community zur Verfügung stellst!

Ich habe mich gefragt, ob du zufällig die CSM-Version des ASUS Prime H770-Plus D4 in Betracht gezogen hast. Soweit ich weiß, sollte CSM in Kombination mit einem i5 wie 12500 oder 13500 vPro Enterprise-Funktionen ermöglichen, was wiederum DASH, KVM/IPMI-ähnliche Fernverwaltungsfunktionen mit sich bringen sollte. DASH ist bei weitem nicht so leistungsfähig wie eine vollwertige ASPEED AST2600 BMC-Lösung, die in der Regel 5-10 W zusätzlich verbraucht.

Gleichzeitig soll CSM auch eine unternehmensähnliche Stabilität bieten, was weniger BIOS-Optionen für das Tuning von C-States usw. bedeuten könnte.
- Matt Gadient auf August 31, 2024 - Klicken Sie hier, um zu antworten
  Die CSM-Variante war zu diesem Zeitpunkt nicht auf meinem Radar, was wahrscheinlich bedeutet, dass es keine lokale Verfügbarkeit gab, als ich das Motherboard kaufte.
  
  Wenn ich jetzt einen Blick auf die Produktseite werfe, ist der einzige Unterschied zum Nicht-CSM-Modell der Zugang zum ASUS Control Center Express. Die Seite mit den technischen Daten für die CSM-Variante ist identisch, bis auf den Zusatz "1 x ACC Express Activation Key Card". Das Handbuch ist identisch, ohne dass besondere Merkmale erwähnt werden. Ich habe beide BIOS heruntergeladen (1663) und die Prüfsummen waren identisch, obwohl ich vermute, dass die Funktionen über Flags vertauscht werden können.
  
  Es würde mich nicht überraschen, wenn alle Merkmale/Funktionen/BIOS identisch wären, mit Ausnahme der von der ACC Express-Software bereitgestellten Funktionen. Aber man kann es nicht mit Sicherheit wissen, es sei denn, jemand versucht es.
Anonymous auf September 3, 2024 - Klicken Sie hier, um zu antworten
Versuchen Sie, Ihr ganzes System neu zu bauen. 12400 32gb h770 d4 plus in einem fantec 24-Slot mit einem X710-DA2 und einem 9600-24i. Haupt nvme ist eine 1 tb samsung pro. Das Corsair ist nicht mehr lieferbar, also habe ich ein Seasonic Titanium genommen.

Das System kann c10 ohne den 9600er erreichen. Es ist noch nicht vorbereitet, also habe ich es nicht eingebaut.

Was wirklich nervt, ist die minimale Lüfterdrehzahl von 20%. Und ich weiß nicht warum, aber meine minimale Leistungsaufnahme ist 11,5W, aber mit dem X710-DA2. Ich werde den CPU-Kühler gegen einen passiven austauschen. Das könnte ein weiteres Watt mehr sein.

Nur zur Info für andere, die sich für den X710-DA2 interessieren: keine WoL, zumindest für mich. Das Ding zu patchen ist pures Krebsgeschwür - mach es in EFI. Das Ding wird im aktiven Modus HEISS. Man muss es entweder aktiv kühlen oder den Kühlkörper austauschen. Ich habe mich für Letzteres entschieden. Drehen Sie die Karte mit einem pcie-Kit so, dass sie waagerecht steht. Setzen Sie auf eine https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7 so dass ich jetzt auch einen Dremel besitzen. Sie müssen die Karte STAND auf dem Mobo mit Abstand Abstandshalter zu machen. Tipp: efi shell nur mit einer selbstgebauten efi. Vergessen Sie über das Mobo öffnen es ist efi.
Philipb auf September 16, 2024 - Klicken Sie hier, um zu antworten
Absolut erstaunlich schreiben Sie bis danke so viel. Ich bin ziemlich viel gehen, um diese zu klonen.

Durch jede Chance, für die gleiche CPU oder die i3-12th gen kennen Sie eine gute m-ATX oder itx-Boards für die Macht wie die oben genannten?
- Matt Gadient auf September 16, 2024 - Klicken Sie hier, um zu antworten
  Angesichts meiner Probleme mit der Gigabyte-Platine würde ich, wenn ich versuchen würde, ein identisches System, aber in mATX- oder ITX-Formfaktoren zu bauen (und bereit wäre, auf eine Reihe von PCI-E- und NVMe-Steckplätzen zu verzichten), persönlich bei den ASUS PRIME-Modellen bleiben und eines der folgenden Modelle ausprobieren:
  - ASUS PRIME H610I-PLUS D4 (ITX, DDR4, aber 1G Realtek-Ethernet könnte ein großes Risiko darstellen)
  - ASUS PRIME H610M-A D4-CSM (mATX, DDR4, 1G Intel)
  - ASUS PRIME Z790M-PLUS (mATX, DDR5, 1G Intel)
  Es wird nicht überraschen, dass mir das Intel 1G Ethernet auf den letzten beiden wirklich gefällt.
  
  Um es klar zu sagen: Ich habe keines davon tatsächlich ausprobiert. Ich gehe davon aus, dass das BIOS usw. wahrscheinlich dem H770-PLUS D4 ähneln würde und dass ich das Ergebnis spiegeln könnte. Aber ich weiß es nicht genau. Das Z790M-PLUS ist mit 4xPCIe und 3xNVMe ausgestattet – vorausgesetzt, der DDR5 stellt kein Problem dar, ist es wahrscheinlich das, wofür ich mich entscheiden würde. Allerdings vermute ich, dass der kleine Kühlkörper des Chipsatzes etwas Luftstrom benötigt.
  
  Es könnte viele andere geeignete Optionen geben, wohlgemerkt auch außerhalb der PRIME-Serie und auch außerhalb von ASUS. In der Vergangenheit war Gigabyte immer meine erste Wahl. Bei dieser Generation hat es für mich einfach nicht funktioniert.
  - Jim auf Oktober 22, 2024 - Klicken Sie hier, um zu antworten
    Hallo Matt, ich habe einige Versuche mit dem "ASUS PRIME H610M-A D4" gemacht. (Ich brauchte ein MB, das in meinen Jonsbo C2 passt)
    
    Einrichtung:
    - ASUS PRIME H610M-A D4-CSM
    - i3 12100 mit Intel-Kühler
    - Samsung 970 Evo Plus 1TB als Boot-Laufwerk (im ersten M.2-Slot)
    - Mushkin 2x 16GB DDR4 3200
    - Be quiet M12 550
    - minimales Debian 12
    
    Ich habe die Bios-Einstellungen von Matt auf das mATX-Mainboard übertragen!
    Gemessen an der Wand (Fritz Dect 200) = 6,4 Watt (Leerlauf)
    
    Mit einer PicoPSU-90 konnte ich 5,7 Watt erreichen (aber viel höherer Verbrauch im WOL-Standby!)
    
    Vielen Dank für Ihre großartige Arbeit, ohne Ihre Bios-Anleitung würde es Monate dauern, bis ich einen stromsparenden Zustand erreiche...
Lukas auf September 18, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt, vielen Dank für diesen ausführlichen Artikel!
Ich bin tatsächlich auch auf der Suche nach mATX-Mainboards für einen wirklich effizienten Homeserver. Ich habe nur eine zusätzliche Einschränkung, dass ich ihn in einem passiv gekühlten Gehäuse (HDPlex H3) bauen möchte.
Das macht die Wahl meines Mainboards etwas schwierig, denn wie es aussieht, muss ich mich zwischen zwei Mainboards entscheiden:
Asus Prime Z790M Plus
+ Intel 1G Ethernet
- etwas kleine und schwache VRM-Kühlung
Asus TUF B760M Plus II
+ in meinem Land um einiges günstiger
+ sperrigerer Kühlkörper
- 2.5G Realtek Ethernet

Ich tendiere derzeit zum TUF, da ein weiteres Ethernet einfacher hinzuzufügen ist als ein stärkerer VRM-Kühlkörper, aber ich wollte Ihre Meinung dazu hören, wie sehr der 2,5-G-Realtek-Ethernet-Controller ein Show-Stopper ist.
Vielen Dank im Voraus!
- Matt Gadient auf September 18, 2024 - Klicken Sie hier, um zu antworten
  Ich weiß nicht, ob Sie das schon überprüft haben, aber stellen Sie sicher, dass über dem VRM-Kühler genügend Platz für die Heatpipes Ihres HDPlex H3-Gehäuses ist. Wenn man sich die Produktbilder für dieses Gehäuse ansieht, scheint es, als wären die Heatpipes nicht so hoch oben.
  
  Wenn man das bedenkt, könnte die VRM-Kühlung je nach geplanter CPU keine Rolle spielen. Das von mir verwendete H770-PLUS hat nicht einmal einen VRM-Kühler über den oberen VRMs. Ich habe zwar ein paar kleine Kühlkörper hinzugefügt, aber die waren nicht wirklich nötig, da die VRMs anfangs nicht sehr heiß wurden.
  
  Meine größere Sorge bei der passiven Kühlung wäre der Chipsatz-Kühlkörper, da dieser extrem heiß werden kann, wenn der Chipsatz viele Daten verarbeitet. Das TUF GAMING B760M Plus II sieht aus, als hätte es den gleichen wie das Prime Z790M Plus (nur in Schwarz und gedreht). Wahrscheinlich kann man hier nicht viel tun, außer den Kühlkörper abzunehmen und einige Modifikationen vorzunehmen, die zum Erlöschen der Garantie führen.
  
  Wenn man all das beiseitelässt und bereit ist, die erforderlichen Schritte zu unternehmen, um gute C-Zustände zu erhalten, ist der Realtek 2.5G nicht unbedingt ein Show-Stopper. Ich würde jedoch darauf achten, bei einem Händler mit einer einfachen Rückgaberegelung zu kaufen, nur für den Fall, dass es problematischer ist als erhofft.
- Daniel auf September 21, 2024 - Klicken Sie hier, um zu antworten
  Ich hatte TUF B760M DDR4. Der Chipsatz-Kühlkörper ist noch dünner, als er auf den Bildern aussieht, aber das eigentliche Problem war die Stabilität im Leerlauf und bei leichter Last. Alle paar Tage oder so, schaltete sich das System zufällig ab.
  Ich habe keine Ahnung, ob es sich um ein fehlerhaftes Gerät oder einen Konstruktionsfehler handelte, aber ich würde es nicht riskieren, dieses Board in einem Geschäft zu kaufen, das kein 30-tägiges Rückgaberecht anbietet. Der ASUS-Support war völlig nutzlos, ebenso wie die Garantie in Fällen wie diesem.
Andy23 auf September 19, 2024 - Klicken Sie hier, um zu antworten
Vielen Dank für Ihren Bericht, Matt! Ich möchte meine Erfahrungen teilen. Mit Proxmox 8.2.2 und BIOS- und Powertop-Optimierungen (C10-Zustand erreicht) kann ich im Leerlauf 10,1 W erreichen (gemessen an der Wand).

CPU: i7-14700
Motherboard: Asus Z790-P WIFI (2.5G LAN verbunden)
RAM: 96GB DDR5 (2x32GB + 2x16GB)
NVMe: Samsung 970 EVO Plus 1TB
PSU: Corsair RM750x
Der Stromverbrauch wurde ohne Monitor gemessen.

Einige Beobachtungen:
---- Bedeutung des Netzteils ----
1) Ich habe mit einem Seasonic Focus 1000-W-Netzteil begonnen und der Stromverbrauch lag bei 14,4 W. Der Wechsel zu Corsair RM750x führte zu einer Reduzierung des Stromverbrauchs um 4 W. Das RM750x hat eine Energieeffizienz von ~80 % bei 20 W, das bedeutet, dass mein ursprüngliches Focus 1000w bei 20 W eine schlechte Energieeffizienz haben muss (10,1*0,8/14,4=56%)!! Also, Leute, bitte erwägt die Investition in ein besseres Netzteil (Referenz: RM750x-Nummern in diesem Blatt: https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14 unterstützt KEINE Intel 13/14Gen CPUs (es zeigte zunächst nur C3-Zustände an). Ich musste das neueste powertop 2.15 kompilieren, und das erlaubte mir, den C6-C10-Zustand zu sehen.
---- Problematischer Onboard-SATA-Controller von ASUS Z790-P ----
3) Eine überraschende Beobachtung ist, dass, wenn ich eine SSD an die Onboard-SATA-Schnittstelle anschließe, der CPU-C-Status nur bis C6 reicht (kein C8, überhaupt kein C10). Wenn ich jedoch dieselbe SSD an eine ASM1166 PCIe-zu-SATA-Karte anschließe, konnte ich C10 erreichen. Dies scheint darauf hinzudeuten, dass der Onboard-SATA-Controller dieses Motherboards ASPM NICHT richtig unterstützt ("lspci -vv"-Ausgabe des Onboard-SATA-Controllers zeigt KEINE ASPM-Fähigkeit).
---- Kosten für das Hinzufügen einer GPU ----
4) Das Hinzufügen einer Nvidia GTX 1050 Ti GPU führte zu einem satten Anstieg von 16 W im Leerlauf. Bald wurde mir klar, dass die Wattzahl der Nvidia-GPU im Leerlauf mit einer Optimierung "nvidia-smi --persistence-mode=1" reduziert werden kann, wodurch aus den 16 W 8 W werden (GPU-Leistungsmodus P8). Allerdings sind das immer noch zusätzliche 80 % meiner 10,1 W im Leerlauf, wenn ich die GPU nicht habe. Wahrscheinlich lohnt es sich nicht, die GPU eingeschaltet zu lassen. Weitere Untersuchungen zeigen, dass die GPU selbst im Leerlauf nur etwa 3 W verbraucht, aber aufgrund der GPU werden die C-Zustände der CPU auf C6 gehalten, daher die Differenz von 8 W (mit GPU vs. ohne).
5) Der Stromverbrauch stieg um weitere 6 W, als ich die GPU an den am Chipsatz angeschlossenen PCIe-Steckplatz anschloss (ursprünglich befand sie sich im an der CPU angeschlossenen PCIe-Steckplatz). Ja, trotz aller Optimierung verbraucht die GPU 8+6=14 W, wenn sie an den Chipsatz-angeschlossenen Steckplatz dieses Motherboards angeschlossen wird. Mir ist aufgefallen, dass sich der C-Zustand von max C6 zu max C3 geändert hat, was wahrscheinlich die Ursache für die zusätzlichen 6 W ist.

Insgesamt bin ich mit dem Ergebnis zufrieden und es ist eine interessante Erfahrung. Ich würde wirklich gerne eine GPU hinzufügen (z. B. für fotografische Aufgaben), aber sie ist zu teuer, was den Stromverbrauch angeht. Hat jemand Erfahrung mit GPUs auf Servern mit geringem Stromverbrauch? Gibt es Möglichkeiten, den CPU-C-Zustand freizugeben, damit sie C8/C10 erreichen können? Hinweis: Ich spreche vom Stromverbrauch im Leerlauf (die GPU wird nicht für die Grafikausgabe verwendet und ist nicht an einen Monitor angeschlossen).
Federico auf September 21, 2024 - Klicken Sie hier, um zu antworten
Erstaunliche Analyse! Ich habe mich auf der Suche nach einem stromsparenden HBA verirrt, und ich hatte noch nicht einmal die Auswirkungen auf den Stromverbrauch berücksichtigt...

Ich bin überrascht, dass AMD-Chipsätze beim Stromverbrauch so weit zurückgefallen sind. Ich vermisse die alten Zeiten, als es mehrere gute Optionen für Mini-ITX-Motherboards mit den frühen AMD-APUs gab und es eine konzertierte Anstrengung gab, das ganze Paket stromsparend zu gestalten.

Ich habe gerade gesehen, dass der neue AMD X870-Chipsatz einen TDP von 7 W haben soll, aber die bisher angekündigten Mainboards scheinen ein wenig übertrieben zu sein ("Das ROG Strix X870-A Gaming WIFI kommt mit 16+2+2 Leistungsstufen, die für bis zu 90A ausgelegt sind", sagt alktech).
lowpowerobsession auf Oktober 2, 2024 - Klicken Sie hier, um zu antworten
Hallo Matt (und alle anderen)!

Ich möchte meine pfsense und truenas Boxen mit 10 GbE Netzwerken aufrüsten und bin auf diesen Beitrag gestoßen. Ich habe den Ratschlag befolgt, ein Board mit einem Intel 1gb Ethernet-Controller zu nehmen, und habe mich für das Asrock b660m pro RS und einen Pentium g7400 für beide Boxen entschieden. Ich wollte einen zusätzlichen PCIe-Port in voller Länge für eine zukünftige Erweiterungsmöglichkeit.

Ich werde die Tweaks hier ausprobieren: https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/

um zu sehen, ob ich einen akzeptablen Stromverbrauch erreichen kann. Ich habe Ihren Kommentar über die Verwendung eines H610M von ASUS gesehen und werde wahrscheinlich darauf umsteigen, wenn ich mit diesen Boards nicht viel Glück habe. Ich werde Bericht erstatten, da ich nicht viele Informationen darüber finden kann, ob die Leute den Stromverbrauch des b660m erfolgreich senken konnten.

Für jeden Ratschlag wäre ich dankbar!
mack auf Oktober 16, 2024 - Klicken Sie hier, um zu antworten
Mein Build:
- Chinesische Hauptplatine CWWK Q670 V1, hat das Board 3xnvme, 8 sata, pcie5 x16 mit der Möglichkeit der Aufteilung in 2 x8 (theoretisch können wir 5 nvme Festplatten setzen), 2x2.5Gbs
- i5 13500T
- 1 Modul 48GB DDR5 Crucial Pro.
- 2xSamsung evo 970 plus, 1xLexar NM790
Pico-Netzteil (ich habe derzeit kein anderes)
- Lan in einem Port angeschlossen
Im Leerlauf mit Proxmox läuft etwa 8-10W

Im Allgemeinen sind die Parameter schön, aber meiner Meinung nach das Bios ist nicht verfeinert, Probleme mit ASPM in einem Port, nur samsung evo arbeitet in ihm mit ASPM aktiviert, in den Rest ist es ok mit anderen Platten.

Der Prozessor geht nur bis zum C6 Status runter
Matt auf November 25, 2024 - Klicken Sie hier, um zu antworten
Ich bin neugierig, ob das Problem mit den Realtek-NICs immer noch besteht. Ich habe das gleiche H770-Board als Heimserver-Board mit Unraid im Auge. Ich bin mir nicht sicher, wie einfach es wäre, andere Treiber zu verwenden, wenn Unraid das Betriebssystem ist. Lohnt es sich, stattdessen etwas wie das MSI Z790-P-Board (das eine Intel-NIC hat) in Betracht zu ziehen?

Ich freue mich über jede Rückmeldung hier!
Ben auf Dezember 13, 2024 - Klicken Sie hier, um zu antworten
Ich bin neugierig, welche Onboard-Netzwerkschnittstelle jetzt empfohlen wird, wenn Sie 2,5 G wollen? Intel oder Realtek?
Anonymous auf Dezember 16, 2024 - Klicken Sie hier, um zu antworten
Sehr hilfreicher Text. Vielen Dank für Ihre Zeit und für die Veröffentlichung.

Weitere Kommentare anzeigen (136 weitere zu sehen!)

156 Anmerkungen | Sagen Sie einen Kommentar

Sagen Sie einen Kommentar Antwort abbrechen

mattgadient.com