Beginnen wir mit einer kleinen Geschichte:

• 2016: Bau eines Low-Power-PCs auf Skylake – 10 Watt im Leerlauf
• 2019: 9 Watt im Leerlauf: Erstellen eines energiesparenden Heim-NAS-/Dateiservers mit 4 Speicherlaufwerken
• 2021: (kein Eintrag) – 11 Watt mit einem Intel i3-10320 auf einem Gigabyte H470M DS3H

Nicht alle meine Systeme waren so erfolgreich. Im Jahr 2022 habe ich im Rahmen des Projekts Eindämmung der „Gas-Guzzling“-Tendenzen von AMD Radeon mit Multi-Monitorein paar andere Systeme mit 19 Watt und 27 Watt gemessen. Obwohl ich es einige Zeit später geschafft habe, den Stromverbrauch des 27-Watt-AMD-Systems zu senken, ist nicht jede CPU/Motherboard-Kombination für die 10-Watt-Grenze geeignet.

—

Bevor wir weitermachen, möchte ich darauf hinweisen, dass die 7 Watt für dieses System vor dem Einbau eines Speichers angegeben wurden. Die 7 Watt (gemessen an der Wand) beinhalten:

• Hauptplatine (Intel H770)
• CPU (Intel i5-12400)
• 64GB RAM
• SSD (Ubuntu Server 23.04 wird gebootet)
• Netzteil (Corsair)
• C-States im BIOS so eingestellt, dass es C8 erreicht
• powertop mit Auto-Tune (was die USB-Tastatur deaktiviert, wenn der Port in den Ruhezustand ge

Beachten Sie, dass ich, wenn ich nicht zulasse, dass powertop die Tastatur deaktiviert, 8 Watt an der Wand gemessen bekomme.

—

Kommen wir zu den detaillierten Spezifikationen und der Auswahl der Komponenten. Dieses Mal hatte ich die folgenden Ziele:

• geringer Stromverbrauch im Leerlauf
• angemessene CPU-Leistung für die Komprimierung
• in der Lage, 12 Festplatten + mindestens 1 NVMe zu verwalten
• Kapazität, um diese 12 Festplatten (eventuell) in 6 NVMe + 6 SSD SATA zu konvertieren
• die Kosten unter Kontrolle zu halten – da der Kauf eines Motherboards erforderlich wäre, versuche ich, bei DDR4 zu bleiben und eine CPU zu verwenden, die ich bereits habe.

Die Zusammenstellung eines neuen Systems mit der Hoffnung, in den Bereich von 10 Watt zu kommen *von der Wand aus gemessen*, ist oft nicht nur eine Herausforderung, sondern auch ein bisschen ein Glücksspiel. Manchmal muss man einfach seine besten Vermutungen in Bezug auf die Komponenten anstellen, sein System bauen, tunen, was man kann, und die Dinge laufen lassen, wie sie fallen.

Hauptplatine – ASUS Prime H770-Plus D4

Bevor ich beginne, hier ein kurzer Blick auf das Motherboard-Layout. Die GRÜNEN Steckplätze, die mit der CPU verbunden sind, und die ORANGEfarbenen, die mit dem Chipsatz verbunden sind, werden im Laufe dieses Berichts relevant werden.

Zum Zeitpunkt des Verfassens dieses Artikels waren Mainboards der Intel 600/700-Serie und der AMD 500/600-Serie weithin verfügbar.

Eines meiner oben genannten Ziele war die Kapazität für eventuelle 6 NVMe-Laufwerke.

Ich gehe näher darauf ein, warum dies eine Herausforderung sein kann (Sie können diesen Abschnitt gerne überspringen)…

Problem: Es gibt 0 Consumer-Motherboards mit 6x M.2-Steckplätzen, die alle gleichzeitig im PCIe-Modus genutzt werden können. Bei AMD sieht das MEG X570S Unify-X Max so aus, aber ein Blick ins Handbuch verrät, dass der letzte Steckplatz eine SATA-Variante sein muss, wenn man alle 6 Steckplätze nutzen will. Das ASRock Z790 PG Sonic hat ebenfalls 6 Steckplätze, aber man kann nur 5 davon nutzen (mit einer legitimen Ausrede: Sie bieten einen Gen5-NVMe-Steckplatz an, aber der kommt mit einem Entweder-Oder-Vorbehalt).

Warum es dieses Problem gibt: Es gibt Chipsatz-Lane-Beschränkungen auf Consumer-Boards. Angenommen, ich möchte alle M.2-Steckplätze in Gen4x4 nutzen und ein Hersteller wäre bereit, alle Lanes für M.2-NVMe-Steckplätze zur Verfügung zu stellen (was nicht der Fall ist), würden AMD X570 und Intel B760 maximal drei M.2-Steckplätze bieten, während AMD B650 und Intel H670/Q670/Z690/W680 vier Steckplätze zur Verfügung stellen. Fünf M.2-Steckplätze sind auf AMD X670- und Intel H770-Boards möglich. Sechs auf einem Z790-Board. Darüber hinaus wären außergewöhnliche Maßnahmen erforderlich, wie z. B. das Entfernen von Lanes aus dem Haupt-PCIE-Steckplatz. Wenn die Anzahl der M.2-Steckplätze erhöht werden soll, könnten die Hersteller theoretisch Lanes in Gen4x2 ausführen oder einige Gen3-M.2-Steckplätze hinzufügen, aber dann haben sie ein *sehr* großes Nischenprodukt geschaffen.

Die Lösung: PCI-E-zu-M.2-Adapter wurden notwendig. Bei der Suche nach einem Motherboard ging es nun darum, die vorhandenen M.2-Steckplätze mit allen verfügbaren PCI-E-Steckplätzen, die x4 oder mehr unterstützen, zu kombinieren. Meine Optionen waren nun auf AMD X570-, Intel H770- und Intel Z790-Motherboards beschränkt. Beachten Sie, dass die Verwendung von Bifurkation auf einigen Motherboards zwar eine Möglichkeit ist, mehr als 1 NVMe aus dem Haupt-PCIe-Steckplatz herauszuholen, ich habe mich jedoch entschieden, mich nicht darauf zu verlassen.

Ich habe mich aus mehreren Gründen für die Intel-Route entschieden:

1. Chipsatz-TDP: Die Chipsätze der 600/700er-Serie von Intel haben alle einen TDP von 6 W, während der TDP des AMD X670-Chipsatzes ziemlich hoch ist (7 W + 7 W). Der Stromverbrauch der AMD-Chipsätze macht mir seit einiger Zeit Sorgen, da frühere X570-Chipsätze einen TDP von 11 W hatten und einen Lüfter benötigten.
2. Chipsatzgeschwindigkeit: Intel H670/Q670/W680/Z690/H770/Z790 Chipsätze haben eine DMI 4.0 x8 Verbindung zur CPU. AMD X570/B650/X670 haben eine PCIe 4.0 x4-Verbindung zur CPU. Theoretisch sollte der Durchsatz bei Intel doppelt so hoch sein wie bei AMD (16 GB/s gegenüber 8 GB/s).
3. Ich hatte bereits 64 GB DDR4, die das Intel-System nutzen konnte. AMD-Chipsätze der 600er-Serie sind alle nur für DDR5 geeignet.
4. Ich hatte bereits eine Intel-CPU der 12ten Generation.
5. Ich habe noch keine positive Diskussion über den Stromverbrauch von AM5 gesehen. Überhaupt nicht. Update: Während ich dies schrieb, gab es Neuigkeiten über AMD-CPUs der 7000er-Serie, die an der Stelle, an der die Pins des Motherboard-Sockels auf die CPU treffen, durchbrennen/beulen. Ja, tut mir leid, AMD, dieses Mal nicht.

Also war es Intel. Nachdem ich mir die auf dem Markt erhältlichen DDR4-Motherboards angesehen hatte, konnte ich die Auswahl schnell auf 2 Hersteller eingrenzen: MSI und ASUS.

Interessieren Sie sich nicht für die Brettvergleiche? Dann können Sie das hier überspringen.

Die verlockenden MSI-Boards waren das PRO Z790-P WIFI DDR4 und das Z790-A WIFI DDR4. Oberflächlich betrachtet sind sie fast identisch, außer dass das „A“ ein wenig hochwertiger ist (Audio, rückwärtige Anschlüsse, Kühlkörper, Leistungsphasen usw.). Vor- und Nachteile:

• Pro: 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 unterstützt insgesamt 6 Gen4 NVMe
• Pro: 2x PCIE Gen3x1 zusätzlich
• Pro: 6 SATA-Anschlüsse
• Nachteil: Intel 2.5G LAN (bekanntermaßen problematisch und fehleranfällig)
• Nachteil: Ich bin kein Fan des MSI-BIOS
• Nachteil: Mein aktuelles B660-Board, das einen höheren Idle-Verbrauch als erwartet aufweist, ist ein MSI.

Attraktive ASUS-Optionen waren das Prime H770-Plus D4 und das Prime Z790-P D4 (optionale WIFI-Edition). Die TUF, Strix oder ProArt waren einfach zu teuer.

Ich beginne mit einer Auflistung der Vor- und Nachteile des H770-Plus:

• Pro: 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 unterstützt insgesamt 6 Gen4 NVMe
• Pro: 2x PCIE Gen3x1 zusätzlich
• Nachteil: Nur 4 SATA-Anschlüsse
• Pro: 2.5G Realtek Netzwerkadapter (heutzutage dem Intel 2.5G LAN vorzuziehen) (siehe Kommentare)

Das Z790-P D4 ist ähnlich, hat aber mehr Leistungsphasen, bessere Kühlung, mehr USB-Anschlüsse, einen zusätzlichen Lüfteranschluss und für unsere Zwecke…:

• +1 PCIE Gen4x4
• -1 PCIE Gen3x1

Letztendlich war das ASUS Prime H770-Plus D4 zu diesem Zeitpunkt etwa 100 Dollar günstiger und ich habe mich dafür entschieden.

Ein Vorteil, den ich bei „billigeren“ Boards festgestellt habe, ist, dass sie in der Regel weniger Komponenten haben und daher im Leerlauf weniger Strom verbrauchen, obwohl das nicht immer eine Gewissheit ist.

CPU – Intel i5-12400 (H0 stepping) – Alder Lake

Ich hatte diese CPU bereits als Teil eines früheren Desktop-Builds. Damals wurde sie für das Desktop-System ausgewählt, weil:

• sie AV1-Hardware-Dekodierung hatte
• sie die höchste verfügbare Leistung aus der Intel-Produktpalette der 12. Generation hatte, die den E-Core-Silizium-Overhead vermeidet
• in diesem Build wollte ich sowieso ein neues Motherboard mit 2xDP kaufen, und eine ältere Generation zu verwenden, machte für mich keinen Sinn.

Dieses Desktop-Build erwies sich als Enttäuschung und zählt zu meinen unbeliebtesten Builds.

Einige Details…

Ich hatte Probleme, bei denen manchmal nur einer von zwei DP-angeschlossenen Monitoren in Linux aufwachte, was bedeutete, dass ich entweder den anderen DP-Anschluss ziehen/umstecken oder das System manuell in den Ruhezustand versetzen/fortsetzen musste, damit es erneut versucht werden konnte.

Ein weiteres Problem war, dass ein Neustart zwischen Windows/Linux manchmal seltsame Probleme verursachte, die ein vollständiges Ausschalten/Neustarten erforderten.

Die Hardware-Dekodierung unter Ubuntu mit Wayland ist immer noch problematisch, und wenn Programme versuchten, damit Videos abzuspielen, traten Probleme auf.

Im Gegensatz zu meinen vorherigen Intel-Systemen, die alle unter die 10-Watt-Marke gebracht werden konnten, lief dieses System mit 19 Watt im Leerlauf, obwohl ich vermutete, dass das von mir verwendete MSI-Motherboard ein Faktor sein könnte.

Die meisten Kopfschmerzen, die ich hatte, betrafen die GPU und den Bildschirm. Da ich im Begriff war, etwas Serverorientiertes zu bauen, war das kein Faktor mehr.

SPEICHER – 64GB DDR4-3200

Das habe ich verwendet:

• 2x16GB Kingston HyperX dual-rank (Hynix DJR)
• 2x16GB Kingston HyperX single-rank (Hynix CJR)

Das war Speicher, den ich bereits hatte. Ich habe die 4 Speichersticks mit dem XMP-Profil des Dual-Rank-Kits betrieben, das 16-18-18-36 betrug. Alles andere habe ich im Wesentlichen auf den Standardwerten belassen, außer dass ich den RAM mit 1,25 Volt betrieben habe (höher als die Standardwerte von 1,20, aber niedriger als die XMP-Einstellung von 1,35 Volt). TestMem5 und Memtest86 zeigten Stabilität bei 1,22V, obwohl Tests dieses Speichers auf früheren Motherboards gezeigt hatten, dass 1,22V instabil waren, also erhöhte ich die Spannung auf 1,25V, um einen kleinen zusätzlichen Puffer in Sachen Stabilität zu haben.

Boot-Laufwerk – Sandisk Ultra 3D 1TB SSD

Diese Komponente wurde nicht absichtlich gewählt. Als ich eine frische Ubuntu-Server-Installation zum Testen durchführen wollte, war dies die einzige SSD, die ich noch herumliegen hatte und die gerade nicht benutzt wurde. Ich wollte viele A/B-Tests mit PCIE- und NVMe-Geräten durchführen, so dass die Installation von Ubuntu 23.04 auf einer SATA-SSD sinnvoll war, um PCIE-Steckplätze frei zu halten.

Beachten Sie, dass das Hauptbetriebssystem nach den Tests auf einer Samsung SSD 970 EVO Plus 500GB NVMe ausgeführt werden sollte. Dazu gibt es nicht viel zu sagen, außer, dass die Samsung-Laufwerke dazu neigen, zuverlässig in den Energiesparmodus zu wechseln.

Da ich beide Laufwerke verwendet habe, kann ich bei meinen Tests keinen Leistungsunterschied zwischen ihnen messen. Tom’s Hardware testete die Samsung im Leerlauf mit 0,072 Watt (über ASPM/APST), und Anandtech testete die Sandisk Ultra 3D im Leerlauf mit 0,056 Watt (über ALPM). Beide liegen deutlich unter der 1-W-Auflösung meines Kill-A-Watt-Meters.

Netzteil – Corsair RM750

So sehr dieses 750-W-Netzteil für ein System, das auf 10 Watt ausgelegt ist, als Overkill erscheinen mag – wenn 12 Laufwerksmotoren gleichzeitig laufen, ist die momentane Last wahrscheinlich ziemlich hoch. Seagate gibt 2A/3A DC/AC-Spitzenströme auf der 12-V-Schiene für eines seiner 10 TB 3,5-Zoll-Laufwerke an. Selbst die Spitzenwerte für zufällige Lese-/Schreibvorgänge können über 2 A betragen.

Dieser stoßweise Strombedarf kann problematisch werden, wenn das Netzteil der Aufgabe nicht gewachsen ist. Wenn ein Array aus 6 Laufwerken zusammen 150-200 Watt zieht, während die CPU in der Spitze 120 Watt zieht, ist das ein Sprung von etwa 10 Watt im Leerlauf auf etwa 400 Watt. Dies kann leicht zu einem sofortigen Spannungseinbruch führen – wenn der Einbruch groß genug ist, um einen sofortigen Absturz/Neustart zu verursachen, ist das wahrscheinlich keine große Sache, aber wenn der Einbruch gerade groß genug ist, dass Daten während einer Speicheraktualisierung oder wenn ein anderes Laufwerk mitten im Schreibvorgang ist, beschädigt werden… ist das ein schmerzhafteres Problem. Eine gewisse Überdimensionierung des Netzteils (oder das Hinzufügen von Kondensatoren zu den Stromschienen) ist sinnvoll.

Glücklicherweise ist ein Großteil der Corsair RM-Serie trotz des Betriebs außerhalb des Spitzenwirkungsgrads in einem weiten Bereich ziemlich effizient.

Leistungsmessungen – Initial

Ein paar wichtige Informationen:

• Die Leistung wurde an der Wand gemessen
• Intel PowerTOP wurde zur automatischen Anpassung der Einstellungen verwendet
• Ubuntu Server 23.04

Ein paar potenziell wichtige BIOS-Bits:

• CPU C-States wurden im BIOS aktiviert (C10)
• ASPM wurde aktiviert und alles auf L1 gesetzt
• RC6 (Render Standby) aktiviert
• Aggressive LPM-Unterstützung aktiviert (ALPM)
• DEAKTIVIERT: HD-Audio, Konnektivitätsmodus, LEDs, GNA-Gerät, serieller Anschluss

9-10 Watt war der Verbrauch, wenn die Bildschirmausgabe eingeschaltet war.

7 Watt war der Verbrauch, wenn das Display ausgeschaltet war (Kernel-Boot-Parameter consoleblank=600 für einen 600-Sekunden-Timer), was bei diesem System die meiste Zeit der Woche der Fall ist.

8 Watt war der Verbrauch, wenn die Energieverwaltung der USB-Tastatur deaktiviert war. Wenn man sich nicht per SSH in den Server einwählt, kann es notwendig sein, das zusätzliche Watt für die Tastatur zu verwenden.

Problematische Leistungsmessungen – Belastet mit sich drehendem Rost (nicht drehend)

Wie eingangs erwähnt, habe ich mit 12 Festplatten begonnen. Die Hälfte waren 2,5″ und die andere Hälfte 3,5″. Da das Motherboard nur 4 SATA-Anschlüsse hat, wurden ein SATA-Controller und ein Port-Multiplier verwendet, um die restlichen Laufwerke zu verwalten. Zusätzlich wurden anfangs 4 NVMe-Laufwerke verwendet: eines davon, ein Western Digital SN770, neigte dazu, selbst im Leerlauf ziemlich heiß zu werden, was darauf hindeutet, dass es wahrscheinlich nicht in den Energiesparmodus ging.

Mit allen angeschlossenen Geräten, im Leerlauf, mit ausgeschaltetem Bildschirm und mit den 12 Laufwerken im Standby-Modus war ich schockiert, als ich feststellte, dass mein Stromverbrauch im Leerlauf von 7 Watt auf satte 24-25 Watt gestiegen war. Viel zu viel! Irgendetwas stimmte nicht.

Rätsel des Stromverbrauchs – Untersuchung und Diagnose bei hohem Stromverbrauch

Ich trennte die Festplatten und begann, die Komponenten einzeln zu testen. Das waren ziemlich grobe Tests, um eine ungefähre Vorstellung von dem Übeltäter zu bekommen, daher sind die Zahlen hier nicht präzise.

Ich fand schnell heraus, dass der von mir verwendete JMB585-SATA-Controller den Stromverbrauch um etwa 6-10 Watt erhöhte (genaue Messungen in einem späteren Abschnitt). Der Controller selbst sollte nur ein paar Watt verbrauchen, und der winzige Kühlkörper blieb kühl, also war da offensichtlich mehr los. Wohin ging der Strom?

Ich beschloss, die C-Zustände des CPU-Pakets zu beobachten. Ohne den JMB585-SATA-Controller erreichte das System C6. Als der JMB585 wieder angeschlossen wurde, erreichte das System höchstens C3. Aha! Aber warum? Es stellte sich heraus, dass die CPU nicht in den Tiefschlaf geht, wenn ein über PCIE angeschlossenes Gerät nicht in den ASPM L1-Modus wechselt. Die JMB585-Controllerkarten scheinen keine ASPM-Unterstützung zu haben.

Bei weiteren Experimenten fand ich noch etwas anderes heraus, das ich nicht kannte, und das hat mit C6 vs. C8 zu tun. Das System erreicht nur dann C8, wenn nichts an die an die CPU angeschlossenen PCIE-Lanes angeschlossen ist. Mit anderen Worten: Wenn irgendetwas an den oberen PCIE-Steckplatz oder den oberen NVMe-Steckplatz angeschlossen ist, ist C6 das Maximum. Der Unterschied in der Leistungsaufnahme zwischen C6 und C8 schien in einem einfachen Test weniger als ein Watt zu betragen.

Während C8 also ein Luxus wäre, war C6 ein Muss. C3 verbraucht zu viel Strom. Wenn SATA-Controller die CPU daran hindern, die besten Stromsparzustände zu erreichen, begann ich mich zu fragen, ob ich nach einem Motherboard mit 6-8 SATA-Anschlüssen hätte suchen sollen, damit ich nicht auf zusätzliche Controller angewiesen wäre…

Eine kleine Suche nach SATA-HBAs ergab, dass es hier zwar nicht viele Optionen gibt, aber der ASM1166 SATA-Controller sollte ASPM L1 unterstützen, obwohl die Firmware geflasht werden muss, damit er richtig funktioniert (und auf neueren Intel-Boards überhaupt funktioniert). Das mußte ich bestellen: Ich habe Marvel- und JMicron-Ersatzteile, aber die unterstützen kein ASPM. Eigentlich hatte ich ASMedia seit Jahren gemieden, aber aus der Not heraus bekamen sie jetzt eine neue Chance: Ich bestellte ein paar ASM1166 6-Port-SATA-Controller.

Nebenbei: BadTLP, Bad! AER-Bus-Fehler aus dem pcieport

Eine Erwähnung wert… Während der anfänglichen Tests mit einer WD Black SN770 (Gen4 NVMe) fand ich ein Problem, wenn die primären (oben an die CPU angeschlossenen) PCIE- und NVMe-Ports verwendet wurden. Das Ausführen von dmesg führte zu einer Ausgabe, die mit Dingen wie diesen übersät war:

pcieport 0000:00:06.0: AER: Corrected error received: 0000:02:00.0
nvme 0000:02:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
pcieport 0000:00:06.0: PCIe Bus Error: severity=Corrected, type=Data Link Layer, (Transmitter ID)
pcieport 0000:00:06.0: AER: Error of this Agent is reported first
nvme 0000:02:00.0: [ 6] BadTLP

…nach vielem Ausprobieren fand ich heraus, dass keine Fehler auftraten, wenn die BIOS-Einstellung „PEG – ASPM“ auf [Disabled] oder [L0s] gesetzt war.

Natürlich war dies eine schlechte Option, da [L1] für die Energieeinsparung entscheidend ist. Wenn [L1] oder [L0sL1] verwendet wurde, bestand die einzige Möglichkeit darin, die Link-Geschwindigkeit dieser Ports auf [Gen3] zu setzen, was die Fehler zwar nicht beendete, aber erheblich reduzierte.

Einige Nachforschungen ergaben, dass die Grundursache eine Vielzahl von Dingen sein kann. Da der Austausch des Motherboards oder der CPU kein angenehmer Gedanke war, bestand meine beste Hoffnung darin, auf eine andere NVMe-Marke umzusteigen.

Ich bestellte einige Crucial P3 NVMe-Laufwerke. Dies erwies sich als erfolgreiches Unterfangen: Nachdem ich die WD-Laufwerke durch die Crucial-Laufwerke ersetzt hatte, traten keine Fehler mehr auf, obwohl es sich um Gen3-Laufwerke handelt.

Rätsel des Stromverbrauchs – L1.1 und L1.2 sind nur bei mit dem Chipsatz verbundenen Anschlüssen aktiviert

Als ich die beiden Crucial P3 NVMe-Laufwerke in dem mit der CPU verbundenen PCIEx16-Steckplatz und dem oberen M2-Steckplatz installiert hatte, bemerkte ich höhere Leerlauftemperaturen als erwartet. Während der NAND bei etwa 27-29 °C lag, meldeten die Controller 49-50 °C – viel mehr als ich für diese speziellen Laufwerke erwartet hatte.

Ich wechselte die Festplatte vom PCIEx16-Steckplatz in einen mit dem Chipsatz verbundenen PCIEx4-Steckplatz. Ein interessanter Unterschied zwischen diesen Laufwerken zeigte sich über lspci -vvv:

CPU-verbundener M2-Steckplatz: L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
Chipsatz-verbundener PCIE-Steckplatz: L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+

L1-Sub-States scheinen nur auf den Chipsatz-verbundenen Steckplätzen aktiviert zu werden. Das ist bedauerlich, aber es scheint mit den verfügbaren BIOS-Einstellungen im obigen Screenshot übereinzustimmen.

Schauen wir uns noch einmal das Bild des Motherboards an, um die Situation zu verdeutlichen:

Ich habe beide NVMe-Laufwerke an die mit dem Chipsatz verbundenen PCIE-Steckplätze angeschlossen. Jetzt zeigten beide L1.1+/L1.2+ an und die Temperatur des Controllers sank von 49-50C auf 38-41C.

Leider konnte ich bei verschiedenen A/B-Tests mit diesen beiden Crucial NVMe-Laufwerken mit unterschiedlichen Steckplatzkonfigurationen und verschiedenen BIOS-Einstellungen ein sehr inkonsistentes Temperaturverhalten feststellen, obwohl das JMB585 und ein NVMe-Boot-Laufwerk während dieser Tests ebenfalls angeschlossen waren. Zum Beispiel konnten beide Laufwerke im Leerlauf bei etwa 40 °C liegen, bis ein Soft-Neustart durchgeführt wurde, woraufhin 1 (oder beide) nun im Leerlauf im Bereich von 50 °C liegen konnten. Manchmal schien es möglich zu sein, ein Laufwerk an der mit der CPU verbundenen M.2-Festplatte zu belassen und die Temperatur von 40 °C auf beiden Laufwerken beizubehalten, solange der x16-Steckplatz nicht belegt war. Vermutlich habe ich eine Art Fehler entdeckt. Die Samsung Boot-NVMe-Laufwerke schienen eine konstante Idle-Temperatur zu halten, unabhängig davon, was mit den Crucial NVMe-Laufwerken geschah, also vermutete ich, dass die Crucial-Laufwerke selbst zumindest teilweise schuld daran waren.

Interessanterweise sank die Temperatur eines (oder beider) Controller manchmal bis in den Bereich von 29 °C, wenn die mit dem Chipsatz verbundenen Steckplätze verwendet wurden. Da die Suche nach einem stromsparenden 4TB-NVMe-Ersatz für die Crucial P3 kein realistisches Ziel war, bestand meine größte Hoffnung zu diesem Zeitpunkt darin, dass die ASPM-inkompatible JMicron JMB 585 irgendwie daran schuld war, da sie bald durch die ASPM-kompatible ASMedia ASM 1166 ersetzt werden sollte.

Verspätetes Update: Leider habe ich die Temperaturen während des restlichen Tests nicht im Auge behalten, und die Kühlkörper/Luftströme zwischen den Laufwerken sind alle durcheinander geraten. Aber was auch immer es wert ist, im endgültigen Build liegen die Temperaturen meines Crucial P3-Controllers bei 31-34°C und die NAND-Temperaturen bei 23-24°C.

Rätsel des Stromverbrauchs – Umstieg vom JMB585 auf den ASM1166.

Nach ein paar Wochen kam die ASM1166 an. Zunächst ein paar Informationen über die Karte, die Sie vielleicht hilfreich finden, wenn Sie sie in Betracht ziehen…

Ich begann mit einem Firmware-Flash – ASM1166-Karten haben oft eine alte Firmware, die nicht mit Intel-Motherboards der 600er-Serie funktioniert und, soweit ich weiß, Probleme mit der Energieverwaltung haben kann. Neuere Firmware kann an verschiedenen Stellen gefunden werden, aber ich entschied mich für eine Kopie von SilverStone („fix compatibility issue“ im Download-Bereich von https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/) und folgte den Anweisungen auf https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/. Beachten Sie, dass die SilverStone-Dateien einen identischen MD5-Wert hatten wie die Firmware, die ich in dem Thread auf https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707 gefunden habe.

Für alle, die vorhaben, eine dieser ASMedia-Karten zu kaufen, sollte ich anmerken, dass die Qualität wie bei den meisten SATA-Controllern und HBAs da draußen sehr unterschiedlich ist. Eine meiner Karten hatte einen Kühlkörper, der ein wenig schief saß: Das Wärmeleitpad war dick genug, um zu verhindern, dass er nahe gelegene Komponenten kurzschließt, aber seien Sie sich darüber im Klaren, dass diese Produkte sehr fehleranfällig sein können. Dies ist eine der Situationen, in denen es sinnvoll sein kann, etwas mehr zu bezahlen, um bei einem Anbieter mit guten Rückgaberechten zu kaufen.

Ich habe eine ganze Reihe von A/B-Tests durchgeführt, daher hier ein schneller Vergleich „JMicron JMB585 vs. ASMedia ASM1166“ in Bezug auf den Gesamtstromverbrauch des Systems, auch wenn er vielleicht nur für diese Plattform (oder vielleicht sogar nur für dieses spezielle Motherboard) gilt.

ANTRIEBSLOS

Zunächst wird der Stromverbrauch ohne angeschlossene Laufwerke gemessen (das SATA-SSD-Boot-Laufwerk ist an das Motherboard angeschlossen), um eine Basislinie zu erhalten. PowerTOP wurde für alle Geräte außer der Tastatur verwendet (+1 Watt hinzugefügt). Messungen, nachdem der Display-Ausgang in den Ruhezustand überging.

• 8 Watt – Kein SATA-Controller – C8-Stromversorgungszustand
• 9 Watt – ASM1166 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungszustand C8
• 12 Watt – JMB585 auf dem mit der CPU verbundenen x16-Steckplatz – Leistungsstatus C3
• 15 Watt – JMB585 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungszustand C3
• 22 Watt – ASM1166 auf dem CPU-verbundenen x16-Steckplatz – Leistungszustand C2

Das ASM1166 schneidet hier gut ab, wenn es in einen mit dem Chipsatz verbundenen Steckplatz eingesteckt wird (nur +1 Watt), aber es schneidet schrecklich ab, wenn es an den Haupt-PCI-E-Steckplatz angeschlossen wird (+14 Watt), wo der Leistungsstatus des CPU-Pakets auf C2 sinkt. Schockierenderweise verhält sich der JMB585 genau andersherum, sein Verbrauch ist auf dem mit der CPU verbundenen Steckplatz geringer (und er verursacht kein C2) – Sie werden jedoch bald sehen, dass sich die Dinge ändern, wenn die Laufwerke tatsächlich angeschlossen sind…

Ich habe zusätzliche Tests mit den Controllern durchgeführt, einschließlich „Reise nach Jerusalem“ mit ein paar NVMe-Laufwerken, um zu sehen, ob mehrere Geräte einen Schraubenschlüssel in die Dinge werfen würde, aber nichts Unerwartetes stattgefunden hat, so dass ich diese Details überspringen werde.

WENN FESTPLATTEN INSTALLIERT SIND

Nachdem die Basismessungen abgeschlossen waren, war es an der Zeit, einige Laufwerke an diese Controller anzuschließen. Das SATA-SSD-Boot-Laufwerk blieb auf der Hauptplatine, 2 NVMe-Laufwerke wurden der Mischung hinzugefügt (mit dem Chipsatz verbunden, sofern nicht anders angegeben), und 4 der 2,5-Zoll-SATA-Festplatten wurden auf dem Controller platziert. Ich werde den Verbrauch im „heruntergefahrenen Zustand“ auflisten, nachdem die Festplatten in den Standby-Modus gegangen sind – im „hochgefahrenen Zustand“ war er in jedem Test genau 2 Watt höher, während die Festplatten im Leerlauf waren.

• 10 Watt – ASM1166 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungsstatus C8
• 11 Watt – ASM1166 in einem mit dem Chipsatz verbundenen x4-Steckplatz mit 1 NVMe, das in den mit der CPU verbundenen x16-Steckplatz verschoben wurde – Leistungszustand C6
• 11 Watt – 2x ASM1166 auf mit dem Chipsatz verbundenen x4-Steckplätzen, mit nur 1 NVMe-Laufwerk – Leistungszustand C8
• 16 Watt – JMB585 auf einem Chipsatz-verbundenen x4-Steckplatz – Leistungszustand C3
• 24 Watt – JMB585 auf einem CPU-verbundenen x16-Steckplatz – Leistungszustand C2

Bei 4 über einen mit dem Chipsatz verbundenen Steckplatz angeschlossenen Laufwerken erhöht der ASM1166 den Stromverbrauch des Systems um +2 Watt, während der JMB585 +8 Watt verbraucht. Unbestritten.

Ein zusätzlicher Vorteil ist, dass ich beide ASM1166-Karten im System verwenden konnte, während der Versuch, beide JMB575-Karten gleichzeitig zu verwenden, dazu führte, dass sich das System weigerte zu booten, obwohl das ein plattform- oder mainboardspezifisches Problem sein könnte.

Es gibt jedoch einen Kompromiss – ich habe die JMB585 immer als grundsolide und zuverlässig empfunden, auch in Verbindung mit einem JMB575-Portmultiplier. Meine bisherigen Erfahrungen mit ASMedia-SATA-Controllern waren weniger gut: Die Zuverlässigkeit des ASM1166 bleibt abzuwarten, aber zumindest ist er ein schlechter Kandidat für einen Port-Multiplier, da er kein FBS unterstützt (nur CBS).

Ein paar andere kleinere Probleme, die mit dem ASM1166 auftraten:

1. Beim Entfernen/Wiedereinsetzen des NVMe-Boot-Laufwerks erschien eine BIOS-Meldung, die besagte, dass aufgrund einer GPT-Beschädigung nicht gebootet werden konnte. Die ASM1166-Karten mussten vorübergehend entfernt werden, damit das BIOS das NVMe-Boot-Laufwerk wieder „finden“ konnte (danach konnten sie wieder installiert werden).
2. Die ASM1166-Karten geben an, über *viele* Ports zu verfügen – dies verursacht zusätzliche Boot-Zeit, da Linux alle Ports durchlaufen muss.

Update: SATA und SSD-Marken

In einem der Kommentare wurde erwähnt, dass eine ältere Samsung 840 PRO SSD auf C3 begrenzt ist, während eine Crucial Force GT SSD C8 erlaubt. Obwohl es sich um ältere Laufwerke handelt, fand ich dies dennoch ein wenig überraschend. Es war eine Nachforschung wert.

Ich habe das H770 als Testumgebung mit einem Samsung 850 EVO SATA SSD-Boot-Laufwerk zusammen mit einem Crucial P3 NVMe verwendet und einen benutzerdefinierten Kernel erstellt, damit der Realtek-Netzwerkadapter L1.2 erreichen kann. Kein ASM1166, nur die Intel onboard SATA. Ich erreichte C10, nachdem ich powertop mit auto-tune laufen ließ und den Bildschirm in den Ruhezustand versetzte.

Dann habe ich eine Patriot P210 SATA SSD hinzugefügt. Ich blieb bei C6 hängen.

Ich entfernte die Patriot P210 und versuchte es mit einer 4TB 2.5″ Seagate SATA HDD. C10. Tauschte sie gegen eine 8TB 3,5″ Seagate SATA HDD aus. C10. Tauschte diese gegen eine 14 TB Toshiba SATA-Festplatte. C10. Hinzufügen einer 1 TB Sandisk Ultra 3D SATA SSD zur Toshiba-Festplatte. C10.

Die Lektion hier: Wir müssen bei SATA-SSDs eindeutig wählerisch sein. Hinterlassen Sie gerne einen Kommentar mit guten/schlechten Produkten, die Sie kennen.

Stromverbrauchsrätsel – Fazit

Ein paar wichtige Punkte, wenn man einen niedrigen Verbrauch anstrebt:

1) Motherboard-Unterstützung und BIOS-Konfiguration sind entscheidend – ich hatte schon Motherboards mit sehr unflexiblen BIOSen. Auf diesem hier müssen „Native ASPM“ und die entsprechenden L1-Zustände aktiviert sein (um OS-gesteuert statt BIOS-gesteuert zu ermöglichen), damit der niedrige Stromverbrauch funktioniert.

2) Alle Geräte müssen ASPM L1 unterstützen. Andernfalls müssen Sie wirklich würfeln. Am schwierigsten ist es, SATA-Controller zu finden, die dies unterstützen – wenn möglich, sollten Sie sich ein Motherboard mit genügend SATA-Anschlüssen mit Intel-Chipsatz besorgen, um keine separate Karte zu benötigen. Ich sollte anmerken, dass es nicht immer selbstverständlich ist, NVMe-Laufwerke zu finden, die unter ASPM den stromsparenden APST-Energiezustand unterstützen, und dass Sie auch hier einige Nachforschungen anstellen sollten.

3) Wenn Sie den Energiestatus C8 erreichen können, vermeiden Sie die Verwendung von an die CPU angeschlossenen PCIe-Lanes (oberer PCIe- und M2-Steckplatz). Bei diesem speziellen Motherboard würde ich Ihnen raten, sie nach Möglichkeit ganz zu vermeiden, es sei denn, Sie benötigen entweder den Low-Latency-Pfad mit voller Bandbreite zur CPU oder Ihre Geräte sind so aktiv, dass sie ohnehin nie schlafen. Es sei daran erinnert, dass sowohl meine JMicron- als auch meine ASMedia-SATA-Karten den C-Status des CPU-Pakets auf C2 sinken ließen, wenn sie in den x16-PCI-E-Steckplatz eingesteckt wurden.

4) Das Messen des Stroms aus der Steckdose ist der einzige Weg, um sicher zu gehen, dass das, was man *denkt*, auch wirklich passiert. Ein Kill-A-Watt-Gerät wird sich im Laufe der Zeit bezahlt machen, wenn Sie es benutzen – bedenken Sie, dass ich mein Gerät 2006 gekauft habe (damals $16USD + $14USD Versand über eBay). Damals stellte ich fest, dass unser selten genutztes Faxgerät, das immer eingeschaltet war, 7 Watt verbrauchte… allein dadurch, dass ich dieses eine Gerät ausschaltete, wenn es in den nächsten 10 Jahren nicht benutzt wurde, hat sich das Kill-A-Watt-Gerät mehr als bezahlt gemacht.

Stromverbrauch bei einer Reihe von HDDs

Nachdem im Laufe dieses Prozesses verschiedene Teile in das System ein- und ausgewechselt wurden, sieht die aktuelle Konfiguration wie folgt aus:

• 1x Samsung 970 EVO Plus NVMe (500GB Boot-Laufwerk)
• 2x Crucial P3 NVMe (jeweils 4TB)
• 5x Seagate 2.5″ HDD (jewiels 5TB – 4TB genutzt)
• 6x Seagate 3,5″-HDD (jeweils 10TB – 8TB genutzt)
• 2x ASM1166-Karten mit SATA-Anschlüssen

Von der Wand gemessene Gesamtleistung (Bildschirm eingeschaltet, Tastatur aktiviert):

• 50 Watt mit allen 11 Festplatten im aktiven Leerlauf
• 38 Watt mit den 6x 3,5″ HDD im Idle_B
• 34 Watt mit den 6x 3,5″ HDD im Idle_C
• 21 Watt mit der 6x 3,5″-Festplatte im Standby_Z (heruntergedreht)
• 18 Watt mit der 5x 2,5″ HDD ALSO im Standby
• 16 Watt bei ausgeschaltetem Displayausgang ALSO
• 15 Watt, wenn PowerTOP die USB-Tastatur deaktivieren kann

Seagate gibt den Standby-Verbrauch dieser 3,5″-Laufwerke mit jeweils etwa 0,8 W und der 2,5″-Laufwerke mit jeweils etwa 0,18 W an. Dies stimmt mit meinen obigen Angaben überein. Meine Zahlen für die aktive Leerlaufzeit stimmen auch ziemlich gut mit den Angaben von Seagate überein.

Die offensichtliche Beobachtung: Im Vergleich zu den übrigen Systemkomponenten sind die 3,5″-Laufwerke stromhungrige Monster.

Die HDDs werden irgendwann durch SSDs ersetzt werden. Da der Stromverbrauch im Leerlauf so niedrig ist wie im HDD-Standby-Modus, besteht keine große Eile, und dieser Prozess wird nach und nach stattfinden, wenn meine HDD-Laufwerke/Ersatzteile sterben und die SSD-Preise sinken.

Der Plan für das „Endspiel“ ist ein reiner SSD-Bau. Ursprünglich war der Plan für 1 Boot-Laufwerk, 6xNVMe (wahrscheinlich Crucial P3 4TB) für ein RAIDZ2-Array und 6xSATA (wahrscheinlich Samsung 870 QVO 8TB) für das zweite RAIDZ2-Array. Da die Verwendung der mit der CPU verbundenen M2/PCIe-Steckplätze nicht nur Unvorhersehbarkeit mit sich bringt, sondern auch leichte Kosten für C-State/Strom/Temperatur mit sich bringt, könnte ich diesen Plan ändern und ein paar NVMe im ersten Array aufgeben und stattdessen SATA verwenden, damit ich die mit der CPU verbundenen Lanes nicht anfassen muss. Die Zeit wird es zeigen.

Unnötige Details zur Lagerung

Dieser Teil ist nur lesenswert, wenn Sie sich für akribische Details über die Lagerung interessieren. Andernfalls können Sie mit dem letzten Abschnitt fortfahren.

NVMe-Boot-Laufwerk

Wie bereits angedeutet, handelt es sich um eine Samsung 970 EVO Plus. Derzeit werden weniger als 4 GB des 500-GB-Speicherplatzes genutzt (eine 64-GB-Swap-Partition ist vorhanden, wird aber immer auf 0 genutzt). Die Wahl fiel ursprünglich auf diese Festplatte, weil Samsung einen guten Ruf für seine Zuverlässigkeit hat (die in letzter Zeit etwas nachgelassen hat), und weil Samsung in Tests immer dann gut abschnitt, wenn es um den Stromverbrauch im Leerlauf ging. Dieses Laufwerk befindet sich fast immer im Leerlauf, und die Temperaturen von Controller und NAND blieben während aller Tests niedrig (20-24 °C). Möglicherweise wird sie irgendwann gegen eine SATA-SSD ausgetauscht, um einen NVMe-Anschluss freizugeben.

2,5″-HDD

Diese Laufwerke werden für das primäre ZFS RAIDZ2-Array mit 6 Laufwerken verwendet – das am meisten genutzte. An einem Tag in der Woche ist sie mit einer Aufgabe beschäftigt, die das Lesen von einigen TB im Laufe von 24 Stunden beinhaltet. Der Rest der Woche wird nur sporadisch genutzt, und die Laufwerke werden die meiste Zeit der Woche heruntergefahren. Wenn Sie sich fragen, warum 2,5-Zoll-Laufwerke anstelle von 3,5-Zoll-Laufwerken verwendet werden, gibt es einen Grund: den Stromverbrauch.

Der Stromverbrauch der 2,5-Zoll-Festplatten von Seagate ist wirklich beeindruckend. Im Leerlauf liegt der Wert bei 0,18 W, im Leerlauf bei 0,85 W, und die durchschnittlichen Lese-/Schreibwerte liegen bei etwa 2 W. Es gibt viele SSDs mit schlechteren Stromverbrauchswerten als diese Spinning Rust. 5 TB Kapazität bedeuten eine Menge Speicherplatz pro Watt.

Die größten Nachteile dieser 2,5-Zoll-Festplatten von Seagate sind:

• Keine großartige Leistung. 80-120 MB/s Spitzenwerte beim Lesen/Schreiben. Fairerweise muss man jedoch sagen, dass viele TLC/QLC-SSDs auf diese Schreibgeschwindigkeiten fallen, wenn ihr SLC-Cache erschöpft ist.
• SMR (Shingled Magnetic Recording). Die Leseleistung ist in Ordnung, aber die Schreibleistung stürzt bei zufälligen Schreibvorgängen absolut ab – sie verhält sich wie eine QLC-SSD ohne SLC-Cache, die auch nicht über TRIM verfügt.
• Geringe Nennauslastung (55 TB/Jahr gegenüber 550 TB/Jahr bei 3,5″-Laufwerken von Exos).
• Keine konfigurierbare Fehlerbehebungszeit (SCT ERC), und diese Laufwerke können bei einem Fehler minutenlang hängen bleiben, während sie unermüdlich versuchen, den problematischen Sektor neu zu lesen. Ubuntu muss so konfiguriert werden, dass es wartet, anstatt zu versuchen, das Laufwerk nach 30 Sekunden zurückzusetzen.
• Höhere Fehlerraten, wenn sie heiß werden (ich musste schon einige austauschen und habe festgestellt, dass sie es nicht mögen, wenn sie heiß laufen).
• Typische HDD-Probleme (langsames Hochdrehen usw.).

Um gegenüber Seagate absolut fair zu sein, werden diese Festplatten als externe USB-Backup-Laufwerke verkauft. Diese 15 mm großen Festplatten aus dem Gehäuse zu nehmen und sie als RAID-Mitglieder in einem NAS zu verwenden, ist nicht gerade eine bestimmungsgemäße Verwendung. Der extrem niedrige Stromverbrauch ist enorm, aber es gibt offensichtliche Kompromisse.

Langfristig werden diese 2,5-Zoll-Laufwerke mit 4/5 TB langsam durch 4-TB-SSD-Laufwerke (möglicherweise alle NVMe) ersetzt werden. SSDs mit einer Kapazität von 4 TB sind seit 2021/2022 für den Endverbraucher verfügbar und kosten etwa das 4-5fache der Spinner. Weniger als 2 Jahre später sind sie auf etwa den doppelten Preis gesunken, und ich erwarte, dass anständige Marken mehr als doppelt so lange halten wie die Spinner von Seagate.

Wenn das Crucial P3 (Gen3)-Modell weiterhin verfügbar ist, werde ich wahrscheinlich bei diesem Modell bleiben, obwohl es auf Gen3-Geschwindigkeiten beschränkt ist. Ich habe die Crucial P3 Plus (Gen4) in Erwägung gezogen, aber der Stromverbrauch war in den Testberichten höher, obwohl es nur sehr wenige Situationen gab, in denen auch die Leistung deutlich höher war. Meine größte Sorge bei der P3 Plus (Gen4) war, dass sie bei Problemen mit ASPM/APST laut Tom’s Hardware im Leerlauf 0,3 W mehr Strom verbraucht als die P3 (Gen3) für das 2-TB-Modell. Ich ziehe es vor, dass der Stromverbrauch im schlimmsten Fall so niedrig wie möglich ist.

3,5″-FESTPLATTE

Wird im sekundären RAIDZ2-Array mit 6 Laufwerken verwendet – ein Backup-Array, das etwa 2 Stunden pro Woche hochgefahren wird und auf das konstant viele Daten geschrieben werden.

Der Stromverbrauch der 3,5-Zoll-Festplatten von Seagate entspricht in etwa dem, was man erwarten würde. Diese 10-TB-Laufwerke verbrauchen im Standby-Modus jeweils 0,8 W, im Leerlauf 2-5 W und beim Lesen und Schreiben 6-9 W.

Hier gibt es zwei Bedenken:

• Diese Laufwerke sind so ausgelegt, dass sie beim Schreiben zusammen etwa 45-50 Watt verbrauchen. Das ist ein bisschen zusätzliche USV-Last, die ich nicht wirklich haben möchte, wenn es während der Backups zu einem längeren Stromausfall kommt (ich bleibe bei 1500-Watt-USVs).
• Diese sind so ausgelegt, dass sie im Standby-Modus zusammen etwa 4,8 Watt ziehen. Auch hier würde es mir nichts ausmachen, etwas USV-Last einzusparen.

Langfristig werden diese Laufwerke wahrscheinlich durch Samsung 870 QVO 8TB SATA-Laufwerke ersetzt. Die 870 QVO verbraucht 0,041 W/0,046 W im Leerlauf mit ALPM, 0,224 W/0,229 W im Leerlauf ohne ALPM und 2,0-2,7 W während einer Kopie (laut Toms/Anandtech).

Preislich gesehen ist die 8TB-SATA-SSD von Samsung derzeit ein gutes Stück teurer als 8TB-Spinner (fast das Dreifache). Wenn diese Laufwerke also nicht aus irgendeinem Grund häufiger verwendet werden, wird der Austausch gegen die SSDs mit ziemlicher Sicherheit warten, bis ich keine Ersatzteile mehr habe.

NVMe-Cache-Laufwerk

Das Ersetzen meines Spinning Rust durch SSDs ist ein Prozess, der wahrscheinlich eine Weile dauern wird.

In der Zwischenzeit hat ZFS einige Optionen, um Hochgeschwindigkeitsspeicher (typischerweise SSD) vor langsamerem Speicher zu nutzen:

• „Special“ Allocation Class – erlaubt es Ihnen, ein vdev speziell für Metadaten und für „kleine“ Blöcke zu erstellen, falls gewünscht.
• Ein Cache-Laufwerk, allgemein bekannt als L2ARC.

Wenn Sie bei der Pool-Erstellung ein „spezielles“ vdev erstellen, werden alle Metadaten (und optional kleine Blöcke einer von Ihnen gewählten Größe) auf dem „speziellen“ vdev statt auf dem rotierenden Rost abgelegt. Sehr schnelle Dateilisten und Verzeichnisdurchläufe, während der Spinning Rust für die Dateien selbst verwendet wird. Ja, Sie können eine Reihe von Verzeichnissen „ls“, ohne Ihre Festplatten aus dem Schlaf zu wecken. Der größte Nachteil ist, dass alle Metadaten auf dieser Festplatte liegen, und wenn sie jemals stirbt, ist der Zugriff auf alle Daten im Grunde genommen weg. Sie sollte also zumindest gespiegelt werden. Vielleicht sogar eine 3-Wege-Spiegelung. Verabschieden Sie sich von ein paar Ports.

Der L2ARC ist ein wenig anders. Es handelt sich im Wesentlichen um einen Level-2-Cache. Wenn der Cache im RAM voll ist, kopiert ZFS einige der Blöcke in den L2ARC, bevor es den Inhalt aus dem RAM entfernt. Wenn das nächste Mal auf diese Daten zugegriffen werden muss, werden sie von der L2ARC anstatt von der Festplatte gelesen. Ein Vorteil gegenüber dem „speziellen“ vdev ist, dass man mit nur einer SSD auskommt – wenn es ein Problem mit den Daten in der L2ARC gibt (schlechte Prüfsumme, Laufwerk stirbt, etc.), liest ZFS den Inhalt einfach von der Originalplatte. Wenn die L2ARC voll ist, fängt ZFS einfach wieder am Anfang der SSD an und überschreibt die Daten, die es vorher geschrieben hat, was einige Vorteile (alte Daten, auf die nie mehr zugegriffen wird) und Nachteile (Daten, auf die häufig zugegriffen wurde und die erneut auf die L2ARC geschrieben werden müssen) hat. Sie können auch nach Belieben L2ARC-Geräte zum Pool hinzufügen/entfernen – wollen Sie eine 64GB SSD, 500GB SSD und 2TB SSD hinzufügen? Nur zu – ZFS wird die Blöcke auf sie verteilen. Möchten Sie die 500-GB-SSD ein paar Tage später aus dem Pool entfernen und anderweitig verwenden? Kein Problem. Der größte Nachteil des L2ARC ist, dass Sie wahrscheinlich Ihren Pool vermasselt haben, wenn Sie beim Hinzufügen des Geräts vergessen haben, „Cache“ anzugeben. Außerdem ist er unvollkommen: selbst bei sorgfältiger Einstellung ist es schwer, ZFS dazu zu bringen, ALLES, was man will, auf den L2ARC zu schreiben, bevor er aus dem Speicher entfernt wird. Gleichzeitig kann die L2ARC, abhängig von Ihren Daten, eine Menge Schreibvorgänge sehen, und Sie müssen den Zustand Ihrer SSD sorgfältig überwachen.

In der Vergangenheit habe ich die „Spezial“-Vdev und die L2ARC benutzt, und ich habe beide gleichzeitig benutzt (man kann die L2ARC sogar anweisen, Dinge, die bereits auf der „Spezial“-Vdev enthalten sind, nicht zu cachen).

Dieses Mal habe ich mich einfach für einen L2ARC auf einer 4TB NVMe entschieden: sobald alle anderen 2,5″-Laufwerke durch SSD ersetzt wurden und die Geschwindigkeitsvorteile eines SSD-Caches nicht mehr gelten, kann ich dieses Cache-Gerät einfach entfernen (obwohl theoretisch ein L2ARC-Cache-Laufwerk, das den Großteil der Lesevorgänge abwickelt, es den anderen NVMe-Laufwerken ermöglichen würde, länger im Energiesparmodus zu bleiben…).

Fazit – Bedauern? Zweifeln? Was hätte anders laufen können?

Im Gegensatz zum ASRock J4005, bei dem ich nach einiger Zeit merkte, dass ich mich in vielerlei Hinsicht selbst in die Knie gezwungen hatte, habe ich hier nicht das gleiche Gefühl. Diesmal hatte ich eine niedrige Leerlaufleistung UND ein ziemlich leistungsfähiges System, das auch dann noch flexibel sein sollte, wenn es in Zukunft wiederverwendet wird.

Ich bin mit der Wahl meiner Komponenten recht zufrieden, obwohl ich neugierig wäre, wie das MSI PRO Z790-P DDR4 (eines der anderen Mainboards, die ich in Betracht gezogen habe) im Vergleich abschneiden würde. Was die Funktionalität angeht, hat das MSI den Vorteil von 6xSATA-Anschlüssen, aber es hat den offensichtlichen Nachteil des berüchtigten Intel 2.5G-Netzwerkchips. Das MSI hat auch einen PS/2-Anschluss, und ich habe noch nie überprüft, ob der Stromverbrauch der PS/2-Tastatur niedriger ist als der des USB-Anschlusses (ich erinnere mich, dass ich 1 Watt einspare, wenn ich zulasse, dass Powertop den USB-Tastaturanschluss abschaltet). Und natürlich wäre es interessant, die ASPM- und ALPM-Einstellungen zu vergleichen und zu sehen, ob die Probleme, auf die ich mit CPU-gebundenen PCIe/M.2-Steckplätzen gestoßen bin, in gleicher Weise bestehen.

Während dieses System derzeit im Leerlauf mit Laufwerken im Standby im Bereich von 15-16 Watt liegt, würde ich, sobald alle HDDs durch SSDs ersetzt sind, einen Leerlaufverbrauch von etwa 10-11 Watt erwarten, was für 72 TB an Laufwerken, 64 GB RAM und einen ziemlich guten Prozessor nicht schlecht ist.

Aktualisierung: Aktuelle Linux-Kernel deaktivieren die L1-Energiesparmodi der meisten Realtek-NICs, was die CPU daran hindert, in vernünftige C-Zustände zu gelangen, was den Stromverbrauch um einiges erhöht. Es gibt zwar Workarounds, aber in Zukunft werde ich mich wahrscheinlich auf Motherboards mit Intel 1-Gigabit-Netzwerkadaptern beschränken (und vielleicht zu Intel 2,5-Gigabit wechseln, wenn klar ist, dass sie alle Probleme gelöst haben). Weitere Details über die Realtek NIC-Situation finden Sie in den Kommentaren unten.