Beginnen wir mit einer kleinen Vorgeschichte:
- 2016: Bau eines Low-Power-PCs auf Skylake – 10 Watt im Leerlauf
- 2019: 9 Watt im Leerlauf: Erstellen eines energiesparenden Heim-NAS-/Dateiservers mit 4 Speicherlaufwerken
- 2021: (kein Eintrag) – 11 Watt mit einem Intel i3-10320 auf einem Gigabyte H470M DS3H
Nicht alle meine Systeme waren so erfolgreich. Im Jahr 2022 habe ich im Rahmen des Projekts Eindämmung der „Gas-Guzzling“-Tendenzen von AMD Radeon mit Multi-Monitorein paar andere Systeme mit 19 Watt und 27 Watt gemessen. Obwohl ich es einige Zeit später geschafft habe, den Stromverbrauch des 27-Watt-AMD-Systems zu senken, ist nicht jede CPU/Motherboard-Kombination für die 10-Watt-Grenze geeignet.
—
Bevor wir weitermachen, möchte ich darauf hinweisen, dass die 7 Watt für dieses System vor dem Einbau eines Speichers angegeben wurden. Die 7 Watt (gemessen an der Wand) beinhalten:
- Hauptplatine (Intel H770)
- CPU (Intel i5-12400)
- 64GB RAM
- SSD (Ubuntu Server 23.04 wird gebootet)
- Netzteil (Corsair)
- C-States im BIOS so eingestellt, dass es C8 erreicht
- powertop mit Auto-Tune (was die USB-Tastatur deaktiviert, wenn der Port in den Ruhezustand ge
Beachten Sie, dass ich, wenn ich nicht zulasse, dass powertop die Tastatur deaktiviert, 8 Watt an der Wand gemessen bekomme.
—
Kommen wir zu den detaillierten Spezifikationen und der Auswahl der Komponenten. Dieses Mal hatte ich die folgenden Ziele:
- geringer Stromverbrauch im Leerlauf
- angemessene CPU-Leistung für die Komprimierung
- in der Lage, 12 Festplatten + mindestens 1 NVMe zu verwalten
- Kapazität, um diese 12 Festplatten (eventuell) in 6 NVMe + 6 SSD SATA zu konvertieren
- die Kosten unter Kontrolle zu halten – da der Kauf eines Motherboards erforderlich wäre, versuche ich, bei DDR4 zu bleiben und eine CPU zu verwenden, die ich bereits habe.
Die Zusammenstellung eines neuen Systems mit der Hoffnung, in den Bereich von 10 Watt zu kommen *von der Wand aus gemessen*, ist oft nicht nur eine Herausforderung, sondern auch ein bisschen ein Glücksspiel. Manchmal muss man einfach seine besten Vermutungen in Bezug auf die Komponenten anstellen, sein System bauen, tunen, was man kann, und die Dinge laufen lassen, wie sie fallen.
Hauptplatine – ASUS Prime H770-Plus D4
Bevor ich beginne, hier ein kurzer Blick auf das Motherboard-Layout. Die GRÜNEN Steckplätze, die mit der CPU verbunden sind, und die ORANGEfarbenen, die mit dem Chipsatz verbunden sind, werden im Laufe dieses Berichts relevant werden.
Zum Zeitpunkt des Verfassens dieses Artikels waren Mainboards der Intel 600/700-Serie und der AMD 500/600-Serie weithin verfügbar.
Eines meiner oben genannten Ziele war die Kapazität für eventuelle 6 NVMe-Laufwerke.
Ich gehe näher darauf ein, warum dies eine Herausforderung sein kann (Sie können diesen Abschnitt gerne überspringen)…
Problem: Es gibt 0 Consumer-Motherboards mit 6x M.2-Steckplätzen, die alle gleichzeitig im PCIe-Modus genutzt werden können. Bei AMD sieht das MEG X570S Unify-X Max so aus, aber ein Blick ins Handbuch verrät, dass der letzte Steckplatz eine SATA-Variante sein muss, wenn man alle 6 Steckplätze nutzen will. Das ASRock Z790 PG Sonic hat ebenfalls 6 Steckplätze, aber man kann nur 5 davon nutzen (mit einer legitimen Ausrede: Sie bieten einen Gen5-NVMe-Steckplatz an, aber der kommt mit einem Entweder-Oder-Vorbehalt).
Warum es dieses Problem gibt: Es gibt Chipsatz-Lane-Beschränkungen auf Consumer-Boards. Angenommen, ich möchte alle M.2-Steckplätze in Gen4x4 nutzen und ein Hersteller wäre bereit, alle Lanes für M.2-NVMe-Steckplätze zur Verfügung zu stellen (was nicht der Fall ist), würden AMD X570 und Intel B760 maximal drei M.2-Steckplätze bieten, während AMD B650 und Intel H670/Q670/Z690/W680 vier Steckplätze zur Verfügung stellen. Fünf M.2-Steckplätze sind auf AMD X670- und Intel H770-Boards möglich. Sechs auf einem Z790-Board. Darüber hinaus wären außergewöhnliche Maßnahmen erforderlich, wie z. B. das Entfernen von Lanes aus dem Haupt-PCIE-Steckplatz. Wenn die Anzahl der M.2-Steckplätze erhöht werden soll, könnten die Hersteller theoretisch Lanes in Gen4x2 ausführen oder einige Gen3-M.2-Steckplätze hinzufügen, aber dann haben sie ein *sehr* großes Nischenprodukt geschaffen.
Die Lösung: PCI-E-zu-M.2-Adapter wurden notwendig. Bei der Suche nach einem Motherboard ging es nun darum, die vorhandenen M.2-Steckplätze mit allen verfügbaren PCI-E-Steckplätzen, die x4 oder mehr unterstützen, zu kombinieren. Meine Optionen waren nun auf AMD X570-, Intel H770- und Intel Z790-Motherboards beschränkt. Beachten Sie, dass die Verwendung von Bifurkation auf einigen Motherboards zwar eine Möglichkeit ist, mehr als 1 NVMe aus dem Haupt-PCIe-Steckplatz herauszuholen, ich habe mich jedoch entschieden, mich nicht darauf zu verlassen.
Ich habe mich aus mehreren Gründen für die Intel-Route entschieden:
- Chipsatz-TDP: Die Chipsätze der 600/700er-Serie von Intel haben alle einen TDP von 6 W, während der TDP des AMD X670-Chipsatzes ziemlich hoch ist (7 W + 7 W). Der Stromverbrauch der AMD-Chipsätze macht mir seit einiger Zeit Sorgen, da frühere X570-Chipsätze einen TDP von 11 W hatten und einen Lüfter benötigten.
- Chipsatzgeschwindigkeit: Intel H670/Q670/W680/Z690/H770/Z790 Chipsätze haben eine DMI 4.0 x8 Verbindung zur CPU. AMD X570/B650/X670 haben eine PCIe 4.0 x4-Verbindung zur CPU. Theoretisch sollte der Durchsatz bei Intel doppelt so hoch sein wie bei AMD (16 GB/s gegenüber 8 GB/s).
- Ich hatte bereits 64 GB DDR4, die das Intel-System nutzen konnte. AMD-Chipsätze der 600er-Serie sind alle nur für DDR5 geeignet.
- Ich hatte bereits eine Intel-CPU der 12ten Generation.
- Ich habe noch keine positive Diskussion über den Stromverbrauch von AM5 gesehen. Überhaupt nicht. Update: Während ich dies schrieb, gab es Neuigkeiten über AMD-CPUs der 7000er-Serie, die an der Stelle, an der die Pins des Motherboard-Sockels auf die CPU treffen, durchbrennen/beulen. Ja, tut mir leid, AMD, dieses Mal nicht.
Also war es Intel. Nachdem ich mir die auf dem Markt erhältlichen DDR4-Motherboards angesehen hatte, konnte ich die Auswahl schnell auf 2 Hersteller eingrenzen: MSI und ASUS.
Interessieren Sie sich nicht für die Brettvergleiche? Dann können Sie das hier überspringen.
Die verlockenden MSI-Boards waren das PRO Z790-P WIFI DDR4 und das Z790-A WIFI DDR4. Oberflächlich betrachtet sind sie fast identisch, außer dass das „A“ ein wenig hochwertiger ist (Audio, rückwärtige Anschlüsse, Kühlkörper, Leistungsphasen usw.). Vor- und Nachteile:
- Pro: 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 unterstützt insgesamt 6 Gen4 NVMe
- Pro: 2x PCIE Gen3x1 zusätzlich
- Pro: 6 SATA-Anschlüsse
- Nachteil: Intel 2.5G LAN (bekanntermaßen problematisch und fehleranfällig)
- Nachteil: Ich bin kein Fan des MSI-BIOS
- Nachteil: Mein aktuelles B660-Board, das einen höheren Idle-Verbrauch als erwartet aufweist, ist ein MSI.
Attraktive ASUS-Optionen waren das Prime H770-Plus D4 und das Prime Z790-P D4 (optionale WIFI-Edition). Die TUF, Strix oder ProArt waren einfach zu teuer.
Ich beginne mit einer Auflistung der Vor- und Nachteile des H770-Plus:
- Pro: 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 unterstützt insgesamt 6 Gen4 NVMe
- Pro: 2x PCIE Gen3x1 zusätzlich
- Nachteil: Nur 4 SATA-Anschlüsse
Pro: 2.5G Realtek Netzwerkadapter (heutzutage dem Intel 2.5G LAN vorzuziehen)(siehe Kommentare)Das Z790-P D4 ist ähnlich, hat aber mehr Leistungsphasen, bessere Kühlung, mehr USB-Anschlüsse, einen zusätzlichen Lüfteranschluss und für unsere Zwecke…:
- +1 PCIE Gen4x4
- -1 PCIE Gen3x1
Letztendlich war das ASUS Prime H770-Plus D4 zu diesem Zeitpunkt etwa 100 Dollar günstiger und ich habe mich dafür entschieden.
Ein Vorteil, den ich bei „billigeren“ Boards festgestellt habe, ist, dass sie in der Regel weniger Komponenten haben und daher im Leerlauf weniger Strom verbrauchen, obwohl das nicht immer eine Gewissheit ist.
CPU – Intel i5-12400 (H0 stepping) – Alder Lake
Ich hatte diese CPU bereits als Teil eines früheren Desktop-Builds. Damals wurde sie für das Desktop-System ausgewählt, weil:
- sie AV1-Hardware-Dekodierung hatte
- sie die höchste verfügbare Leistung aus der Intel-Produktpalette der 12. Generation hatte, die den E-Core-Silizium-Overhead vermeidet
- in diesem Build wollte ich sowieso ein neues Motherboard mit 2xDP kaufen, und eine ältere Generation zu verwenden, machte für mich keinen Sinn.
Dieses Desktop-Build erwies sich als Enttäuschung und zählt zu meinen unbeliebtesten Builds.
Einige Details…
Ich hatte Probleme, bei denen manchmal nur einer von zwei DP-angeschlossenen Monitoren in Linux aufwachte, was bedeutete, dass ich entweder den anderen DP-Anschluss ziehen/umstecken oder das System manuell in den Ruhezustand versetzen/fortsetzen musste, damit es erneut versucht werden konnte.
Ein weiteres Problem war, dass ein Neustart zwischen Windows/Linux manchmal seltsame Probleme verursachte, die ein vollständiges Ausschalten/Neustarten erforderten.
Die Hardware-Dekodierung unter Ubuntu mit Wayland ist immer noch problematisch, und wenn Programme versuchten, damit Videos abzuspielen, traten Probleme auf.
Im Gegensatz zu meinen vorherigen Intel-Systemen, die alle unter die 10-Watt-Marke gebracht werden konnten, lief dieses System mit 19 Watt im Leerlauf, obwohl ich vermutete, dass das von mir verwendete MSI-Motherboard ein Faktor sein könnte.
Die meisten Kopfschmerzen, die ich hatte, betrafen die GPU und den Bildschirm. Da ich im Begriff war, etwas Serverorientiertes zu bauen, war das kein Faktor mehr.
SPEICHER – 64GB DDR4-3200
Das habe ich verwendet:
- 2x16GB Kingston HyperX dual-rank (Hynix DJR)
- 2x16GB Kingston HyperX single-rank (Hynix CJR)
Das war Speicher, den ich bereits hatte. Ich habe die 4 Speichersticks mit dem XMP-Profil des Dual-Rank-Kits betrieben, das 16-18-18-36 betrug. Alles andere habe ich im Wesentlichen auf den Standardwerten belassen, außer dass ich den RAM mit 1,25 Volt betrieben habe (höher als die Standardwerte von 1,20, aber niedriger als die XMP-Einstellung von 1,35 Volt). TestMem5 und Memtest86 zeigten Stabilität bei 1,22V, obwohl Tests dieses Speichers auf früheren Motherboards gezeigt hatten, dass 1,22V instabil waren, also erhöhte ich die Spannung auf 1,25V, um einen kleinen zusätzlichen Puffer in Sachen Stabilität zu haben.
Boot-Laufwerk – Sandisk Ultra 3D 1TB SSD
Diese Komponente wurde nicht absichtlich gewählt. Als ich eine frische Ubuntu-Server-Installation zum Testen durchführen wollte, war dies die einzige SSD, die ich noch herumliegen hatte und die gerade nicht benutzt wurde. Ich wollte viele A/B-Tests mit PCIE- und NVMe-Geräten durchführen, so dass die Installation von Ubuntu 23.04 auf einer SATA-SSD sinnvoll war, um PCIE-Steckplätze frei zu halten.
Beachten Sie, dass das Hauptbetriebssystem nach den Tests auf einer Samsung SSD 970 EVO Plus 500GB NVMe ausgeführt werden sollte. Dazu gibt es nicht viel zu sagen, außer, dass die Samsung-Laufwerke dazu neigen, zuverlässig in den Energiesparmodus zu wechseln.
Da ich beide Laufwerke verwendet habe, kann ich bei meinen Tests keinen Leistungsunterschied zwischen ihnen messen. Tom’s Hardware testete die Samsung im Leerlauf mit 0,072 Watt (über ASPM/APST), und Anandtech testete die Sandisk Ultra 3D im Leerlauf mit 0,056 Watt (über ALPM). Beide liegen deutlich unter der 1-W-Auflösung meines Kill-A-Watt-Meters.
Netzteil – Corsair RM750
So sehr dieses 750-W-Netzteil für ein System, das auf 10 Watt ausgelegt ist, als Overkill erscheinen mag – wenn 12 Laufwerksmotoren gleichzeitig laufen, ist die momentane Last wahrscheinlich ziemlich hoch. Seagate gibt 2A/3A DC/AC-Spitzenströme auf der 12-V-Schiene für eines seiner 10 TB 3,5-Zoll-Laufwerke an. Selbst die Spitzenwerte für zufällige Lese-/Schreibvorgänge können über 2 A betragen.
Dieser stoßweise Strombedarf kann problematisch werden, wenn das Netzteil der Aufgabe nicht gewachsen ist. Wenn ein Array aus 6 Laufwerken zusammen 150-200 Watt zieht, während die CPU in der Spitze 120 Watt zieht, ist das ein Sprung von etwa 10 Watt im Leerlauf auf etwa 400 Watt. Dies kann leicht zu einem sofortigen Spannungseinbruch führen – wenn der Einbruch groß genug ist, um einen sofortigen Absturz/Neustart zu verursachen, ist das wahrscheinlich keine große Sache, aber wenn der Einbruch gerade groß genug ist, dass Daten während einer Speicheraktualisierung oder wenn ein anderes Laufwerk mitten im Schreibvorgang ist, beschädigt werden… ist das ein schmerzhafteres Problem. Eine gewisse Überdimensionierung des Netzteils (oder das Hinzufügen von Kondensatoren zu den Stromschienen) ist sinnvoll.
Glücklicherweise ist ein Großteil der Corsair RM-Serie trotz des Betriebs außerhalb des Spitzenwirkungsgrads in einem weiten Bereich ziemlich effizient.
Leistungsmessungen – Initial
Ein paar wichtige Informationen:
- Die Leistung wurde an der Wand gemessen
- Intel PowerTOP wurde zur automatischen Anpassung der Einstellungen verwendet
- Ubuntu Server 23.04
Ein paar potenziell wichtige BIOS-Bits:
- CPU C-States wurden im BIOS aktiviert (C10)
- ASPM wurde aktiviert und alles auf L1 gesetzt
- RC6 (Render Standby) aktiviert
- Aggressive LPM-Unterstützung aktiviert (ALPM)
- DEAKTIVIERT: HD-Audio, Konnektivitätsmodus, LEDs, GNA-Gerät, serieller Anschluss
9-10 Watt war der Verbrauch, wenn die Bildschirmausgabe eingeschaltet war.
7 Watt war der Verbrauch, wenn das Display ausgeschaltet war (Kernel-Boot-Parameter consoleblank=600 für einen 600-Sekunden-Timer), was bei diesem System die meiste Zeit der Woche der Fall ist.
8 Watt war der Verbrauch, wenn die Energieverwaltung der USB-Tastatur deaktiviert war. Wenn man sich nicht per SSH in den Server einwählt, kann es notwendig sein, das zusätzliche Watt für die Tastatur zu verwenden.
Problematische Leistungsmessungen – Belastet mit sich drehendem Rost (nicht drehend)
Wie eingangs erwähnt, habe ich mit 12 Festplatten begonnen. Die Hälfte waren 2,5″ und die andere Hälfte 3,5″. Da das Motherboard nur 4 SATA-Anschlüsse hat, wurden ein SATA-Controller und ein Port-Multiplier verwendet, um die restlichen Laufwerke zu verwalten. Zusätzlich wurden anfangs 4 NVMe-Laufwerke verwendet: eines davon, ein Western Digital SN770, neigte dazu, selbst im Leerlauf ziemlich heiß zu werden, was darauf hindeutet, dass es wahrscheinlich nicht in den Energiesparmodus ging.
Mit allen angeschlossenen Geräten, im Leerlauf, mit ausgeschaltetem Bildschirm und mit den 12 Laufwerken im Standby-Modus war ich schockiert, als ich feststellte, dass mein Stromverbrauch im Leerlauf von 7 Watt auf satte 24-25 Watt gestiegen war. Viel zu viel! Irgendetwas stimmte nicht.
Rätsel des Stromverbrauchs – Untersuchung und Diagnose bei hohem Stromverbrauch
Ich trennte die Festplatten und begann, die Komponenten einzeln zu testen. Das waren ziemlich grobe Tests, um eine ungefähre Vorstellung von dem Übeltäter zu bekommen, daher sind die Zahlen hier nicht präzise.
Ich fand schnell heraus, dass der von mir verwendete JMB585-SATA-Controller den Stromverbrauch um etwa 6-10 Watt erhöhte (genaue Messungen in einem späteren Abschnitt). Der Controller selbst sollte nur ein paar Watt verbrauchen, und der winzige Kühlkörper blieb kühl, also war da offensichtlich mehr los. Wohin ging der Strom?
Ich beschloss, die C-Zustände des CPU-Pakets zu beobachten. Ohne den JMB585-SATA-Controller erreichte das System C6. Als der JMB585 wieder angeschlossen wurde, erreichte das System höchstens C3. Aha! Aber warum? Es stellte sich heraus, dass die CPU nicht in den Tiefschlaf geht, wenn ein über PCIE angeschlossenes Gerät nicht in den ASPM L1-Modus wechselt. Die JMB585-Controllerkarten scheinen keine ASPM-Unterstützung zu haben.
Bei weiteren Experimenten fand ich noch etwas anderes heraus, das ich nicht kannte, und das hat mit C6 vs. C8 zu tun. Das System erreicht nur dann C8, wenn nichts an die an die CPU angeschlossenen PCIE-Lanes angeschlossen ist. Mit anderen Worten: Wenn irgendetwas an den oberen PCIE-Steckplatz oder den oberen NVMe-Steckplatz angeschlossen ist, ist C6 das Maximum. Der Unterschied in der Leistungsaufnahme zwischen C6 und C8 schien in einem einfachen Test weniger als ein Watt zu betragen.
Während C8 also ein Luxus wäre, war C6 ein Muss. C3 verbraucht zu viel Strom. Wenn SATA-Controller die CPU daran hindern, die besten Stromsparzustände zu erreichen, begann ich mich zu fragen, ob ich nach einem Motherboard mit 6-8 SATA-Anschlüssen hätte suchen sollen, damit ich nicht auf zusätzliche Controller angewiesen wäre…
Eine kleine Suche nach SATA-HBAs ergab, dass es hier zwar nicht viele Optionen gibt, aber der ASM1166 SATA-Controller sollte ASPM L1 unterstützen, obwohl die Firmware geflasht werden muss, damit er richtig funktioniert (und auf neueren Intel-Boards überhaupt funktioniert). Das mußte ich bestellen: Ich habe Marvel- und JMicron-Ersatzteile, aber die unterstützen kein ASPM. Eigentlich hatte ich ASMedia seit Jahren gemieden, aber aus der Not heraus bekamen sie jetzt eine neue Chance: Ich bestellte ein paar ASM1166 6-Port-SATA-Controller.
Nebenbei: BadTLP, Bad! AER-Bus-Fehler aus dem pcieport
Eine Erwähnung wert… Während der anfänglichen Tests mit einer WD Black SN770 (Gen4 NVMe) fand ich ein Problem, wenn die primären (oben an die CPU angeschlossenen) PCIE- und NVMe-Ports verwendet wurden. Das Ausführen von dmesg führte zu einer Ausgabe, die mit Dingen wie diesen übersät war:
pcieport 0000:00:06.0: AER: Corrected error received: 0000:02:00.0
nvme 0000:02:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
pcieport 0000:00:06.0: PCIe Bus Error: severity=Corrected, type=Data Link Layer, (Transmitter ID)
pcieport 0000:00:06.0: AER: Error of this Agent is reported first
nvme 0000:02:00.0: [ 6] BadTLP
…nach vielem Ausprobieren fand ich heraus, dass keine Fehler auftraten, wenn die BIOS-Einstellung „PEG – ASPM“ auf [Disabled] oder [L0s] gesetzt war.
Natürlich war dies eine schlechte Option, da [L1] für die Energieeinsparung entscheidend ist. Wenn [L1] oder [L0sL1] verwendet wurde, bestand die einzige Möglichkeit darin, die Link-Geschwindigkeit dieser Ports auf [Gen3] zu setzen, was die Fehler zwar nicht beendete, aber erheblich reduzierte.
Einige Nachforschungen ergaben, dass die Grundursache eine Vielzahl von Dingen sein kann. Da der Austausch des Motherboards oder der CPU kein angenehmer Gedanke war, bestand meine beste Hoffnung darin, auf eine andere NVMe-Marke umzusteigen.
Ich bestellte einige Crucial P3 NVMe-Laufwerke. Dies erwies sich als erfolgreiches Unterfangen: Nachdem ich die WD-Laufwerke durch die Crucial-Laufwerke ersetzt hatte, traten keine Fehler mehr auf, obwohl es sich um Gen3-Laufwerke handelt.
Rätsel des Stromverbrauchs – L1.1 und L1.2 sind nur bei mit dem Chipsatz verbundenen Anschlüssen aktiviert
Als ich die beiden Crucial P3 NVMe-Laufwerke in dem mit der CPU verbundenen PCIEx16-Steckplatz und dem oberen M2-Steckplatz installiert hatte, bemerkte ich höhere Leerlauftemperaturen als erwartet. Während der NAND bei etwa 27-29 °C lag, meldeten die Controller 49-50 °C – viel mehr als ich für diese speziellen Laufwerke erwartet hatte.
Ich wechselte die Festplatte vom PCIEx16-Steckplatz in einen mit dem Chipsatz verbundenen PCIEx4-Steckplatz. Ein interessanter Unterschied zwischen diesen Laufwerken zeigte sich über lspci -vvv:
CPU-verbundener M2-Steckplatz: L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
Chipsatz-verbundener PCIE-Steckplatz: L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
L1-Sub-States scheinen nur auf den Chipsatz-verbundenen Steckplätzen aktiviert zu werden. Das ist bedauerlich, aber es scheint mit den verfügbaren BIOS-Einstellungen im obigen Screenshot übereinzustimmen.
Schauen wir uns noch einmal das Bild des Motherboards an, um die Situation zu verdeutlichen:
Ich habe beide NVMe-Laufwerke an die mit dem Chipsatz verbundenen PCIE-Steckplätze angeschlossen. Jetzt zeigten beide L1.1+/L1.2+ an und die Temperatur des Controllers sank von 49-50C auf 38-41C.
Leider konnte ich bei verschiedenen A/B-Tests mit diesen beiden Crucial NVMe-Laufwerken mit unterschiedlichen Steckplatzkonfigurationen und verschiedenen BIOS-Einstellungen ein sehr inkonsistentes Temperaturverhalten feststellen, obwohl das JMB585 und ein NVMe-Boot-Laufwerk während dieser Tests ebenfalls angeschlossen waren. Zum Beispiel konnten beide Laufwerke im Leerlauf bei etwa 40 °C liegen, bis ein Soft-Neustart durchgeführt wurde, woraufhin 1 (oder beide) nun im Leerlauf im Bereich von 50 °C liegen konnten. Manchmal schien es möglich zu sein, ein Laufwerk an der mit der CPU verbundenen M.2-Festplatte zu belassen und die Temperatur von 40 °C auf beiden Laufwerken beizubehalten, solange der x16-Steckplatz nicht belegt war. Vermutlich habe ich eine Art Fehler entdeckt. Die Samsung Boot-NVMe-Laufwerke schienen eine konstante Idle-Temperatur zu halten, unabhängig davon, was mit den Crucial NVMe-Laufwerken geschah, also vermutete ich, dass die Crucial-Laufwerke selbst zumindest teilweise schuld daran waren.
Interessanterweise sank die Temperatur eines (oder beider) Controller manchmal bis in den Bereich von 29 °C, wenn die mit dem Chipsatz verbundenen Steckplätze verwendet wurden. Da die Suche nach einem stromsparenden 4TB-NVMe-Ersatz für die Crucial P3 kein realistisches Ziel war, bestand meine größte Hoffnung zu diesem Zeitpunkt darin, dass die ASPM-inkompatible JMicron JMB 585 irgendwie daran schuld war, da sie bald durch die ASPM-kompatible ASMedia ASM 1166 ersetzt werden sollte.
Verspätetes Update: Leider habe ich die Temperaturen während des restlichen Tests nicht im Auge behalten, und die Kühlkörper/Luftströme zwischen den Laufwerken sind alle durcheinander geraten. Aber was auch immer es wert ist, im endgültigen Build liegen die Temperaturen meines Crucial P3-Controllers bei 31-34°C und die NAND-Temperaturen bei 23-24°C.
Rätsel des Stromverbrauchs – Umstieg vom JMB585 auf den ASM1166.
Nach ein paar Wochen kam die ASM1166 an. Zunächst ein paar Informationen über die Karte, die Sie vielleicht hilfreich finden, wenn Sie sie in Betracht ziehen…
Ich begann mit einem Firmware-Flash – ASM1166-Karten haben oft eine alte Firmware, die nicht mit Intel-Motherboards der 600er-Serie funktioniert und, soweit ich weiß, Probleme mit der Energieverwaltung haben kann. Neuere Firmware kann an verschiedenen Stellen gefunden werden, aber ich entschied mich für eine Kopie von SilverStone („fix compatibility issue“ im Download-Bereich von https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/) und folgte den Anweisungen auf https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/. Beachten Sie, dass die SilverStone-Dateien einen identischen MD5-Wert hatten wie die Firmware, die ich in dem Thread auf https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707 gefunden habe.
Für alle, die vorhaben, eine dieser ASMedia-Karten zu kaufen, sollte ich anmerken, dass die Qualität wie bei den meisten SATA-Controllern und HBAs da draußen sehr unterschiedlich ist. Eine meiner Karten hatte einen Kühlkörper, der ein wenig schief saß: Das Wärmeleitpad war dick genug, um zu verhindern, dass er nahe gelegene Komponenten kurzschließt, aber seien Sie sich darüber im Klaren, dass diese Produkte sehr fehleranfällig sein können. Dies ist eine der Situationen, in denen es sinnvoll sein kann, etwas mehr zu bezahlen, um bei einem Anbieter mit guten Rückgaberechten zu kaufen.
Ich habe eine ganze Reihe von A/B-Tests durchgeführt, daher hier ein schneller Vergleich „JMicron JMB585 vs. ASMedia ASM1166“ in Bezug auf den Gesamtstromverbrauch des Systems, auch wenn er vielleicht nur für diese Plattform (oder vielleicht sogar nur für dieses spezielle Motherboard) gilt.
ANTRIEBSLOS
Zunächst wird der Stromverbrauch ohne angeschlossene Laufwerke gemessen (das SATA-SSD-Boot-Laufwerk ist an das Motherboard angeschlossen), um eine Basislinie zu erhalten. PowerTOP wurde für alle Geräte außer der Tastatur verwendet (+1 Watt hinzugefügt). Messungen, nachdem der Display-Ausgang in den Ruhezustand überging.
- 8 Watt – Kein SATA-Controller – C8-Stromversorgungszustand
- 9 Watt – ASM1166 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungszustand C8
- 12 Watt – JMB585 auf dem mit der CPU verbundenen x16-Steckplatz – Leistungsstatus C3
- 15 Watt – JMB585 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungszustand C3
- 22 Watt – ASM1166 auf dem CPU-verbundenen x16-Steckplatz – Leistungszustand C2
Das ASM1166 schneidet hier gut ab, wenn es in einen mit dem Chipsatz verbundenen Steckplatz eingesteckt wird (nur +1 Watt), aber es schneidet schrecklich ab, wenn es an den Haupt-PCI-E-Steckplatz angeschlossen wird (+14 Watt), wo der Leistungsstatus des CPU-Pakets auf C2 sinkt. Schockierenderweise verhält sich der JMB585 genau andersherum, sein Verbrauch ist auf dem mit der CPU verbundenen Steckplatz geringer (und er verursacht kein C2) – Sie werden jedoch bald sehen, dass sich die Dinge ändern, wenn die Laufwerke tatsächlich angeschlossen sind…
Ich habe zusätzliche Tests mit den Controllern durchgeführt, einschließlich „Reise nach Jerusalem“ mit ein paar NVMe-Laufwerken, um zu sehen, ob mehrere Geräte einen Schraubenschlüssel in die Dinge werfen würde, aber nichts Unerwartetes stattgefunden hat, so dass ich diese Details überspringen werde.
WENN FESTPLATTEN INSTALLIERT SIND
Nachdem die Basismessungen abgeschlossen waren, war es an der Zeit, einige Laufwerke an diese Controller anzuschließen. Das SATA-SSD-Boot-Laufwerk blieb auf der Hauptplatine, 2 NVMe-Laufwerke wurden der Mischung hinzugefügt (mit dem Chipsatz verbunden, sofern nicht anders angegeben), und 4 der 2,5-Zoll-SATA-Festplatten wurden auf dem Controller platziert. Ich werde den Verbrauch im „heruntergefahrenen Zustand“ auflisten, nachdem die Festplatten in den Standby-Modus gegangen sind – im „hochgefahrenen Zustand“ war er in jedem Test genau 2 Watt höher, während die Festplatten im Leerlauf waren.
- 10 Watt – ASM1166 auf einem mit dem Chipsatz verbundenen x4-Steckplatz – Leistungsstatus C8
- 11 Watt – ASM1166 in einem mit dem Chipsatz verbundenen x4-Steckplatz mit 1 NVMe, das in den mit der CPU verbundenen x16-Steckplatz verschoben wurde – Leistungszustand C6
- 11 Watt – 2x ASM1166 auf mit dem Chipsatz verbundenen x4-Steckplätzen, mit nur 1 NVMe-Laufwerk – Leistungszustand C8
- 16 Watt – JMB585 auf einem Chipsatz-verbundenen x4-Steckplatz – Leistungszustand C3
- 24 Watt – JMB585 auf einem CPU-verbundenen x16-Steckplatz – Leistungszustand C2
Bei 4 über einen mit dem Chipsatz verbundenen Steckplatz angeschlossenen Laufwerken erhöht der ASM1166 den Stromverbrauch des Systems um +2 Watt, während der JMB585 +8 Watt verbraucht. Unbestritten.
Ein zusätzlicher Vorteil ist, dass ich beide ASM1166-Karten im System verwenden konnte, während der Versuch, beide JMB575-Karten gleichzeitig zu verwenden, dazu führte, dass sich das System weigerte zu booten, obwohl das ein plattform- oder mainboardspezifisches Problem sein könnte.
Es gibt jedoch einen Kompromiss – ich habe die JMB585 immer als grundsolide und zuverlässig empfunden, auch in Verbindung mit einem JMB575-Portmultiplier. Meine bisherigen Erfahrungen mit ASMedia-SATA-Controllern waren weniger gut: Die Zuverlässigkeit des ASM1166 bleibt abzuwarten, aber zumindest ist er ein schlechter Kandidat für einen Port-Multiplier, da er kein FBS unterstützt (nur CBS).
Ein paar andere kleinere Probleme, die mit dem ASM1166 auftraten:
- Beim Entfernen/Wiedereinsetzen des NVMe-Boot-Laufwerks erschien eine BIOS-Meldung, die besagte, dass aufgrund einer GPT-Beschädigung nicht gebootet werden konnte. Die ASM1166-Karten mussten vorübergehend entfernt werden, damit das BIOS das NVMe-Boot-Laufwerk wieder „finden“ konnte (danach konnten sie wieder installiert werden).
- Die ASM1166-Karten geben an, über *viele* Ports zu verfügen – dies verursacht zusätzliche Boot-Zeit, da Linux alle Ports durchlaufen muss.
Update: SATA und SSD-Marken
In einem der Kommentare wurde erwähnt, dass eine ältere Samsung 840 PRO SSD auf C3 begrenzt ist, während eine Crucial Force GT SSD C8 erlaubt. Obwohl es sich um ältere Laufwerke handelt, fand ich dies dennoch etwas überraschend. Es war eine Untersuchung wert.
Ich habe das H770 als Testumgebung mit einem Samsung 850 EVO SATA SSD-Boot-Laufwerk zusammen mit einem Crucial P3 NVMe verwendet und einen benutzerdefinierten Kernel erstellt, damit der Realtek-Netzwerkadapter L1.2 erreichen kann. Kein ASM1166, nur die Intel onboard SATA. Ich erreichte C10, nachdem ich powertop mit auto-tune laufen ließ und den Bildschirm in den Ruhezustand versetzte. Ich habe verschiedene Laufwerke ausprobiert, die ich zur Hand habe, und das System jedes Mal ausgeschaltet, um die Laufwerke zu wechseln und den Vorgang zu wiederholen. Hier sind die Ergebnisse.
Laufwerke, die dazu führten, dass das System bei C6 hängen blieb:
- 1TB Patriot P210 SATA SSD
Laufwerke, die C10 ermöglichten:
- 500GB Samsung 850 EVO SATA SSD
- 4TB 2,5-Zoll-Seagate-SATA-Festplatte
- 8TB 3,5-Zoll-SATA-Festplatte von Seagate
- 14TB Toshiba SATA HDD
- 1TB Sandisk Ultra 3D SATA SSD
- 4TB Sandisk Ultra 3D SATA SSD (Hinweis: langsamer Abgleich)
- 4TB Crucial MX500
Ich empfehle, bei der Auswahl von SATA-SSDs vorsichtig zu sein. Ich werde versuchen, diese Liste im Laufe der Zeit mit Laufwerken zu aktualisieren, die ich getestet habe, aber denken Sie daran, dass bestimmte Hersteller im Speicherbereich dazu neigen, die Hauptprodukte stillschweigend gegen minderwertige Komponenten auszutauschen. Sie sollten also immer die Leistung aller Speichergeräte überprüfen, die Sie innerhalb Ihres Rückgabefensters kaufen. Sie können gerne einen Kommentar hinterlassen, wenn Sie auf gute oder schlechte Produkte stoßen.
Stromverbrauchsrätsel – Fazit
Ein paar wichtige Punkte, wenn man einen niedrigen Verbrauch anstrebt:
1) Motherboard-Unterstützung und BIOS-Konfiguration sind entscheidend – ich hatte schon Motherboards mit sehr unflexiblen BIOSen. Auf diesem hier müssen „Native ASPM“ und die entsprechenden L1-Zustände aktiviert sein (um OS-gesteuert statt BIOS-gesteuert zu ermöglichen), damit der niedrige Stromverbrauch funktioniert.
2) Alle Geräte müssen ASPM L1 unterstützen. Andernfalls müssen Sie wirklich würfeln. Am schwierigsten ist es, SATA-Controller zu finden, die dies unterstützen – wenn möglich, sollten Sie sich ein Motherboard mit genügend SATA-Anschlüssen mit Intel-Chipsatz besorgen, um keine separate Karte zu benötigen. Ich sollte anmerken, dass es nicht immer selbstverständlich ist, NVMe-Laufwerke zu finden, die unter ASPM den stromsparenden APST-Energiezustand unterstützen, und dass Sie auch hier einige Nachforschungen anstellen sollten.
3) Wenn Sie den Energiestatus C8 erreichen können, vermeiden Sie die Verwendung von an die CPU angeschlossenen PCIe-Lanes (oberer PCIe- und M2-Steckplatz). Bei diesem speziellen Motherboard würde ich Ihnen raten, sie nach Möglichkeit ganz zu vermeiden, es sei denn, Sie benötigen entweder den Low-Latency-Pfad mit voller Bandbreite zur CPU oder Ihre Geräte sind so aktiv, dass sie ohnehin nie schlafen. Es sei daran erinnert, dass sowohl meine JMicron- als auch meine ASMedia-SATA-Karten den C-Status des CPU-Pakets auf C2 sinken ließen, wenn sie in den x16-PCI-E-Steckplatz eingesteckt wurden.
4) Das Messen des Stroms aus der Steckdose ist der einzige Weg, um sicher zu gehen, dass das, was man *denkt*, auch wirklich passiert. Ein Kill-A-Watt-Gerät wird sich im Laufe der Zeit bezahlt machen, wenn Sie es benutzen – bedenken Sie, dass ich mein Gerät 2006 gekauft habe (damals $16USD + $14USD Versand über eBay). Damals stellte ich fest, dass unser selten genutztes Faxgerät, das immer eingeschaltet war, 7 Watt verbrauchte… allein dadurch, dass ich dieses eine Gerät ausschaltete, wenn es in den nächsten 10 Jahren nicht benutzt wurde, hat sich das Kill-A-Watt-Gerät mehr als bezahlt gemacht.
Stromverbrauch bei einer Reihe von HDDs
Nachdem im Laufe dieses Prozesses verschiedene Teile in das System ein- und ausgewechselt wurden, sieht die aktuelle Konfiguration wie folgt aus:
- 1x Samsung 970 EVO Plus NVMe (500GB Boot-Laufwerk)
- 2x Crucial P3 NVMe (jeweils 4TB)
- 5x Seagate 2.5″ HDD (jewiels 5TB – 4TB genutzt)
- 6x Seagate 3,5″-HDD (jeweils 10TB – 8TB genutzt)
- 2x ASM1166-Karten mit SATA-Anschlüssen
Von der Wand gemessene Gesamtleistung (Bildschirm eingeschaltet, Tastatur aktiviert):
- 50 Watt mit allen 11 Festplatten im aktiven Leerlauf
- 38 Watt mit den 6x 3,5″ HDD im Idle_B
- 34 Watt mit den 6x 3,5″ HDD im Idle_C
- 21 Watt mit der 6x 3,5″-Festplatte im Standby_Z (heruntergedreht)
- 18 Watt mit der 5x 2,5″ HDD ALSO im Standby
- 16 Watt bei ausgeschaltetem Displayausgang ALSO
- 15 Watt, wenn PowerTOP die USB-Tastatur deaktivieren kann
Seagate gibt den Standby-Verbrauch dieser 3,5″-Laufwerke mit jeweils etwa 0,8 W und der 2,5″-Laufwerke mit jeweils etwa 0,18 W an. Dies stimmt mit meinen obigen Angaben überein. Meine Zahlen für die aktive Leerlaufzeit stimmen auch ziemlich gut mit den Angaben von Seagate überein.
Die offensichtliche Beobachtung: Im Vergleich zu den übrigen Systemkomponenten sind die 3,5″-Laufwerke stromhungrige Monster.
Die HDDs werden irgendwann durch SSDs ersetzt werden. Da der Stromverbrauch im Leerlauf so niedrig ist wie im HDD-Standby-Modus, besteht keine große Eile, und dieser Prozess wird nach und nach stattfinden, wenn meine HDD-Laufwerke/Ersatzteile sterben und die SSD-Preise sinken.
Der Plan für das „Endspiel“ ist ein reiner SSD-Bau. Ursprünglich war der Plan für 1 Boot-Laufwerk, 6xNVMe (wahrscheinlich Crucial P3 4TB) für ein RAIDZ2-Array und 6xSATA (wahrscheinlich Samsung 870 QVO 8TB) für das zweite RAIDZ2-Array. Da die Verwendung der mit der CPU verbundenen M2/PCIe-Steckplätze nicht nur Unvorhersehbarkeit mit sich bringt, sondern auch leichte Kosten für C-State/Strom/Temperatur mit sich bringt, könnte ich diesen Plan ändern und ein paar NVMe im ersten Array aufgeben und stattdessen SATA verwenden, damit ich die mit der CPU verbundenen Lanes nicht anfassen muss. Die Zeit wird es zeigen.
Unnötige Details zur Lagerung
Dieser Teil ist nur lesenswert, wenn Sie sich für akribische Details über die Lagerung interessieren. Andernfalls können Sie mit dem letzten Abschnitt fortfahren.
NVMe-Boot-Laufwerk
Wie bereits angedeutet, handelt es sich um eine Samsung 970 EVO Plus. Derzeit werden weniger als 4 GB des 500-GB-Speicherplatzes genutzt (eine 64-GB-Swap-Partition ist vorhanden, wird aber immer auf 0 genutzt). Die Wahl fiel ursprünglich auf diese Festplatte, weil Samsung einen guten Ruf für seine Zuverlässigkeit hat (die in letzter Zeit etwas nachgelassen hat), und weil Samsung in Tests immer dann gut abschnitt, wenn es um den Stromverbrauch im Leerlauf ging. Dieses Laufwerk befindet sich fast immer im Leerlauf, und die Temperaturen von Controller und NAND blieben während aller Tests niedrig (20-24 °C). Möglicherweise wird sie irgendwann gegen eine SATA-SSD ausgetauscht, um einen NVMe-Anschluss freizugeben.
2,5″-HDD
Diese Laufwerke werden für das primäre ZFS RAIDZ2-Array mit 6 Laufwerken verwendet – das am meisten genutzte. An einem Tag in der Woche ist sie mit einer Aufgabe beschäftigt, die das Lesen von einigen TB im Laufe von 24 Stunden beinhaltet. Der Rest der Woche wird nur sporadisch genutzt, und die Laufwerke werden die meiste Zeit der Woche heruntergefahren. Wenn Sie sich fragen, warum 2,5-Zoll-Laufwerke anstelle von 3,5-Zoll-Laufwerken verwendet werden, gibt es einen Grund: den Stromverbrauch.
Der Stromverbrauch der 2,5-Zoll-Festplatten von Seagate ist wirklich beeindruckend. Im Leerlauf liegt der Wert bei 0,18 W, im Leerlauf bei 0,85 W, und die durchschnittlichen Lese-/Schreibwerte liegen bei etwa 2 W. Es gibt viele SSDs mit schlechteren Stromverbrauchswerten als diese Spinning Rust. 5 TB Kapazität bedeuten eine Menge Speicherplatz pro Watt.
Die größten Nachteile dieser 2,5-Zoll-Festplatten von Seagate sind:
- Keine großartige Leistung. 80-120 MB/s Spitzenwerte beim Lesen/Schreiben. Fairerweise muss man jedoch sagen, dass viele TLC/QLC-SSDs auf diese Schreibgeschwindigkeiten fallen, wenn ihr SLC-Cache erschöpft ist.
- SMR (Shingled Magnetic Recording). Die Leseleistung ist in Ordnung, aber die Schreibleistung stürzt bei zufälligen Schreibvorgängen absolut ab – sie verhält sich wie eine QLC-SSD ohne SLC-Cache, die auch nicht über TRIM verfügt.
- Geringe Nennauslastung (55 TB/Jahr gegenüber 550 TB/Jahr bei 3,5″-Laufwerken von Exos).
- Keine konfigurierbare Fehlerbehebungszeit (SCT ERC), und diese Laufwerke können bei einem Fehler minutenlang hängen bleiben, während sie unermüdlich versuchen, den problematischen Sektor neu zu lesen. Ubuntu muss so konfiguriert werden, dass es wartet, anstatt zu versuchen, das Laufwerk nach 30 Sekunden zurückzusetzen.
- Höhere Fehlerraten, wenn sie heiß werden (ich musste schon einige austauschen und habe festgestellt, dass sie es nicht mögen, wenn sie heiß laufen).
- Typische HDD-Probleme (langsames Hochdrehen usw.).
Um gegenüber Seagate absolut fair zu sein, werden diese Festplatten als externe USB-Backup-Laufwerke verkauft. Diese 15 mm großen Festplatten aus dem Gehäuse zu nehmen und sie als RAID-Mitglieder in einem NAS zu verwenden, ist nicht gerade eine bestimmungsgemäße Verwendung. Der extrem niedrige Stromverbrauch ist enorm, aber es gibt offensichtliche Kompromisse.
Langfristig werden diese 2,5-Zoll-Laufwerke mit 4/5 TB langsam durch 4-TB-SSD-Laufwerke (möglicherweise alle NVMe) ersetzt werden. SSDs mit einer Kapazität von 4 TB sind seit 2021/2022 für den Endverbraucher verfügbar und kosten etwa das 4-5fache der Spinner. Weniger als 2 Jahre später sind sie auf etwa den doppelten Preis gesunken, und ich erwarte, dass anständige Marken mehr als doppelt so lange halten wie die Spinner von Seagate.
Wenn das Crucial P3 (Gen3)-Modell weiterhin verfügbar ist, werde ich wahrscheinlich bei diesem Modell bleiben, obwohl es auf Gen3-Geschwindigkeiten beschränkt ist. Ich habe die Crucial P3 Plus (Gen4) in Erwägung gezogen, aber der Stromverbrauch war in den Testberichten höher, obwohl es nur sehr wenige Situationen gab, in denen auch die Leistung deutlich höher war. Meine größte Sorge bei der P3 Plus (Gen4) war, dass sie bei Problemen mit ASPM/APST laut Tom’s Hardware im Leerlauf 0,3 W mehr Strom verbraucht als die P3 (Gen3) für das 2-TB-Modell. Ich ziehe es vor, dass der Stromverbrauch im schlimmsten Fall so niedrig wie möglich ist.
3,5″-FESTPLATTE
Wird im sekundären RAIDZ2-Array mit 6 Laufwerken verwendet – ein Backup-Array, das etwa 2 Stunden pro Woche hochgefahren wird und auf das konstant viele Daten geschrieben werden.
Der Stromverbrauch der 3,5-Zoll-Festplatten von Seagate entspricht in etwa dem, was man erwarten würde. Diese 10-TB-Laufwerke verbrauchen im Standby-Modus jeweils 0,8 W, im Leerlauf 2-5 W und beim Lesen und Schreiben 6-9 W.
Hier gibt es zwei Bedenken:
- Diese Laufwerke sind so ausgelegt, dass sie beim Schreiben zusammen etwa 45-50 Watt verbrauchen. Das ist ein bisschen zusätzliche USV-Last, die ich nicht wirklich haben möchte, wenn es während der Backups zu einem längeren Stromausfall kommt (ich bleibe bei 1500-Watt-USVs).
- Diese sind so ausgelegt, dass sie im Standby-Modus zusammen etwa 4,8 Watt ziehen. Auch hier würde es mir nichts ausmachen, etwas USV-Last einzusparen.
Langfristig werden diese Laufwerke wahrscheinlich durch Samsung 870 QVO 8TB SATA-Laufwerke ersetzt. Die 870 QVO verbraucht 0,041 W/0,046 W im Leerlauf mit ALPM, 0,224 W/0,229 W im Leerlauf ohne ALPM und 2,0-2,7 W während einer Kopie (laut Toms/Anandtech).
Preislich gesehen ist die 8TB-SATA-SSD von Samsung derzeit ein gutes Stück teurer als 8TB-Spinner (fast das Dreifache). Wenn diese Laufwerke also nicht aus irgendeinem Grund häufiger verwendet werden, wird der Austausch gegen die SSDs mit ziemlicher Sicherheit warten, bis ich keine Ersatzteile mehr habe.
NVMe-Cache-Laufwerk
Das Ersetzen meines Spinning Rust durch SSDs ist ein Prozess, der wahrscheinlich eine Weile dauern wird.
In der Zwischenzeit hat ZFS einige Optionen, um Hochgeschwindigkeitsspeicher (typischerweise SSD) vor langsamerem Speicher zu nutzen:
- „Special“ Allocation Class – erlaubt es Ihnen, ein vdev speziell für Metadaten und für „kleine“ Blöcke zu erstellen, falls gewünscht.
- Ein Cache-Laufwerk, allgemein bekannt als L2ARC.
Wenn Sie bei der Pool-Erstellung ein „spezielles“ vdev erstellen, werden alle Metadaten (und optional kleine Blöcke einer von Ihnen gewählten Größe) auf dem „speziellen“ vdev statt auf dem rotierenden Rost abgelegt. Sehr schnelle Dateilisten und Verzeichnisdurchläufe, während der Spinning Rust für die Dateien selbst verwendet wird. Ja, Sie können eine Reihe von Verzeichnissen „ls“, ohne Ihre Festplatten aus dem Schlaf zu wecken. Der größte Nachteil ist, dass alle Metadaten auf dieser Festplatte liegen, und wenn sie jemals stirbt, ist der Zugriff auf alle Daten im Grunde genommen weg. Sie sollte also zumindest gespiegelt werden. Vielleicht sogar eine 3-Wege-Spiegelung. Verabschieden Sie sich von ein paar Ports.
Der L2ARC ist ein wenig anders. Es handelt sich im Wesentlichen um einen Level-2-Cache. Wenn der Cache im RAM voll ist, kopiert ZFS einige der Blöcke in den L2ARC, bevor es den Inhalt aus dem RAM entfernt. Wenn das nächste Mal auf diese Daten zugegriffen werden muss, werden sie von der L2ARC anstatt von der Festplatte gelesen. Ein Vorteil gegenüber dem „speziellen“ vdev ist, dass man mit nur einer SSD auskommt – wenn es ein Problem mit den Daten in der L2ARC gibt (schlechte Prüfsumme, Laufwerk stirbt, etc.), liest ZFS den Inhalt einfach von der Originalplatte. Wenn die L2ARC voll ist, fängt ZFS einfach wieder am Anfang der SSD an und überschreibt die Daten, die es vorher geschrieben hat, was einige Vorteile (alte Daten, auf die nie mehr zugegriffen wird) und Nachteile (Daten, auf die häufig zugegriffen wurde und die erneut auf die L2ARC geschrieben werden müssen) hat. Sie können auch nach Belieben L2ARC-Geräte zum Pool hinzufügen/entfernen – wollen Sie eine 64GB SSD, 500GB SSD und 2TB SSD hinzufügen? Nur zu – ZFS wird die Blöcke auf sie verteilen. Möchten Sie die 500-GB-SSD ein paar Tage später aus dem Pool entfernen und anderweitig verwenden? Kein Problem. Der größte Nachteil des L2ARC ist, dass Sie wahrscheinlich Ihren Pool vermasselt haben, wenn Sie beim Hinzufügen des Geräts vergessen haben, „Cache“ anzugeben. Außerdem ist er unvollkommen: selbst bei sorgfältiger Einstellung ist es schwer, ZFS dazu zu bringen, ALLES, was man will, auf den L2ARC zu schreiben, bevor er aus dem Speicher entfernt wird. Gleichzeitig kann die L2ARC, abhängig von Ihren Daten, eine Menge Schreibvorgänge sehen, und Sie müssen den Zustand Ihrer SSD sorgfältig überwachen.
In der Vergangenheit habe ich die „Spezial“-Vdev und die L2ARC benutzt, und ich habe beide gleichzeitig benutzt (man kann die L2ARC sogar anweisen, Dinge, die bereits auf der „Spezial“-Vdev enthalten sind, nicht zu cachen).
Dieses Mal habe ich mich einfach für einen L2ARC auf einer 4TB NVMe entschieden: sobald alle anderen 2,5″-Laufwerke durch SSD ersetzt wurden und die Geschwindigkeitsvorteile eines SSD-Caches nicht mehr gelten, kann ich dieses Cache-Gerät einfach entfernen (obwohl theoretisch ein L2ARC-Cache-Laufwerk, das den Großteil der Lesevorgänge abwickelt, es den anderen NVMe-Laufwerken ermöglichen würde, länger im Energiesparmodus zu bleiben…).
Fazit – Bedauern? Zweifeln? Was hätte anders laufen können?
Im Gegensatz zum ASRock J4005, bei dem ich nach einiger Zeit merkte, dass ich mich in vielerlei Hinsicht selbst in die Knie gezwungen hatte, habe ich hier nicht das gleiche Gefühl. Diesmal hatte ich eine niedrige Leerlaufleistung UND ein ziemlich leistungsfähiges System, das auch dann noch flexibel sein sollte, wenn es in Zukunft wiederverwendet wird.
Ich bin mit der Wahl meiner Komponenten recht zufrieden, obwohl ich neugierig wäre, wie das MSI PRO Z790-P DDR4 (eines der anderen Mainboards, die ich in Betracht gezogen habe) im Vergleich abschneiden würde. Was die Funktionalität angeht, hat das MSI den Vorteil von 6xSATA-Anschlüssen, aber es hat den offensichtlichen Nachteil des berüchtigten Intel 2.5G-Netzwerkchips. Das MSI hat auch einen PS/2-Anschluss, und ich habe noch nie überprüft, ob der Stromverbrauch der PS/2-Tastatur niedriger ist als der des USB-Anschlusses (ich erinnere mich, dass ich 1 Watt einspare, wenn ich zulasse, dass Powertop den USB-Tastaturanschluss abschaltet). Und natürlich wäre es interessant, die ASPM- und ALPM-Einstellungen zu vergleichen und zu sehen, ob die Probleme, auf die ich mit CPU-gebundenen PCIe/M.2-Steckplätzen gestoßen bin, in gleicher Weise bestehen.
Während dieses System derzeit im Leerlauf mit Laufwerken im Standby im Bereich von 15-16 Watt liegt, würde ich, sobald alle HDDs durch SSDs ersetzt sind, einen Leerlaufverbrauch von etwa 10-11 Watt erwarten, was für 72 TB an Laufwerken, 64 GB RAM und einen ziemlich guten Prozessor nicht schlecht ist.
Aktualisierung: Aktuelle Linux-Kernel deaktivieren die L1-Energiesparmodi der meisten Realtek-NICs, was die CPU daran hindert, in vernünftige C-Zustände zu gelangen, was den Stromverbrauch um einiges erhöht. Es gibt zwar Workarounds, aber in Zukunft werde ich mich wahrscheinlich auf Motherboards mit Intel 1-Gigabit-Netzwerkadaptern beschränken (und vielleicht zu Intel 2,5-Gigabit wechseln, wenn klar ist, dass sie alle Probleme gelöst haben). Weitere Details über die Realtek NIC-Situation finden Sie in den Kommentaren unten.
Ich schätze, eine Menge Kopfschmerzen hätten vermieden werden können, wenn du ein Board mit mehr SATA-Anschlüssen gefunden hättest!
Bei mir ist es mir nie gelungen, meinen Chip über C3 hinaus zu bringen. Ich habe absichtlich versucht, die Anzahl der überflüssigen Komponenten zu reduzieren (wie diese SATA-Controller, von denen ich gelesen hatte, wie fehleranfällig sie sein können).
Ich werde meine BIOS-Einstellungen noch einmal überprüfen, um sicherzustellen, dass ich alle relevanten Dinge, die Sie in Ihrem Artikel erwähnt haben, aktiviert habe.
Sehr interessanter Artikel, vielen Dank.
Also ist Ihnen ECC egal, manche sagen, es sei ein Muss für einen Always-on-Server, besonders mit ZFS.
Außerdem scheinen NVMEs mehr Treibstoff zu verbrauchen als SSDs.
Ich bin auf der Suche nach einem sparsamen ECC-Motherboard, habe aber noch nichts gefunden, W680-Boards sind schwer zu bekommen.
In der Zwischenzeit betreibe ich Unraid auf einem J5040 Asrock Board mit zwei 1TB SSDs im Mirror und 3 mechanischen WDs, die die meiste Zeit schlafen.
Das System verbraucht 19 Watt im Leerlauf, vor dem Hinzufügen eines Asmedia Controllers (4) waren es 16-17 Watt (C6). Ich werde das alte Seasonic-Netzteil bald durch ein Corsair-Netzteil ersetzen.
Viele Grüße
Geert
Denken Sie daran, dass, wenn der zweite M.2-Steckplatz belegt ist, nur 5 der 6 SATA-Anschlüsse funktionieren. Wenn ich mich richtig erinnere, hat das BIOS des H470M DS3H auch einige Optionen versteckt (z.B. IGPU oder dedizierte GPU erzwingen), wenn es nicht in den CSM-Modus versetzt wurde. Außerdem blieb das System auf dem Startbildschirm mit einer Fehlermeldung hängen, wenn ich einen LSI SAS HBA installiert hatte, was einen weiteren Neustartversuch erforderte - normale SATA-Controller funktionierten jedoch problemlos. Abgesehen von diesen seltsamen kleinen Nuancen fand ich es zuverlässig und funktionierte großartig und ich mag das Board sehr.
Haben Sie vor, einen ähnlichen Artikel zu veröffentlichen, aber für ein System mit ECC-Unterstützung und niedrigem Stromverbrauch im Leerlauf, das immer noch mit Linux kompatibel wäre (ich denke, der niedrige Stromverbrauch von AMD im Leerlauf ist nicht das Beste für Linux als Beispiel).
Ich plane, selbst bald ein solches System zu bauen, und würde gerne wissen, ob ich in den nächsten ein oder zwei Monaten mit dem Bau beginnen oder vielleicht noch ein wenig warten sollte, um Ihre Veröffentlichungen zu lesen, die mir einige nützliche Informationen liefern, die mir helfen können, eine fundiertere Entscheidung bei der Auswahl der Komponenten zu treffen.
Nichtsdestotrotz, vielen Dank für den gründlich geschriebenen Artikel. Sie haben hier eine beeindruckende Arbeit geleistet, indem Sie die wichtigen Teile des Aufbaus eines sehr effizienten stromsparenden NAS hervorgehoben haben.
Auf jeden Fall wünsche ich Ihnen viel Erfolg mit Ihrem Bau!
Danke für deine Artikel über NAS, die sehr detailliert und informativ sind!
Ich bin gerade dabei, mein eigenes mit einem i3-10500T, 16GB und 4xHDD aufzubauen.
Als Netzteil habe ich ein Antec EarthWatts 380W EA-380D (80+ Bronze) als Refurbished für 25€ gefunden, ist es das wert? oder ist es zu alt?
Wenn du noch andere Modelle hast, die du mir empfehlen kannst, würde ich mich freuen. Vielen Dank im Voraus.
Ich habe auch eine 970 Evo Plus (2TB) als Boot-Laufwerk und kann bestätigen, dass sie mit dem Chipsatz verbunden sein muss, um niedrige Paket-C-Zustände (C8) zu erreichen. Was ich interessant fand, war, dass der Unterschied zwischen Paket C3 und C8 viel größer war, wenn die SSD mit dem Chipsatz verbunden ist. Ich glaube, das liegt daran, dass der Chipsatz selbst nur dann in den tiefen Ruhezustand geht, wenn alle angeschlossenen Geräte ASPM unterstützen und das SATA Link Power Management aktiv ist.
Der Anschluss der SSD an den CPU-PCIe erhöht den Stromverbrauch nur um ~2W (Paket C3 vs. C8), während ein Gerät ohne ASPM, das an den Chipsatz angeschlossen ist, zusätzliche 5W nur für den Chipsatz zu verbrauchen scheint, aber den gleichen Effekt (C3) auf den Paket-C-Status hat.
Eine interessante Sache ist, dass ich eine PCIe 1.1 DVB-C Capture Karte an den Chipsatz angeschlossen habe. Obwohl ASPM in lspci als Fähigkeit für die Karte aufgeführt ist und ich den Kernel mit pcie_aspm=force gebootet habe, wurde es für diese Karte nicht aktiviert. Ich musste ASPM über setpci erzwingen, siehe https://wireless.wiki.kernel.org/en/users/documentation/aspm - scheint ohne Probleme zu funktionieren. Das half mir, die 15W Leerlaufleistung zu erreichen. Leider verbraucht die Capture-Karte immer noch ~5W, ansonsten habe ich derzeit nur 2x4TB HDD von Toshiba angeschlossen, die im Leerlauf herunterdrehen.
Übrigens muss Sata Hot Plug für alle Ports deaktiviert sein, sonst erreicht das Paket nur C6.
Super toller Artikel, danke für all diese Informationen.
Ich plane gerade den Bau meines nas. Da der Stromverbrauch das Hauptthema ist, was haltet ihr von folgendem Aufbau (ich bin aber ein ziemlicher Noob, was das System und die Möglichkeiten bzw. Einschränkungen eines solchen Low-TDP-Chips angeht) ?
Asrock N100M micro ATX (mit dem neuen Intel® Quad-Core Prozessor N100 (bis zu 3,4 GHz) mit einem 6W tdp. Da es nur 2 SATA-Ports gibt, ist die Idee, eine SAS-HBA-Karte mit 8 zusätzlichen SATA-Ports auf dem 1 x PCIe 3.0 x16 Slot zu installieren. Für den Speicher wäre es 1 M2 (der vom Motherboard) für TrueNas OS, 2 SSD Mirroring Sata für VM, Docker, ... und 8 HDD Seagate EXO 7200 rpm Laufwerke als letzter Schritt (2 am Anfang und dann entwickelnd basierend auf dem Bedarf).
Für die Stromversorgung, ein Seasonic Focus PX 550W - Modular 80+ Platinum ATX und schließlich eine einzigartige Stick von 32GB Ram (non ECC).
Vielen Dank im Voraus
Was die SAS-HBA-Karte angeht, würde ich vorschlagen, sich umzuschauen, um zu sehen, welchen Stromverbrauch im Leerlauf andere auf der spezifischen Karte, die du in Betracht ziehst, sehen: die populären Karten ziehen oft ein paar Watt, während sie absolut nichts tun. Ich bin mir nicht sicher, wie *BSD mit den Karten umgeht, aber von den wenigen, die ASPM standardmäßig aktiviert haben, scheint Linux es irgendwann im Kernel aufgrund von Problemen zu deaktivieren. Abgesehen davon ist dies eine Situation, in der das ASRock N100 besser abschneiden könnte als eine separate CPU/Motherboard-Kombination, da ich davon ausgehe, dass es weniger empfindlich auf die C-State-Implikationen einer Erweiterungskarte reagiert, obwohl dies nur eine Vermutung ist, basierend auf dem, was ich mit meinen ASRock J4x05-Boards gesehen habe, und möglicherweise nicht auf das N100 zutrifft.
Das Seasonic PX 550W sieht wie eine gute Wahl aus.
Insgesamt sieht es nach einer soliden Konstruktion aus!
Haben Sie irgendwelche Tipps für die Identifizierung von Motherboards, die einen niedrigen Stromverbrauch erreichen können? Manchmal werden ITX-Motherboards empfohlen, aber ich habe keine Messungen darüber gefunden, wie viel Watt ITX im Vergleich zu ATX normalerweise einspart. Nun, ITX wäre für diesen Aufbau nicht geeignet gewesen, aber ATX scheint ohnehin keine signifikante Quelle für den Stromverbrauch gewesen zu sein. Im Allgemeinen scheint es sehr schwierig zu sein, herauszufinden, welche Motherboards stromsparend sind und welche nicht.
Was meinen Sie mit dem "E-Core-Silizium-Overhead" und warum haben Sie versucht, ihn zu vermeiden? Mir ist klar, dass die CPUs mit E-Kernen wahrscheinlich komplexer sind, aber ich hätte gedacht, dass die E-Kerne zu einem geringeren Stromverbrauch führen könnten, wenn die CPU nicht-intensive Aufgaben bei geringer Last ausführt.
Nochmals vielen Dank für die tollen Informationen. Ich hoffe, dass ich in der Lage sein werde, ein System mit einer ähnlichen Energieeffizienz zu bauen. Im Moment habe ich ein Gigabyte Z790 UD AX-Motherboard und ein i5-13500-System, das ich nicht unter 28 W bekommen kann.
Der Vorteil von ITX ist, dass es die Anzahl der Komponenten einschränkt, aber das ist nicht unbedingt notwendig - letzte Woche habe ich das "Intel i3-10320 auf einem Gigabyte H470M DS3H", das ich am Anfang erwähnt habe, wiederverwendet und es auf 6 Watt im Leerlauf heruntergebracht (Headless, keine Tastatur, nur Onboard Intel i219V 1GbE Netzwerk, c-states im BIOS, 3 Samsung SATA SSDs 840/860/870, Corsair RM850 Netzteil, Ubuntu Server mit powertop). Es ist ein sehr utilitaristisches Motherboard. Ich werde keinen separaten Bericht verfassen, da das Board nicht mehr erhältlich ist, aber 6 Watt auf dem MicroATX Gibabyte H470 Board und 7 Watt auf dem ATX ASUS H770 Board in diesem Bericht sind meine besten beiden Ergebnisse bisher, und beide waren nicht ITX. Und noch etwas ist mir aufgefallen: Beide Boards haben nur 6 Leistungsphasen.
Was den "E-core Silizium-Overhead" betrifft, so können viele Details unter https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ gefunden werden, aber ich werde versuchen, sie zusammenzufassen. Der i5-12400 wird mit 6 P-Kernen und 0 aktivierten E-Kernen ausgeliefert, allgemein als 6+0 bezeichnet. Es gab jedoch 2 Varianten: ein "C0"-Stepping, das ursprünglich ein 8+8 war, bei dem die Kerne zu einem 6+0 verschmolzen wurden, und ein "H0"-Stepping, das direkt als 6+0 hergestellt wurde und von Anfang an keine E-Kern-Hardware enthielt. In den Tests (Seite 5 des Artikels) verbrauchte der C0 je nach Benchmark bis zu 16 Watt mehr Strom als der H0, einschließlich fast 11 Watt mehr im Leerlauf. Es ist natürlich möglich, dass die C0-Probe andere Probleme hatte, die zu Leistungsverlusten führten, oder dass eine andere Variable im Spiel war, aber so oder so haben die beiden Chips mit physischer E-Core-Hardware im Leerlauftest nicht gut abgeschnitten.
Da ich mich bei den meisten meiner Systeme auf einen extrem niedrigen Idle-Verbrauch konzentriere, kann ich den Kauf eines der kombinierten P/E-Core-Chips nicht rechtfertigen, bis ich Daten sehe, die zeigen, dass Chips mit E-Cores im Idle-Betrieb unter 10 Watt liegen. Und das habe ich einfach noch nicht. Dies ist ein Bereich, in dem Intel derzeit sehr bedroht ist: Die AMD Mini-PCs gehen jetzt auf einen Idle-Stromverbrauch von etwa 6-7 Watt für einen Ryzen 9 7940HS ( https://youtu.be/l3Vaz7S3HmQ?t=610 ) herunter und wenn AMD diese Art von APU-Design auf die Desktop-Seite bringt oder jemand wie ASRock anfängt, einige dieser beeindruckenden HS-Chips in ein kundenspezifisches Motherboard zu verpacken, könnte Intel den Markt für niedrigen Idle-Strom schnell verlieren.
Ich kann sehen, dass die Hauptplatine, die ich gekauft habe, wahrscheinlich nicht ideal ist (es wirbt eine Menge von Phasen).
Aber selbst wenn Ihr Board viele ineffiziente MOSFETs hätte, scheint der von Ihnen angegebene Stromverbrauch von 28 Watt etwas hoch zu sein, es sei denn, Sie haben einen sich drehenden Rost oder eine PCIe-Karte, die Strom schluckt. Haben Sie überprüft, ob Sie C6 oder einen besseren Leistungszustand erreichen? Ich erinnere mich, dass ich, als ich den ASM1166 in den Haupt-PCIe-Steckplatz eingesetzt habe, auf C2 beschränkt war und 22 Watt verbraucht habe.
Sie haben in der Tat Recht, dass die 28 W, die ich angegeben habe, nicht optimal waren. Ich habe den Fehler gemacht, zu denken, dass die SATA-Kabel meiner Festplatten ausgeschaltet bleiben, wenn ich sie abziehe. Wie sich im Nachhinein herausstellte, muss man sie auch vom Netzteil abziehen. Außerdem hatte ich eine Reihe von Peripheriegeräten an den PC angeschlossen, von denen ich nicht wusste, dass sie Strom verbrauchen würden (insbesondere ein angeschlossener Monitor macht einen großen Unterschied). Nachdem ich alle Festplatten und Peripheriegeräte abgeklemmt habe, erhalte ich Messwerte im Bereich von 8-10 W.
Um diese Daten hoffentlich für andere nützlich zu machen, werde ich einige weitere Details mitteilen. Die CPU ist ein i5-13500 in einem Gigabyte Z790 UD AX-Motherboard. Das einzige, was angeschlossen ist, ist eine SATA-SSD und ein einzelner Speicherstick. Das Netzteil ist ein 850W Corsair RM850x. Das System erreicht C8 und sogar C10. Man könnte noch ein paar Dinge tun, um die Leistungsaufnahme zu reduzieren. Ich habe gemessen, während GNOME im Leerlauf lief (ich nehme an, wenn kein DE läuft, spart das ein bisschen CPU), ich habe zwei CPU-Lüfter, die selbst bei niedrigen Temperaturen langsam laufen, das System ist auf WiFi (ich nehme an, dass Ethernet weniger Strom verbraucht), und ich habe weder die Gehäuse-LEDs noch HD Audio deaktiviert.
Ich bin jetzt sehr zufrieden mit dem Stromverbrauch. Vielleicht ist eine Erkenntnis, dass die Intel E-Cores die Leistungsaufnahme im Leerlauf nicht sehr beeinflussen, zumindest bei dieser CPU. Das einzige Problem, das ich jetzt habe, ist, dass das System instabil ist und sporadisch neu startet 😭. Ich denke, ich habe das Problem auf eine fehlerhafte CPU oder ein fehlerhaftes Motherboard eingegrenzt (ich habe versucht, das Netzteil zu ersetzen, und memtest86+ sagt, dass der Speicher in Ordnung ist). Die Firma, bei der ich die Teile gekauft habe, behauptet, dass beides in Ordnung ist, aber wenn ich keine andere Lösung finde, werde ich versuchen, die CPU und das Motherboard durch einige Low-End-Teile zu ersetzen: einen i3 der 13. Wenn das Problem damit behoben ist, kann ich die anderen Teile hoffentlich zurückgeben. Im schlimmsten Fall werde ich die günstigen Teile für einen Server und die höherwertigen Teile für eine Workstation verwenden.
ich habe genau das gleiche Setup (i5-13500 + Z790 UD AX), mein Boot-Laufwerk ist Samsung 990 pro 4TB
und ich habe genau das gleiche Problem - sporadische Reboots. Konnten Sie herausfinden, was die Ursache dafür ist?
Ich habe sowohl das neueste BIOS F9b als auch F5 ausprobiert und mehrere BIOS-Einstellungen geändert, aber bis jetzt hat nichts geholfen. Mein Verdacht ist, dass das Boot-Laufwerk in einen Energiesparmodus geht und sich davon nicht erholen kann, aber ich weiß nicht, wie ich das beweisen kann.
es gibt keine Ereignisse vor dem Absturz, ich habe auch netconsole konfiguriert - immer noch nichts protokolliert.
Mit aktuellem BIOS, Standardeinstellungen und 970 evo plus als Bootgerät (keine andere Platte angeschlossen) scheint das System stabil zu sein, aber leider zieht es im Leerlauf durchschnittlich 32W, was nicht akzeptabel ist.
Im Moment ändere ich eine Einstellung nach der anderen und warte 12h+, um herauszufinden, was wirklich die Ursache ist, und das dauert eine Menge Zeit.
Ich habe alle Einstellungen ausprobiert, sobald ich c8/10 aktiviere, wird das System instabil und schaltet sich irgendwann ab. Ich habe alle Laufwerke und Kabel überprüft, die PSU zweimal ersetzt und warte derzeit auf eine CPU-RMA von Intel. Nach diesem Thread hier zu urteilen, scheint es ein Gigabyte-Problem zu sein. Ich habe auch verschiedene BIOS-Firmwares ausprobiert, ohne Erfolg, also scheint es, wenn eine CPU-RMA das Problem nicht behebt, wäre es ein Problem mit Gigabyte z790-Motherboards.
Enttäuschend für sicher, wie ich bin aus der Rückkehr Fenster und wirklich nicht wollen, um mit Gigabyte RMA, so dass, wenn CPU RMA nicht funktioniert, werde ich nur haben, um mit ihm zu leben oder verkaufen Sie es aus und kaufen Sie ein anderes Board.
Da dieser Thread schon ein wenig alt ist (Dez. 2023), frage ich mich, ob jemand anderes dieses Problem hatte und es lösen konnte.
Ich danke Ihnen.
Ich teste derzeit ein ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos) und im Leerlauf, mit dem Monitor und USB (Maus, Tastatur) suspendiert, zeigt der Leistungsmesser 6,7-8,1 W. Der Rest des Systems:
- i5 13500
- 2 x 16 GB 3600 MHz (Gang 1)
- 1 TB KC 3000
- RM550x 2021
- 2 x 120 mm Lüfter mit 450 U/min
- Audiocodec eingeschaltet
- WiFi ausgeschaltet
Arch Linux + RTL8125-Modul (mein Router unterstützt EEE nicht)
Bei deaktivierter Realtek-Karte zeigt der Stromzähler 6,4 - 6,7 W an
PC-Zustände mit LAN
C2 (pc2) 0,7%
C3 (pc3) 1,3%
C6 (pc6) 41,1%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0%
C10 (pc10) 55,8%
PC-Zustände ohne LAN
C2 (pc2) 0,6%
C3 (pc3) 0,9%
C6 (pc6) 0,0%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0%
C10 (pc10) 97,8%
Ich hatte ähnliche Ergebnisse auf einer B660 AORUS MASTER DDR4 (16+1+1).
Ich habe vor kurzem einen i3-13100 (4+0) und einen i3-13500 (6+8) gekauft, um die "E-core overhead"-Behauptungen zu testen, die ich online gesehen habe. Ich freue mich, berichten zu können, dass der Stromverbrauch im Leerlauf bei beiden Chips identisch ist! Vielleicht ist der erhöhte Stromverbrauch nur beim i5-12400 C0 der Fall, leider habe ich keinen zum Testen zur Hand.
Ich verwende derzeit einen nicht mehr geleasten Quanta 1u, den ich kurz vor dem Covid-Hit bei Ebay ersteigert habe, und seine Single-Core-Leistung zeigt wirklich ihr Alter. Außerdem läuft er im Leerlauf mit 80W >.<
Ich würde gerne meine Erfahrungen mit meinem neuen 12-14 W PC teilen.
Ich habe gerade lüfterlose mini-ITX PC gebaut. Gehäuse ist auch ein passiver Kühler - AKASA Maxwell Pro und im Inneren ist AMD Ryzen 5600G (Zen 3, 65W TDP), Gigabyte B550I AORUS PRO AX (Bios FB), 1x 16GB DDR4 (ich plane ein Upgrade auf 2x32GB), 1x 2TB Samsung 980Pro m.2 SSD. Es wird von einem 12V AC/DC-Netzteil von AKASA (max. 150W) und einem Inter-Tech MINI-ITX PSU 160 W versorgt.
12-14W Stromverbrauch im Leerlauf für den gesamten PC unter Windows 10 (gemessen auf der DC-Seite, Energieplan ist ausgeglichen, aber ich habe ASPM, Pstates und C-States im Bios und PCIe-Stromsparen in den erweiterten Einstellungen im Windows-Energieplan aktiviert).
Unter Last (Cinebench R23) 61-65W. Derzeit mache ich Undervolting, um den Stromverbrauch und die Temperaturen zu verbessern.
----------
mein kleines Heimlabor & NAS hat unter 2W Stromverbrauch im Leerlauf ‼️
Ich empfehle Odroid H3 (H3+) mit BIOS 1.11 und Debian 11 + DietPi + Kernel 6.0.0 (oder neuer) + angewandte Tweaks via powertop hat es einen Leerlaufstromverbrauch von nur 1.2 - 1.5W (verglichen mit 2.7W für RPi 4 - Quelle) ⚡️(mit meiner Konfiguration: 1x 16GB RAM und 1x SATA SSD).
See: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif
Die maximale Speichergröße ist 64 GB RAM und er hat 1x m.2 Port, 2x SATA 3 und 2x LAN 2.5Gbps. Er ist viel schneller als der Raspberry Pi 4 mit geringerem Stromverbrauch im Leerlauf. Unter Last kann er 20W verbrauchen (+abhängig von den angeschlossenen Geräten).
Wenn Sie mehr SATA-Anschlüsse benötigen, dann kann der m.2-Anschluss auf 5x SATA erweitert werden, indem Sie dies verwenden: https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
Ich kämpfe derzeit damit, mein neues NAS dazu zu bringen, im Leerlauf ohne Datenlaufwerke weniger als 40 W zu verbrauchen, und ich kann beim besten Willen nicht verstehen, warum es so viel verbraucht. Mein Gaming-Desktop verbraucht im Leerlauf weniger.
Es handelt sich um ein Asrock H670M-ITX/ac mit einem i3-12100, 8 GB RAM und einem 400-W-Netzteil von be quiet. Ursprünglich habe ich eine Kingston NV2 NVMe für das Betriebssystem verwendet, aber ich habe festgestellt, dass der Austausch gegen eine SATA SSD den Stromverbrauch im Leerlauf um etwa 10W (50W - > 40W) reduziert hat.
Laut powertop, Kerne erhalten in C7 kein Problem, aber Paket weigert sich, C2 zu verlassen. Ich bin mir nicht sicher, wie wichtig das ist.
Ich werde weiter daran arbeiten, mit Ihrem Artikel als Referenz :)
Matt,
Ihre Artikel haben mich inspiriert, so dass ich das gleiche Motherboard (prime h770 plus d4) und einen ähnlichen Prozessor usw. gekauft habe. Ich war in der Lage, 12-14w Minimum zu erreichen. Damit bin ich im Moment zufrieden, aber die zusätzlichen 8w, die dadurch entstehen, dass das Paket nicht mehr c8 erreicht, sind sehr frustrierend. Haben Sie etwas Ähnliches in Ihrem Build gesehen?
Mehrere Untersuchungen haben ergeben, dass es sich um ein Treiberproblem mit RealTekLAN handelt. Wenn Sie die Treiber für den 8125-Chipsatz von der Realtech-Seite herunterladen und installieren, können Sie c10 wie bisher erreichen.
du solltest ein anderes Netzteil wie das Corsair RM550x (2021) oder BeQuiet 12M 550W in Betracht ziehen. Das Corsair ist das beste Netzteil für Low-Power-Setups, aber extrem schwer zu bekommen. Es wird den Stromverbrauch noch weiter senken (2 bis 4 Watt).
Diese und andere Optimierungen werden in diesem Thema erwähnt:
https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/
Leider handelt es sich dabei um eine absichtliche Änderung des im Kernel enthaltenen Realtek-Treibers. Sie stellt sicher, dass L1 auf praktisch allen Realtek-Adaptern deaktiviert ist, anscheinend als Reaktion auf eine Reihe von Realtek-Adaptern, bei denen Stabilitätsprobleme auftreten, wenn diese niedrigen Energiezustände aktiviert sind. Auf meinem aktuellen Testsystem führt dies zu einer Leistungserhöhung von 4 Watt im Leerlauf, wenn der Bildschirm ausgeschaltet ist, da das System nicht mehr unter C3 abfällt.
Der Realtek-Treiber, der von Tseting verlinkt wurde, ist wahrscheinlich die einfachste Lösung für den Moment, obwohl ich keine Ahnung habe, wie er auf nicht unterstützten Kernel-Versionen funktioniert und ich persönlich kein großer Fan von Kernel-Modulen bin. Ich werde ihn der Einfachheit halber hier einfügen: https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
Es gibt natürlich auch einen schwierigeren Workaround - für diejenigen, die mit der Kompilierung des Kernels vertraut sind, wird das Rückgängigmachen der Änderung im obigen diff L1/L1 wiederherstellen. 1 auf RTL8168h/8111h, RTL8107e, RTL8168ep/8111ep, RTL8168fp/RTL8117 und RTL8125A/B Geräten wiederherstellen (bei allen älteren Geräten war es bereits deaktiviert) - wenn Sie L1.2 zulassen wollen, können Sie rtl_aspm_is_safe() zwingen, true zurückzugeben, obwohl dies auf meinem Testsystem keinen Vorteil gegenüber L1.1 brachte.
Wenn die Kernel-Entwickler ihre Meinung nicht ändern, sieht es so aus, als ob Intel NICs die einzige brauchbare Option für die Zukunft sind. Intel 1G NICs haben sich im Allgemeinen als sehr solide erwiesen. Beunruhigenderweise habe ich festgestellt, dass die Deaktivierung der Realtek-NIC auf meinem MSI-Board diese nicht vollständig entfernt (sie bleibt immer noch bei C3 hängen), so dass der Kauf eines Boards mit einer Realtek-NIC mit dem Plan, diese zu deaktivieren und eine Intel-Netzwerkerweiterungskarte zu verwenden, riskant sein könnte. Es ist erwähnenswert, dass Hersteller auf einem 8125A/B-Adapter ein Flag setzen können, um anzuzeigen, dass L1.2 getestet und erlaubt ist, was der Linux-Kernel respektiert, aber ich weiß nicht, ob es in irgendwelche Motherboards oder Erweiterungskarten geschafft wurde.
danke für die ausführlichen geteilten Informationen.
Ihr Setup hat mich inspiriert und ich habe mir das "Prime h770-plus" inklusive 4800er DDR Ram zugelegt.
Leider habe auch ich Probleme mit NVME SSD's, wenn aspm im Bios aktiviert ist (und PCI express clock gating). Die Workarounds zum Blockieren bestimmter Stromsparmodi der WD's half leider nicht. Versucht wurden die SN750 (1tb) und die SN850X(2tb).
Können Sie die Crucial P3 weiterhin empfehlen oder steigt diese auch regeläßig mit Verweis auf ASPM Probleme aus?
Wer hat welche andere NVME an dem Board zuverlässig mit aktiviertem ASPM laufen?
Sie betreiben das Setup denk ich produktiv im Dauerbetrieb?
Zusätzlich habe ich festgestellt, dass eine 840pro (256gb) mindestens am SATA1 verhindert, dass das System tiefer als C3 geht. Eine Crusial Force GT (128GB) funktioniert hingegen bis C8.
Das Problem mit dem Realtek NIC habe ich durch Ausbau des Checks im Kernel umschifft.
Danke und viele Grüße
habe nun eine Samsung 990 pro ausprobiert. Leider führt das weiter zu den bereits bekannten nvme aspm Fehlern.
Hat noch jemand Ideen?
Am Netzteil kann das doch eigentlich nicht liegen (fänd ich sehr merkwürdig), weil hier voch ein Corsair cx 750 temporär verwendet wird.
Falls alles nichts hilft hätte jemand Eine gute Board Alternative?
Irgendwie trete ich was Hardware angeht leider zu oft ins Fettnäpfchen ;-(.
"Ich schätze, eine Menge Kopfschmerzen hätten vermieden werden können, wenn Sie ein Board mit mehr SATA-Anschlüssen gefunden hätten!"
Das stimmt so nicht ganz - denn es kommt darauf an, welcher SATA-Controller verwendet wird und/oder wie die Ports angeschlossen sind. Die Chancen sind hoch, dass ein Onboard-Controller verwendet wird, und speziell für das N5105 gibt es eine weithin bekannte NAS-Variante mit 6 SATA-Ports, die von Kingnovy und Topton vertrieben wird.
Die Schwarze verwendet JMS585 und die Grüne verwendet ASM1166 - die Schwarze ist auf C3 festgelegt und die Grüne kann bis zu C8 gehen (habe ich selbst überprüft, weil ich die grüne Variante habe). Wenn ich mehr als nur einen Backup-Server bräuchte, würde ich diesen Weg einschlagen - mit einem viel leistungsfähigeren Intel auf LGA1700.
Ein gutes Beispiel dafür, wie niedrig der Stromverbrauch im Leerlauf sein kann, ist das Odroid H3 - <2W im Leerlauf mit 2x HDDs über SATA in Spindown ... sobald man jedoch (die falschen) Komponenten hinzufügt, wird das schnell schneller gehen - siehe die Stromverbrauchsstatistiken hier:
https://github.com/fenio/ugly-nas
TLDR: Am Ende schluckt es mehr Strom als dein Build hier - und ich muss hinzufügen, dass ich zuvor ein Odroid H2 besaß, das die 5V-Lane durchbrannte und die (teuren) SSDs mit sich riss ... seitdem bleibe ich weg für das absolute Maximum des niedrigsten Stromverbrauchs in exotischen Kombinationen wie dem Odroid H3.
Ich würde sagen, am Ende kommt es darauf an, wie praktisch alles ist und wie hoch der Stromverbrauch ist.
Abgesehen davon bin ich von dieser Konstruktion hier beeindruckt - 7W im Leerlauf mit einem 750W-Netzteil ist schon was.
Ich bin gerade dabei, meinen Heimserver von j3455 auf 11400 zu aktualisieren.
Beim Wechsel der Hardware bin ich auf ein seltsames Problem gestoßen:
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (letztes Bios) +asm1166.
Wenn ich von USB ohne angeschlossene SATA-Laufwerke boote, erreicht Paket C den Status c8.
Wenn ich von USB mit einem SATA-Laufwerk boote, das an den Onboard-SATA-Controller angeschlossen ist, erreicht der Status des Pakets C nur C2 (+4W).
Wenn ich von USB mit einem SATA-Laufwerk boote, das an einen pcie asm1166 angeschlossen ist, erreicht das Paket c status c8.
Mir scheint also, dass der b560 SATA-Controller Probleme mit dem Stromsparen hat. Selbst wenn ich L1 für alles aktiviert habe und powertop tune laufen lasse, geht er nicht unter c2.
Haben Sie eine Idee, woran es liegen könnte, dass der b560 SATA-Controller 4 W mehr verbraucht?
Am Ende könnte es auf lange Sicht billiger sein, einen weiteren ASM1166 anstelle des Onboard-Controllers einzubauen :D
Dies ist aktiviert, ich habe es auch mit deaktiviert versucht, aber es hat weder den Stromverbrauch noch die C-States verändert. (Ich lasse es vorerst aktiviert)
Im BIOS kann ich angeben, ob M.2_2 SATA oder PCIE verwendet. Laut BIOS und Handbuch ist SATA6G_2 nur blockiert, wenn M.2_2 auf SATA eingestellt ist.
Aber ich habe das ASM1166 in M.2_2 angeschlossen und als PCIE konfiguriert. Ich habe bestätigt, dass alle Onboard-SATA-Anschlüsse mit dieser Einstellung wie erwartet funktionieren.
Hotplug ist für alle Ports standardmäßig deaktiviert. Ich habe es aktiviert, um zu sehen, ob sich dadurch etwas ändert, aber das war nicht der Fall. Ich belasse es vorerst auf Deaktiviert.
Ich habe von USB gebootet und verschiedene Geräte ausprobiert: 2x SSDs (Emtec und ältere Samsung), 2x 3,5" HDDs (WD und Seagate) und sogar 1x LG DVD-Brenner.
Es scheint keine Rolle zu spielen, welche Art von Gerät angeschlossen ist.
Es ist immer das Gleiche, sobald ich ein Gerät über SATA anschließe, ist C2 maximal.
Um dies zu überprüfen, habe ich von einem USB-Stick mit angeschlossenen SATA-Geräten gebootet und dann alle Geräte während des Bootens abgesteckt.
Sobald das letzte SATA-Gerät physisch vom aktiven System getrennt wird, geht es sofort auf pc6 und kurz darauf auf pc8.
Wenn ich alle SATA-Geräte wieder anschließe, bleibt es in PC6/8, aber auch dmesg erkennt den Replug nicht (wahrscheinlich weil Hotplug deaktiviert ist)
Ich werde die dmesg-Bootprotokolle durchgehen, vielleicht taucht etwas Interessantes auf.
-m.2 Steckplatz des Mobos funktioniert (getestet mit m.2 ssd)
-sata controller funktioniert (getestet mit m.2-pcie adapter&x16 slot des mobo und m.2 slot eines anderen minipc)
Aber mit asm1166 an den m.2-Steckplatz angeschlossen, wird nichts im Bios oder lspci angezeigt.
Es sieht also so aus, als ob das Asrock Board ein Problem hat.
Ich weiß nicht, wie ich weiter vorgehen soll.
https://youtu.be/-DSTOUOhlc0?t=254
Eine Sache, die ich nicht verstehe: Wenn ich den Heimserver nicht nur als NAS, sondern auch als Router verwende, würde das verhindern, dass er im Leerlauf einen hohen Stromverbrauch hat, da er ja immer etwas arbeiten muss? Ich habe eine Gigabit-Verbindung und verwende derzeit openwrt auf einem pi4, aber mit aktiviertem qos erreiche ich die halbe Download-Geschwindigkeit.
Nochmals vielen Dank.
Was die Eignung als Router angeht, bin ich mir nicht sicher, obwohl ich hoffe, dass ich das in den nächsten Wochen ausprobieren kann. Momentan habe ich den alten ASRock/Intel J4005B-ITX, der OpenWRT als Router benutzt, aber das Limit des Motherboards ist C6 (obwohl er 88-92% der Zeit nach dem Powertop mit typischem Heimverkehr verbringt, einschließlich eines YouTube-Streams, den ich gerade getestet habe). Das Ding wird von einem meiner alten Antec-Netzteile mit Strom versorgt, und es liegt zuverlässig bei konstanten 10 Watt.
EDIT/UPDATE 13. Dezember: Nur um nachzufassen, habe ich ein bisschen mit dem Asus H770 + i3-12100 + Intel i350-4T getestet, das OpenWRT in einem systemd-nspawn-Container mit SYSTEMD_SECCOMP=0 privilegiert ausführt. Die Ergebnisse sind ein bisschen durcheinander.
Wenn man nichts tut, ist es in 90-95% der Zeit in C10.
TEST A: Handhabung von nur 1 Gerät, das YouTube anschaut, 90% C10. Bei sehr leichtem Datenverkehr im Haushalt (sporadisch mit weniger als 3Mbit/s im Durchschnitt) blieb er 80-90% der Zeit in C10. Beim Herunterladen von einem meiner Webserver, bei dem die Rate auf 4 MB/s (etwa 32 MBit/s) begrenzt ist, fiel sie auf etwa 50-60 % in C10.
TEST B: Durchführung von iperf-Tests von einem externen VPS zu einem lokalen Rechner (Weiterleitung eines Ports):
- 0Mbps = ca. 82% C10 (nur Haushaltsverkehr)
- 1Mbps = ca. 73% C10
- 5Mbps = ca. 61% C10
- 10Mbps = ca. 58% C10
- 20Mbps = ca. 30% C10
- 30Mbps = ca. 12% C10
...bei knapp über 40Mbps wird 0 erreicht.
TEST C: Interessanterweise lieferte der Durchgang durch den Router zwischen 2 lokalen Netzen (kein NAT, nur Weiterleitung) andere Ergebnisse:
- 0Mbps = ca. 82% C10 (nur Haushaltsverkehr)
- 1Mbps = ca. 82% C10
- 5Mbps = ca. 80% C10
- 10Mbps = ca. 74% C10
- 20Mbps = ca. 70% C10
- 30Mbps = ca. 64% C10
...bei knapp über 70Mbps wurde 0 erreicht.
Da ich mich in einem nspawn-Container befinde, war ich nicht in der Lage, Software-Flow-Offloading in der Firewall-Sektion von OpenWRT auszuprobieren, um zu sehen, ob es die Auswirkungen in den Tests A und B abmildern würde - es ist gut möglich, dass das "Flow-Offloading", das es macht, die Ergebnisse näher an Test C bringen würde. Es ist auch möglich, dass IPv6 in den Tests A und B besser abschneidet, indem es NAT überspringt, obwohl die Auswirkungen kleinerer, aber größerer Pakete immer einen Strich durch die Rechnung machen könnten.
Soweit ich das beurteilen kann, lässt sich daraus ableiten, dass der Computer ein gewisses Maß an Datenverkehr als Firewall bewältigen kann und trotzdem noch Möglichkeiten zum Schlafen findet. Aber wenn er wach gehalten wird... dann werden auch andere Optionen verlockend. Ich habe gerade wieder den Intel J4005 getestet (nur an einen Monitor angeschlossen) und er liegt bei 9-10W in OpenWRT, selbst wenn die C-States deaktiviert sind, und ich vermute, dass die J5xxx-Serie ähnlich ist (keine Ahnung über N100). Wenn etwas mehr Leistung benötigt wird, dann schafft mein Ryzen 5600G 22-23W auf einer Ubuntu LiveDVD mit deaktivierten C-States. Beide sehen in meinen Augen gleich attraktiv aus, sobald Alder Lake seinen C-State-Vorteil verliert.
EDIT/UPDATE 15. Dezember: Bare Metal, Debian als Router konfiguriert. TEST B war fast identisch, außer dass die Zeit in C10 für jedes Element +6% betrug - trotzdem wurde die harte Wand knapp über 40Mbps erreicht. Flow-Tabellen haben nicht geholfen.
Test C schnitt etwas besser ab, wobei die endgültigen Zahlen lauteten:
- 70Mbps = ca. 70% C10
- 75Mbps = ca. 60% C10
- 80Mbps = 0% C10 (hier wurde eine harte Wand erreicht)
Als ich die Datenflusstabellen für Test C aktivierte, konnte ich noch ein wenig mehr herausholen:
- 80Mbps = ca. 60% C10
- 85Mbps = ca. 45% C10
- 90Mbps = 0% C10 (hier stieß ich auf eine harte Wand)
TEST D: Um die Auswirkungen einer steigenden Anzahl von Verbindungen zu testen, habe ich einen Torrent-Client gestartet und eine Reihe von Torrents mit einer begrenzten globalen Download-Geschwindigkeit von 1 MB/s hinzugefügt.
- 0 Verbindungen = ca. 80 % C10 (nur Haushaltsdatenverkehr)
- 16 Verbindungen = unterschiedliche 36-39 % C10
- 32 Verbindungen = unterschiedliche 33-35% C10
- 64 Verbindungen = unterschiedlich 26-29% C10
- 128 Verbindungen = unterschiedlich 21-29% C10
- 256 Anschlüsse = ca. 20% C10
- 512 Verbindungen = ca. 15% C10
- 1024 Verbindungen = ca. 5% C10
...Ich habe Flow-Tabellen an verschiedenen Stellen ausprobiert. Kein positiver Unterschied.
Auf dieser Reise habe ich ein paar interessante Entdeckungen gemacht.
Erstens halfen die Datenflusstabellen überhaupt nicht weiter. Wenn überhaupt, dann schienen die Online-Geschwindigkeitstests etwas weniger Spitzenwerte zu liefern. Vielleicht ist das etwas, das spezifisch für den von mir verwendeten Intel i350-T4 ist (in einem Debian Bare Metal H770 und einem OpenWRT Bare Metal J4005).
Zweitens, OpenWRT in einem Container war keine angenehme Erfahrung. Es traten seltsame Probleme auf, bei denen einige Verbindungen stabil waren und andere Probleme hatten. Vielleicht ließe es sich mit etwas Optimierungsarbeit und Überredungskunst zum reibungslosen Funktionieren bringen. Ich habe festgestellt, dass eine VM bei einer reinen Installation 2-2,5 % der CPU-Leistung in Anspruch nimmt und die C-States nicht schont, also habe ich das nicht weiterverfolgt.
Drittens, und das ist sehr obskur und wahrscheinlich spezifisch für das ASUS H770 oder vielleicht meine Hardware-Kombination oder vielleicht sogar den Linux-Kernel, den ich laufen ließ... wenn die eingebaute Realtek-NIC im BIOS aktiviert war, aber NICHT aktiviert wurde (über eine systemd-networkd .network-Datei), führte die Installation und Aktivierung einer anderen Netzwerkkarte dazu, dass das System 50% der Zeit in C3 verbrachte. Mit "aktiviert" meine ich sogar etwas so Einfaches wie ein [Match]name=X, während der Rest leer ist. Ich habe einen i210, i340 und i350 ausprobiert. Beim i350-T4 habe ich festgestellt, dass ein entsprechendes SMBUS-Element im Powertop ebenfalls verschwunden ist, nachdem ich die Onboard-NIC deaktiviert und die Karte in den zweiten PCIEx1-Slot verschoben hatte. Manchmal scheint es, als ob ASUS einige Kobolde auf dem PCIE-Bus herumlaufen lässt.
Ich folgte Ihrem Build und kaufte das gleiche Motherboard mit einem i3-13100 cpu.
Ich habe ein Problem, das ich nicht lösen kann, und ich weiß nicht, wo / was zu suchen.
Ich habe Ubuntu 22.04 installiert und es mit 23.04 versucht, aber das Problem ist immer noch das gleiche:
Immer wenn ich versucht habe, http://www.google.com anzupingen, habe ich ein Problem, SOFORT WIE ich meine Tastatur und Maus entferne:
- entweder "ping sendmsg no buffer space available" mit dem Treiber r8168
- oder "pcie link is down" mit Treibern r8125
Ich habe alle Energieverwaltungsoptionen, die ich finden konnte, entfernt.
Ich habe versucht, ein anderes usb-Gerät anzuschließen.
Irgendwelche Anhaltspunkte?
- Prüfen Sie die Ausgabe von "dmesg" auf zugehörige Ereignisse.
- Prüfen Sie, ob das Problem beim Booten über die 22.04/23.04 LiveCD auftritt oder ob es nur nach der Installation auftritt.
- Versuchen Sie Ubuntu 23.10 (ich *denke*, die Release-Version, die mit dem Kernel ausgeliefert wurde, der ASPM auf dem RTL8125 deaktiviert hat) - entweder per LiveCD oder per Installation, abhängig von den Ergebnissen aus #1.
- Probieren Sie verschiedene USB-Anschlüsse aus, immer nur einen, um herauszufinden, ob es an der Tastatur oder der Maus liegt (oder an beidem), probieren Sie eine Tastatur/Maus einer anderen Marke aus, um zu sehen, ob das einen Unterschied macht.
- Ziehen Sie das Netzwerkkabel ab und stecken Sie es wieder ein, um zu sehen, ob das Netzwerk wieder funktioniert oder ob es für immer unterbrochen ist.
- Deaktivieren Sie "F1 for error" im BIOS und versuchen Sie, das Betriebssystem zu starten, ohne dass Tastatur/Maus eingesteckt sind, und sehen Sie dann, was passiert, wenn sie eingesteckt und wieder entfernt werden.
- Wenn Sie eine PCIe-Netzwerkkarte haben (idealerweise eine andere als die von Realek für diesen Test), sehen Sie nach, ob sie das gleiche Problem hat.
Vielleicht meldet sich noch jemand, der das gleiche Problem hat. Diese Situation wäre mir nicht begegnet, da ich meine Tastatur eingesteckt gelassen habe (und schließlich auf eine kabellose Tastatur umgestiegen bin, der es nichts ausmacht, dass sie vom Powertop ausgeschaltet wird). Es könnte immer ein seltsames Problem mit defekter Hardware sein.CPU: i5-12600K
PSU: Corsair RM750e
NVMe: Samsung 980 Pro
Arbeitsspeicher: 2x16 GB DDR5
OS: Ubuntu 23.04 Server (läuft über USB)
Ich habe ursprünglich ein ASRock B760M Pro RS gekauft. Nach dem Tuning des BIOS und sogar nach der erzwungenen Aktivierung von ASPM auf der Realtek-Karte konnte ich den PC-3 nicht unterkriegen. Meine Gesamtwattzahl lag bei ~15 Watt. Nicht schlecht, aber dieser Rechner war für einen neuen Heimserver gedacht, der rund um die Uhr laufen sollte, und ich wusste, dass er besser sein könnte. Ich habe ASRock eine E-Mail geschickt, da ihr BIOS keine expliziten Werte für den PC-Status festlegt, sondern nur einen Dreistatus von Auto, Enabled und Disabled hat, um zu erfahren, ob sie planen, Unterstützung hinzuzufügen, und habe keine Antwort erhalten. Also war ich mit ihnen fertig.
Ich gab das ASRock zurück und wechselte zu einem ASUS Prime B760-M-A. Ich konfigurierte das BIOS und ließ powertop laufen. ASPM L1 funktionierte auf dem Realtek ohne Benutzeränderungen. Ich war bei etwa 11 Watt. Nachdem ich das DP-Kabel und die drahtlose USB-KB/Maus entfernt hatte, sank die Leistung auf 7,2 Watt. Fantastisch! Ich konnte auf PC10 heruntergehen und das System scheint sehr stabil zu sein. Unglaublich, wie weit Desktop-Computer beim Stromverbrauch gekommen sind.
habe gerade einen Build mit einem Asus Prime b760M d4 gemacht und hatte genau die gleichen Ergebnisse auf meinem Motherboard. Habe Asus kontaktiert, um zu sehen, ob sie irgendein Feedback in Bezug auf die cpu verbunden pci/m2 Steckplatz haben. Ich erreiche C6, wenn ich einen intel I226-v im x16-Steckplatz und einen samsung 970 evo im cpu m2-Steckplatz habe.
Meine X710-da2-Netzwerkkarte muss ich jedoch im x4-Steckplatz betreiben, da der C-Status bei Verwendung im x16-Paket nur bis c2/c3 geht.
Ich habe keine Probleme mit meiner i226-v Netzwerkkarte.
Mein Anwendungsfall war es, einen stromsparenden 10-Gigabit-Router zu bauen. Derzeit verwende ich OPNsense, werde aber möglicherweise zu Vyos wechseln, um die Systemlast zu verringern.
Ich habe versucht mit
1. intel x520-da2(board aus china), das aspm nicht unterstützt
2. melanox connectx4(Board aus China), das aspm unterstützt, aber nur c3 erlaubt
3. randome i226 nic aus China - unterstützt aspm, kann aber aspm nicht aktivieren
Können Sie mir bitte das genaue Modell mitteilen oder wo Sie Ihren i226v-Nic gekauft haben?
ich habe das hier benutzt. https://www.aliexpress.com/item/1005005929535264.html
Ich bin mir sicher, dass du das schon gehört hast, aber ich danke dir für deine informativen Beiträge und deine Zeit.
100% neu in diesem alle und es ist ein bisschen überwältigend, um ehrlich zu sein, aber der Gedanke an einen eigenen Server ist unglaublich attraktiv. Ich näherte sich dies alles genau wie ich tat, als ich anfing, PC-Bau, ein Haufen wenn youtube-Videos, lesen Sie einen Haufen von Artikeln und Art von muddle meinen Weg durch. Wenn man sich mit dem Aufbau von Servern beschäftigt, wird einem sofort klar, dass man wirklich wissen muss, was man tut, und das Lesen Ihrer Artikel macht dies noch deutlicher.
Was sind Ihre Vorschläge für einen Plex/Jellyfin-Server, der immer eingeschaltet ist, wenig Strom verbraucht und volle Transcoding-Fähigkeiten besitzt. Die Leute scheinen entweder viel oder wenig von Produkten wie Synology und QNap zu halten, was mich stutzig macht. Nochmals vielen Dank
Danke für den tollen Bericht! Dieses Jahr habe ich mir ein stromsparendes NAS-System gebaut, um mein vorgefertigtes QNAP TS-351 (Intel J1800) und ein Gigabyte Brix J4105 zu ersetzen. Meine Anforderungen waren, dass dieses neue System im Durchschnitt weniger Strom verbrauchen sollte als diese beiden Systeme zusammen und eine weitaus bessere Leistung haben sollte. Mit Hilfe Ihrer (früheren) Artikel, des niederländischen Tweakers-Forums, des deutschen Hardwareluxx-Forums, des unRAID-Forums und einiger anderer Quellen kam ich auf die folgenden Werte:
- Intel i5-13500
- Gigabyte B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- be quiet! Pure Power 12 M 550W
- 1x Toshiba MD04ACA50D 5TB (von meinem NAS)
- 2x Toshiba MG07ACA14TE 14TB (von meinem NAS)
- Crucial P1 1TB (NVMe)
- Samsung 980 1TB (NVMe)
- Crucial BX500 1TB (Backup über USB angeschlossen)
- Transcend SSD230S 2TB (SATA-SSD)
- Philips OEM USB2.0-Laufwerk (Startlaufwerk)
Mit dieser Konfiguration führe ich derzeit fast 50 Docker-Container mit verschiedenen Anwendungen und Datenbanken aus und erreiche im Leerlauf 17 W aus der Steckdose. Alles wird heruntergefahren und es wird auf keine Dienste zugegriffen, außer SSH. Womit ich ziemlich zufrieden bin. Paket C8 kann erreicht werden, besonders wenn die meisten Anwendungen nicht viel tun oder wenn ich sie stoppe. Wenn ich alles stoppe, kann ich auf dem unRAID 11W erreichen.
Eine andere Sache, die mir (und einigen anderen) auf dem Intel 600/700 aufgefallen ist, war, dass die Verwendung von seriellen USB2.0-Geräten wie Zigbee- oder Z-Wave-Geräten den Stromverbrauch um einiges erhöht. Etwa 5-7W. Ich verwende derzeit ser2net auf einem Pi, um dies zu umgehen. Ich habe mich an Gigabyte und Intel gewandt, aber beide bestritten, dass dies ein Problem sei.
Ich verwende auch E-Kerne für die meisten Anwendungen, was mir im Durchschnitt 1-2 W erspart. Einiges geht für Systemprozesse, die ich mit Taskset auf diese Kerne verschiebe. Das scheint ziemlich gut zu funktionieren.
Was die Realtek-NIC betrifft, habe ich kürzlich den "nativen" Realtek-Treiber ausprobiert, der im App-Store verfügbar ist, aber das hat L1 für mich komplett deaktiviert. Das Ergebnis waren zusätzliche 4 W. Ich kehrte zum Kernel zurück und erzwang L1 mit: `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` funktioniert.
Wenn Sie irgendwelche Fragen haben, können Sie sich jederzeit melden. Ich wünsche euch ein tolles neues Jahr <3!
/sys/bus/pci/devices/$DEVICELOC/link/l1_aspm
- merci pour cela. Je viens de l'essayer avec le RTL8125 sur ma carte MSI et cela fonctionne très bien - c'est beaucoup plus facile de le configurer au démarrage plutôt que de construire un noyau personnalisé. Malheureusement, la RTL8168 sur l'ancienne Gigabyte H110N n'a pas l'air d'avoir ce paramètre sysfs exposé, donc elle continuera à recevoir le traitement du noyau personnalisé jusqu'à ce que j'aie la chance d'échanger avec un Intel i210 (qui malgré le fait qu'il soit 1Gbit est maintenant légèrement plus cher que l'Intel i225 2.5Gbit sur AliExpress).Wie sieht es mit der Stabilität dieses Builds bisher aus? Ich denke darüber nach, die gleiche CPU-Mobo-Kombination zu bekommen, aber ich bin besorgt, dass es im Leerlauf instabil sein wird, was meinen Zweck, mein altes Xeon-System in den Ruhestand zu schicken, zunichte machen würde.
Mit freundlichen Grüßen,
Wojtek
Mein Aufbau:
I5-12500
Asrock B660M Steel Legend
64GB DDR4-3200 Corsair LPX
2xNVME-Laufwerke (1 SK Hynix Gold P31, 1 TeamGroup)
ASM1064 PCI-Express 3x1 auf 4 SATA Adapter"
Realtek 2.5G NIC
3x120mm Lüfter.
Proxmox 8 mit Linux 6.5.11 Kernel. Powersave Gouverneur aktiviert.
Ich habe versucht, alles auf das Wesentliche zu reduzieren und habe alle Speicher und andere Geräte entfernt. Ich habe Onboard-Audio, Realtek-Nic und den ASM1062 SATA-Controller deaktiviert. Wenn ich von einem USB-Stick gebootet habe und Powertop laufen ließ, waren es ~50% C2 und ~50% C3. Niemals darüber. Ich bestätigte, dass alle Geräte ASPM mit LSPCI unterstützen und aktivierte jede ASPM-bezogene Einstellung, die ich im Bios finden konnte. Ich habe auch nach heimtückischen Übertaktungseinstellungen gesucht, aber keine aktiviert gefunden. In dieser Konfiguration lag der Stromverbrauch bei ~20 W. Das Hinzufügen des ASM1064 SATA-Controllers und der NVME-Laufwerke hat keinen signifikanten Unterschied gemacht. Ich habe powertop --auto-tune jedes Mal ohne nennenswerte Auswirkungen ausgeführt.
Dann fügte ich eine Nvidia 1660 Super GPU hinzu, die ich in eine leichtgewichtige Linux-VM übergebe. Ich lasse dann die Nvidia-Treiber im Persistenzmodus laufen und nvidia-smi meldet, dass sie ~1 Watt verbrauchen. Das spart ~10-20W.
Wenn ich ~8 Festplatten (eine Kombination aus Western Digital Reds und Seagate Exo-Laufwerken) hinzufüge, verbraucht der Rechner im Leerlauf ~100W und verbringt 80% der Zeit in C2.
Dann starte ich meine Haupt-VM und schalte die SATA-Controller durch. Der Stromverbrauch steigt um 30 W auf 130 W und bleibt dort. Powertop auf dem Host zeigt an, dass das Paket nie einen C-Status erreicht. Ich habe kein Spindown der Laufwerke konfiguriert.
Ich bin mir nicht sicher, ob ich etwas verlange, ich teile nur meine Erfahrung. Auch wenn es keinen großen Unterschied gemacht hat, habe ich sicherlich ein paar Dinge gelernt.
Ich denke, dass ich von der VM auf einen Linux LXC-Container auf dem Host migrieren könnte. Ich frage mich, ob die VM irgendwie die Energieverwaltung beeinträchtigt. Nochmals vielen Dank für den sehr ausführlichen und interessanten Bericht!
Corsair SFX SF450 Platinum
ASRock Z690-ITX
Corsair DDR4 2*16GB 3200 MHz
2 Samsung NVMe 980 Pro 1TB on board miniPCIe (ZFS Mirror)
1 Samsung EVO 870 2TB on board SATA (ext4)
I5-12400 schrittweise H0
Realtek 2.5G deaktiviert
1 Noctua Lüfter auf CPU (92mm)
Proxmox 8.1 (1 Docker LXC läuft mit Plex)
Kein Bildschirm angeschlossen, keine Tastatur, keine Maus
BIOS geladen mit ASRock Standardparametern + Audio/Wifi deaktiviert, ASPM überall aktiviert
Idle-Verbrauch an der Wand = 18W
Powertop sagt | Pkg C2 28%, C3 64% | Core CPU C7 97%
Wie auch immer, ich habe alles auf der ASPM-Seite meines Motherboards (Asus Pro WS W680-ACE IPMI) aktiviert, das Einzige, was mir aufgefallen ist, dass es jedes Mal auf Auto zurückgesetzt wird, ist das Native Aspm (wenn es aktiviert ist, sollte es die OS ASPM-Unterstützung hinzufügen), aber jedes Mal, wenn ich das BIOS aufrufe, sehe ich es auf Auto eingestellt. Haben Sie einen Anhaltspunkt?
Wenn ich diesen Befehl ausführe, ist das der aktuelle Status der Geräte:
Was das BIOS betrifft, so ist meine Vermutung, dass "Native ASPM" Auto/Enabled wahrscheinlich sowieso zum selben Ergebnis führt. Sie könnten versuchen, "Native ASPM" auf Disabled zu setzen, um Ihre BIOS-Einstellungen im Betriebssystem zu erzwingen, und dann sehen, ob "lspci" eine Verbesserung bei einem der 8 Einträge meldet, die derzeit "ASPM Disabled" anzeigen - Sie sollten jedoch sicherstellen, dass Sie externe Backups haben, nur für den Fall, dass der Kernel es auf Ihrem System aus Gründen des Datenverlusts absichtlich deaktiviert hat. Ich bin mir nicht sicher, was auf Ihrer ASPEED AST1150 Bridge läuft, aber da ASPM darauf deaktiviert zu sein scheint, würde es mich nicht überraschen, wenn alle Geräte, die ihr nachgeschaltet sind, ebenfalls deaktiviert sein könnten.
Bei der Fehlersuche kann es nützlich sein, jeweils 1 BIOS-Einstellung zwischen den Neustarts/Tests zu ändern. Wenn Sie PowerTOP nicht dazu bringen können, Ihnen etwas mitzuteilen (auch nicht mit einer Ubuntu Live DVD), ist Ihre nächstbeste Möglichkeit wahrscheinlich, ein Kill A Watt Gerät zu verwenden, um die Auswirkungen Ihrer Änderungen zu messen.
Was halten Sie von dem Board: ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail
Da ich 8 SATA Anschlüsse hätte, würde ich keine weitere PCIe Karte mehr benötigen (bis auf weiteres). Dazu den i5 12400F mit vorhandenen HDD'S und SSDs
In meinem Office Rechner mit MSI Mainboard habe ich keine einzige der C-State, Energiesparmodi oder sontige Einstellungen wie hier erwähnt. Liegt das an MSI oder an dem Board selbst? Ist ein B450M PRO-VDH MAX (MS-7A38).
Bin für jede Hilfe und jeden Kommentar dankbar :)
Bei der von Ihnen erwähnten B450M-Hauptplatine bin ich mir nicht sicher, obwohl es sich um eine AMD-Hauptplatine handelt und ich nur ein paar B550-Hauptplatinen besitze, also nicht viel Erfahrung mit ihnen habe. Möglicherweise gibt es einen ganz einfachen Toggle namens "Global C-State Control", obwohl Sie sich vielleicht durch alle Menüpunkte wühlen müssen, um ihn zu finden. Abhängig von der CPU unterstützen neuere Linux-Kernel der 6.x-Reihe verschiedene amd_pstate-Skalierungstreiber, die sich positiv auf die Gesamtleistung auswirken können.
Nun hat ein Kollege einen Mini PC gekauft und Unraid installiert. Diese mit einem m.2 zu SATA Adapter und hat dadruch 6 SATA Anschlüsse. Diese gäbe es wohl auch mit 2x m.2, sodass man 2 Ryzer Karten installieren könnte.
https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/
Verbauch liegt, ohne igrendwelche Einstellungen mit 2 Dockern und 2x VM bei ca. 9W im Idle. Angeschlossen sind 5 HDDs.
Der Gedanke ist, dass dahinter eine Mobile CPU hängt und man sowas in der Richtung findet. Gibt es da Erfahrungen? Die Ergebnisse sehen ja gut aus und die Leistung sollte auch reichen.
Ich erwarte, dass die CPU-Leistung für die meisten Aufgaben völlig in Ordnung ist.
- Der Mini PC hat seine eigene Stromversorgung und die HDDs werden über eine 2. Pico PSU mit 160W versorgt. Als Gehäuse hat er ein leeres NAS Gehäuse, hier verbrauchen alleine die beiden Lüfter wohl schon 11W zusätzlich, das schaut er sich nochmal an.
Mein Gedanke war, den Mini PC zu öffnen und alles, inkl. HDD in mein ATX Gehäuse zu bauen. 1 oder 2 Nactua Lüfter, stark runter geregelt und die Stromversorgung dann mit einem vorhanden ATX Netzteil zu nutzen, zusätzlich zu dem Pico PSU für den Mini PC.
Hardware:
* CPU Alder Lake N6005
* Samsung 980 1TB
* 32 GB SO-DIMM
* 1 Gb/s Netzwerk
Software:
* Proxmox 8
* LXC Home-Assistent
* LXC Plex (I915 Hardware-Transkodierung)
* LXC dokuwiki
* LXC fileserve (smbd, filebrowser, vsftpd)
* LXC Syncthing
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
usw..
LÄUFT 24/7
Verbrauch gemessen an der Wand (meist im Leerlauf): 7 Watt
=== Ich habe auch ein selbstgebautes 'Pseudo-NAS' basierend auf AsRock Z690 ===
* CPU I5-12400
* 2 NVMe 1TB
* 8 Festplatten ZFS Raidz2
* Proxmox 8
* 2.5 Gb/s Netzwerk zu meinem Desktop PC
Verbrauch gemessen an der Wand (meist im Leerlauf): 70 Watt
LÄUFT AUF ABRUF
=== Switch 8 Ports ===
Verbrauch: 8 Watt
=== Mein aktuelles Experiment ===
Für den Heimgebrauch möchte ich mein 'Pseudo-NAS' nicht 24/7 laufen lassen, sondern nur bei Bedarf
Ich habe debian wakeonlan auf dem NUC11 installiert, dann
Bei Bedarf (entweder nach Zeitplan oder auf manuelle Anforderung) kann ich folgendes ausführen
* wakeonlan [MAC-ADDRESS-Z690] zum Aufwecken des NAS
* systemctl suspend [PSEUDO-NAS-Z7690], um das NAS in den Ruhezustand zu versetzen
All dies funktioniert ziemlich gut
Ich arbeite an einer grafischen Oberfläche im Home-Assistant, die auch den Verbrauch überwachen wird
Dies ist der beste Kompromiss, den ich gefunden habe: NAS, niedriger Verbrauch, Heimautomatisierung)
Leerlaufleistung: ~5,3 Watt
Hardware:
* ASUS PRIME H610I-PLUS D4
* Intel Core i3-12100
* Crucial RAM 32GB DDR4 2666 MHz CL19 CT32G4DFD8266
* SAMSUNG 980 PRO SSD 2TB NVMe
* PicoPSU-150-XT
* Noctua NH-L9i-17xx, Low-Profile CPU-Kühler
* Noctua NF-A8 PWM, Gehäuselüfter
Software:
* BIOS 3010
* Ubuntu 22.04.3 Server (läuft von einem USB-Stick)
BIOS-Einstellungen:
* EZ System Tuning eingestellt auf: "Power Saving" (dadurch werden alle benötigten BIOS-Einstellungen automatisch gesetzt)
* PL1/PL2 auf 35/69 Watt eingestellt. (wegen des engen Gehäuses und der stromsparenden Pico-PSU)
Software-Einstellungen (über das Display der angeschlossenen TV-Konsole eingestellt)
* powertop --auto-tune
* setterm -blank 1
Gemessen an der Wand mit einem Kill-a-Watt. Der Messwert bewegt sich meist zwischen 5,1 und 5,5 Watt. Die Leistungsmessung wird durchgeführt, sobald der Bildschirm der Konsole leer ist. Der C-Status des Pakets wird über ssh erfasst. Der Prozessor verbringt die meiste Zeit im Paket-C-Zustand C10 (~90%).
Einige Vorteile dieser Konfiguration:
* Sehr gute Leistung im Leerlauf
* Einfache BIOS-Konfiguration.
* PCIe-4.0-x16-Steckplatz für potenzielle Upgrades/Erweiterungen (die Verwendung dieses Steckplatzes könnte jedoch die geringe Leerlaufleistung beeinträchtigen)
Einige Nachteile bei dieser Konfiguration:
* 1GbE gegenüber 2,5GbE
* Die picoPSU hat einen 4-Pin-Stromanschluss, das Board möchte einen 8-Pin-Stromanschluss (Internetrecherchen zeigen, dass dies für Situationen mit geringer Leistungsaufnahme in Ordnung ist)
* Einzelner M.2-Steckplatz. PCIe 3.0 x4-Modus
Ich wollte 2.5GbE. Wenn ich im Haus die kritische Masse für 2.5GbE erreiche, werde ich wahrscheinlich mit einer 2.5GbE-Karte im PCIe 4.0 x16 Steckplatz herumspielen.
Andere Infos:
* Die magische BIOS-Einstellung "Power Saving" hat "Native ASPM" nicht aktiviert. Das Einschalten hat jedoch keinen Unterschied gemacht.
* Das Deaktivieren des WIFI/Bluetooth-Moduls im BIOS hat keinen Unterschied gemacht.
OS: Unraid auf USB
NETZGERÄT: RM850x (2021), da es bei niedriger Last sehr effizient ist.
Festplatten: 2x12TB WD Red Plus NAS-Laufwerke neben dem NVMe hinzugefügt
RAM: 1x32GB 3400MHz DDR4 (aus dem aktuellen PC übernommen)
Lüfter: Intel-CPU-Lüfter und Gehäuselüfter aus dem Fractal Node 304-Gehäuse bei niedriger Drehzahl.
Die von meiner USV gemessene Leerlaufleistung beträgt ~21 W, wobei Linux-ISOs auf einer Festplatte gespeichert sind und sich die andere Festplatte im Standby-Modus befindet. Sie fügen dem Build eindeutig eine Menge Watt hinzu. Ich habe das Paritätslaufwerk so eingestellt, dass es nur einmal am Tag hochfährt, wenn ich den nvme-Cache mit dem Datenlaufwerk synchronisiere (zumindest plane ich, dass es so funktioniert...), und die CPU ist ausreichend schnell, um Creative-Commons-lizenzierte Filme zu sehen. Auf jeden Fall sind 21W für meine erste Seedbox ganz nett :D
Diese PSU-Effizienz-Tabelle sollte für die Leute hier nützlich sein! Die Daten wurden von cybernetics übernommen:
https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
Ich war in der Lage, die asmedia 1166 auf dem pcie x16-Steckplatz zum Laufen zu bringen und den m2-Steckplatz mit der CPU zu verbinden und c8 zu erreichen.
Ich musste das Asus-Bios modifizieren, um Zugang zu den Root-Port-Einstellungen zu bekommen. Deaktivierte Multi-VC auf Root-Port 1 und kann nun den x16-Steckplatz verwenden und ich erreiche den c8-CPU-Paketstatus. Ich erreiche c8, wenn ich den m2-Steckplatz verwende, der gleichzeitig mit der CPU verbunden ist.
Vereinfachte Schritte:
BIOS von der Hauptplatine deinstallieren
Dump BIOS mit einem ch341 3.3v Programmer
BIOS mit OpenSource UEFI-Editor und "unhidden" Root Port Einstellungen modifiziert.
BIOS geflasht
wieder zurückgelötet.
Mein Motherboard ist ein ASUS PRIME B760M-A D4, aber es sollte das gleiche auf Prime H770-Plus D4 sein.
Ich muss dem Intel-Support für den Vorschlag danken, Multi-VC zu deaktivieren, das hätte ich selbst nicht herausgefunden.
CPU: i5-14500
MB: Asus Z790-P D4 (Habe diesen als Kundenrückläufer für den gleichen Preis wie den H770-P D4 bekommen, und wie Sie sagten, hat er einen zusätzlichen PCIe 4.0 x4)
RAM: 4x 8Gb (kein XMP) => wird durch 2x 32Gb ersetzt
NVMe: Sabrent Rocket 1TB PCIe 3.0
Netzteil: Seasonic Focus GX-550
Dies wurde auf TrueNas Scale 23.10.2 und Ubuntu Server 23.10 getestet. In beiden Fällen habe ich den Realtek-Treiber verwendet.
Ein paar Beobachtungen:
Ja, ich bin sicher. Als ich meinen Logitech MX Keys usb2.0 Dongle an das Motherboard angeschlossen habe, stieg der Stromverbrauch im Regal von 10,5 auf 15-16W. Wenn ich mich richtig erinnere, hat es die C-States der CPU durcheinander gebracht (d.h. es ging nicht mehr in C6, C8).
Ich habe nur mit USB2.0-Geräten an den Ports getestet, die an der Hauptplatine angeschlossen sind (am Rear I/O). USB2.0-Geräte wurden nicht einmal an Nicht-USB2.0-Anschlüssen erkannt.
Meine Theorie ist das BIOS und/oder die Treiber für den USB-Controller. Da ich im normalen Betrieb keine USB-Geräte verwende, habe ich das nicht weiter untersucht. Jetzt bin ich wieder bei TrueNas und es hängt mit powertop 2.14 fest, das meine CPU nicht unterstützt, so dass das C-State-Reporting kaputt ist.
Zur Info: Ich verwende BIOS-Version 1611 und Intel ME 16.1.30.2307v4.
Was die anderen Tests angeht:
Glückwunsch zu dem fundierten und zeitaufwendigen Artikel. Die beste Quelle hier im Netz zum Thema, die ich finden konnte, insbesondere was den technischen Background angeht. Ich bin auf der Zug aufgesprungen und werde berichten ;-)
Eine kurze Frage bleibt: Gibt es eine genaue Angabe welcher Kingston HyperX Speicher verwendet wurde? Welche Rolle spielt der RAM überhaupt beim Stromverbrauch?
Danke nochmal und Grüße,
Michael
Bleibt die Frage welche Festplatten C10 ermöglichen. Da ist ja wirklich wenig im Netz zu finden. Haben Sie Erfahrungen mit 3,5" Seagate Exos Platten? Die Toshibas scheinen ja zu funktionieren. Danke
Ist es Lotterie, welche Stepping von 12400 ich bekommen, wenn ich eine von Einzelhandelsgeschäften kaufen? Ich habe gehört, dass die C0-Stufe im Leerlauf mehr verbraucht als die H0-Stufe.
Wollte auch fragen, ob 12600 eine gute Alternative sein könnte?
Ich erwäge 12600, da es eine leistungsfähigere iGPU als 12400 hat. Beide CPUs sind 6P-Kerne +0E-Kerne.
Weißt du, ob der 12600 auch unterschiedliche Steppings hat?
Dein Artikel und die Kommentare sind ein wahrer Schatz. Danke an alle die so viel dazu beigetragen haben. Ich möchte meine Erfahrungen kurz teilen:
ASUS Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus
Ohne Keyboard und HDMI
Powertop 2.14 (--auto-tune)
Ubuntu Server 23.04 Kernel 6.2.0-20 (neu, keine Updates):
6-7 Watt (überwiegend C10)
Anmerkung: Wird HDMI angeschlossen (+2-3 Watt) und Logitech MX Bluetooth Empfänger +4-5 Watt = 7-8 Watt für headless-Betrieb)
Aufrüstung zusätzlich 2xSamsung EVO 970: 7-8 Watt
Aufrüstung zusätzlich 4xSeagate X20 9-10 Watt (sleep mode)
Aufrüstung 2x14mm Lüfter 12-13 Watt (niedrigste Stufe)
Knapp 13 Watt mit 2xNVME und 4x3,5" ist kein schlechter Wert (C10 zu 90%).
Nach einem Kernel-Update auf 6.2.0-39 ist C10 nicht mehr möglich, das System geht nur bis C3 und verbraucht 21 Watt.
Offensichtlich Realtek-assoziiert. Das manuelle Setzen von
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42
führt aber erfreulicherweise wieder zum C10-Status zurück und damit wieder 12-13 Watt
Ähnliches Verhalten mit Ubuntu Server 23.10 Kernel 6.5.x 16-18 Watt (überwiegend C3) ...
Probatorisch habe ich Unraid (6.1.74) probiert. Das System ist nicht ganz so sparsam, hängt bei 16 Watt, auch erst nach manuellen Setzen der ASPM States via setpci (s.o.) ... Ubuntu hat ein paar Watt weniger, da aus sich noch bisschen recherchieren.
Auf jeden Fall hat das Bauen und Recherchieren viel Spass gemacht, die alte Synology verbraucht ein Vielfaches als das neue System.
Danke noch mal Matt und an alle anderen.
Mein ASRock B760M Pro RS/D4 kämpft mit 13500 c-states (maximal c3) und 20w Leerlaufleistung auf sauberem Proxmox.
Ich habe es mit Arc a380 getestet und keines der Rezepte aus dem Internet hat funktioniert, es zieht 20w im Leerlauf :facepalm:
Bitte empfehlen Sie ein mATX-Motherboard für 13500,
Es wäre perfekt, wenn mb auch pcie bifurcation unterstützen würde (x8x4x4)
Ich habe eine Frage. Gibt es einen Unterschied im Stromverbrauch zwischen dem H610, dem B660 und dem B760? Wenn ich eine GPU an PCIe anschließe, habe ich dann nur einen ineffizienten C2-Status?
Kurz gesagt, ich habe ein Problem mit dem ersten PCI-Steckplatz, der die C-Status auf 2 reduziert, wenn eine GPU installiert ist. Ansonsten, mit 2 x Lexar 1TB NVMEs und 64 GB Speicher, sehe ich einen Stromverbrauch von nur 4,5-6W mit dem 12600k, was erstaunlich ist.
Im suchen, um eine ITX-basierte i3-12100 nas mit dem asm-Chip zu bauen. Jedoch, wie ich verstehe, wird die Verwendung des x16 pci Steckplatzes das System zwingen, auf C2 zu bleiben.
Aber wird der Betrieb von 8 HDDs, 2 SSDs und einer Nvme (Chipsatz) das Erreichen hoher C-States nicht etwas irrelevant machen?
Ich gehe davon aus, dass Ihre Watt-Tests nur den asm in einem nicht mit der CPU verbundenen Steckplatz zeigen. Es sieht so aus, als würde ich etwa 20W sparen, wenn ich mit meiner CPU höhere Cstates erreiche? Die Idle-Kapazität der Festplatten und damit die Stromeinsparungen hängen nicht mit den C-States zusammen?
Die Einsparungen beim Stromverbrauch des Laufwerks und beim C-State sind größtenteils nicht miteinander verbunden: Ich sage "meistens", weil bestimmte NVMe-Laufwerke, bestimmte SSDs und sogar bestimmte SATA-Konfigurationen C-States zu verhindern scheinen. Aber die Energieeinsparungen, die sich aus dem physischen Herunterfahren einer Festplatte (im Vergleich zum Hochfahren) ergeben, sollten völlig unabhängig von allen anderen Vorgängen im System sein, einschließlich C-States.
Ich bin ein wenig besorgt, dass, selbst wenn ich ASPM erzwinge, um aktiviert zu sein, es einige seltsame Stabilitätsprobleme verursachen könnte. Ich schätze, dass 1GbE-Karten immer noch die einzige sichere Wahl sind, um sicher zu sein, dass die Energieverwaltung unter Linux richtig funktioniert.
danke für den tollen Artikel. Ich benutze den gleichen Aufbau und erhalten C10 Staaten mit den beiden unteren M2-Slots mit Samsung 970 EVO. Was mich stört, ist die Temperatur. Der linke Slot hat konstant 15 Grad Celsius niedrigere Temperaturen. Ich verwende BeQuiet-Kühlkörper. Ich habe gegoogelt, aber keinen Anhaltspunkt gefunden. Hat jemand ein ähnliches Problem beobachtet?
Herzlichen Dank Michael
Asus Prime H770 Plus D4, I3-12100, 2x32GB Corsair Vengeance LPX 2666MHz RAM, be quiet! Pure Power 12 M (550 W), WD Blue SN570 512 GB NVME-Laufwerk, Supermicro AOC-SG-I2 Dual Port GbE, be quiet Pure Rock Slim 2 CPU-Kühler
Nachdem ich dem Realtek-Treiber ASPM aufgezwungen habe, was auch bei deaktiviertem Treiber Probleme zu verursachen schien, kann ich den WD Blue in den Gen 4x4 NVME-Steckplatz und den Supermicor in den Gen4x4 PCI-E-Steckplatz stecken, ohne dass das Hardwarepaket auf C3 bleibt. Mit Proxmox 8.2 erreiche ich etwa 60 % Zeit auf C8 für das HW-Paket, 98 % auf C10 für die CPU und 96 % auf C7 für den Kern (HW), was zu einem Stromverbrauch von etwa 8–9 W führt, gemessen an der Wand. Und das alles, nachdem alle Standard-BIOS-Energiespareinstellungen angewendet und powertop --auto-tune ausgeführt wurden sowie L1 ASPM auf dem Realtek über die Befehlszeile eingestellt wurde.
Ich sehe nur kurze Spitzen, bei denen der Verbrauch auf 15 W ansteigt, um dann bei laufendem Powertop wieder auf 8 W abzufallen. Ich habe also zwei zusätzliche Steckplätze für MVME-Laufwerke oder Orte, an denen ich NVME hinzufügen kann -> 6x SATA-Adapterkarten (mit ASM1166-Chipsatz).
Ich kann auch bestätigen, dass nach der Einstellung von ASPM auf der Realtek-NIC andere Karten kein C3 mehr auf dem Paket verursachen. Wenn jemand eine günstigere Option als die Supermicro möchte, funktioniert auch die „10Gtek Dual-NIC-Karte mit 82576 Intel-Chipsatz“ gut.
hast du ein optimiertes Build für 2024 oder irgendwelche Tipps, Vorschläge?
Ich plane ein nas build für zfs (raidz2) mit 6 oder 8 Laufwerken + plex server.
Ich war auf der Suche nach einem Tower-Gehäuse / Motherboard für i5-14500t (plex igpu transcode) mit mindestens ddr5 (es hat einige Prüfsumme Fehlerkorrektur, aber nicht so gut wie ECC) oder vielleicht ein mobo mit ddr4 mit ecc un-buffered (unterstützt)
Der Grund, warum ich Ihren Artikel überhaupt gefunden habe, ist, dass ich mit ASPM auf einem Desktop-System experimentiert habe und festgestellt habe, dass es mir nur miserable 2 Watt Strom spart. Ihr Artikel deutet darauf hin, dass irgendetwas mit meinen Ergebnissen nicht stimmt und ich vielleicht noch mehr nachforschen muss, leider spuckt kaum jemand Zahlen zur Stromeinsparung für bestimmte Dinge aus. Ihr Artikel deutet darauf hin, dass der größte Vorteil von ASPM darin besteht, dass es der CPU erlaubt, in einen tiefen Stromsparzustand zu gehen, daher vermute ich, dass genau dort meine Probleme liegen. Ich interessiere mich auch deshalb dafür, weil ich wie Sie Desktop-Komponenten für eine Speicherplattform verwende, die so wenig Strom wie möglich verbrauchen soll.
Interessant ist auch, dass Sie Festplatten haben, die einen so geringen Stromverbrauch im Leerlauf haben.
Ich habe zwei Seagate Ironwolf-Laufwerke mitgebracht, was ich bedaure, denn die Leistungsaufnahme dieser Laufwerke im Leerlauf beträgt satte 8 W (wenn sie sich drehen), obwohl sie im Standby unter 1 W liegen. Ich habe dann einige 12tb WD Helium-Laufwerke mitgebracht, die im Leerlauf weniger als 4 W verbrauchen, wenn sie sich drehen. Im Standby ist der Stromverbrauch ähnlich wie bei der Seagate.
Andere Probleme mit den beiden Seagate-Laufwerken sind (a) wenn ein Befehl an das Laufwerk gesendet wird, z.B. eine SMART-Abfrage, werden sie hochgefahren, was ein sehr seltsames Verhalten ist, das ich noch nie zuvor bei einem Laufwerk gesehen habe, sogar die Abfrage des Ruhezustands mit den Seagate-Tools fährt sie hoch, die WD-Laufwerke, die an dieselbe ASmedia-Controllerkarte angeschlossen sind, zeigen dieses Verhalten nicht. Auch der langsamere RPM-Spin-Modus, den ich für den idle_c-Status halte, funktioniert bei meinen beiden Seagate-Laufwerken nicht. TrueNAS, die Software, die ich verwende, sendet alle 5 Minuten eine SMART-Abfrage für die Temperaturüberwachungsfunktion, die sich nicht abschalten lässt und nur global ein- und ausgeschaltet werden kann. Wenn die Seagate-Laufwerke also heruntergefahren sind, werden sie aufgeweckt. Ich habe den Code schließlich manuell gepatcht, damit ich die beiden Seagate-Laufwerke von der Temperaturüberwachung ausschließen kann und damit die SMART-Zustandsprüfungen übersprungen werden, wenn sich die Laufwerke im Standby befinden.
Das System läuft im Leerlauf mit 4 Spindeln, 3 SATA-SSDs und 1 NVME-SSD und verbraucht im Leerlauf ca. 48 W und ca. 34 W, wenn alle Spindeln heruntergefahren sind. 3 Lüfter sind im System,
Ich habe auch interessante Beobachtungen bezüglich NVME gemacht.
In meinen Systemen habe ich festgestellt, dass NVME-Laufwerke durchweg viel heißer sind als SATA-SSDs und normalerweise auch heißer als aktive Spindeln. In einem NUC musste ich auf eine aktive Kühlung zurückgreifen, da das NVME-Laufwerk selbst im Leerlauf an der 70°C-Grenze lag. Wie Sie habe auch ich festgestellt, dass diese Dinger ein bisschen durcheinander sind, wenn es um den Energiezustand geht.
Ich habe zum Beispiel in Windows entdeckt, dass ASPM absolut keinen Einfluss auf eines der 3 NVME-Laufwerke im System zu haben scheint. L1 und L0s haben beide keinen Einfluss auf die Temperatur. Ich habe eine Samsung 980 Pro, eine WD SN850X und eine PCI-Express Intel DC P4600, die ihren eigenen, kräftigen Kühlkörper hat.
Die DC P4600 liegt im Grunde immer unter 30°C und wird vom ASPM-Modus nicht beeinflusst.
Die WD SN850X läuft je nach Umgebungsbedingungen im niedrigen bis mittleren 40er-Bereich und wird von ASPM nicht beeinträchtigt.
Ich habe auch eine WD SN570 getestet, und sie verhält sich genauso wie die SN850X, keine Beeinträchtigung durch ASPM, sie läuft im Leerlauf bei etwa 45°C.
Schließlich ist die 980 Pro auch nicht von ASPM betroffen, allerdings kann ich mit diesem Laufwerk niedrigere Energiezustände auslösen, der Leerlauf ist sehr hoch bei etwa 54-60C.
Windows hat also versteckte Energieeinstellungen, die es erlauben, direkt mit den NVME-Energiezuständen zu spielen. Die Samsung 980 Pro sinkt im ersten NVME-Energiesparzustand um etwa 7-8 °C, was zwar zu begrüßen ist, aber immer noch mein heißestes NVME-Laufwerk ist und viel heißer als meine SATA-SSDs, die in den 20er Jahren laufen. Interessanterweise sinkt die Temperatur im zweiten Stromsparzustand nur um weitere 1-2C.
Die NVME-Laufwerke von WD scheinen laut verschiedener Testberichte und Berichte im Netz durchweg keinen tieferen Energiesparzustand zu unterstützen. Glücklicherweise laufen meine WD-Laufwerke nicht so heiß wie mein Samsung-Laufwerk.
Ich besitze auch eine 970 EVO, die im Leerlauf ca. 65 °C hatte. Ich habe sie auf unter 40 °C heruntergekühlt, indem ich sie in einen PCIe-NVME-Adapter mit einem großen Kühlkörper eingebaut habe, daher sind meine Erfahrungen mit Samsung-Laufwerken in Bezug auf die Temperaturen nicht besonders gut. Ich habe beschlossen, dass ich kein Fan von NVME-Laufwerken bin, sie laufen für mich heiß und haben eine sehr hohe Leerlaufleistung im Vergleich zu SATA-SSDs, dennoch scheinen Sie sie zu knacken.
MSI und ASRock haben beide ein z790 mitx Motherboard mit 3 m.2 Steckplätzen... Zwei davon sind mit dem Chipsatz verbunden. Damit könnte man einen m.2-zu-SATA-Adapter und ein nvme-Laufwerk verwenden und die cpu-pcie/cpu-m2-Steckplätze vermeiden. Beide Boards liegen allerdings im Bereich von $250-300, so dass das Verhältnis von Stromersparnis und Kosten einen Schlag erleidet.
Was die CPU/Hauptplatine anbelangt, so verliert der Intel der 12. Generation seine Vorteile, wenn er nicht in der Lage ist, viel Zeit in den C6-C10-Zuständen zu verbringen (und leider kann man nicht wissen, ob man diese Zustände erreicht, bis man es versucht). Aber im Allgemeinen würde ich persönlich bei einem System, das rund um die Uhr mäßig ausgelastet sein wird, zu diesem Zeitpunkt eher zu AMD tendieren.
Ich habe mich gefragt, ob du zufällig die CSM-Version des ASUS Prime H770-Plus D4 in Betracht gezogen hast. Soweit ich weiß, sollte CSM in Kombination mit einem i5 wie 12500 oder 13500 vPro Enterprise-Funktionen ermöglichen, was wiederum DASH, KVM/IPMI-ähnliche Fernverwaltungsfunktionen mit sich bringen sollte. DASH ist bei weitem nicht so leistungsfähig wie eine vollwertige ASPEED AST2600 BMC-Lösung, die in der Regel 5-10 W zusätzlich verbraucht.
Gleichzeitig soll CSM auch eine unternehmensähnliche Stabilität bieten, was weniger BIOS-Optionen für das Tuning von C-States usw. bedeuten könnte.
Wenn ich jetzt einen Blick auf die Produktseite werfe, ist der einzige Unterschied zum Nicht-CSM-Modell der Zugang zum ASUS Control Center Express. Die Seite mit den technischen Daten für die CSM-Variante ist identisch, bis auf den Zusatz "1 x ACC Express Activation Key Card". Das Handbuch ist identisch, ohne dass besondere Merkmale erwähnt werden. Ich habe beide BIOS heruntergeladen (1663) und die Prüfsummen waren identisch, obwohl ich vermute, dass die Funktionen über Flags vertauscht werden können.
Es würde mich nicht überraschen, wenn alle Merkmale/Funktionen/BIOS identisch wären, mit Ausnahme der von der ACC Express-Software bereitgestellten Funktionen. Aber man kann es nicht mit Sicherheit wissen, es sei denn, jemand versucht es.
Das System kann c10 ohne den 9600er erreichen. Es ist noch nicht vorbereitet, also habe ich es nicht eingebaut.
Was wirklich nervt, ist die minimale Lüfterdrehzahl von 20%. Und ich weiß nicht warum, aber meine minimale Leistungsaufnahme ist 11,5W, aber mit dem X710-DA2. Ich werde den CPU-Kühler gegen einen passiven austauschen. Das könnte ein weiteres Watt mehr sein.
Nur zur Info für andere, die sich für den X710-DA2 interessieren: keine WoL, zumindest für mich. Das Ding zu patchen ist pures Krebsgeschwür - mach es in EFI. Das Ding wird im aktiven Modus HEISS. Man muss es entweder aktiv kühlen oder den Kühlkörper austauschen. Ich habe mich für Letzteres entschieden. Drehen Sie die Karte mit einem pcie-Kit so, dass sie waagerecht steht. Setzen Sie auf eine https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7 so dass ich jetzt auch einen Dremel besitzen. Sie müssen die Karte STAND auf dem Mobo mit Abstand Abstandshalter zu machen. Tipp: efi shell nur mit einer selbstgebauten efi. Vergessen Sie über das Mobo öffnen es ist efi.
Durch jede Chance, für die gleiche CPU oder die i3-12th gen kennen Sie eine gute m-ATX oder itx-Boards für die Macht wie die oben genannten?
- ASUS PRIME H610I-PLUS D4 (ITX, DDR4, aber 1G Realtek-Ethernet könnte ein großes Risiko darstellen)
- ASUS PRIME H610M-A D4-CSM (mATX, DDR4, 1G Intel)
- ASUS PRIME Z790M-PLUS (mATX, DDR5, 1G Intel)
Es wird nicht überraschen, dass mir das Intel 1G Ethernet auf den letzten beiden wirklich gefällt.Um es klar zu sagen: Ich habe keines davon tatsächlich ausprobiert. Ich gehe davon aus, dass das BIOS usw. wahrscheinlich dem H770-PLUS D4 ähneln würde und dass ich das Ergebnis spiegeln könnte. Aber ich weiß es nicht genau. Das Z790M-PLUS ist mit 4xPCIe und 3xNVMe ausgestattet – vorausgesetzt, der DDR5 stellt kein Problem dar, ist es wahrscheinlich das, wofür ich mich entscheiden würde. Allerdings vermute ich, dass der kleine Kühlkörper des Chipsatzes etwas Luftstrom benötigt.
Es könnte viele andere geeignete Optionen geben, wohlgemerkt auch außerhalb der PRIME-Serie und auch außerhalb von ASUS. In der Vergangenheit war Gigabyte immer meine erste Wahl. Bei dieser Generation hat es für mich einfach nicht funktioniert.
Ich bin tatsächlich auch auf der Suche nach mATX-Mainboards für einen wirklich effizienten Homeserver. Ich habe nur eine zusätzliche Einschränkung, dass ich ihn in einem passiv gekühlten Gehäuse (HDPlex H3) bauen möchte.
Das macht die Wahl meines Mainboards etwas schwierig, denn wie es aussieht, muss ich mich zwischen zwei Mainboards entscheiden:
Asus Prime Z790M Plus
+ Intel 1G Ethernet
- etwas kleine und schwache VRM-Kühlung
Asus TUF B760M Plus II
+ in meinem Land um einiges günstiger
+ sperrigerer Kühlkörper
- 2.5G Realtek Ethernet
Ich tendiere derzeit zum TUF, da ein weiteres Ethernet einfacher hinzuzufügen ist als ein stärkerer VRM-Kühlkörper, aber ich wollte Ihre Meinung dazu hören, wie sehr der 2,5-G-Realtek-Ethernet-Controller ein Show-Stopper ist.
Vielen Dank im Voraus!
Wenn man das bedenkt, könnte die VRM-Kühlung je nach geplanter CPU keine Rolle spielen. Das von mir verwendete H770-PLUS hat nicht einmal einen VRM-Kühler über den oberen VRMs. Ich habe zwar ein paar kleine Kühlkörper hinzugefügt, aber die waren nicht wirklich nötig, da die VRMs anfangs nicht sehr heiß wurden.
Meine größere Sorge bei der passiven Kühlung wäre der Chipsatz-Kühlkörper, da dieser extrem heiß werden kann, wenn der Chipsatz viele Daten verarbeitet. Das TUF GAMING B760M Plus II sieht aus, als hätte es den gleichen wie das Prime Z790M Plus (nur in Schwarz und gedreht). Wahrscheinlich kann man hier nicht viel tun, außer den Kühlkörper abzunehmen und einige Modifikationen vorzunehmen, die zum Erlöschen der Garantie führen.
Wenn man all das beiseitelässt und bereit ist, die erforderlichen Schritte zu unternehmen, um gute C-Zustände zu erhalten, ist der Realtek 2.5G nicht unbedingt ein Show-Stopper. Ich würde jedoch darauf achten, bei einem Händler mit einer einfachen Rückgaberegelung zu kaufen, nur für den Fall, dass es problematischer ist als erhofft.
Ich habe keine Ahnung, ob es sich um ein fehlerhaftes Gerät oder einen Konstruktionsfehler handelte, aber ich würde es nicht riskieren, dieses Board in einem Geschäft zu kaufen, das kein 30-tägiges Rückgaberecht anbietet. Der ASUS-Support war völlig nutzlos, ebenso wie die Garantie in Fällen wie diesem.
CPU: i7-14700
Motherboard: Asus Z790-P WIFI (2.5G LAN verbunden)
RAM: 96GB DDR5 (2x32GB + 2x16GB)
NVMe: Samsung 970 EVO Plus 1TB
PSU: Corsair RM750x
Der Stromverbrauch wurde ohne Monitor gemessen.
Einige Beobachtungen:
---- Bedeutung des Netzteils ----
1) Ich habe mit einem Seasonic Focus 1000-W-Netzteil begonnen und der Stromverbrauch lag bei 14,4 W. Der Wechsel zu Corsair RM750x führte zu einer Reduzierung des Stromverbrauchs um 4 W. Das RM750x hat eine Energieeffizienz von ~80 % bei 20 W, das bedeutet, dass mein ursprüngliches Focus 1000w bei 20 W eine schlechte Energieeffizienz haben muss (10,1*0,8/14,4=56%)!! Also, Leute, bitte erwägt die Investition in ein besseres Netzteil (Referenz: RM750x-Nummern in diesem Blatt: https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14 unterstützt KEINE Intel 13/14Gen CPUs (es zeigte zunächst nur C3-Zustände an). Ich musste das neueste powertop 2.15 kompilieren, und das erlaubte mir, den C6-C10-Zustand zu sehen.
---- Problematischer Onboard-SATA-Controller von ASUS Z790-P ----
3) Eine überraschende Beobachtung ist, dass, wenn ich eine SSD an die Onboard-SATA-Schnittstelle anschließe, der CPU-C-Status nur bis C6 reicht (kein C8, überhaupt kein C10). Wenn ich jedoch dieselbe SSD an eine ASM1166 PCIe-zu-SATA-Karte anschließe, konnte ich C10 erreichen. Dies scheint darauf hinzudeuten, dass der Onboard-SATA-Controller dieses Motherboards ASPM NICHT richtig unterstützt ("lspci -vv"-Ausgabe des Onboard-SATA-Controllers zeigt KEINE ASPM-Fähigkeit).
---- Kosten für das Hinzufügen einer GPU ----
4) Das Hinzufügen einer Nvidia GTX 1050 Ti GPU führte zu einem satten Anstieg von 16 W im Leerlauf. Bald wurde mir klar, dass die Wattzahl der Nvidia-GPU im Leerlauf mit einer Optimierung "nvidia-smi --persistence-mode=1" reduziert werden kann, wodurch aus den 16 W 8 W werden (GPU-Leistungsmodus P8). Allerdings sind das immer noch zusätzliche 80 % meiner 10,1 W im Leerlauf, wenn ich die GPU nicht habe. Wahrscheinlich lohnt es sich nicht, die GPU eingeschaltet zu lassen. Weitere Untersuchungen zeigen, dass die GPU selbst im Leerlauf nur etwa 3 W verbraucht, aber aufgrund der GPU werden die C-Zustände der CPU auf C6 gehalten, daher die Differenz von 8 W (mit GPU vs. ohne).
5) Der Stromverbrauch stieg um weitere 6 W, als ich die GPU an den am Chipsatz angeschlossenen PCIe-Steckplatz anschloss (ursprünglich befand sie sich im an der CPU angeschlossenen PCIe-Steckplatz). Ja, trotz aller Optimierung verbraucht die GPU 8+6=14 W, wenn sie an den Chipsatz-angeschlossenen Steckplatz dieses Motherboards angeschlossen wird. Mir ist aufgefallen, dass sich der C-Zustand von max C6 zu max C3 geändert hat, was wahrscheinlich die Ursache für die zusätzlichen 6 W ist.
Insgesamt bin ich mit dem Ergebnis zufrieden und es ist eine interessante Erfahrung. Ich würde wirklich gerne eine GPU hinzufügen (z. B. für fotografische Aufgaben), aber sie ist zu teuer, was den Stromverbrauch angeht. Hat jemand Erfahrung mit GPUs auf Servern mit geringem Stromverbrauch? Gibt es Möglichkeiten, den CPU-C-Zustand freizugeben, damit sie C8/C10 erreichen können? Hinweis: Ich spreche vom Stromverbrauch im Leerlauf (die GPU wird nicht für die Grafikausgabe verwendet und ist nicht an einen Monitor angeschlossen).
Ich bin überrascht, dass AMD-Chipsätze beim Stromverbrauch so weit zurückgefallen sind. Ich vermisse die alten Zeiten, als es mehrere gute Optionen für Mini-ITX-Motherboards mit den frühen AMD-APUs gab und es eine konzertierte Anstrengung gab, das ganze Paket stromsparend zu gestalten.
Ich habe gerade gesehen, dass der neue AMD X870-Chipsatz einen TDP von 7 W haben soll, aber die bisher angekündigten Mainboards scheinen ein wenig übertrieben zu sein ("Das ROG Strix X870-A Gaming WIFI kommt mit 16+2+2 Leistungsstufen, die für bis zu 90A ausgelegt sind", sagt alktech).
Ich möchte meine pfsense und truenas Boxen mit 10 GbE Netzwerken aufrüsten und bin auf diesen Beitrag gestoßen. Ich habe den Ratschlag befolgt, ein Board mit einem Intel 1gb Ethernet-Controller zu nehmen, und habe mich für das Asrock b660m pro RS und einen Pentium g7400 für beide Boxen entschieden. Ich wollte einen zusätzlichen PCIe-Port in voller Länge für eine zukünftige Erweiterungsmöglichkeit.
Ich werde die Tweaks hier ausprobieren: https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/
um zu sehen, ob ich einen akzeptablen Stromverbrauch erreichen kann. Ich habe Ihren Kommentar über die Verwendung eines H610M von ASUS gesehen und werde wahrscheinlich darauf umsteigen, wenn ich mit diesen Boards nicht viel Glück habe. Ich werde Bericht erstatten, da ich nicht viele Informationen darüber finden kann, ob die Leute den Stromverbrauch des b660m erfolgreich senken konnten.
Für jeden Ratschlag wäre ich dankbar!