7 watt idle op Intel 12e/13e generatie: de basis voor het bouwen van een energiezuinige server/NAS

Geschreven door Matt Gadient

We beginnen met een stukje geschiedenis:

2016: Een pc bouwen met laag stroomverbruik op Skylake – 10 watt idle
2019: 9 watt inactief: een energiezuinige NAS / bestandsserver voor thuis maken met 4 opslagschijven
2021: (geen beschrijving) – 11 watt met een Intel i3-10320 op een Gigabyte H470M DS3H

Niet al mijn systemen waren zo succesvol. In 2022 heb ik een paar andere systemen gemeten op 19 watt en 27 watt als onderdeel van Het verminderen van de “Gas-Guzzling” neigingen van AMD Radeon met Multi-Monitor . Hoewel ik er enige tijd later in slaagde om dat AMD-systeem van 27 watt minder stroom te laten verbruiken, is niet elke combinatie van CPU en moederbord voorbestemd voor het 10 watt-balpark.

—

Voordat ik verder ga, het getal van 7 watt voor dit systeem was voordat er opslag was toegevoegd. De 7 watt (gemeten aan de muur) omvat:

Motherboard (Intel H770)
CPU (Intel i5-12400)
64 GB RAM
SSD (opstarten Ubuntu Server 23.04)
PSU (Corsair)
C-States ingesteld in BIOS zodat het C8 bereikt
powertop met auto-tune (waardoor het USB-toetsenbord werd uitgeschakeld wanneer de poort in de slaapstand ging)

Merk op dat als ik powertop niet toesta om het toetsenbord uit te schakelen, ik 8 watt krijg gemeten aan de muur.

—

Laten we eens kijken naar de gedetailleerde specificaties en componentkeuzes. Deze keer had ik de volgende doelen:

laag stationair vermogen
redelijke CPU prestaties voor compressie
geschikt voor 12 harde schijven + ten minste 1 NVMe
capaciteit om die 12 harde schijven (uiteindelijk) te converteren naar 6 NVMe + 6 SSD SATA
kosten onder controle houden – aangezien een moederbord zou moeten worden aangeschaft, proberen het bij DDR4 te houden en een CPU te hergebruiken die ik al heb.

Een nieuw systeem samenstellen met de hoop in de buurt van de 10 watt te komen *gemeten vanaf de muur* is vaak niet alleen een uitdaging, maar ook een beetje een gok. Soms moet je gewoon je best educated guesses nemen wat betreft componenten, je systeem bouwen, afstellen wat je kunt en laten vallen waar het valt.

Motherboard – ASUS Prime H770-Plus D4

Voordat ik begin, volgt hier een korte blik op de indeling van het moederbord. De GROENE CPU-connected slots en ORANJE chipset-connected slots zullen relevant worden gedurende deze schrijfsessie.

Op het moment van schrijven waren moederborden uit de Intel 600/700-serie en AMD 500/600-serie algemeen verkrijgbaar.

Een van mijn doelen hierboven was de capaciteit voor uiteindelijk 6 NVMe-schijven.

Dieper ingaan op waarom dit een uitdaging kan zijn (sla dit gedeelte gerust over)…
Probleem: Er zijn 0 consumentenmoederborden met 6x M.2-sleuven die allemaal tegelijkertijd in PCIe-modus kunnen worden gebruikt. Bij AMD lijkt het op de MEG X570S Unify-X Max, maar in de handleiding staat dat als je ze alle 6 probeert te gebruiken, de laatste een SATA-variant moet zijn. De ASRock Z790 PG Sonic heeft ook 6 slots, maar je kunt er maar 5 van gebruiken (met een legitiem excuus: ze bieden een Gen5 NVMe slot, maar het komt met een of/of voorbehoud).
Waarom dit probleem bestaat: Er zijn chipset lane beperkingen op consumentenborden. Ervan uitgaande dat ik de mogelijkheid wil hebben om alle M.2 in Gen4x4 te gebruiken en ervan uitgaande dat een fabrikant daadwerkelijk bereid is om alle lanes aan M.2 NVMe-sleuven te besteden (dat doen ze niet), zouden de AMD X570 en Intel B760 maximaal drie M.2-sleuven hebben, terwijl de AMD B650 en Intel H670/Q670/Z690/W680 er vier zouden beheren. Vijf M.2 slots is mogelijk op AMD X670 en Intel H770 borden. Zes op een Z790-bord. Daarboven zijn buitengewone maatregelen nodig, zoals het beroven van de lanes uit het hoofd PCIE-slot. Als het aantal M.2-sleuven zo groot zou willen zijn, zouden fabrikanten theoretisch lanes in Gen4x2 kunnen uitvoeren of enkele Gen3 M.2-sleuven kunnen toevoegen, maar dan hebben ze een *zeer* nicheproduct gecreëerd.
De oplossing: PCI-E naar M.2 adapters werden noodzakelijk. Bij het zoeken naar een moederbord werd het nu een kwestie van het toevoegen van de meegeleverde M.2 slots aan alle beschikbare PCI-E slots die x4 of hoger kunnen. Mijn opties waren nu beperkt tot AMD X570, Intel H770 en Intel Z790 moederborden. Merk op dat hoewel het gebruik van bifurcatie een mogelijkheid is op sommige moederborden om meer dan 1 NVMe uit het hoofd PCIe slot te halen, ik besloot om hier niet op te vertrouwen.

Ik heb om een paar redenen voor Intel gekozen:

Chipset TDP: Intel-chipsets uit de 600/700-serie hebben allemaal een TDP van 6 W, terwijl de TDP van de AMD X670-chipset vrij hoog is (7w+7w). Het stroomverbruik van AMD-chipsets baart me al een tijdje zorgen, aangezien de vorige X570-chipsets een TDP van 11w hadden en een ventilator nodig hadden.
Snelheid van de chipset: Intel H670/Q670/W680/Z690/H770/Z790-chipsets hebben een DMI 4.0 x8-verbinding met de CPU. AMD X570/B650/X670 hebben een PCIe 4.0 x4 verbinding naar de CPU. Theoretisch zou de doorvoer van Intel twee keer zo groot moeten zijn als die van AMD (16GB/s vs 8GB/s).
Ik had al 64GB DDR4 die het Intel-systeem kon gebruiken. AMD 600-serie chipsets zijn allemaal DDR5-only.
Ik had al een Intel CPU van de 12e generatie.
Ik heb nog geen positieve discussie gezien over AM5 stroomverbruik. Helemaal niet. Update: terwijl ik dit aan het schrijven was, kwam er nieuws naar buiten over AMD 7000-serie CPU’s die verbranden waar de pinnen van de moederbord socket de CPU raken. Ja, sorry AMD, deze keer niet.

Dus werd het Intel. Nadat ik de beschikbare DDR4 moederborden op de markt had bekeken, beperkte ik de opties snel tot 2 fabrikanten: MSI en ASUS.

Ben je niet geïnteresseerd in de bordvergelijkingen? Sla dit dan gerust over.
De verleidelijke MSI-borden waren de PRO Z790-P WIFI DDR4 en Z790-A WIFI DDR4. Bijna identiek aan de oppervlakte, behalve dat de “A” een beetje meer premium is (audio, achterpoorten, heatsinks, stroomfasen, etc). Voors/nadelen:
Pro: 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 ondersteunt in totaal 6 Gen4 NVMe
Pro: 2x PCIE Gen3x1 extra
Pro: 6 SATA-poorten
Con: Intel 2.5G LAN (staat bekend als problematisch en buggy)
Con: Ik ben geen fan van het MSI BIOS
Con: Mijn huidige B660-bord dat resulteert in een hoger inactief verbruik dan verwacht is een MSI.
Aantrekkelijke ASUS-opties waren de Prime H770-Plus D4 en Prime Z790-P D4 (optionele WIFI-editie). De TUF, Strix of ProArt waren gewoon te duur.
Ik zal beginnen met het opnoemen van de voor- en nadelen van de H770-Plus:
Pro: 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 ondersteunt in totaal 6 Gen4 NVMe
Pro: 2x PCIE Gen3x1 extra
Con: slechts 4 SATA-poorten
~~Pro: 2,5G Realtek netwerkadapter (tegenwoordig te verkiezen boven Intel 2,5G LAN)~~ (zie opmerkingen)
De Z790-P D4 is vergelijkbaar, maar heeft meer voedingsfasen, betere koeling, meer USB-poorten, extra ventilator header, en voor onze doeleinden…:
+1 PCIE Gen4x4
-1 PCIE Gen3x1

Uiteindelijk was de ASUS Prime H770-Plus D4 ongeveer $100 goedkoper op dat moment en dat is wat ik heb gekozen.

Een voordeel van “goedkopere” borden is dat ze vaak minder componenten hebben en dus minder stroom verbruiken tijdens inactiviteit, hoewel dit niet altijd een zekerheid is.

CPU – Intel i5-12400 (H0 stepping) – Alder Lake

Ik had deze CPU al als onderdeel van een eerdere desktop build. Destijds werd deze gekozen voor het desktop systeem omdat:

het AV1 hardware decodering had
het had de hoogste prestaties die beschikbaar zijn uit de Intel line-up van de 12e generatie die de E-core silicium overhead vermijdt
in die build kreeg ik sowieso een nieuw moederbord met 2xDP, en het had voor mij geen zin om voor een oudere generatie te kiezen.

Die desktop build bleek een teleurstelling te zijn en behoort tot mijn minst favoriete builds.

Een paar details…
Ik had problemen waarbij soms slechts 1 van de 2 DP-monitoren wakker werd in Linux, wat betekende dat ik de andere DP connector moest loskoppelen, of het systeem handmatig moest opschorten/hervatten zodat het opnieuw kon proberen.
Een ander probleem was dat opnieuw opstarten tussen Windows/Linux soms vreemde problemen veroorzaakte waardoor het systeem volledig uitgeschakeld/opnieuw opgestart moest worden.
Hardware decodering op Ubuntu met Wayland is nog steeds problematisch en wanneer programma’s het probeerden te gebruiken om video af te spelen, ontstonden er problemen.
Tot slot, in tegenstelling tot mijn vorige Intel systemen die allemaal naar beneden konden worden gebracht in de buurt van de 10 watt mark, liep deze stationair op 19 watt, hoewel ik vermoedde dat het MSI moederbord dat ik gebruikte een factor kan zijn geweest.

De meeste problemen die ik ondervond hadden te maken met de GPU en het beeldscherm. Aangezien ik op het punt stond om iets server-gerichts te bouwen, was dat niet langer een factor.

MEMORY – 64GB DDR4-3200

Dit is wat ik gebruikte:

2x16GB Kingston HyperX dual-rank (Hynix DJR)
2×16 GB Kingston HyperX single-rank (Hynix CJR)

Dit was geheugen dat ik al had. Ik draaide de 4 sticks geheugen op het XMP-profiel van de dual-rank kit die 16-18-18-36 was. Al het andere werd in wezen op de standaardwaarden gelaten behalve dat ik het RAM op 1,25 volt liet draaien (hoger dan de standaard 1,20 volt, maar lager dan de XMP 1,35 volt instelling). TestMem5 en Memtest86 toonden stabiliteit op 1.22v, maar testen van dit geheugen op vorige moederborden hadden aangetoond dat 1.22v onstabiel was, dus voor een beetje extra buffer wat betreft stabiliteit heb ik het voltage verhoogd naar 1.25v.

Bootstation – Sandisk Ultra 3D 1TB SSD

Dit onderdeel is niet bewust gekozen. Toen ik een verse Ubuntu Server installatie wilde doen om te testen, was dit toevallig de enige SSD die ik nog had rondslingeren die op dat moment niet werd gebruikt. Ik ging veel A/B testen doen op PCIE en NVMe apparaten, dus Ubuntu 23.04 installeren op een SATA SSD was zinvol om PCIE slots vrij te houden.

Merk op dat na het testen het hoofd OS op een Samsung SSD 970 EVO Plus 500GB NVMe zou draaien. Er valt niet veel over te zeggen, behalve dat de spullen van Samsung de neiging hebben om betrouwbaar in de spaarstand te gaan.

Omdat ik beide schijven heb gebruikt, kan ik geen verschil meten tussen de schijven in mijn tests. Tom’s Hardware testte de Samsung idle op 0,072 watt (via ASPM/APST) en Anandtech testte de Sandisk Ultra 3D idle op 0,056 watt (via ALPM). Beide zijn ruim onder de 1W resolutie van mijn Kill-A-Watt meter.

PSU – Corsair RM750

Deze 750W PSU lijkt misschien overkill voor een systeem dat bedoeld is om rond de 10 watt te zitten, maar wanneer 12 schijfmotoren tegelijkertijd draaien, is de momentane belasting waarschijnlijk vrij hoog. Seagate vermeldt 2A/3A DC/AC piekstromen op de 12V rail voor een van hun 10TB 3,5″ schijven. Zelfs bij willekeurig lezen/schrijven kan de piekstroom oplopen tot meer dan 2A.

Deze uitbarstende stroomvraag kan problemen opleveren als de PSU niet opgewassen is tegen de taak. Als een array van 6 schijven gezamenlijk 150-200 watt trekt op hetzelfde moment dat de CPU een piek van 120 watt trekt, is dat een sprong van ongeveer 10 watt in ruststand naar ongeveer 400 watt. Dit kan gemakkelijk een onmiddellijke spanningsdip veroorzaken – als het genoeg dipt om een onmiddellijke crash/reboot te veroorzaken is het waarschijnlijk niet erg, maar als het net genoeg dipt dat gegevens beschadigd raken tijdens een geheugenverversing of wanneer een andere schijf midden in het schrijven is… dat is een pijnlijker probleem. Het is zinvol om de PSU tot op zekere hoogte te overbelasten (of in-line condensatoren toe te voegen aan de stroomrails).

Gelukkig is een groot deel van de Corsair RM-serie, ondanks het feit dat deze buiten het piekrendementbereik valt, behoorlijk efficiënt over een groot bereik.

Vermogensmetingen – Initieel

Een paar belangrijke dingen:

Vermogen gemeten vanaf de muur
Intel PowerTOP werd gebruikt om instellingen automatisch af te stellen
Ubuntu Server 23.04

Een paar potentieel belangrijke BIOS bits:

CPU C-states waren ingeschakeld in het BIOS (C10)
ASPM was ingeschakeld met alles ingesteld op L1
RC6 (Render Standby) ingeschakeld
Aggressieve LPM-ondersteuning ingeschakeld (ALPM)
GESCHAKELD: HD Audio, verbindingsmodus, LED’s, GNA-apparaat, seriële poort

9-10 watt was het verbruik als de display-uitvoer aan stond.

7 watt was het verbruik als het beeldscherm uit stond (consoleblank=600 kernel boot parameter voor een 600s timer), wat de meeste tijd van de week is.

8 watt was het verbruik als het energiebeheer van het USB-toetsenbord was uitgeschakeld. Als je niet van een andere plek naar de server SSH’t, kan het nodig zijn om extra watt uit te geven voor het gebruik van het toetsenbord.

Problematische vermogensmetingen – Geladen met draaiende roest (spun-down)

Zoals in het begin vermeld, begon ik met 12 harde schijven. De helft was 2,5″ en de andere helft was 3,5″. Omdat het moederbord slechts 4 SATA-poorten heeft, werden een SATA-controller en een poortvermenigvuldiger gebruikt om de resterende schijven aan te kunnen. Daarnaast werden er al vroeg 4 NVMe-schijven gebruikt: één daarvan, een Western Digital SN770, had de neiging om behoorlijk heet te worden, zelfs in ruststand, wat aangeeft dat deze waarschijnlijk niet in een spaarstand stond.

Met alle apparatuur aangesloten, in ruststand, met het beeldscherm uit en de 12 schijven gedraaid naar stand-by, was ik geschokt toen ik zag dat mijn stroomverbruik in ruststand was gestegen van 7 watt naar maar liefst 24-25 watt. Veel te veel! Er was iets mis.

Vermogensverbruikraadsels – Onderzoek en diagnose van hoog energieverbruik

Ik koppelde de harde schijven los en begon componenten één voor één te testen. Dit waren vrij ruwe tests die bedoeld waren om een ruw idee te krijgen van de boosdoener, dus de getallen hier zijn niet precies.

Ik ontdekte al snel dat de JMB585 SATA-controller die ik gebruikte het stroomverbruik deed toenemen met iets in de orde van 6-10 watt (precieze metingen in een later gedeelte). De controller zelf zou maar een paar watt moeten verbruiken en het kleine koellichaam bleef koel, dus er was duidelijk meer aan de hand. Waar ging het vermogen naartoe?

Ik besloot de C-states van het CPU-pakket te bekijken. Zonder de JMB585 SATA-controller bereikte het systeem C6. Toen de JMB585 weer was aangesloten, haalde het systeem maximaal C3. Maar waarom? Het blijkt dat als een PCIE-apparaat niet in ASPM L1 gaat, de CPU niet zo diep in slaap valt. De JMB585 controllerkaarten lijken geen ASPM ondersteuning te hebben.

Een beetje verder experimenteren onthulde iets anders dat ik nog niet wist, en het heeft te maken met C6 vs C8. Het systeem zal alleen op C8 drukken als er niets is aangesloten op de CPU-gekoppelde PCIE lanes. Met andere woorden, als er iets is aangesloten op het bovenste PCIE-slot of het bovenste NVMe-slot, is C6 het maximum. Het verschil in stroomverbruik tussen C6 en C8 *leek* minder dan een watt te zijn in een eenvoudige test.

Dus terwijl C8 een luxe zou zijn, was C6 een must. C3 gebruikt te veel stroom. Als SATA controllers zouden voorkomen dat de CPU de beste energiebesparende stand zou bereiken, begon ik me af te vragen of ik niet beter op zoek had moeten gaan naar een moederbord met 6-8 SATA poorten, zodat ik niet afhankelijk zou zijn van extra controllers…

Een beetje zoeken naar SATA HBA’s toonde aan dat, hoewel er hier niet veel opties zijn, de ASM1166 SATA controller ASPM L1 zou moeten ondersteunen, hoewel de firmware moet worden geflasht om het goed te laten werken (en om überhaupt te werken op nieuwere Intel borden). Dit was iets dat ik zou moeten bestellen: Ik heb Marvel en JMicron onderdelen, maar die ondersteunen geen ASPM. Ik had ASMedia eigenlijk al jaren vermeden, maar uit noodzaak kregen ze nu een nieuwe kans: Ik heb een paar ASM1166 6-poorts SATA-controllers besteld.

Afgezien: BadTLP, Bad! AER Busfouten van de pcieport

Het vermelden waard… Tijdens initiële tests met een WD Black SN770 (Gen4 NVMe), vond ik een probleem wanneer de primaire (bovenste CPU-attached) PCIE en NVMe poorten werden gebruikt. Het uitvoeren van dmesg resulteerde in uitvoer vol met dingen zoals:

pcieport 0000:00:06.0: AER: Gecorrigeerde fout ontvangen: 0000:02:00.0
nvme 0000:02:00.0: PCIe-busfout: severity=Corrected, type=Physical Layer, (ontvanger-ID)
pcieport 0000:00:06.0: PCIe-busfout: severity=Gecorrigeerd, type=Data Link Layer, (Zender-ID)
pcieport 0000:00:06.0: AER: Fout van deze agent wordt als eerste gemeld
nvme 0000:02:00.0: [ 6] BadTLP

…na veel trial-and-error ontdekte ik dat als de “PEG – ASPM” BIOS instelling op [Disabled] of [L0s] stond, er geen fouten optraden.

Dit was natuurlijk een slechte optie, aangezien [L1] cruciaal is voor energiebesparing. Als [L1] of [L0sL1] werden gebruikt, was de enige optie om de Link Speed van die poorten in te stellen op [Gen3], wat de fouten niet stopte, maar wel aanzienlijk verminderde.

Enig onderzoek wees uit dat de hoofdoorzaak een aantal dingen kan zijn. Omdat het vervangen van het moederbord of de CPU geen prettige gedachte was, was mijn beste hoop om over te stappen op een ander merk NVMe.

Ik bestelde een aantal Crucial P3 NVMe drives. Dit bleek een succesvolle poging te zijn: met de WD schijven vervangen door de Crucial schijven, kreeg ik geen fouten meer, maar vergeet niet dat dit Gen3 schijven zijn.

Power Consumption Puzzles – L1.1 en L1.2 alleen ingeschakeld op chipset-verbonden poorten

Toen ik de 2 Crucial P3 NVMe drives geïnstalleerd had in de CPU-connected PCIEx16 slot en de bovenste M2 slot, merkte ik hogere idle temps dan verwacht. Terwijl de NAND op ongeveer 27-29C zat, rapporteerden de controllers 49-50C – veel hoger dan ik had verwacht voor deze specifieke schijven.

Ik verplaatste de schijf van de PCIEx16-sleuf naar een chipset-verbonden PCIEx4-sleuf. Een interessant verschil tussen deze schijven werd zichtbaar via lspci -vvv:

CPU-connected M2 slot: L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
Chipset-verbonden PCIE-sleuf: L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+

L1 sub-states lijken alleen ingeschakeld te worden op de chipset-verbonden slots. Jammer, maar het lijkt overeen te komen met de beschikbare BIOS-instellingen in de schermafbeelding hierboven.

Laten we nog eens naar die afbeelding van het moederbord verwijzen om de situatie te laten zien:

Ik heb beide NVMe drives op chipset-verbonden PCIE slots gezet. Nu toonden beide L1.1+/L1.2+ en beide controller-temperaturen daalden van 49-50C naar 38-41C.

Helaas zag ik bij het uitvoeren van verschillende A/B-tests met deze 2 Crucial NVMe-schijven met verschillende slotconfiguraties en verschillende BIOS-instellingen zeer inconsistent gedrag op het gebied van temperatuur, hoewel het de moeite waard is om op te merken dat de JMB585 en een NVMe-opstartschijf ook waren aangesloten tijdens deze tests. Beide schijven konden bijvoorbeeld stationair rond de 40C draaien tot een zachte herstart, waarna 1 (of beide) nu stationair rond de 50C kon draaien. Soms leek het mogelijk om 1 schijf op de CPU-gekoppelde M.2 te houden en de temperatuur van 40C op beide schijven te behouden zolang het x16-slot niet bezet was. Vermoedelijk liep ik tegen een of andere bug aan. De Samsung boot NVMe leek een consistente idle temperatuur te behouden ongeacht wat er gebeurde met de Crucial NVMe schijven, dus ik vermoedde dat de Crucial schijven zelf tenminste gedeeltelijk schuldig waren.

Interessant genoeg daalde de temperatuur van één (of beide) controllers soms helemaal tot 29C op de chipset-verbonden slots. Aangezien het geen realistisch doel was om een energiezuinige 4TB NVMe vervanger voor de Crucial P3 te vinden, was mijn beste hoop op dit moment dat de ASPM-incompatibele JMicron JMB 585 op de een of andere manier de schuldige was, aangezien deze binnenkort zou worden vervangen door de ASPM-compatibele ASMedia ASM 1166.

Late update: Helaas heb ik de temperaturen niet bijgehouden tijdens de rest van het testen, en de koellichamen/luchtstroom tussen de schijven zijn allemaal door elkaar gegooid. Maar voor wat het waard is, in de uiteindelijke build zijn de temperaturen van mijn Crucial P3-controller 31-34C en de NAND-temperaturen 23-24C.

Power Consumption Puzzles – Overstappen van de JMB585 naar de ASM1166.

Na een paar weken arriveerde de ASM1166. Eerst een paar dingen over de kaart die je misschien handig vindt als je het overweegt…

Ik begon met een firmware flash – ASM1166 kaarten hebben vaak oude firmware die niet werkt met Intel 600-serie moederborden en van wat ik heb begrepen problemen kan hebben met energiebeheer. Nieuwere firmware kan op verschillende plaatsen gevonden worden, maar ik besloot een kopie van SilverStone te halen (“fix compatibility issue” in de Download sectie van https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/) en volgde de instructies op https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/ . Merk op dat de SilverStone bestanden een identieke MD5 hadden als de firmware die ik vond door de thread te volgen op https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707 .
Voor iedereen die van plan is een van deze ASMedia-kaarten te kopen, moet ik opmerken dat net als bij de meeste SATA-controllers en HBA’s de kwaliteit erg varieert. Een van mijn kaarten had een heatsink die er een beetje scheef op zat: het thermische pad was dik genoeg om te voorkomen dat het kortsluiting zou maken met nabijgelegen componenten, maar wees je ervan bewust dat deze producten echt hit-and-miss kunnen zijn. Dit is een van de situaties waarin iets meer betalen om ergens te kopen met een goed retourbeleid verstandig kan zijn.

Ik heb nogal wat A/B-testen gedaan, dus hier is een snelle “JMicron JMB585 vs ASMedia ASM1166” in termen van totaal energieverbruik van het systeem, hoewel het misschien alleen van toepassing is op dit platform (of misschien zelfs dit specifieke moederbord).

DRIVELESS

Eerst het stroomverbruik zonder drives aangesloten op de kaarten (de SATA SSD boot drive is aangesloten op het moederbord) om een basislijn te krijgen. PowerTOP gebruikt op alle apparaten behalve het toetsenbord (+1 watt toegevoegd). Metingen nadat de schermuitvoer in de slaapstand was gezet.

8 watt – Geen SATA-controller – C8 voedingstoestand
9 watt – ASM1166 op een chipset-verbonden x4 slot – C8 voedingstoestand
12 watt – JMB585 op de CPU-connected x16-sleuf – C3 voedingstoestand
15 watt – JMB585 op een chipset-verbonden x4-sleuf – C3 voedingstoestand
22 watt – ASM1166 op de CPU-connected x16-sleuf – C2 voedingstoestand

De ASM1166 doet het hier goed als hij is aangesloten op een chipset-verbonden slot (slechts +1 watt), maar doet het verschrikkelijk als hij is aangesloten op het hoofd PCI-E slot (+14 watt) waar de vermogenstoestand van het CPU-pakket keldert naar C2. Schokkend genoeg gedraagt de JMB585 zich op een tegenovergestelde manier waar het verbruik lager is op de CPU-connected slot (en het veroorzaakte geen C2) – je zult echter snel zien dat de dingen veranderen wanneer drives daadwerkelijk worden aangesloten…

Ik heb aanvullende tests gedaan met de controllers, waaronder het spelen van “stoelendans” met een paar NVMe schijven om te zien of meerdere apparaten roet in het eten zouden gooien, maar er gebeurde niets onverwachts dus ik zal die details overslaan.

DRIVES TOEVOEGEN

Na de nulmetingen was het tijd om schijven op deze controllers te plaatsen. De SATA SSD boot drive bleef op het moederbord, 2 NVMe drives werden toegevoegd aan de mix (chipset-gekoppeld tenzij anders vermeld), en 4 van de 2,5″ SATA harde schijven werden op de controller geplaatst. Ik zal het “gedraaide” verbruik weergeven nadat de harde schijven in stand-by gingen – “gedraaid” was precies 2 watt hoger in elke test terwijl de schijven inactief waren.

10 watt – ASM1166 op een chipset-verbonden x4 slot – C8 voedingstoestand
11 watt – ASM1166 op een chipset-verbonden x4-sleuf met 1 NVMe verplaatst naar de CPU-verbonden x16-sleuf – C6 vermogenstoestand
11 watt – 2x ASM1166 op chipset-verbonden x4-slots, met slechts 1 NVMe-schijf – C8 vermogenstoestand
16 watt – JMB585 op een chipset aangesloten x4 slot – C3 vermogenstoestand
24 watt – JMB585 op een CPU-verbonden x16-sleuf – C2 voedingstoestand

Met 4 schijven aangesloten via een chipset-sleuf voegt de ASM1166 +2 watt toe aan het systeemverbruik, terwijl de JMB585 +8 watt toevoegt. Geen wedstrijd.

Een bijkomend voordeel is dat ik beide ASM1166 kaarten in het systeem kon gebruiken, terwijl een poging om mijn JMB575 kaarten tegelijkertijd te gebruiken resulteerde in een systeem dat weigerde op te starten, hoewel dat een platform- of moederbord-specifiek probleem kan zijn.

Er is echter wel een afweging – ik heb de JMB585 altijd rotsvast betrouwbaar gevonden, ook in combinatie met een JMB575 poortvermenigvuldiger. Mijn eerdere ervaringen met ASMedia SATA controllers waren minder dan geweldig: betrouwbaarheid met de ASM1166 valt nog te bezien, maar het is op zijn minst een slechte kandidaat voor een poortvermenigvuldiger omdat het geen FBS ondersteunt (alleen CBS).

Een paar andere kleine problemen met de ASM1166:

Bij het verwijderen/terugplaatsen van de NVMe-opstartschijf verscheen er een BIOS-bericht dat beweerde dat er niet kon worden opgestart vanwege GPT-corruptie. De ASM1166-kaarten moesten tijdelijk worden verwijderd zodat het BIOS de NVMe-opstartschijf opnieuw kon “vinden” (waarna ze opnieuw konden worden geïnstalleerd).
De ASM1166-kaarten beweren een *veel* poorten te hebben – dit veroorzaakt extra opstarttijd omdat Linux ze allemaal moet doorlopen.

Update: SATA en SSD merken

Een van de opmerkingen noemde een oudere Samsung 840 PRO SSD die beperkt was tot C3, terwijl een Crucial Force GT SSD C8 toestond. Hoewel dit oudere schijven zijn, vond ik dit toch een beetje verrassend. Het was het onderzoeken waard.

Ik gebruikte de H770 als testbed met een Samsung 850 EVO SATA SSD boot drive samen met een Crucial P3 NVMe en bouwde een aangepaste kernel om de Realtek netwerkadapter L1.2 te laten bereiken. Geen ASM1166, alleen de Intel onboard SATA. Ik bereikte C10 nadat ik powertop met auto-tune had uitgevoerd en het beeldscherm had laten slapen. Ik heb verschillende schijven geprobeerd die ik bij me heb, waarbij ik het systeem telkens uitschakelde om de schijven te verwisselen en het proces te herhalen. Dit waren de resultaten.

Schijven waarbij het systeem vastliep op C6:

1TB Patriot P210 SATA SSD

Schijven die C10 toestonden:

500GB Samsung 850 EVO SATA SSD
4TB 2,5″ Seagate SATA HDD
8TB 3,5″ Seagate SATA HDD
14TB Toshiba SATA HDD
1TB Sandisk Ultra 3D SATA SSD
4TB Sandisk Ultra 3D SATA SSD (let op: langzame trim)
4TB Crucial MX500

Ik raad aan voorzichtig te zijn met het kiezen van SATA SSD merken en modellen. Ik zal proberen deze lijst bij te werken met schijven die ik heb getest, maar houd in gedachten dat bepaalde fabrikanten in de opslagruimte de neiging hebben om stilletjes over te stappen op inferieure onderdelen in sommige van hun hoofdproducten, dus je moet altijd de geclaimde prestatiegegevens controleren van opslagapparaten die je koopt terwijl je binnen je retourtermijn blijft. Laat gerust een reactie achter met goede/slechte schijven die je tegenkomt.

Vermogensverbruikpuzzels – Conclusie

Een paar belangrijke punten als je een laag verbruik nastreeft:

1) Moederbordondersteuning en BIOS-configuratie zijn cruciaal – ik heb moederborden gehad met zeer inflexibele BIOS’en. Op deze moeten “Native ASPM” en de juiste L1 toestanden ingeschakeld zijn (om OS-gestuurd in plaats van BIOS-gestuurd mogelijk te maken) om laag stroomverbruik te laten werken.

2) Alle apparaten moeten ASPM L1 ondersteunen. Anders gooi je echt met de dobbelsteen. Het moeilijkste deel hier is, zoals je misschien al geraden had, het vinden van SATA-controllers die het ondersteunen – als het mogelijk is, neem dan een moederbord met voldoende SATA-poorten die met Intel-chipsets verbonden zijn, zodat je geen aparte kaart nodig hebt. Ik moet hierbij opmerken dat het niet altijd vanzelfsprekend is om NVMe-schijven te vinden met werkende energiezuinige APST-status onder ASPM.

3) Als je de C8 energiestatus kunt bereiken, vermijd dan het gebruik van CPU-attached PCIe lanes (top PCIe en M2 slot). Op dit specifieke moederbord zou mijn advies zijn om ze helemaal te vermijden als je kunt, tenzij je ofwel het low-latency pad met volledige bandbreedte naar de CPU nodig hebt of je apparaten zo actief zijn dat ze toch nooit slapen. Onthoud dat zowel mijn JMicron als ASMedia SATA kaarten ervoor zorgden dat het CPU pakket C-status kelderde naar C2 als ze in het x16 PCI-E slot werden gestoken.

4) Stroom meten uit de muur is de enige manier om er zeker van te zijn dat wat je *denkt* dat er gebeurt ook echt gebeurt. Een Kill-A-Watt apparaat betaalt zichzelf na verloop van tijd terug als je het gebruikt – bedenk dat ik de mijne in 2006 kocht ($16USD + $14USD verzendkosten destijds via eBay). Op dat moment ontdekte ik dat ons zelden gebruikte faxapparaat, dat altijd aan stond, 7 watt verbruikte… Door dat ene apparaat uit te schakelen wanneer het niet werd gebruikt in de volgende 10 jaar, was de Kill-A-Watt meer dan terugverdiend.

Vermogensverbruik bij gebruik van een heleboel HDD’s

Nu er tijdens dit proces verschillende onderdelen in en uit het systeem zijn gegaan, ziet de huidige opstelling er als volgt uit:

1x Samsung 970 EVO Plus NVMe (500GB opstartschijf)
2x Crucial P3 NVMe (4TB elk)
5x Seagate 2,5″ HDD (elk 5TB – 4TB gebruikt)
6x Seagate 3,5″ HDD (elk 10 TB – 8 TB gebruikt)
2x ASM1166-kaarten met SATA-poorten

Totaal vermogen gemeten vanaf de muur (beeldscherm aan, toetsenbord ingeschakeld):

50 watt met alle 11 HDD’s in actieve ruststand
38 watt met de 6x 3,5″ HDD in Idle B
34 watt met de 6x 3,5″ HDD in Idle C
21 watt met de 6x 3,5″ HDD in stand-by_Z (uitgeschakeld)
18 watt met de 5x 2,5″ HDD ALS in stand-by
16 watt met de schermuitvoer ALSO uit
15 watt als PowerTOP het USB-toetsenbord mag uitschakelen

Seagate schat het stand-byverbruik van deze 3,5″ schijven op ongeveer 0,8 W per stuk, en de 2,5″ schijven op ongeveer 0,18 W per stuk. Dit komt overeen met wat ik hierboven zie. Mijn cijfers voor actief stationair gebruik komen ook vrij goed overeen met de specificaties van Seagate.

De voor de hand liggende constatering: vergeleken met de rest van de systeemcomponenten zijn de 3,5″ schijven energievretende monsters.

De HDD’s zullen uiteindelijk worden vervangen door SSD’s. Met een stationair verbruik dat zo laag is als tijdens HDD-standby, is er geen grote haast en dit proces zal geleidelijk plaatsvinden naarmate mijn HDD-schijven/spares vervallen en de SSD-prijzen zakken.

Het plan voor het “eindspel” is een volledig SSD-opbouw. Oorspronkelijk was het plan voor 1 opstartschijf, 6xNVMe (waarschijnlijk Crucial P3 4TB) voor een RAIDZ2 array, en 6xSATA (waarschijnlijk Samsung 870 QVO 8TB) voor de 2e RAIDZ2 array. Aangezien het gebruik van de CPU-verbonden M2/PCIe-slots niet alleen onvoorspelbaarheid met zich meebrengt, maar ook een lichte C-state/vermogen/temperatuur kost, zou ik dat plan kunnen wijzigen en een paar NVMe in de eerste array opgeven en in plaats daarvan SATA gebruiken zodat ik geen CPU-verbonden lanes hoef aan te raken. De tijd zal het leren.

Onnodige opslagdetails

Dit gedeelte is alleen de moeite waard om te lezen als je geïnteresseerd bent in gedetailleerde details over de opslag. Sla anders gerust over naar de laatste sectie.

NVMe opstartschijf
Zoals eerder vermeld, is dit een Samsung 970 EVO Plus. Momenteel wordt minder dan 4GB van de 500GB ruimte gebruikt (een swappartitie van 64GB bestaat, maar staat altijd op 0 gebruikt). Deze schijf werd oorspronkelijk gekozen omdat Samsung een reputatie had opgebouwd op het gebied van betrouwbaarheid (die de laatste tijd aan het afnemen is), en Samsung scoorde ook goed in reviews als het ging om stroomverbruik in ruststand. Deze schijf is bijna altijd inactief en zowel de controller als de NAND-temperaturen bleven laag tijdens alle tests (20-24C). Mogelijk wordt deze schijf uiteindelijk vervangen door een SATA SSD om een NVMe-poort vrij te maken.
2,5″ HDD
Deze schijven worden gebruikt voor de primaire ZFS RAIDZ2-array met 6 schijven – degene die het meest wordt gebruikt. Eén dag per week is deze bezig met een taak waarbij een paar TB gelezen moet worden in de loop van 24 uur. De rest van de week is het gebruik sporadisch en de schijven staan het grootste deel van de week stil. Voor iedereen die zich afvraagt waarom er kleine 2,5″ schijven worden gebruikt in plaats van 3,5″ schijven, er *is* een reden: stroomverbruik.
Het energieverbruik van de 2,5″ Seagate-schijven is eerlijk gezegd prettig indrukwekkend. Uitgeschakeld zijn ze elk goed voor 0,18 W, in inactieve toestand met laag stroomverbruik zijn ze goed voor 0,85 W en de lees/schrijfgemiddelden zijn goed voor ongeveer 2 W. Er zijn genoeg SSD’s met slechtere energieverbruikscijfers dan deze draaiende roest. De capaciteit van 5 TB geeft veel opslag per watt.
De belangrijkste nadelen van deze 2,5″ Seagate schijven zijn:
Geen geweldige prestaties. 80-120 MB/s piek bij lezen/schrijven. Maar om eerlijk te zijn, veel TLC/QLC SSD’s vallen terug naar deze schrijfniveaus wanneer hun SLC-cache is uitgeput.
SMR (Shingled Magnetic Recording). Leest prima, maar de schrijfprestaties storten absoluut in wanneer er willekeurig wordt geschreven – het gedraagt zich als een QLC SSD zonder SLC-cache die ook geen TRIM heeft.
Lage nominale werkbelasting (55TB/jaar vs 550TB/jaar voor 3,5″ Exos-schijven).
Geen configureerbare fouthersteltijd (SCT ERC), en deze schijven kunnen minutenlang hangen als ze een foutmelding krijgen terwijl ze meedogenloos proberen de problematische sector opnieuw te lezen. Ubuntu moet worden geconfigureerd om te wachten in plaats van te proberen de schijf na 30 seconden te resetten.
Hogere foutpercentages als ze warm worden (ik heb er een paar moeten vervangen en heb ontdekt dat ze er niet van houden om warm te worden).
Typische HDD-pijnpunten (langzaam opstarten, enz.).
Om helemaal eerlijk te zijn tegen Seagate, deze worden verkocht als externe USB-back-upschijven. Deze 15 mm grote schijven uit de behuizingen halen en ze gebruiken als RAID-leden in een NAS is niet echt gebruiken waarvoor ze bedoeld zijn. Het ultralage energieverbruik is geweldig, maar er zijn duidelijke nadelen.
Op de lange termijn zullen deze 2,5″ 4/5TB schijven langzaam worden vervangen door 4TB SSD schijven (mogelijk allemaal NVMe). SSD’s met een capaciteit van 4 TB begonnen in 2021/2022 beschikbaar te komen voor consumenten tegen ongeveer 4-5x de kosten van de spinners. Minder dan 2 jaar later zijn ze gedaald tot ongeveer 2x de kosten, en ik verwacht dat fatsoenlijke merken meer dan 2x zo lang meegaan als de Seagate spinners.
Als het Crucial P3-model (Gen3) beschikbaar blijft, zal ik waarschijnlijk voor dit model kiezen, ondanks de beperking tot Gen3-snelheden. Ik heb de Crucial P3 Plus (Gen4) sterk overwogen, maar het stroomverbruik in de reviews was hoger ondanks het feit dat er maar weinig situaties waren waarin de prestaties ook merkbaar hoger waren. Mijn grootste zorg met de P3 Plus (Gen4) was dat als ik problemen had met ASPM/APST, Tom’s Hardware liet zien dat de P3 (Gen3) voor het 2TB model 0,3w meer stroom verbruikt in rust dan de P3 (Gen3). Ik geef de voorkeur aan een zo laag mogelijk “in het ergste geval”.
3,5″ HDD
Gebruikt in de secundaire RAIDZ2-array met 6 schijven – een back-uparray die ongeveer 2 uur per week wordt opgestart en constant zware schrijfbewerkingen krijgt.
Het stroomverbruik van de 3,5″ Seagate-schijven is ongeveer wat je zou verwachten. Deze 10TB schijven verbruiken elk ongeveer 0,8 W in stand-by, 2-5 W inactief en 6-9 W lezen en schrijven.
Twee punten van zorg hier:
Deze schijven verbruiken samen ongeveer 45-50 watt tijdens het schrijven. Dat is een beetje extra UPS-belasting die ik niet echt wil als er een langdurige stroomstoring optreedt tijdens de back-ups (ik houd het bij consumenten-UPS’en van 1500 watt).
Deze mogen samen ongeveer 4,8 watt trekken in stand-by. Nogmaals, wat UPS-belasting die ik er graag af zou willen halen.
Op de lange termijn zullen deze schijven waarschijnlijk worden vervangen door Samsung 870 QVO 8TB SATA-schijven. De 870 QVO heeft 0,041w/0,046w idle met ALPM, 0,224w/0,229w idle zonder, en 2,0-2,7w tijdens een kopie (volgens Toms/Anandtech).
Qua prijs is de Samsung 8TB SATA SSD momenteel een stuk duurder dan 8TB spinners (bijna 3x zo duur), dus tenzij deze schijven om de een of andere reden vaker gebruikt gaan worden, zal vervanging door de SSD’s vrijwel zeker wachten tot ik geen reserve meer heb.
NVMe cachestation
Het vervangen van mijn draaiende roest door SSD’s is een proces dat waarschijnlijk een tijdje zal duren.
In de tussentijd heeft ZFS een paar opties om gebruik te maken van snelle opslag (meestal SSD) voor langzamere opslag:
“Speciale” Toewijzingsklasse – hiermee kun je een vdev maken speciaal voor metadata en voor “kleine” blokken indien gewenst.
Een cache schijf, algemeen bekend als een L2ARC.
Als je de “speciale” vdev aanmaakt bij het aanmaken van een pool, gaan al je metadata (en optioneel kleine blokken van een grootte die je zelf kiest) naar de “speciale” vdev in plaats van je draaiende roest. Zeer snelle bestandsoverzichten en directory traversal terwijl je de draaiende rust behoudt voor de bestanden zelf. Ja, je kunt een heleboel mappen “ls-en” zonder je HDD’s uit de slaapstand te halen. Het grootste nadeel is dat, omdat al je metadata op deze vdev staat, als deze ooit sterft, je in wezen geen toegang meer hebt tot al je gegevens. Dus het zou op zijn minst gespiegeld moeten zijn. Misschien zelfs een 3-weg mirror. Zeg maar dag tegen een paar poorten.
De L2ARC is een beetje anders. Het is in wezen een niveau 2 cache. Wanneer de cache in RAM vol raakt, zal ZFS enkele blokken naar de L2ARC kopiëren voordat het die inhoud uit het RAM verwijdert. De volgende keer dat die gegevens moeten worden opgeroepen, worden ze gelezen van de L2ARC in plaats van de schijf. Een voordeel ten opzichte van de “speciale” vdev is dat je goed zit met slechts 1 SSD – als er een probleem is met de gegevens in de L2ARC (slechte checksum, schijf sterft, enz.), zal ZFS gewoon de inhoud van de originele schijf lezen. Ook, zodra de L2ARC vol is, zal ZFS gewoon opnieuw beginnen bij het begin van de L2ARC SSD en dingen overschrijven die het eerder schreef, wat een aantal voordelen heeft (oude gegevens worden nooit meer benaderd) en nadelen (gegevens die vaak werden benaderd en opnieuw naar de L2ARC moeten worden geschreven). Je kunt ook naar believen L2ARC-apparaten toevoegen aan of verwijderen uit de pool – wil je een SSD van 64 GB, een SSD van 500 GB en een SSD van 2 TB toevoegen? Ga je gang – ZFS verdeelt de blokken onder hen. Wil je de 500GB SSD een paar dagen later uit de pool halen en ergens anders gebruiken? Ga je gang. Het grootste nadeel van de L2ARC is dat als je vergeet om “cache” te specificeren bij het toevoegen van het apparaat, je waarschijnlijk je pool verknoeid hebt. Het is ook niet perfect: zelfs met zorgvuldige tuning is het moeilijk om ZFS ALLES wat je wilt naar de L2ARC te laten schrijven voordat het uit het geheugen wordt verwijderd. Tegelijkertijd kan de L2ARC, afhankelijk van je gegevens, veel schrijfbewerkingen te zien krijgen en moet je de gezondheid van je SSD goed in de gaten houden.
In het verleden heb ik de “special” gebruikt, L2ARC gebruikt en beide tegelijkertijd gebruikt (je kunt de L2ARC zelfs vertellen om dingen die al in de “special” vdev zitten niet te cachen).
Deze keer heb ik gewoon gekozen voor een L2ARC op een 4TB NVMe: zodra alle andere 2,5″ schijven zijn vervangen door SSD en de snelheidsvoordelen van een SSD cache niet langer van toepassing zijn, kan ik dit cache-apparaat gewoon verwijderen (hoewel theoretisch gezien het feit dat 1 L2ARC cache-schijf het grootste deel van de leestaken afhandelt *zou* toestaan dat de andere NVMe schijven meer in de spaarstand blijven…).

Conclusie – Spijt? Second-guessing? Wat had anders gekund?

In tegenstelling tot de ASRock J4005 build waar ik me halverwege realiseerde dat ik mezelf op een aantal manieren in de knieën had gewerkt, krijg ik hier niet hetzelfde gevoel. Deze keer eindigde ik met een laag stationair vermogen EN een behoorlijk capabel systeem dat flexibel zou moeten zijn, zelfs als het in de toekomst hergebruikt wordt.

Ik ben best tevreden met mijn componentkeuzes, hoewel ik benieuwd ben hoe de MSI PRO Z790-P DDR4 (een van de andere moederborden die ik heb overwogen) het in vergelijking zou doen. Functioneel gezien heeft de MSI het voordeel van 6xSATA poorten, maar het komt met het duidelijke nadeel van de beruchte Intel 2.5G netwerkchip. De MSI heeft ook een PS/2 poort en ik heb nog nooit gecontroleerd of het stroomverbruik van een PS/2 toetsenbord lager is dan USB (onthoud dat ik 1 watt bespaar als ik powertop de USB toetsenbordpoort laat afsluiten). En natuurlijk zou het interessant zijn om de ASPM en ALPM instellingen te vergelijken en om te zien of de problemen die ik had met CPU-attached PCIe/M.2 slots op dezelfde manier voorkomen.

Terwijl dit systeem momenteel in het 15-16 watt bereik zit wanneer het niet gebruikt wordt met schijven in standby, verwacht ik, zodra alle HDD’s vervangen zijn door SSD’s, een stationair verbruik van ongeveer 10-11 watt, wat niet slecht is voor 72TB aan schijven, 64GB RAM en een behoorlijk goede processor.

Update: Recente Linux kernels schakelen de L1 energiebesparende modi van de meeste Realtek NIC’s uit, waardoor de CPU niet in fatsoenlijke C-states kan komen, waardoor het stroomverbruik behoorlijk toeneemt. Hoewel er workarounds zijn, zal ik me in de toekomst waarschijnlijk beperken tot moederborden met Intel 1 Gigabit netwerkadapters (misschien overgaan op Intel 2,5 Gigabit als het duidelijk wordt dat ze alle problemen hebben opgelost). Meer details over de Realtek NIC situatie vind je in de commentaren hieronder.

156 Reacties | Laat een reactie achter

Sorteren op Oudste | Sorteren op Nieuwste

Anoniem op mei 14, 2023 - klik hier om te reageren
Hoi Matt, geweldig stuk!

Ik denk dat je een hoop hoofdpijn had kunnen voorkomen als je een bord had gevonden met meer sata-poorten!

Bij mij is het nooit gelukt om mijn chip verder dan C3 te krijgen. Ik heb met opzet geprobeerd om de hoeveelheid overtollige componenten te beperken (zoals die SATA-controllers, ik had gelezen over hoe hit and miss ze konden zijn).

Ik zal mijn BIOS-instellingen dubbel controleren om er zeker van te zijn dat ik alle relevante dingen heb ingeschakeld die je in je stuk noemt.
Geert op mei 22, 2023 - klik hier om te reageren
Hoi,
Zeer interessant artikel, bedankt.
Dus je geeft niets om ECC, sommigen zeggen dat het een must is voor een always on server, vooral met ZFS.
NVME's lijken ook meer brandstof te verbruiken dan SSD's.
Ik ben op zoek naar een zuinig ECC moederbord maar heb nog niets gevonden, W680 moederborden zijn moeilijk te krijgen.
Ondertussen draai ik Unraid op een J5040 Asrock bord met twee 1TB SSD's in mirror en 3 mechanische WD's die het grootste deel van de tijd slapen.
Het systeem verbruikt 19 watt in ruststand, het was 16-17 watt (C6) voordat ik een Asmedia Controller (4) toevoegde. Ik zal de oude seasonic PSU binnenkort vervangen door een Corsair.
Groeten
Geert
Hamun op juli 4, 2023 - klik hier om te reageren
Welk besturingssysteem heb je gebruikt?
- Matt Gadient op juli 4, 2023 - klik hier om te reageren
  Ubuntu-server 23.04
Anoniem op augustus 9, 2023 - klik hier om te reageren
Geweldig artikel Matt. Dit heeft me erg geïnspireerd. Aangezien er nog niets over geschreven is, wat denk je van de Gigabyte H470M DS3H met i5 voor een energiezuinige mediaserver met laag profiel en 30-40TB media?
- Matt Gadient op augustus 9, 2023 - klik hier om te reageren
  Ik heb hem zelfs een tijdje als NAS gebruikt. Als mediaserver zou de CPU hardware AV1 decodering missen, maar afgezien daarvan vermoed ik dat het prima zou zijn.
  
  Houd er rekening mee dat als het 2e M.2 slot is gevuld, slechts 5 van de 6 SATA poorten zullen werken. Als ik het me goed herinner verborg het BIOS van de H470M DS3H ook een paar opties (zoals het forceren van IGPU of dedicated GPU) tenzij het in CSM-modus werd gezet. Bovendien bleef hij willekeurig hangen op het opstartscherm met een foutmelding als ik een LSI SAS HBA had geïnstalleerd, waardoor ik opnieuw moest proberen op te starten - gewone SATA controllers werkten echter prima. Afgezien van deze rare kleine nuances, vond ik het betrouwbaar en het werkte geweldig en ik hou van het bord.
Robert op augustus 15, 2023 - klik hier om te reageren
Hoi Matt, bedankt voor het interessante artikel. Ik probeer het stroomverbruik te minimaliseren op een NAS-systeem met twee 3,5'' HDD's en waarop ook het besturingssysteem en enkele virtuele machines draaien op twee SSD's. Met een Intel J4205 bord en 2 WD Red 6 TB crasht het systeem een paar minuten nadat ik de HDD's in de slaapstand heb gezet. Met crashen bedoel ik dat alles uit staat en ik het systeem opnieuw van stroom moet voorzien. Heb jij ooit zoiets meegemaakt? Het systeem werkt normaal op 25 W, met de HDD's uitgeschakeld is het 15 W. De voeding is een 250 W die ik hier had rondvliegen. Is het mogelijk dat de ATX-voeding uitschakelt vanwege de lage belasting?
- Matt Gadient op augustus 15, 2023 - klik hier om te reageren
  Sommige oudere voedingen schakelen uit als de belasting te laag is (sommige BIOS'en hebben zelfs een instelling voor een dummybelasting om dit tegen te gaan). Sommige echt oude voedingen vallen buiten de spanningsspecificaties als de belasting op een rail erg laag is. Fluctuaties in de voedingsspanning kunnen ook problematischer zijn bij zeer lage belastingen.
  - Robert op augustus 22, 2023 - klik hier om te reageren
    Kleine update, ik heb een nieuwe 300W besteld in de 50€-klasse. Leuk feitje, het stroomverbruik is 1 W minder dan voorheen, ofwel door hogere efficiëntie of omdat de koelventilator minder draait. De low power use case is nu ook prima.
Ahmed op augustus 30, 2023 - klik hier om te reageren
ECC kan belangrijk zijn voor een systeem dat 24/7 draait en belangrijke NAS-gegevens verwerkt (ongeacht of je ZFS gebruikt of niet, het is nog steeds een mooie functie om ECC voor NAS te hebben).

Ben je van plan om een soortgelijk artikel te publiceren, maar dan voor een systeem met ECC ondersteuning en een laag idle stroomverbruik dat nog steeds compatibel zou zijn met Linux (ik denk dat een laag idle stroomverbruik van AMD niet het beste is voor Linux als voorbeeld).

Ik ben van plan om binnenkort zelf zo'n systeem te bouwen en ik zou graag willen weten of ik daar de komende maand of twee mee moet beginnen, of dat ik misschien nog even moet wachten met het lezen van uw publicaties, die een aantal nuttige informatieve sites zouden bevatten die me kunnen helpen om een beter onderbouwde beslissing te nemen over de keuze van de componenten.

Desalniettemin hartelijk dank voor het grondig geschreven artikel. Je hebt indrukwekkend werk geleverd door de belangrijke onderdelen van het bouwen van een zeer efficiënte NAS met laag stroomverbruik te belichten.
- Matt Gadient op augustus 30, 2023 - klik hier om te reageren
  Niets gepland op de korte termijn met betrekking tot ECC. Over het algemeen hou ik het bij Kingston geheugen en haal ik het rigoureus door Memtest86 en TestMem5 voordat ik het in gebruik neem. Als het mogelijk zou zijn om ECC te krijgen in een huidig low-power low-cost platform zou ik ervoor gaan, maar voor mij zou het meer een aardigheidje zijn dan een noodzaak.
  
  In ieder geval veel succes met je bouw!
Olivier op september 6, 2023 - klik hier om te reageren
Hoi Matt,
Bedankt voor je zeer gedetailleerde en informatieve artikelen over NAS!
Ik bouw de mijne met een i3-10500T, 16GB en 4xHDD.
Wat betreft de voeding, ik vond een Antec EarthWatts 380W EA-380D (80+ Bronze) gereviseerd voor 25€. Is het het waard volgens jou? Of is het te oud?
Als je een ander model kunt aanbevelen, ben ik geïnteresseerd. Alvast bedankt.
- Matt Gadient op september 6, 2023 - klik hier om te reageren
  Normaal koop ik tegenwoordig de Corsair RM- of SF-serie vanwege hun zeer goede efficiëntie bij stationair gebruik. Maar die zijn een beetje duur. Ik ben altijd erg tevreden geweest over de EA-380D voedingen (hoewel ik onlangs een van mijn laatste heb weggegeven), dus als dat binnen je budget past zou ik zeggen: ga ervoor.
xblax op september 11, 2023 - klik hier om te reageren
Dat artikel hielp me om te kiezen voor een B760M-K D4 moederbord met i3-1200 voor mijn homeserver upgrade nadat ik hier had gezien wat een laag stroomverbruik mogelijk is. Ik ben opgewaardeerd van een FM2A88M-HD+ met AMD A4-4000 en was in staat om het stroomverbruik in ruststand terug te brengen van 40W naar 15W, wat betekent dat de nieuwe hardware zichzelf binnen een paar jaar terugbetaalt.

Ik heb ook een 970 Evo Plus (2TB) als opstartschijf en kan bevestigen dat deze op de chipset moet worden aangesloten om C-states met een laag pakket (C8) te bereiken. Wat ik interessant vond is dat het verschil tussen pakket C3 en C8 veel groter was wanneer de SSD was aangesloten op de chipset. Ik denk dat dit komt omdat de chipset zelf alleen in diepe slaaptoestanden gaat als alle aangesloten apparaten ASPM ondersteunen en SATA Link Power Management actief is.

Het aansluiten van de SSD op de CPU PCIe verhoogde het stroomverbruik met slechts ~2W (pakket C3 vs C8), terwijl het niet hebben van ASPM op een apparaat dat is aangesloten op de chipset alleen al voor de chipset 5W extra lijkt te kosten, maar hetzelfde effect heeft (C3) op het pakket C-state.

Interessant om op te merken is dat ik een PCIe 1.1 DVB-C Capture kaart op de chipset heb aangesloten. Hoewel ASPM door lspci wordt vermeld als een mogelijkheid voor de kaart en ik de kernel opstartte met pcie_aspm=force werd het niet ingeschakeld voor die kaart. Ik moest ASPM forceren via setpci, zie https://wireless.wiki.kernel.org/en/users/documentation/aspm - lijkt zonder problemen te werken. Dat hielp me om die 15W idle power te bereiken. Helaas neemt de capture kaart nog steeds ~5W, anders heb ik op dit moment alleen 2x4TB HDD's van Toshiba aangesloten die in ruststand terugspoelen.

Btw. Sata Hot Plug moet worden uitgeschakeld voor alle poorten, anders zal het pakket alleen C6 bereiken.
danwat1234 op september 15, 2023 - klik hier om te reageren
Het lijkt erop dat je geen fan bent van USB-schijven, je had een hub of twee en wat behuizingen kunnen gebruiken. Goed geschreven!
Anoniem op september 22, 2023 - klik hier om te reageren
Hey,

Super goed artikel, bedankt voor al deze informatie.

Ik ben van plan mijn nas te bouwen. Aangezien het stroomverbruik het belangrijkste onderwerp is, wat denk je van de volgende bouw (maar ik ben een beetje een noob over het systeem en wat er mogelijk is en/of de beperkingen van zo'n lage tdp chip)?

Asrock N100M micro ATX (met de nieuwe Intel® Quad-Core Processor N100 (tot 3,4 GHz) met een 6W tdp. Aangezien er slechts 2 sata-poorten zijn, is het idee om een SAS HBA-kaart met 8 extra SATA-poorten toe te voegen op de 1 x PCIe 3.0 x16-sleuf. Voor de opslag zou het gaan om 1 M2 (die van het moederbord) voor TrueNas OS, 2 SSD mirroring sata voor VM, docker, ... en 8 HDD Seagate EXO 7200 rpm schijven als laatste stap (2 in het begin en dan evoluerend op basis van de behoefte).

Voor de voeding, een Seasonic Focus PX 550W - Modular 80+ Platinum ATX en tot slot een unieke stick van 32GB ram (niet ECC).

Alvast bedankt
- Matt Gadient op september 22, 2023 - klik hier om te reageren
  Ik heb onlangs de N100 overwogen, die de nieuwste lieveling van de mini PC-wereld lijkt te zijn. Slechts 1 geheugenkanaal op de N100 borden, maar voor de meeste situaties waar geheugenbandbreedte niet kritisch is, is dat prima. Het grootste probleem dat ik de afgelopen jaren heb gevonden is dat deze ASRock onboard-CPU borden in prijs zijn gestegen tot het punt waar een goedkoop moederbord + CPU vaak binnen handbereik is, samen met meer PCI-E lanes, meer onboard SATA en vergelijkbaar stroomverbruik zolang je hoge c-states kunt bereiken. Maar ik zou de ASRock N100 snel kopen als de prijs goed was. Merk op dat het x16 slot op x2 draait, dus je komt maximaal uit op 1GB/s doorvoer op een PCIe 2.0 kaart, en 2GB/s op een PCIe 3.0 kaart - het is onwaarschijnlijk dat je deze snelheden bij normaal gebruik over een stel HDD's haalt, maar het is iets om rekening mee te houden op deze kaarten.
  
  Wat betreft de SAS HBA kaart, zou ik aanraden om eens rond te kijken om te zien wat voor idle stroomverbruik anderen zien op de specifieke kaart die je overweegt: de populaire kaarten trekken vaak een paar watt terwijl ze absoluut niets doen. Ik weet niet zeker hoe *BSD met de kaarten omgaat, maar van de weinige die ASPM standaard ingeschakeld lijken te hebben, lijkt Linux het op een gegeven moment in de kernel uit te schakelen vanwege problemen. Dat gezegd hebbende, dit is een situatie waarin de ASRock N100 het misschien beter doet dan een aparte CPU/moederbord combo, omdat ik verwacht dat het minder gevoelig is voor c-state implicaties van een uitbreidingskaart, hoewel dit slechts een gok is gebaseerd op wat ik zag met mijn ASRock J4x05 borden en misschien niet van toepassing is op de N100.
  
  De Seasonic PX 550W lijkt een goede keuze.
  
  Over het geheel genomen ziet het er solide uit!
paldepind op september 23, 2023 - klik hier om te reageren
Bedankt voor een geweldig bericht vol nuttige informatie.

Heb je nog tips voor het identificeren van moederborden met een laag energieverbruik? Mensen raden soms ITX moederborden aan, maar ik heb geen metingen gevonden over hoeveel watt ITX vs ATX meestal bespaart. Nu zou ITX niet hebben gewerkt voor deze build, maar ATX lijkt toch geen significante bron van stroomverbruik te zijn geweest. In het algemeen lijkt het erg moeilijk om uit te zoeken welke moederborden energiezuinig zijn en welke niet?

Wat bedoel je met "de E-core silicium overhead" en waarom heb je die proberen te vermijden? Ik begrijp dat de CPU's met E-cores waarschijnlijk complexer zijn, maar ik had gedacht dat de E-cores tot een lager energieverbruik zouden kunnen leiden wanneer de CPU niet-intensieve taken uitvoert bij lage belasting.

Nogmaals, bedankt voor de geweldige informatie. Ik hoop een systeem te kunnen bouwen met een vergelijkbare energie-efficiëntie. Op dit moment heb ik een Gigabyte Z790 UD AX moederbord en een i5-13500 systeem dat ik niet onder de 28W krijg.
- Matt Gadient op september 23, 2023 - klik hier om te reageren
  Als het gaat om moederborden met een laag stroomverbruik, is mijn algemene vuistregel dat een lager aantal componenten meestal leidt tot een lager stroomverbruik. Dit is geen robuuste regel, maar hij gaat hier meestal goed genoeg op. Een snelle "snuffeltest" is het kijken naar het aantal stroomfasen (iets waar fabrikanten veel reclame voor maken): veel fasen die op hoge schakelfrequenties draaien zijn geweldig voor hardcore overklokkers, maar voor laag vermogen willen we weinig fasen die op zo'n lage frequentie worden geschakeld dat als het moederbord een MOSFET heatsink heeft, het vooral decoratief is.
  
  Het voordeel van ITX is dat het de neiging heeft om het aantal componenten te beperken, maar het is niet strikt noodzakelijk - vorige week heb ik de "Intel i3-10320 op een Gigabyte H470M DS3H" die ik in het begin noemde opnieuw gebruikt en ik kreeg het terug naar 6 watt idle (headless, geen toetsenbord, onboard Intel i219V 1GbE netwerk alleen, c-states in BIOS, 3 Samsung SATA SSD's 840/860/870, Corsair RM850 voeding, Ubuntu Server met powertop). Het is een zeer utilitair moederbord. Ik zal geen aparte write-up doen omdat het bord niet langer beschikbaar is, maar 6 watt op dat MicroATX Gibabyte H470 bord en 7 watt op het ATX ASUS H770 bord in deze write-up zijn mijn beste 2 resultaten tot nu toe en opvallend genoeg waren geen van beide ITX. Iets anders wat me net opviel: beide borden hebben slechts 6 voedingsfasen.
  
  Over de "E-core silicon overhead" zijn veel details te vinden op https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ , maar ik zal proberen een samenvatting te geven. De i5-12400 wordt geleverd met 6 P-cores en 0 E-cores ingeschakeld, meestal aangeduid als 6+0. Hij is er echter in 2 varianten: een "C0" stepping die oorspronkelijk een 8+8 was die cores had afgesmolten om een 6+0 te worden, en een "H0" stepping die direct als een 6+0 werd gefabriceerd en nooit E-core hardware had. In de tests (pagina 5 van dat artikel) gebruikte de C0 tot 16 watt meer stroom dan de H0, afhankelijk van de benchmark, waaronder bijna 11 watt meer in ruststand. Het is altijd mogelijk dat hun C0 sample andere problemen had die stroomlekkage veroorzaakten, of dat er een andere variabele in het spel is, maar hoe dan ook deden de 2 chips met fysieke E-Cores hardware het niet goed in de idle test.
  
  Omdat ik me voor de meeste van mijn systemen richt op extreem laag stationair verbruik, kan ik het niet rechtvaardigen om een van de gecombineerde P/E-core chips te kopen totdat ik gegevens zie die laten zien dat chips met E-cores minder dan 10 watt stationair verbruiken. En dat heb ik nog niet. Dit is een gebied waar Intel tegenwoordig erg bedreigd wordt: de AMD Mini PC's komen nu tot ongeveer 6-7 watt stationair stroomverbruik voor een Ryzen 9 7940HS ( https://youtu.be/l3Vaz7S3HmQ?t=610 ) en als AMD dit soort APU-ontwerpen naar de desktopkant brengt of iemand als ASRock begint een aantal van deze indrukwekkende HS-chips te verpakken in een aangepast moederbord, zou Intel de markt voor laag stationair stroomverbruik snel kunnen verliezen.
  - paldepind op september 27, 2023 - klik hier om te reageren
    Hartelijk dank voor het geweldige antwoord 🙏. Er is niet veel informatie over dit soort dingen, dus het delen van je kennis is zeer waardevol en wordt gewaardeerd.
    
    Ik zie dat het moederbord dat ik heb gekocht waarschijnlijk niet ideaal is (het adverteert veel fasen).
    - Matt Gadient op september 27, 2023 - klik hier om te reageren
      Wat betreft de fasen, hoewel ik het gebruik als een snelle snuffeltest, is het ook niet perfect: als de fasen van je moederbord zeer efficiënte MOSFET's gebruiken, kan het beter presteren dan een moederbord met minder maar minder efficiënte MOSFET's bij een bepaalde schakelfrequentie. En er zijn zeker veel andere moederbordcomponenten die variabelen aan de situatie toevoegen. Het punt is dat ik durf te wedden dat er ergens een 6-fase moederbord rondloopt dat elektriciteit verslindt en dat er waarschijnlijk ook een 20-fase moederbord rondloopt dat een vermogen van minder dan 10 watt mogelijk maakt, hoewel ik niet verwacht dat dit het meest voorkomende geval zal zijn.
      
      Dat gezegd hebbende, zelfs als je bord veel inefficiënte MOSFET's zou hebben, lijkt het stroomverbruik van 28 watt dat je zegt te krijgen een beetje hoog, tenzij je last hebt van draaiende roest of een PCIe-kaart die veel stroom verbruikt. Heb je gecontroleerd of je C6 of betere vermogenstoestanden hebt? Herinner je dat toen ik de ASM1166 op de belangrijkste PCIe-sleuf plaatste, ik beperkt was tot C2 en 22 watt verbruikte.
      - paldepind op oktober 9, 2023
        Sorry voor het late antwoord (ik verwachtte er geen en ik krijg geen meldingen). Maar goed dat ik wat van de geweldige info hier opnieuw moest lezen.
        
        Je hebt inderdaad gelijk dat de 28 W die ik deelde niet zo goed was als het maar kon. Ik maakte de fout te denken dat het loskoppelen van de SATA-kabels van mijn HDD's ervoor zou zorgen dat ze uitgeschakeld zouden blijven. Zoals achteraf duidelijk is, moet je ze ook loskoppelen van de PSU. Bovendien had ik een heleboel randapparatuur op de pc aangesloten waarvan ik me niet realiseerde dat die stroom zou verbruiken (met name een ingeplugde monitor maakt een groot verschil). Na het loskoppelen van alle HDD's en alle randapparatuur krijg ik waarden tussen de 8-10W.
        
        Om dit hopelijk een nuttig gegeven te laten zijn voor anderen zal ik wat meer details geven. De CPU is een i5-13500 in een Gigabyte Z790 UD AX moederbord. Het enige dat is aangesloten is een SATA SSD en een enkele stick geheugen. De PSU is een 850W Corsair RM850x. Het systeem haalt C8 en zelfs C10. Er zouden nog een paar dingen gedaan kunnen worden om het stroomverbruik te verminderen. Ik heb gemeten terwijl Gnome stationair draaide (ik neem aan dat als er geen DE actief is, dit een klein beetje CPU bespaart), ik heb twee CPU ventilatoren die langzaam draaien, zelfs bij lage temperaturen, het systeem staat op WiFi (ik neem aan dat ethernet minder stroom verbruikt), en ik heb case LED's en HD Audio niet uitgeschakeld.
        
        Ik ben nu erg blij met het niveau van stroomverbruik. Misschien is een van de conclusies dat Intel E-cores niet veel invloed hebben op het stroomverbruik in rust, in ieder geval niet bij deze CPU. Het enige probleem dat ik nu heb is dat het systeem instabiel is en sporadisch opnieuw opstart 😭. Ik denk dat ik het probleem heb teruggebracht tot een defecte CPU of een defect moederbord (ik heb geprobeerd de PSU te vervangen en memtest86+ zegt dat het geheugen in orde is). Het bedrijf waar ik de onderdelen heb gekocht beweert dat beide in orde zijn, maar tenzij ik een andere oplossing vind zal ik proberen de CPU en het moederbord te vervangen door wat low-end onderdelen: een 13e gen i3 en een Asus B760M-A moederbord. Als dat het probleem verhelpt, kan ik hopelijk de andere onderdelen retourneren, in het ergste geval gebruik ik de budgetonderdelen voor een server en de duurdere onderdelen voor een werkstation.
    - Jon op december 13, 2023 - klik hier om te reageren
      Hoi paldepind,
      
      Ik heb precies dezelfde opstelling (i5-13500 + Z790 UD AX), mijn opstartschijf is Samsung 990 pro 4TB
      en ik heb precies hetzelfde probleem - sporadisch opnieuw opstarten. Heb je kunnen vinden wat de oorzaak is?
      
      Ik heb de nieuwste BIOS F9b geprobeerd, evenals F5 en het wijzigen van meerdere BIOS-instellingen, maar tot nu toe helpt niets. Mijn vermoeden is dat de opstartschijf in een spaarstand gaat en niet in staat is om daarvan te herstellen, maar ik weet niet hoe ik dat moet bewijzen.
      - Daniel op december 13, 2023
        Zijn er in uw gevallen gebeurtenissen geregistreerd in de systeemlogboeken voorafgaand aan de reset?
      - Jon op december 18, 2023
        Hallo,
        
        Er zijn geen gebeurtenissen voor de crash, ik heb ook netconsole geconfigureerd - nog steeds niets gelogd.
        Met de nieuwste BIOS, standaardinstellingen en de 970 evo plus als opstartapparaat (geen andere schijf aangesloten) lijkt het systeem stabiel, maar helaas trekt het gemiddeld 32W tijdens stationair draaien, wat niet acceptabel is.
        
        Op dit moment verander ik één instelling per keer en wacht ik meer dan 12 uur om erachter te komen wat de echte oorzaak is en dat kost veel tijd.
      - Matt Gadient op december 18, 2023
        Dit kan een heel ander scenario zijn, maar ik had ongeveer een maand geleden de Gigabyte Z790 DDR4 aangeschaft en toen ik probeerde om een 1TB map met ongeveer 1 miljoen bestanden van een RAIDZ array te comprimeren naar een tar.zstd bestand op een andere schijf, werd deze binnen 30 minuten willekeurig opnieuw opgestart. Dit gebeurde keer op keer. Het uitschakelen van C-States in het BIOS voorkwam het probleem. Door alle hardware om te wisselen naar het ASUS H770 bord werkte alles weer correct. Ik heb in de loop der jaren veel Gigabyte-borden gekocht - dit was de eerste die ik terug moest sturen.
      - Zac op mei 20, 2024
        Ik heb een soortgelijk probleem op een Gigabyte z790 bord (z790 Aorus Elite AX DDR4), alles is stabiel totdat ik hoge c-states (c8/10) inschakel.
        Ik heb alle instellingen geprobeerd, zodra ik c8/10 inschakel, wordt het systeem onstabiel en valt het op een gegeven moment uit. Ik heb alle schijven en kabels gecontroleerd, de processor twee keer vervangen en wacht momenteel op een cpu RMA van Intel. Afgaande op deze thread hier lijkt het erop dat dit een gigabyte probleem is, ik heb ook verschillende BIOS firmwares geprobeerd zonder enig geluk, dus het lijkt erop dat als een CPU RMA het niet oplost, het een probleem is met Gigabyte z790 moederborden.
        
        Teleurstellend, want ik heb geen retourneringssysteem meer en wil echt geen RMA van Gigabyte, dus als CPU RMA niet werkt, moet ik er maar mee leven of het bord verkopen en een ander bord kopen.
        
        Aangezien deze thread een beetje oud is (dec 2023), vraag ik me af of iemand anders dit probleem heeft gehad en het heeft kunnen oplossen.
        
        Hartelijk dank.
  - Daniel op november 14, 2023 - klik hier om te reageren
    Ik weet niet zeker of het aantal fasen een goede indicator is.
    
    Ik test momenteel een ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos) en in idle, met de monitor en USB (muis, toetsenbord) aangesloten, toont de stroommeter 6,7-8,1 W. De rest van het systeem:
    
    - i5 13500
    - 2 x 16 GB 3600 MHz (versnelling 1)
    - 1 TB KC 3000
    - RM550x 2021
    - 2 x 120 mm ventilatoren @ 450 rpm
    - audio codec aan
    - WiFi uit
    
    Arch Linux + RTL8125 module (mijn router ondersteunt geen EEE)
    
    Met de Realtek-kaart uitgeschakeld geeft de stroommeter 6,4 - 6,7 W aan
    
    PC-toestanden met LAN
    C2 (pc2) 0,7%
    C3 (pc3) 1,3%
    C6 (pc6) 41,1%
    C7 (pc7) 0,0%
    C8 (pc8) 0,0%
    C9 (pc9) 0,0%
    C10 (pc10) 55,8%
    
    PC-staten zonder LAN
    C2 (pc2) 0,6%
    C3 (pc3) 0,9%
    C6 (pc6) 0,0%
    C7 (pc7) 0,0%
    C8 (pc8) 0,0%
    C9 (pc9) 0,0%
    C10 (pc10) 97,8%
    
    Ik had vergelijkbare resultaten op een B660 AORUS MASTER DDR4 (16+1+1).
    - Daniel op november 16, 2023 - klik hier om te reageren
      Ik vergat te vermelden. Hoewel de resultaten behoorlijk zijn, raad ik dit ASUS-bord niet aan - het is onstabiel in idle. Ik had verschillende willekeurige shutdowns (plotselinge stroomonderbrekingen).
    - Jackie D op juli 9, 2024 - klik hier om te reageren
      Heeft het AORUS MASTER-moederbord hetzelfde probleem met lage stationairloop?
      - Daniel op juli 10, 2024
        Nee. Hij is ijzersterk. Draait bijna 24/7, tot nu toe zonder een enkele crash.
  - Wolfgang op december 1, 2023 - klik hier om te reageren
    Bedankt voor het artikel Matt!
    
    Ik heb onlangs een i3-13100 (4+0) en een i3-13500 (6+8) gekocht om de "E-core overhead" claims die ik online heb gezien te testen. Ik ben blij te kunnen melden dat het stroomverbruik in ruststand voor beide chips identiek is! Misschien is het probleem van het verhoogde stroomverbruik uniek voor de i5-12400 C0, helaas heb ik er geen bij de hand om te testen.
    - Matt Gadient op december 1, 2023 - klik hier om te reageren
      Goed om te horen, bedankt voor het doorgeven!
Dave op september 25, 2023 - klik hier om te reageren
Kunt u mij een UPS aanbevelen met een laag stationair stroomverbruik? Ik heb gelezen dat het stroomverbruik in ruststand enorm varieert.
htmlboss op oktober 9, 2023 - klik hier om te reageren
Hey bedankt voor dit artikel Matt! Ik ben op zoek naar een energiezuinig systeem dat kan dienen als mijn persoonlijke ontwikkelomgeving in de cloud waar ik vanaf elke pc naar toe kan SSH-en (ik ben geen fan van de prijzen van github codespaces, lol). Een eerste blik op je onderzoek geeft aan dat dit een goed startpunt voor me is :)

Ik gebruik momenteel een off-lease quanta 1u die ik van ebay heb geplukt net voordat covid opkwam en zijn single-core prestaties tonen echt zijn leeftijd. Hij draait ook stationair op 80W >.
Lukas op oktober 12, 2023 - klik hier om te reageren
Hallo, bedankt voor dit geweldige artikel!
Ik wil graag mijn ervaring delen met mijn nieuwe 12-14 W pc.

Ik heb net een ventilatorloze mini-ITX pc gebouwd. De behuizing is ook een passieve koeler - AKASA Maxwell Pro en binnenin zit AMD Ryzen 5600G (Zen 3, 65W TDP), Gigabyte B550I AORUS PRO AX (bios FB), 1x 16GB DDR4 (ik ben van plan om te upgraden naar 2x32GB), 1x 2TB Samsung 980Pro m.2 SSD. De voeding is 12V AC/DC van AKASA (max. 150W) en Inter-Tech MINI-ITX PSU 160 W.

12-14W stationair stroomverbruik voor de hele pc onder Windows 10 (gemeten aan de DC-kant, energieplan is gebalanceerd, maar ik heb ASPM, Pstates en C-states ingeschakeld in de bios en PCIe-energiebesparing in de geavanceerde instelling van Windows Power Plan).
Onder belasting (Cinebench R23) 61-65W. Momenteel ben ik bezig met undervolting om een beter stroomverbruik en betere temperaturen te krijgen.

----------

Mijn kleine thuislab en NAS verbruiken minder dan 2W inactief vermogen ‼️

Ik raad Odroid H3 (H3+) aan met BIOS 1.11 en Debian 11 + DietPi + kernel 6.0.0 (of nieuwer) + toegepaste tweaks via powertop. Het heeft een idle stroomverbruik van slechts 1,2 - 1,5W (vergeleken met 2,7W voor RPi 4 - source) ⚡️ (met mijn configuratie: 1x 16GB RAM en 1x SATA SSD).

See: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif

Het maximale geheugen is 64 GB RAM en het heeft 1x m.2 poort, 2x SATA 3 en 2x LAN 2.5Gbps. Hij is veel sneller dan Raspberry Pi 4 met een lager stroomverbruik in ruststand. Bij belasting kan hij 20 W verbruiken (afhankelijk van aangesloten apparaten).

Als je meer SATA-poorten nodig hebt, kun je de m.2-poort uitbreiden tot 5x SATA met dit: https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
Martin op oktober 17, 2023 - klik hier om te reageren
Bedankt voor een geweldig artikel, zeer nuttige informatie.

Ik ben momenteel aan het worstelen om mijn nieuwe NAS minder dan 40W te laten verbruiken in ruststand zonder gegevensschijven, en ik kan maar niet begrijpen waarom hij zoveel verbruikt. Mijn gaming desktop verbruikt minder stationair.

Het is een Asrock H670M-ITX/ac met een i3-12100, 8GB RAM, een stille 400W PSU. Oorspronkelijk gebruikte ik een Kingston NV2 NVMe voor het besturingssysteem, maar toen ik die verving door een SATA SSD bleek het stationaire vermogen met ongeveer 10 W te zijn afgenomen (50 W - > 40 W).

Volgens powertop komen de kernen zonder problemen in C7, maar het pakket weigert C2 te verlaten. Ik weet niet zeker hoe belangrijk dat is.

Ik zal eraan blijven werken, met jouw artikel als referentie :)
- Matt Gadient op oktober 17, 2023 - klik hier om te reageren
  De C-states van het pakket maken het verschil. Stappen die ik over het algemeen neem: (1) verwijder alles en iedereen die is aangesloten op een PCIE-slot, (2) zorg ervoor dat C-States zijn ingeschakeld in BIOS, met de hoogste C-state geselecteerd (meestal C10, maar alleen C6-C8 op sommige moederborden), (3) begin met trial-and-erroring BIOS-instellingen totdat je de boosdoener hebt gevonden. Ik gebruik meestal een Ubuntu USB-stick om te testen, omdat je soms rare randgevallen kunt krijgen met een live-installatie (Debian Testing heeft onlangs een van mijn pogingen gedwarsboomd).
nice op oktober 28, 2023 - klik hier om te reageren
Bedankt, ik kom normaal op c10 na het configureren van die build met proxmox. In de recente Ubuntu 23.10 bereiken we echter alleen c3 als het een kernelprobleem is. Ik vraag me af of andere mensen ook zo zijn
- Dan op november 2, 2023 - klik hier om te reageren
  Ook ik heb dit probleem gevonden. Na vele frustrerende uren en dagen testen, heb ik het een beetje teruggebracht. Ik gebruik archlinux en na het opstarten met elke maand live usb zie ik dat mijn systeem geen diepere pakket c-state kan bereiken dan c3 na kernel 6.4.7. Dit staat gelijk aan ongeveer 7-9 watt meer verbruik dan c8. Dit komt neer op ongeveer 7-9 watt meer stroomverbruik dan c8. Misschien ligt het niet aan de kernel, maar aan een pakket binnen de archlinux liveusb. Ik weet niet zeker hoe ik verder moet. Om het even welke ideeën van om het even wie over hoe dit te beperken zouden welkom zijn.
  
  Matt,
  Je artikelen inspireerden me, dus kocht ik hetzelfde moederbord (prime h770 plus d4) en vergelijkbare processor enz. Ik kon minimaal 12-14w bereiken. Voorlopig ben ik daar blij mee, maar de extra 8w als gevolg van het pakket dat c8 niet meer haalt, is erg frustrerend. Heb jij iets soortgelijks gezien in jouw bouw?
  - Matt Gadient op november 2, 2023 - klik hier om te reageren
    Erg interessant. Het lijkt erop dat het probleem dat ik in Debian had misschien niet zo'n geïsoleerd geval was als ik dacht: Iets meer dan een maand geleden heb ik het moederbord/CPU verwisseld met mijn desktop systeem, Debian 12 geïnstalleerd, geüpgraded naar Debian trixie/testing en ik liep tegen wat nu dezelfde C-state problemen lijken te zijn die jullie beiden hebben. Met behulp van een Ubuntu USB-stick werkten de c-states correct. Ik had geen tijd om een diagnose te stellen, dus installeerde ik Debian 12 bookworm/stable gewoon opnieuw (momenteel draait kernel 6.1), wat C8 toestond.
    - Matt Gadient op november 2, 2023 - klik hier om te reageren
      Als follow-up heb ik vandaag Debian 12 geüpdatet, waardoor de kernel is geüpdatet van 6.1.0-12-amd64 naar 6.1.0-13-amd64. Bij het opnieuw opstarten bleef ik steken op C3. Terugkeren naar 6.1.0-12 herstelde C8. Het begint er echt op te lijken dat we te maken hebben met een kernel bug/regressie die klaarblijkelijk wordt teruggeplaatst naar oudere kernels. In de 6.1 tak lijkt het ergens tussen 6.1.52 en 6.1.55 te zijn. Geen idee of iemand bugrapporten heeft ingediend of dat het in de hoofdlijn is opgelost, en ik heb op dit moment geen tijd om de changelogs door te spitten, maar als het niet wordt opgelost, zal ik er uiteindelijk in moeten duiken, denk ik.
      - tseting op november 5, 2023
        https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
        Verschillende onderzoeken hebben uitgewezen dat het een aandrijvingsprobleem is met RealTekLAN. Als je drivers voor de 8125 chipset downloadt en installeert van de Realtech site, kun je c10 bereiken zoals voorheen.
Marc Gutt op november 4, 2023 - klik hier om te reageren
Hoi Matt,
Je zou een andere PSU moeten overwegen, zoals de Corsair RM550x (2021) of BeQuiet 12M 550W. De Corsair is de beste voor laagvermogenopstellingen, maar is erg moeilijk verkrijgbaar. Deze zal het stroomverbruik nog verder verlagen (2 tot 4 watt).
Deze en andere tweaks worden in dit topic genoemd:
https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/
Dan op november 6, 2023 - klik hier om te reageren
Ik kan bevestigen dat het installeren van de Realtek r8125 driver naar de nieuwste van de Realtek website het probleem voor mij heeft opgelost. Mijn systeem bereikt nu weer de c8-status. Ik weet niet zeker of het ooit c10 bereikt, maar de bios zegt dat het wordt ondersteund. Kan iemand mij adviseren hoe ik kan controleren op c10?
- Matt Gadient op november 7, 2023 - klik hier om te reageren
  Om te controleren op C10, aangezien powertop langzaam update kun je powertop laten draaien terwijl het scherm slaapt, een minuutje wachten, dan het scherm wakker maken en kijken of powertop een percentage in C10 laat zien. Als alternatief, SSH in de machine en start powertop terwijl het scherm slaapt.
  - Dan op november 9, 2023 - klik hier om te reageren
    Bedankt Matt, ssh naar machine bevestigde c10. Ik probeer nu lager dan 12w te komen. Ik heb alles geprobeerd in bios, dus de boosdoeners zijn psu, dram power/timings en mogelijk de stroommeter (ik kan geen killa-watt meter krijgen in het Verenigd Koninkrijk, maar ik denk dat de mijne gelijkwaardig is). Bedankt
Matt Gadient op november 6, 2023 - klik hier om te reageren
Met dank aan degenen die de details van de Realtek netwerkadapter hebben doorgegeven met betrekking tot de c-states. De oorzaak is de volgende patch die lijkt te zijn uitgegeven aan 6.x kernels gebouwd op of na 13 september 2023: https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/diff/drivers/net/ethernet/realtek/r8169_main.c?id=v6.1.53&id2=v6.1.52

Helaas was dit een opzettelijke wijziging van het Realtek stuurprogramma in de kernel. Het zorgt ervoor dat L1 is uitgeschakeld op vrijwel elke Realtek adapter, schijnbaar als reactie op een aantal Realtek adapters die stabiliteitsproblemen ervaren wanneer deze lage energie staten zijn ingeschakeld. Op mijn huidige testsysteem resulteert dit in een vermogenstoename van 4 watt in idle met het scherm in de sluimerstand omdat het systeem niet verder gaat dan C3.

Het proberen van het Realtek stuurprogramma dat werd gelinkt door Tseting is waarschijnlijk de eenvoudigste oplossing voor nu, hoewel ik geen idee heb hoe het zal gaan met niet-ondersteunde kernelversies en ik persoonlijk geen grote fan ben van kernelmodules. Voor het gemak plak ik het hier: https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software

Er is natuurlijk een moeilijkere workaround - voor degenen die bekend zijn met het compileren van de kernel, zal het terugdraaien van de verandering in de diff hierboven L1/L1 herstellen. 1 herstellen op RTL8168h/8111h, RTL8107e, RTL8168ep/8111ep, RTL8168fp/RTL8117, en RTL8125A/B apparaten (alles wat ouder is had het al uitgeschakeld) - als je L1.2 wilt toestaan kun je rtl_aspm_is_safe() dwingen om true terug te geven, hoewel dit op mijn testsysteem geen voordeel bood ten opzichte van L1.1.

Tenzij de kernelontwikkelaars van gedachten veranderen, lijkt het erop dat Intel NIC's de enige haalbare optie zijn. Intel 1G NIC's zijn over het algemeen erg solide. Verontrustend genoeg ontdekte ik dat het uitschakelen van de Realtek NIC op mijn MSI bord het niet volledig loskoppelde (het bleef hangen op C3) dus het kopen van een bord met een Realtek NIC met plannen om het uit te schakelen en een Intel netwerkuitbreidingskaart te gebruiken kan riskant zijn. Het is de moeite waard om op te merken dat in de toekomst leveranciers een vlag kunnen instellen op een 8125A/B adapter om aan te geven dat L1.2 getest en toegestaan is, wat de Linux kernel zal respecteren, maar ik weet niet of dit al op moederborden of uitbreidingskaarten is toegepast.
SaveEnergy op november 12, 2023 - klik hier om te reageren
Hallo,
bedankt voor de gedetailleerde informatie die je hebt gedeeld.
Je setup heeft me geïnspireerd en ik heb de "Prime h770-plus" gekocht, inclusief 4800 DDR Ram.
Helaas heb ik ook problemen met NVME SSD's wanneer aspm is ingeschakeld in de bios (en PCI express clock gating). De workarounds om bepaalde energiebesparende modi van de WD's te blokkeren hielpen niet. Ik heb de SN750 (1tb) en de SN850X (2tb) geprobeerd.
Kun je nog steeds de Crucial P3 aanraden of faalt deze ook regelmatig met betrekking tot ASPM problemen?

Wie heeft welke andere NVME op het bord betrouwbaar draaien met ASPM ingeschakeld?

Draai je de setup productief in continue werking?

Daarnaast heb ik gemerkt dat een 840pro (256gb) op zijn minst op SATA1 voorkomt dat het systeem lager gaat dan C3. Een Crusial Force GT (128 GB) daarentegen werkt tot C8.
Ik heb het probleem met de Realtek NIC opgelost door de controle in de kernel te verwijderen.
Bedankt en met vriendelijke groeten
- SaveEnergy op november 13, 2023 - klik hier om te reageren
  Hallo,
  Ik heb nu een Samsung 990 pro geprobeerd. Helaas leidt dit nog steeds tot de al bekende nvme aspm fouten.
  Heeft iemand anders nog ideeën?
  Aan de voeding kan het niet echt liggen (dat zou ik erg vreemd vinden), want hier wordt tijdelijk een Corsair cx 750 gebruikt.
  Als niets helpt, heeft iemand dan een goed alternatief bord?
  Op de een of andere manier steek ik te vaak mijn voet in mijn mond als het om hardware gaat ;-(.
  - Firesucker op september 3, 2024 - klik hier om te reageren
    Voor mij werkt een 1 TB Samsung Pro perfect. Ik haal C10 zelfs met een Intel X710-DA2 aangesloten.
jit-010101 op november 14, 2023 - klik hier om te reageren
Wat betreft:

"Ik denk dat je een hoop hoofdpijn had kunnen voorkomen als je een bord had gevonden met meer sata-poorten!"

Dat is niet standaard waar - want het ligt eraan welke SATA-controller wordt gebruikt en/of hoe deze poorten zijn aangesloten. De kans is groot dat er een onboard controller wordt gebruikt, en specifiek voor de N5105 is er een bekende NAS-variant met 6 SATA-poorten die wordt verkocht door Kingnovy en Topton.

De zwarte gebruikt JMS585 en de groene print gebruikt ASM1166 - de zwarte zit vast aan C3 en de groene kan tot C8 gaan (zelf geverifieerd omdat ik de groene variant heb). Als ik iets meer nodig zou hebben dan een backupserver, dan zou ik deze route kiezen - met een veel krachtiger Intel op LGA1700.

Een goed voorbeeld van hoe laag je kunt gaan met idle stroomverbruik is de Odroid H3 - <2W idle met 2x HDD's via SATA in Spindown ... maar zodra je (de verkeerde) componenten toevoegt zal dat snel versnellen - bekijk de stroomverbruik statistieken hier:

https://github.com/fenio/ugly-nas

TLDR: Uiteindelijk verbruikt het meer stroom dan jouw build hier - en ik moet er aan toevoegen dat ik eerder een Odroid H2 had, die hun 5V lane verbrandde en de (dure) SSD's meesleurde ... sindsdien blijf ik weg voor het absolute maximum van het laagste stroomverbruik in exotische combinaties zoals de Odroid H3.

Ik zou zeggen dat het uiteindelijk allemaal neerkomt op - hoe praktisch alles is versus de niveaus van stroomverbruik.

Dat gezegd hebbende ben ik onder de indruk van deze bouw - 7W idle met een 750W PSU is heel wat.
Frederik op november 18, 2023 - klik hier om te reageren
Hoi Matt, ik heb je artikel meerdere keren gelezen en ben behoorlijk onder de indruk van de kennis die in het bericht en de reacties te vinden is.
Ik ben momenteel mijn homeserver aan het upgraden van j3455 naar 11400.
Tijdens het overschakelen van hardware vond ik een vreemd probleem:
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (laatste bios) +asm1166.

Als ik opstart vanaf USB zonder dat er sata drives zijn aangesloten bereikt pakket C status c8.
Als ik opstart vanaf USB met een SATA drive aangesloten op de onboard sata controller bereikt pakket C status alleen C2 (+4W).
Als ik opstart vanaf USB met een SATA-schijf aangesloten op een pcie asm1166 bereikt pakket C status c8.

Voor mij lijkt het er dus op dat de b560 SATA-controller problemen heeft met energiebesparing. Zelfs als ik L1 voor alles heb ingeschakeld en powertop tune heb uitgevoerd, komt hij niet onder c2.

Heb je een idee wat de oorzaak zou kunnen zijn dat de b560 SATA-controller 4w meer verbruikt?
- Matt Gadient op november 18, 2023 - klik hier om te reageren
  Ik weet het niet zeker. Onboard SATA op dat bord zou van de Intel chipset moeten zijn en je zegt dat je L1 voor alles hebt ingeschakeld. De eerste dingen die ik zou proberen:
  - Controleer of SATA Link State Power Management is ingeschakeld (op mijn H770 staat dit onder Advanced/PCHStorageConfiguration/AggressiveLPMSupport)
  - Op de pagina van het ASUS Prime B560M-A moederbord staat dat de SATA_2 poort bandbreedte deelt met het M.2_2 slot. Ik weet niet hoe dit intern wordt afgehandeld, maar als u bent aangesloten op SATA_2, probeer dan een van de andere SATA-poorten op het moederbord
  - SATA Hot Plug uitschakelen (xblax noemde dit hierboven)
  - Probeer een andere SSD als je er een hebt om te zien of er een verschil is (SaveEnergy noemde dit hierboven)
  - Frederik op november 20, 2023 - klik hier om te reageren
    Hoi Matt, Bedankt voor je input! Ik heb het volgende geprobeerd, maar niet met succes. Het bord verbruikt nog steeds 4-5W vanwege C2.
    Uiteindelijk kan het goedkoper zijn om nog een ASM1166 toe te voegen in plaats van de onboard controller :D
    
    - Controleer of SATA Link State Power Management is ingeschakeld (op mijn H770 onder Advanced/PCHStorageConfiguration/AggressiveLPMSupport).
    Dit is ingeschakeld, ik heb het ook geprobeerd met uitgeschakeld, maar het veranderde het stroomverbruik of de C-states niet. (Ik laat het voorlopig ingeschakeld)
    
    - Op de pagina van het ASUS Prime B560M-A moederbord staat dat de SATA_2 poort bandbreedte deelt met het M.2_2 slot. Ik weet niet hoe dit intern wordt afgehandeld, maar als u bent aangesloten op SATA_2, probeer dan een van de andere SATA-poorten op het moederbord.
    In het BIOS kan ik aangeven of M.2_2 SATA of PCIE gebruikt. Volgens het BIOS en de handleiding wordt SATA6G_2 alleen geblokkeerd als M.2_2 is ingesteld op SATA.
    Maar ik heb de ASM1166 aangesloten in M.2_2 en geconfigureerd als PCIE. Ik heb bevestigd dat alle onboard SATA-poorten werken zoals verwacht met deze instelling.
    
    - SATA Hotplug uitschakelen (xblax noemde dit hierboven)
    Hotplug is standaard uitgeschakeld voor alle poorten. Ik heb het ingeschakeld om te zien of het iets verandert, maar dat deed het niet. Ik laat het voorlopig op Uitgeschakeld staan.
    
    - Probeer een andere SSD als je er een hebt om te zien of er een verschil is (SaveEnergy noemde dit hierboven)
    Ik heb opgestart vanaf USB en verschillende apparaten geprobeerd: 2x SSD's (Emtec en oudere Samsung), 2x 3,5" HDD's (WD en Seagate) en zelfs 1x LG DVD brander.
    Het lijkt erop dat het niet uitmaakt wat voor apparaat is aangesloten.
    
    Het is altijd hetzelfde, zodra ik een apparaat aansluit via SATA is onboard C2 maximaal.
    Om dit te verifiëren heb ik opgestart vanaf een USB-stick met aangesloten SATA-apparaten, en ze vervolgens allemaal losgekoppeld tijdens het opstarten.
    Zodra het laatste SATA-apparaat fysiek wordt losgekoppeld van het live systeem, gaat het onmiddellijk naar pc6 en kort daarna naar pc8.
    
    Bij het opnieuw aansluiten van alle SATA apparaten blijft het in PC6/8 maar ook dmesg herkent de replug niet (waarschijnlijk omdat hotplug is uitgeschakeld).
    Ik zal door dmesg boot logs kruipen, misschien komt er iets interessants tevoorschijn.
Anoniem op december 1, 2023 - klik hier om te reageren
Hallo, ik ben bezig met een systeem met ASRock H610M-ITX en i3-12100, en de ASM1166 M.2 adapter die ik heb lijkt niet herkend te worden, zelfs niet nadat ik de firmware van SilverStone heb geflashed. Uit het specificatieblad van de H610m-ITX blijkt dat het M.2 slot is aangesloten op de chipset. Is er iets dat ik op dit moment kan doen?
- Matt Gadient op december 1, 2023 - klik hier om te reageren
  Ik weet het niet zeker. Ik zou hem eerst opnieuw installeren voor het geval de verbinding eigenaardig is en/of tijdelijk een NVMe SSD plaatsen en/of controleren of niets in het BIOS dat slot uitschakelt. Vervolgens zou ik controleren of het correct werkt in een ander systeem met een aangesloten schijf en dan controleren of de firmware correct is bijgewerkt. Als dat klopt, om te bepalen of het specifiek is voor dat M.2 slot op je moederbord, zou ik proberen de ASM1166 op een PCIe M2 adapter te zetten (momenteel ongeveer $3 USD van Aliexpress of $10 USD verzonden via Amazon) en installeren op het hoofd PCIe slot - ik heb de x1 en x4 varianten gebruikt en ze zijn best handig.
  - Anoniem op januari 31, 2024 - klik hier om te reageren
    Ik ben er eindelijk toe gekomen om een PCIE M.2 adapter te gebruiken op het CPU x16 slot, het werkt maar de pakketstatus blijft alleen op C2 staan, net als wat jij hebt gevonden. Nou ja, het lijkt erop dat ik een aantal van de harde schijf bays in mijn NAS case niet kan gebruiken.
- baegopooh op januari 25, 2024 - klik hier om te reageren
  Ik heb hetzelfde probleem hier met asrock z170-itx fatal1ty / asm1166 m.2 sata controller.
  -m.2 slot van het mobo werkt (getest met m.2 ssd)
  -sata controller werkt (getest met m.2-pcie adapter&x16 slot van het mobo en m.2 slot van een andere minipc)
  Maar met asm1166 aangesloten op m.2-sleuf, verschijnt er niets in bios of lspci.
  
  Het lijkt er dus op dat het Asrock-bord een probleem heeft.
  Ik weet niet hoe ik verder moet gaan
  - Matt Gadient op januari 25, 2024 - klik hier om te reageren
    Het lijkt er zeker op dat het een vreemd probleem kan zijn dat te maken heeft met ASRock zoals je suggereerde en/of een probleem met dat M.2 slot. Ik heb even in de handleiding van dat moederbord gekeken en heb niets gezien dat met BIOS te maken had. Als ik het was zou ik misschien CSM aan/uit proberen te zetten (soms heeft het invloed op rare dingen), maar ik zou niet optimistisch zijn.
  - baegopooh op februari 7, 2024 - klik hier om te reageren
    Het uitschakelen van CSM zorgde ervoor dat het opstarten mislukte met 5 piepjes (iets mis met de gpu). Het inschakelen van cm en het uitschakelen van storage oprom hielp niet.
  - Anoniem op maart 26, 2024 - klik hier om te reageren
    Interessant genoeg kreeg Wolfgang van Wolfgang's Channel de ASM1166 M.2 adapter aan de praat in een ASRock N100DC-ITX bord, waarbij het systeem in staat was om C8 power state te bereiken. Alle PCIe lanes op dat bord zouden rechtstreeks van de N100 moeten komen. https://youtu.be/-DSTOUOhlc0?t=254
Walter op december 1, 2023 - klik hier om te reageren
Hallo Matt, bedankt voor de beste en meest gedetailleerde uitleg over hoe dit te doen. Ik heb gisteren de ASUS Prime H770-Plus D4 voor $99 gekocht op Amazon om jouw setup na te bootsen, levering over een paar weken en ik wilde je vragen of de Intel i5-12400 nog steeds de CPU is die je op dit moment zou aanraden. Ik vraag dit omdat u aangaf dat u de CPU al had (hoewel deze destijds zorgvuldig was gekozen voor een ander project). Ik moet speciaal voor dit project een CPU kopen en wil graag de krachtigste, ervan uitgaande dat deze toch op laag vermogen zal werken.

Ik begrijp ook één ding niet in het algemeen: als ik de thuisserver gebruik als NAS, maar ook als mijn router, zou dat dan voorkomen dat ik hoge c-toestanden bereik in ruststand, gezien het feit dat hij altijd wat werk moet doen? Ik heb een gigabit verbinding en ik gebruik momenteel openwrt op een pi4 maar met qos ingeschakeld kan ik de helft van de downloadsnelheid halen.

Nogmaals bedankt.
- Matt Gadient op december 1, 2023 - klik hier om te reageren
  Ten minste een paar mensen in de commentaren gebruiken de i5-13500 en hebben het lage stroomverbruik gehaald. Deze heeft een hogere turbofrequentie, meer cache en 8 e-cores. Dus gezien het feit dat je op zoek bent naar de krachtigste CPU met een laag stationair vermogen, vermoed ik dat dit een betere optie zou kunnen zijn. Het is mogelijk dat sommige van de snellere processors ook prima zouden werken, maar het is duidelijk dat je een flinke smak geld moet uitgeven om daar zeker van te zijn en ik weet niet zeker of de ASUS H770 het hoge stroomverbruik tijdens de turbo aankan.
  
  Wat betreft het feit dat het een router is, weet ik het niet zeker, hoewel het iets is dat ik in de komende weken hoop uit te testen. Momenteel heb ik de oude ASRock/Intel J4005B-ITX die OpenWRT draait als router, maar de moederbordlimiet is C6 (hoewel hij daar 88-92% van de tijd doorbrengt na powertop met typisch thuisverkeer, inclusief een YouTube stream die ik zojuist heb getest). Het ding wordt gevoed door een van mijn oude Antec PSU's en deze staat betrouwbaar op een constante 10 watt.
  
  EDIT/UPDATE 13 dec: Om op te volgen, ik heb wat tests gedaan met de Asus H770 + i3-12100 + Intel i350-4T met OpenWRT in een systemd-nspawn container met privileged met SYSTEMD_SECCOMP=0. De resultaten zijn een beetje rommelig.
  
  Als je niets doet, staat het 90-95% van de tijd in C10.
  
  TEST A: Met slechts 1 apparaat dat YouTube bekijkt, 90% C10. Verbonden met zeer licht huishoudelijk verkeer (piekerig met minder dan 3Mbit/s gemiddeld) zat het 80-90% van de tijd in C10. Bij het downloaden van een van mijn webservers, waarbij de snelheid is begrensd op 4MB/s (ruwweg 32Mbit/s), zakte het naar ongeveer 50-60% in C10.
  
  TEST B: iperf-tests uitvoeren vanaf een externe VPS naar een lokale machine (poort doorsturen):
  - 0Mbps = ongeveer 82% C10 (alleen huishoudelijk verkeer)
  - 1Mbps = ongeveer 73% C10
  - 5Mbps = ongeveer 61% C10
  - 10Mbps = ca. 58% C10
  - 20Mbps = ca. 30% C10
  - 30Mbps = ongeveer 12% C10
  ...het bereikte 0 bij iets meer dan 40Mbps.
  
  TEST C: Interessant genoeg bood het passeren van de router tussen 2 lokale netwerken (geen NAT, alleen doorsturen) andere resultaten:
  - 0Mbps = ongeveer 82% C10 (alleen huishoudelijk verkeer)
  - 1Mbps = ongeveer 82% C10
  - 5Mbps = ongeveer 80% C10
  - 10Mbps = ca. 74% C10
  - 20Mbps = ca. 70% C10
  - 30Mbps = ongeveer 64% C10
  ...het bereikte 0 bij iets meer dan 70Mbps.
  
  Aangezien ik in een nspawn container zit, was ik niet in staat om software flow offloading in de firewall sectie van OpenWRT te proberen om te zien of het de impact in test A en B zou verzachten - het is heel goed mogelijk dat de "flow offloading" die het doet de resultaten dichter bij test C zou brengen. Het is ook mogelijk dat IPv6 het beter zou doen in test A en B door NAT over te slaan, hoewel de impact van kleinere-maar-meer pakketten altijd een spaak in het wiel zou kunnen steken.
  
  Voor zover ik kan zien, is de conclusie hier dat er een bepaalde mate van verkeer is dat de computer als firewall aankan en toch mogelijkheden vindt om te slapen. Maar als hij wakker wordt gehouden... worden andere opties ook aantrekkelijk. Ik heb net de Intel J4005 opnieuw getest (aangesloten op niets anders dan een monitor) en hij zit op 9-10W in OpenWRT zelfs als C-States uitgeschakeld zijn, en ik vermoed dat de J5xxx series vergelijkbaar zouden zijn (geen idee over N100). Als er wat meer pit nodig is, mijn Ryzen 5600G doet 22-23W op een Ubuntu LiveDVD met C-states uitgeschakeld. Beide modellen beginnen er even aantrekkelijk uit te zien zodra Alder Lake zijn C-state voordeel verliest.
  
  EDIT/UPDATE 15 dec: Bare metal, Debian geconfigureerd als router. TEST B was bijna identiek behalve dat de tijd in C10 +6% was voor elk item - raakte nog steeds de harde muur net boven de 40Mbps. Flowtabellen hielpen niet.
  
  Test C deed het iets beter, met de uiteindelijke cijfers als volgt:
  - 70Mbps = ongeveer 70% C10
  - 75Mbps = ongeveer 60% C10
  - 80Mbps = 0% C10 (hier een harde muur geraakt)
  
  Toen ik flowtabellen inschakelde voor Test C, kon ik er nog iets meer uithalen:
  - 80Mbps = ongeveer 60% C10
  - 85Mbps = ongeveer 45% C10
  - 90Mbps = 0% C10 (hier een harde muur geraakt)
  
  TEST D: Om het effect van een toenemend aantal verbindingen te testen, startte ik een torrentclient en voegde ik een aantal torrents toe met een begrensde globale downloadsnelheid van 1 MB/s.
  - 0 verbindingen = ongeveer 80% C10 (alleen huishoudelijk verkeer)
  - 16 verbindingen = gevarieerd 36-39% C10
  - 32 verbindingen = gevarieerd 33-35% C10
  - 64 verbindingen = gevarieerd 26-29% C10
  - 128 verbindingen = gevarieerd 21-29% C10
  - 256 aansluitingen = ongeveer 20% C10
  - 512 aansluitingen = ongeveer 15% C10
  - 1024 verbindingen = ongeveer 5% C10
  ...Ik heb flowtabellen geprobeerd op verschillende punten. Geen positief verschil.
  
  Tijdens deze reis kwam ik een paar interessante ontdekkingen tegen.
  
  Ten eerste hielpen flowtabellen helemaal niet. Het leek er zelfs op dat online snelheidstests iets minder piekten. Misschien is het iets specifieks voor de Intel i350-T4 die ik gebruikte (in een Debian bare metal H770 en een OpenWRT bare metal J4005).
  
  Ten tweede was OpenWRT in een container geen prettige ervaring. Ik had vreemde problemen waarbij sommige verbindingen goed waren en andere problemen opleverden. Misschien kan het met genoeg tweaken en overhalen soepel werken. Ik ontdekte dat een VM 2-2,5% CPU full-time at op een kale installatie en niet gemakkelijk was voor de C-states, dus daar ben ik niet verder op ingegaan.
  
  Ten derde, en dit is erg obscuur en waarschijnlijk specifiek voor de ASUS H770 of misschien mijn combinatie van hardware of misschien zelfs de Linux kernel die ik draaide... als de ingebouwde Realtek NIC was ingeschakeld in het BIOS maar NIET was geactiveerd (via een systemd-networkd .network bestand), zorgde het installeren en activeren van een andere netwerkkaart ervoor dat het systeem 50% van de tijd in C3 zat. Met "geactiveerd" bedoel ik zelfs iets simpels als een [Match]name=X met de rest leeg. Ik heb een i210, i340 en i350 geprobeerd. Toen ik de i350-T4 gebruikte, merkte ik dat een overeenkomstig SMBUS-item in powertop ook verdween nadat ik de onboard NIC had uitgeschakeld en de kaart naar het tweede PCIEx1-slot had verplaatst. Soms lijkt het alsof ASUS wat gremlins heeft rondlopen op de PCIE bus.
Walter op december 1, 2023 - klik hier om te reageren
Hartelijk dank, ik haal de I-5-13500 en zal over een paar weken verslag uitbrengen over de resultaten zodra ik alle onderdelen heb verzameld.
tom op december 7, 2023 - klik hier om te reageren
Hallo,

Ik heb je bouw gevolgd en hetzelfde moederbord gekocht met een i3-13100 cpu.
Ik heb een probleem dat ik niet kan oplossen en ik weet niet waar / wat ik moet zoeken.

Ik heb ubuntu 22.04 geïnstalleerd en geprobeerd met 23.04, maar het probleem is nog steeds hetzelfde:

Telkens wanneer ik http://www.google.com probeer te pingen, heb ik een probleem ZONDER dat ik mijn toetsenbord en muis verwijder:
- ofwel "ping sendmsg no buffer space available" met stuurprogramma's r8168
- of "pcie link is down" met drivers r8125

Ik heb elke energiebeheeroptie verwijderd die ik kon vinden.
Ik heb geprobeerd een ander usb-apparaat aan te sluiten.

Zijn er aanwijzingen?
- Matt Gadient op december 7, 2023 - klik hier om te reageren
  Ik weet het niet zeker. Echt vreemd dat USB-apparaten het netwerk zouden beïnvloeden. Om meer informatie te verzamelen, zou ik het volgende proberen:
  1. Controleer de uitvoer van "dmesg" voor geassocieerde gebeurtenissen.
  2. Kijk of het gebeurt bij het booten via de 22.04/23.04 LiveCD of dat het alleen na de installatie gebeurt.
  3. Probeer Ubuntu 23.10 (ik *denk* dat de release versie werd geleverd met de kernel die ASPM uitschakelde op de RTL8125) - ofwel LiveCD of installeren afhankelijk van de resultaten van #1.
  4. Probeer een andere set USB poorten, doe er 1 tegelijk om te bepalen of het het toetsenbord of de muis is (of beide), probeer een ander merk toetsenbord/muis om te zien of het verschil maakt.
  5. Koppel de netwerkkabel los en weer vast om te zien of het netwerk weer opstart of dat het voorgoed uit is.
  6. Schakel "F1 for error" uit in het BIOS en probeer op te starten naar het besturingssysteem zonder toetsenbord/muis aangesloten en kijk dan wat er gebeurt als het is aangesloten en losgekoppeld.
  7. Als je een PCIe netwerkkaart hebt (idealiter niet-Realtek voor deze test), kijk dan of deze last heeft van hetzelfde probleem.
  
  Misschien kan iemand anders die hetzelfde probleem heeft ondervonden antwoorden. Dit is niet een situatie die ik zou zijn tegengekomen, omdat ik uiteindelijk mijn toetsenbord aangesloten liet (uiteindelijk overgestapt op een draadloos toetsenbord dat het niet erg vond om door powertop te worden geslapen). Het kan altijd een vreemd probleem zijn met defecte hardware.
  - tom op december 10, 2023 - klik hier om te reageren
    Ik heb alles geprobeerd maar er veranderde niets. Ik stuur hem terug en probeer een andere.
Rishi op december 7, 2023 - klik hier om te reageren
Bedankt voor het schrijven - ik wilde mijn bevindingen delen.

CPU: i5-12600K
PSU: Corsair RM750e
NVMe: Samsung 980 Pro
RAM: 2x16 GB DDR5
OS: Ubuntu 23.04 Server (draait vanaf USB)

In eerste instantie kocht ik een ASRock B760M Pro RS. Na het tunen van het BIOS en zelfs na het geforceerd inschakelen van ASPM op de Realtek kaart, kon ik de PC-3 niet lager krijgen. Mijn totale wattage was ongeveer ~15 watt. Niet verschrikkelijk, maar deze machine was voor een nieuwe thuisserver die 24x7 zou draaien en ik wist dat het beter kon. Ik heb ASRock gemaild, aangezien hun BIOS niet expliciet PC status waarden instelt, het heeft alleen een tri-state van Auto, Ingeschakeld en Uitgeschakeld, of ze van plan waren ondersteuning toe te voegen en hoorde niets terug. Dus ik was klaar met hen.

Ik stuurde de ASRock terug en stapte over op een ASUS Prime B760-M-A. Ik configureerde het BIOS en draaide powertop. ASPM L1 werkte op de Realtek zonder veranderingen van de gebruiker. Ik zat op ongeveer 11 watt. Na het loskoppelen van de DP-kabel en de USB draadloze KB/muis daalde het naar 7,2 watt. Geweldig! Het was in staat om naar PC10 te gaan en het systeem lijkt erg stabiel. Ongelooflijk hoe ver desktopcomputers zijn gekomen wat betreft energieverbruik.
- Paul op maart 12, 2024 - klik hier om te reageren
  Bedankt voor deze post! Ik vroeg me af of CPU's uit de K-serie kunnen worden gebruikt in een energiezuinige build. In mijn land is de 12600K veel goedkoper dan de niet-K-variant.
SaveEnergy op december 14, 2023 - klik hier om te reageren
Met mijn h770 plus (ddr5) wordt c8 ook bereikt als de SSD in het aan de CPU toegewezen nvme-slot zit. Nadat ik problemen had met mijn Samsung en WD ssd's, ben ik nu met "SK hynix Platinum P41", die tot nu toe stabiel draait. Helaas ben ik momenteel terug naar c3 vanwege een netwerkkaart van logilink (dual poort) :-(. Ik probeer momenteel een xl710-qda uit China te bestellen *g, maar ik weet niet zeker of het zin heeft.
etnicor op december 17, 2023 - klik hier om te reageren
Hallo,
heb net een build gedaan met een Asus Prime b760M d4 build en had precies dezelfde bevindingen op mijn moederbord. Heb contact opgenomen met Asus om te zien of ze enige feedback hebben met betrekking tot de cpu aangesloten pci/m2 slot. Ik kom op C6 als ik een intel I226-v in x16-slot en een samsung 970 evo in cpu m2-slot heb.

Mijn X710-da2 netwerkkaart moet ik echter in x4 slot draaien aangezien c-state bij gebruik in x16 pakket alleen naar c2/c3 gaat.

Ik heb geen problemen met mijn i226-v nic.

Mijn usecase was om een low power 10 gigabit router te bouwen. Momenteel gebruik ik OPNsense, maar ik kan overstappen op Vyos voor een lagere systeembelasting.
- baegopooh op februari 6, 2024 - klik hier om te reageren
  Ik probeer hier een diepe c-state (op zijn minst c6) te bereiken met een 2,5g of 10g nic in een cpu-verbonden x16-slot.
  Ik heb geprobeerd met
  1. intel x520-da2 (bord uit china), dat geen aspm ondersteunt
  2. melanox connectx4 (bord uit china), die aspm ondersteunt maar alleen c3 toestaat
  3. randome i226 nic uit china, die aspm ondersteunt, maar aspm niet kan inschakelen
  
  Dus. kunt u mij laten weten exacte model of waar u uw i226v-nic gekocht please?
  - etnicor op februari 15, 2024 - klik hier om te reageren
    Hallo, ik heb deze gebruikt. https://www.aliexpress.com/item/1005005929535264.html
    - baegopooh op februari 16, 2024 - klik hier om te reageren
      Hartelijk dank. Ik zal het proberen.
Tony op december 23, 2023 - klik hier om te reageren
Hallo Matt,

Ik weet zeker dat je dit al eerder hebt gehoord, maar bedankt voor je informatieve posts en tijd.
Ik ben hier 100% nieuw in en het is eerlijk gezegd een beetje overweldigend, maar de gedachte om een server te bezitten is ongelooflijk aantrekkelijk. Ik heb dit allemaal precies zo benaderd als toen ik begon met pc's bouwen: een hoop youtube-video's, een hoop artikelen lezen en een beetje aanmodderen. Bij het onderzoeken van het bouwen van servers is het meteen duidelijk dat je echt moet weten wat je doet en het lezen van jouw artikelen maakt dit nog duidelijker.

Wat zijn jullie suggesties voor een plex/jellyfin server, altijd aan, laag stroomverbruik, volledige transcoderingsmogelijkheden. Mensen lijken ofwel hoog of laag over producten zoals synology en QNap, wat me aan het denken zet. Nogmaals bedankt
- Matt Gadient op december 23, 2023 - klik hier om te reageren
  Persoonlijk zou ik er nog even mee wachten als dat mogelijk is en kijken hoe de Ryzen 8700G het doet qua vermogen als die uitkomt - als het stationair verbruik beter is dan dat van de 5x00G serie zou het een sterke mededinger kunnen worden. Verder heb ik mijn 12100/12400 niet getest op transcoderingstaken en ik heb niet veel specifieks te bieden behalve een vaag besef dat je 2 codec engines krijgt zodra je de 12500 bereikt (vergeleken met 1 in zwakkere modellen). Misschien is er iemand anders die wat recente ervaringen en observaties kan vertellen.
JT op december 23, 2023 - klik hier om te reageren
Controleer je Board, op de mijne liet de Intel Network-Chip mijn systeem niet in diepere C-States gaan (i226-V), het lijkt erop dat het nog steeds buggy is.
Alex op december 31, 2023 - klik hier om te reageren
Hoi Matt,

Bedankt voor het geweldige artikel! Dit jaar heb ik voor mezelf een low-powered NAS gebouwd ter vervanging van mijn voorgebouwde QNAP TS-351 (Intel J1800) en een Gigabyte Brix J4105. Mijn eisen waren dat dit nieuwe systeem gemiddeld minder stroom moest verbruiken dan beide systemen samen en veel betere prestaties moest leveren. Met behulp van jullie (eerdere) artikelen, het Nederlandse Tweakers forum, het Duitse Hardwareluxx forum, het unRAID forum en wat andere bronnen kwam ik op het volgende uit:

- Intel i5-13500
- Gigabyte B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- stil zijn! Pure Power 12 M 550W
- 1x Toshiba MD04ACA50D 5TB (van mijn NAS)
- 2x Toshiba MG07ACA14TE 14TB (van mijn NAS)
- Crucial P1 1TB (NVMe)
- Samsung 980 1TB (NVMe)
- Crucial BX500 1TB (back-up aangesloten via USB)
- Transcend SSD230S 2TB (SATA SSD)
- Philips OEM USB2.0-schijf (opstartschijf)

Met deze opstelling draai ik momenteel bijna 50 Docker-containers met verschillende applicaties en databases en ik haal 17W uit de muur in idle. Alles wordt gedraaid en er worden geen services gebruikt, behalve SSH. Daar ben ik best tevreden over. Pakket C8 kan worden bereikt, vooral wanneer de meeste applicaties niet veel doen of wanneer ik ze stopzet. Als ik alles stop, kan ik op zijn laagst 11W bereiken op unRAID.

Een ander ding dat ik (en verschillende anderen) heb gemerkt op de Intel 600/700 was dat het gebruik van USB2.0 seriële apparaten zoals Zigbee of Z-Wave apparaten het stroomverbruik aanzienlijk verhoogde. Zoiets als 5-7W. Ik gebruik momenteel ser2net op een Pi om dit te omzeilen. Ik heb contact opgenomen met Gigabyte en Intel, maar beiden ontkenden dat dit een probleem was.

Ik gebruik ook E-cores voor de meeste apps omdat dit me gemiddeld 1-2W bespaart. Een deel gaat naar systeemprocessen die ik naar die cores verplaats met taskset. Dit lijkt vrij goed te gaan.

Wat betreft de Realtek NIC, ik heb onlangs de 'native' Realtek driver geprobeerd die beschikbaar is in de apps store, maar die schakelde L1 volledig uit voor mij. Dit resulteerde in 4W extra. Terugkeren naar de kernel en L1 forceren met: `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` werkt.

Als je vragen hebt, kun je altijd contact opnemen. Fijne jaarwisseling <3!
- Matt Gadient op januari 1, 2024 - klik hier om te reageren
  Ziet eruit als een geweldige opstelling, ik waardeer het dat je de details doorgeeft. Ik was me eigenlijk niet bewust van de /sys/bus/pci/devices/$DEVICELOC/link/l1_aspm instelling - bedankt hiervoor. Ik heb het net geprobeerd met de RTL8125 op mijn MSI bord en het werkt geweldig - veel gemakkelijker om dit gewoon in te stellen bij het opstarten in plaats van een aangepaste kernel te bouwen. Helaas lijkt de RTL8168 op de oudere Gigabyte H110N hier die sysfs instelling niet te hebben, dus het zal de aangepaste kernel behandeling blijven krijgen totdat ik de kans krijg om een Intel i210 in te ruilen (die ondanks dat het 1Gbit is nu iets duurder is dan de 2.5Gbit Intel i225 op AliExpress).
  - Jon op januari 9, 2024 - klik hier om te reageren
    Een iets eenvoudigere manier om bij de ASPM L1 instelling voor de netwerkinterface te komen is `/sys/class/net/$$$$/device/link/l1_aspm` waarbij `$$$$` de netwerkinterfacenaam is zoals `enp1s0`.
    - Matt Gadient op januari 9, 2024 - klik hier om te reageren
      Dat is zeker eenvoudiger dan itereren door alle PCI-apparaten zoals ik in mijn script deed. Bedankt, Jon.
- Wojtek op januari 6, 2024 - klik hier om te reageren
  Hoi Alex,
  
  Hoe is de stabiliteit van deze build tot nu toe? Ik denk erover om dezelfde cpu mobo combo te nemen, maar ik ben bang dat het instabiel zal zijn op het midden, wat mijn doel om mijn oude xeon-systeem met pensioen te laten gaan teniet zal doen.
  
  Groeten,
  Wojtek
Matt Gadient op januari 3, 2024 - klik hier om te reageren
Helaas niet op dit moment.
voltron4lyfe op januari 11, 2024 - klik hier om te reageren
Bedankt voor dit artikel, hoewel ik moet toegeven dat ik me een beetje verslagen voel. Het is me nooit gelukt om boven C3 of onder de 20W te komen. Alle verwijzingen naar de C-state hebben betrekking op de pakcage-state. De Core-status lijkt veel meer in het C10-bereik te liggen.

Mijn opstelling:

I5-12500
Asrock B660M Steel Legend
64GB DDR4-3200 Corsair LPX
2xNVME-schijven (1 SK Hynix Gold P31, 1 TeamGroup)
ASM1064 PCI-Express 3x1 naar 4 SATA-adapter".
Realtek 2.5G NIC
3x120mm ventilatoren.
Proxmox 8 met Linux 6.5.11 kernel. Powersave-governor ingeschakeld.

Ik heb geprobeerd om alles te beperken tot de basis en heb alle opslag en andere apparaten verwijderd. Ik heb onboard audio, realtek nic en de ASM1062 SATA controller uitgeschakeld. Bij het opstarten vanaf een USB-stick en het uitvoeren van Powertop, was het ~50% C2 en ~50% C3. Nooit hoger. Ik bevestigde dat alle apparaten ASPM ondersteunden met behulp van LSPCI en schakelde elke ASPM energiegerelateerde instelling in die ik kon vinden in de bios. Ik heb ook gezocht naar stiekeme overklokinstellingen, maar ik heb er geen gevonden die waren ingeschakeld. In deze configuratie was het stroomverbruik ~20W. Het toevoegen van de ASM1064 SATA controller en de NVME drives maakte geen significant verschil. Ik heb powertop --auto-tune elke keer uitgevoerd zonder merkbaar effect.

Ik heb toen een Nvidia 1660 Super GPU toegevoegd die ik doorgeef aan een lichtgewicht Linux VM. Ik draai dan de nvidia-stuurprogramma's met persistentiemodus en nvidia-smi meldt dat het ~1 Watt gebruikt. Dit bespaart ~10-20W.

Als ik ~8 HDD's toevoeg (een combinatie van Western Digital Reds en Seagate Exo drives), draait de machine stationair op ~100 W en is 80% van de tijd in C2.

Vervolgens start ik mijn hoofd-VM en passthrough ik de SATA-controllers. Het stroomverbruik neemt toe met 30 W tot 130 W en blijft daar. Powertop op de host laat zien dat het pakket nooit in een c-status komt. Ik heb geen drive spindown geconfigureerd.

Ik weet niet zeker of ik iets vraag, ik deel gewoon mijn ervaring. Zelfs als het geen groot verschil maakte, heb ik zeker een paar dingen geleerd.

Ik denk erover om te migreren van de VM naar een Linux LXC container op de host. Ik vraag me af of de VM op de een of andere manier het energiebeheer beïnvloedt. Nogmaals bedankt voor het zeer gedetailleerde en interessante artikel!
Daniel op januari 13, 2024 - klik hier om te reageren
Hallo, ik deel mijn "zojuist geïnstalleerde" ervaring

Corsair SFX SF450 Platinum
ASRock Z690-ITX
Corsair DDR4 2*16GB 3200 MHz
2 Samsung NVMe 980 Pro 1TB aan boord van miniPCIe (ZFS Mirror)
1 Samsung EVO 870 2TB aan boord SATA (ext4)
I5-12400 stap H0
Realtek 2.5G uitgeschakeld
1 Noctua ventilator op CPU (92mm)
Proxmox 8.1 (1 Docker LXC draait met plex)
Geen scherm aangesloten, geen toetsenbord, geen muis
BIOS geladen met ASRock standaardparameters + Audio/Wifi uitgeschakeld, ASPM overal ingeschakeld

Idle verbruik aan de muur = 18W
Powertop zegt | Pkg C2 28%, C3 64% | Core CPU C7 97%

UnraidUser op januari 22, 2024 - klik hier om te reageren

Hoi @MattGadient, bedankt voor je geweldige post. Ik wilde je vragen of je de versie van powertop kon geven en ook de linux kernel versie die je gebruikt hebt. Ik en anderen in de Unraid gemeenschap hebben gemerkt dat powertop geen pkg c-state laat zien en ook core c_state laat ACPI zien wat volgens github gebeurt wanneer c-state niet correct wordt gelezen van powertop. Bedankt voor jullie ondersteuning

Matt Gadient op januari 22, 2024 - klik hier om te reageren

Op mijn 2 systemen met de Intel i3-12100/i5-12400, PowerTOP 2.14 op kernel 6.1, en PowerTOP 2.15 op kernel 6.5.

Anoniem op januari 24, 2024 - klik hier om te reageren

Bedankt voor je antwoord, het lijkt erop dat zelfs als ACPI wordt weergegeven de cpu nog steeds lagere C-states kan bereiken. Ik weet niet of je een expert bent van Unraid, maar in principe heb ik een paar NVME's cruciale P3 die zijn geformatteerd als een mirror ZFS en op deze schijven heb ik alle mappen/volumes etc. voor de docker-containers. Denkt u dat als deze SSD's de hele dag draaien, ze nooit kunnen toestaan dat de CPU naar lagere C-states gaat?
Hoe dan ook, ik heb alles ingeschakeld op de ASPM-pagina van mijn moederbord (Asus Pro WS W680-ACE IPMI), het enige wat me opviel is dat het elke keer op Auto wordt teruggezet is de Native Aspm (wanneer ingeschakeld zou het OS ASPM-ondersteuning moeten toevoegen), maar elke keer als ik het BIOS binnenga zie ik dat het op Auto staat. Heeft u enig idee?
Wanneer ik dit commando uitvoer, is dit de werkelijke status van de apparaten:

 lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

0000:00:1b.0 PCI bridge: Intel Corporation Device 7ac0 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #17, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
0000:00:1c.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #1 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.1 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #2 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.3 PCI bridge: Intel Corporation Device 7abb (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 2.5GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.4 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #5 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1d.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #9 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
0000:02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:04:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 06) (prog-if 00 [Normal decode])
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <512ns, L1 <32us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
0000:06:00.0 VGA compatible controller: NVIDIA Corporation GP107 [GeForce GTX 1050] (rev a1) (prog-if 00 [VGA controller])
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:06:00.1 Audio device: NVIDIA Corporation GP107GL High Definition Audio Controller (rev a1)
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:1b.4 PCI bridge: Intel Corporation Device 7ac4 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e1:00.0 Non-Volatile memory controller: Micron/Crucial Technology P2 [Nick P2] / P3 / P3 Plus NVMe PCIe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e2:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e3:00.0 Non-Volatile memory controller: Micron/Crucial Technology P2 [Nick P2] / P3 / P3 Plus NVMe PCIe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Matt Gadient op januari 24, 2024 - klik hier om te reageren
Ik heb unraid niet gebruikt, maar ik zal antwoorden wat ik kan op basis van mijn algemene Linux ervaring. Wat betreft de eerste vraag, het hangt ervan af wat je bedoelt met "SSD's draaien de hele dag". Constante schijfactiviteit zal voorkomen dat het naar betere C-states gaat. Als je de schijven bedoelt die inactief zijn met ASPM uitgeschakeld, zoals ze lijken te zijn, lijkt de mate waarin C-states worden beïnvloed te variëren per apparaat en helaas kan ik me niet herinneren dat ik de P3 heb getest met ASPM volledig uitgeschakeld.

Wat het BIOS betreft, denk ik dat "Native ASPM" Auto/Enabled waarschijnlijk toch in hetzelfde resulteert. Je zou kunnen proberen om "Native ASPM" op Disabled te zetten om te proberen je BIOS instellingen te forceren op het OS, kijk dan of "lspci" een verbetering rapporteert op één van de 8 entries die momenteel "ASPM Disabled" zeggen - je zou er echter waarschijnlijk voor moeten zorgen dat je externe backups hebt voor het geval dat de kernel het opzettelijk heeft uitgeschakeld op je systeem om redenen die te maken hebben met dataverlies. Ik weet niet zeker wat er op je ASPEED AST1150 bridge draait, maar aangezien ASPM erop uitgeschakeld lijkt te zijn, zou het me niet verbazen als alle apparaten die er stroomafwaarts van staan ook uitgeschakeld zijn.

Bij het oplossen van problemen kan het nuttig zijn om 1 BIOS-instelling per keer te wijzigen tussen het herstarten/testen door. Als je PowerTOP je niets kan laten vertellen (zelfs niet via iets als een Ubuntu Live DVD), dan is je volgende beste gok waarschijnlijk om gewoon een Kill A Watt apparaat te gebruiken om de impact van je wijzigingen te meten.

Maria op januari 26, 2024 - klik hier om te reageren
Bedankt voor het uitstekende artikel.
Wat vind je van het bord: ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail

Aangezien ik 8 SATA-poorten zou hebben, zou ik geen andere PCIe-kaart nodig hebben (tot nader order). Plus de i5 12400F met bestaande HDD's en SSD's.

In mijn kantoorcomputer met MSI moederbord heb ik geen van de C-State, energiebesparende modi of andere instellingen zoals hier vermeld. Ligt dit aan MSI of aan het moederbord zelf? Het is een B450M PRO-VDH MAX (MS-7A38).

Bedankt voor alle hulp en commDank u voor het uitstekende artikel.
Wat vind je van het bord? ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail

Aangezien ik 8 SATA-poorten zou hebben, zou ik geen andere PCIe-kaart nodig hebben (tot nader order). Plus de i5 12400F met bestaande HDD's en SSD's.

In mijn kantoorcomputer met MSI moederbord heb ik geen van de C-State, energiebesparende modi of andere instellingen zoals hier vermeld. Ligt dit aan MSI of aan het moederbord zelf? Het is een B450M PRO-VDH MAX (MS-7A38).

Bedankt voor uw hulp en voor uw commentaar :)
- Matt Gadient op januari 26, 2024 - klik hier om te reageren
  Tot nu toe heeft niemand in de commentaren het beter gedaan dan C3 met een ASRock 600/700-serie moederbord, waarbij 15-20W het typische idle stroomverbruik is in een minimale configuratie.
  
  Ik ben niet zeker van het B450M moederbord dat je noemde, maar het is een AMD moederbord en ik heb alleen een paar B550 moederborden, dus ik heb er niet veel ervaring mee. Je hebt misschien een heel eenvoudige toggle genaamd "Global C-State Control", hoewel je misschien door alle menu-items moet graven om het te vinden. Afhankelijk van de CPU, als je Linux gebruikt, ondersteunen nieuwere kernels uit de 6.x lijn verschillende amd_pstate scaling drivers die een positief algemeen vermogensvoordeel kunnen hebben.
- baegopooh op februari 6, 2024 - klik hier om te reageren
  AMD staat alleen c1, c2 en c6 toe en powertop toont c6 als c3 (afaik)
Maria op januari 30, 2024 - klik hier om te reageren
Bedankt voor het antwoord. 15-20W is natuurlijk geen 7W ;)
Nu heeft een collega een mini PC gekocht en Unraid geïnstalleerd. Deze met een m.2 naar SATA adapter en heeft dus 6 SATA poorten. Deze zou waarschijnlijk ook beschikbaar zijn met 2x m.2, zodat er 2 Ryzer kaarten geïnstalleerd kunnen worden.

https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/

Verbruik zonder instellingen met 2 docks en 2x VM is ongeveer 9W in idle modus. Er zijn 5 HDD's aangesloten.

Het idee is dat er een mobiele CPU achter zit en dat je zoiets kunt vinden. Heb je hier ervaring mee? De resultaten zien er goed uit en de prestaties zouden voldoende moeten zijn.
- Matt Gadient op januari 30, 2024 - klik hier om te reageren
  Een M.2 SATA-adapter in zo'n Mini PC is iets waar ik over heb nagedacht maar nog niet heb geprobeerd. Als ik van plan ben om schijven intern te gebruiken, is de grootste overweging voor mij, afgezien van ruimte en warmte, hoe ze van stroom worden voorzien - een Mini PC met een interne SATA-connector zou een eenvoudige manier kunnen zijn om een paar schijven van stroom te voorzien via een stroomverdeler, afhankelijk van het schijfverbruik.
  
  Ik verwacht dat de CPU-prestaties voor de meeste taken prima zullen zijn.
  - Maria op januari 30, 2024 - klik hier om te reageren
    Mijn collega heeft het als volgt opgelost:
    - De Mini PC heeft een eigen voeding en de HDD's worden gevoed via een 2e Pico PSU met 160W. Hij heeft een lege NAS-behuizing, maar de twee ventilatoren alleen verbruiken al 11W extra, dus daar gaat hij nog eens naar kijken.
    
    Mijn idee was om de Mini PC open te maken en alles, inclusief de HDD, in mijn ATX-kast te installeren. 1 of 2 Nactua fans, flink teruggedraaid en dan de voeding gebruiken met een bestaande ATX voeding, naast de Pico PSU voor de Mini PC.
Daniel op januari 31, 2024 - klik hier om te reageren
=== Ik heb een Intel NUC11-ATKPE002 ===

Hardware:
* CPU Alder Lake N6005
* Samsung 980 1TB
* 32 GB SO-DIMM
* 1 Gb/s netwerk

Software
* Proxmox 8
* LXC Home-Assistant
* LXC Plex (I915 hardware transcodering)
* LXC dokuwiki
* LXC fileserve (smbd, bestandsbrowser, vsftpd)
* LXC Syncthing
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
enz.

24/7 LOPEN

Verbruik gemeten aan de muur (meestal inactief): 7 watt

=== Ik heb ook een zelfgebouwde 'pseudo NAS' gebaseerd op AsRock Z690 ===

* CPU I5-12400
* 2 NVMe 1TB
* 8 harde schijven ZFS Raidz2
* Proxmox 8
* 2,5 Gb/s netwerk naar mijn desktop PC

Verbruik gemeten aan de muur (meestal inactief): 70 watt

ON-DEMAND DRAAIEN

=== Switch 8 poorten ===

Verbruik: 8 watt

=== mijn huidige experiment ===

Voor thuisgebruik wil ik mijn 'pseudo NAS' niet 24/7 laten draaien, maar alleen op aanvraag.

Ik heb debian wakeonlan geïnstalleerd op de NUC11, en dan
Wanneer nodig (volgens schema of op verzoek van een man) kan ik het volgende uitvoeren

* wakeonlan [MAC-ADDRESS-Z690] om de NAS te wekken
* systemctl suspend [PSEUDO-NAS-Z7690] om de NAS in de slaapstand te zetten

Dit werkt allemaal redelijk goed
Ik werk aan een grafische interface in Home-Assistant die ook het verbruik zal controleren.

Dit is het beste compromis dat ik heb gevonden: NAS, laag verbruik, domotica)
Dave op februari 1, 2024 - klik hier om te reageren
Bedankt aan iedereen voor alle geweldige info op deze pagina. Het was een grote hulp. Ik heb een mooie, energiezuinige itx-configuratie gevonden met een core desktop-processor, dus ik dacht mijn configuratie en resultaten te delen om anderen te helpen. Mijn use case is niet hetzelfde als sommige van de bovenstaande, maar kan nuttig zijn voor sommigen.

Onbelast vermogen: ~5,3 watt

Hardware:
* ASUS PRIME H610I-PLUS D4
* Intel Core i3-12100
* Crucial RAM 32 GB DDR4 2666 MHz CL19 CT32G4DFD8266
* SAMSUNG 980 PRO SSD 2TB NVMe
* PicoPSU-150-XT
* Noctua NH-L9i-17xx, CPU-koeler met laag profiel
* Noctua NF-A8 PWM, Kastventilator
Software:
* BIOS 3010
* Ubuntu 22.04.3 Server (draait vanaf een USB-stick)
BIOS Instellingen:
* EZ System Tuning ingesteld op: "Power Saving" (dit stelt automatisch alle benodigde BIOS-instellingen in).
* PL1/PL2 ingesteld op 35/69 watt. (vanwege de krappe behuizing en de pico-psu met laag vermogen)
Software-instellingen (ingesteld via de aangesloten TV-console)
* powertop --auto-tune
* setterm -blanco 1

Gemeten aan de muur met een kill-a-watt. De meting hangt meestal tussen 5,1 en 5,5 watt. Het vermogen wordt gemeten zodra het scherm van de console leeg is. De C-status van het pakket wordt verzameld via ssh. De processor bevindt zich het grootste deel van de tijd in pakket C-state C10 (~90%).

Enkele voordelen van deze configuratie:
* Zeer mooi stationair vermogen
* Eenvoudige BIOS-configuratie.
* PCIe 4.0 x16 slot voor mogelijke upgrades/uitbreidingen (het lijkt er echter op dat het gebruik ervan het lage inactieve vermogen kan verstoren).

Enkele nadelen van deze configuratie:
* 1GbE vs 2.5GbE
* De picoPSU heeft een 4 pins voedingsconnector, het bord wil een 8 pins voedingsconnector (onderzoek op het internet wijst uit dat dit OK is voor situaties met laag vermogen)
* Enkel M.2 slot. PCIe 3.0 x4 modus

Ik wilde 2.5GbE. Als ik een kritische massa in huis heb voor 2.5GbE, zal ik waarschijnlijk spelen met een 2.5GbE kaart in het PCIe 4.0 x16 slot.

Andere info:
* De magische "Power Saving" BIOS instelling schakelde "Native ASPM" niet in. Het inschakelen maakte echter geen verschil.
* Het uitschakelen van de WIFI/Bluetooth module in het BIOS maakte geen verschil.
- Rusty op februari 12, 2024 - klik hier om te reageren
  Bedankt voor je bouw. Ik heb gekopieerd wat je hebt (imitatie is de beste vorm van vleierij!). Waar heb je het BIOS PL1/PL2 gewijzigd? Dit is wat ik heb veranderd:
  OS: Unraid op USB
  PSU: RM850x (2021) omdat deze zeer efficiënt is bij lage belasting.
  Schijven: 2x12TB WD Red Plus NAS-schijven toegevoegd naast de NVMe
  RAM: 1x32GB 3400MHz DDR4 (overgehaald van huidige PC)
  Ventilatoren: Intel standaard CPU ventilator + kastventilatoren van de Fractal Node 304 kast op lage snelheid.
  
  Mijn idle wattage gemeten door mijn UPS is ~21W, met Linux ISO's seeding op één HDD en de andere schijf in standby modus. Ze voegen duidelijk veel wattage toe aan de bouw. Ik heb de pariteitsschijf zo ingesteld dat hij alleen draait als ik de nvme-cache een keer per dag synchroniseer met de gegevensschijf (zo wil ik het tenminste laten werken...) en de CPU is voldoende snel voor het bekijken van Creative Commons gelicenseerde films. In ieder geval is 21W leuk voor mijn eerste seedbox :D
  
  Deze PSU Efficiency spreadsheet zou nuttig moeten zijn voor mensen hier! De gegevens zijn afkomstig van cybernetics:
  https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
IrishMarty op februari 8, 2024 - klik hier om te reageren
Echt een leuk artikel. Laag vermogen bouwen is nu een absolute noodzaak voor mij hier in het Verenigd Koninkrijk. Ik probeer een ITX te bouwen, maar je resultaten over het CPU aangesloten PCIe slot baren me zorgen. Zal verder onderzoek moeten doen.
etnicor op februari 15, 2024 - klik hier om te reageren
Ik weet niet of het interessant is.
Ik was in staat om de asmedia 1166 te laten werken op het pcie x16 slot en gebruik te maken van het m2 slot aangesloten op de cpu en naar c8 te gaan.

Ik moest de bios van Asus aanpassen om toegang te krijgen tot de root poort instellingen. Ik schakelde Multi-VC op root-poort 1 uit en kan nu de x16-sleuf gebruiken. Ik kom ook op c8 als ik het m2 slot gebruik dat tegelijkertijd op de cpu is aangesloten.

Vereenvoudigde stappen:
BIOS verwijderen van moederbord
Dump bios met een ch341 3.3v programmer
BIOS aangepast met opensource UEFI-Editor en "unhidden" root poort instellingen.
BIOS geflasht
opnieuw gemodificeerd.

Mijn moederbord is een ASUS PRIME B760M-A D4, maar het zou hetzelfde moeten zijn op de Prime H770-Plus D4.

Ik moet Intel support bedanken voor de suggestie om Multi-VC uit te schakelen, daar was ik zelf niet opgekomen.
- Matt Gadient op februari 15, 2024 - klik hier om te reageren
  Heel interessant. Bedankt voor het delen.
Marcin op februari 23, 2024 - klik hier om te reageren
Bedankt voor het schrijven! Ik heb een soortgelijke configuratie gebouwd en kon 10,5 W in idle bereiken (zou lager zijn met een betere PSU), maar ik ben best tevreden. Het stroomverbruik is gemeten met een Shelly Plug S.

CPU: i5-14500
MB: Asus Z790-P D4 (heb deze als retour gekregen voor dezelfde prijs als de H770-P D4, en zoals je al zei heeft deze een extra PCIe 4.0 x4)
RAM: 4x 8Gb (geen XMP) => wordt vervangen door 2x 32Gb
NVMe: Sabrent Rocket 1TB PCIe 3.0
Voeding: Seasonic Focus GX-550

Dit is getest op TrueNas Scale 23.10.2 en Ubuntu Server 23.10. Voor beide heb ik het Realtek stuurprogramma gebruikt

Een paar observaties:
- Met de Z790-P D4 kan ik de CPU-gekoppelde NVMe-sleuf gebruiken zonder enige invloed op de CPU-status. Ik moet testen of de PCIe 5.0 slots ook gebruikt kunnen worden zonder BIOS modding
- Elk soort USB-apparaat op het moederbord aansluiten (toetsenbord, USB-dongle) voegt 5W toe
- De PSU die ik nu gebruik is behoorlijk slecht voor lage belastingen: 60% bij 10W en 71% bij 20W. Met een betere PSU (81% eff) zou deze build naar 7.8W gaan
- Het gebruik van 'consoleblank' leek geen effect te hebben op RC6. Het rapporteerde altijd 0% in powertop. Meer testen nodig hier
- Daniel op februari 24, 2024 - klik hier om te reageren
  Weet je zeker dat een USB-apparaat 5W toevoegt? Kun je de communicatiesnelheid controleren, bijvoorbeeld met 'usb-devices'?
  - Marcin op februari 25, 2024 - klik hier om te reageren
    Hoi Daniel!
    
    Ja, dat weet ik zeker. Toen ik mijn Logitech MX Keys usb2.0 dongle op het moederbord aansloot, ging het stroomverbruik op de shelly van 10,5 naar 15-16W. Als ik het me goed herinner, was het aan het rommelen met de CPU C-states (d.w.z. het ging niet langer naar C6, C8).
    
    Ik heb alleen getest met USB2.0 apparaten op de poorten die zijn aangesloten op het moederbord (op de achterste I/O). USB2.0 apparaten werden zelfs niet herkend in niet USB2.0 poorten.
    Mijn theorie is BIOS en/of drivers voor de USB controller. Omdat ik normaal gesproken geen enkele vorm van USB gebruik, heb ik dit niet verder onderzocht. Ik ben nu terug op TrueNas en het zit vast met powertop 2.14 die mijn CPU niet ondersteunt, dus de C-state rapportage is kapot.
    
    Ter info, ik gebruik BIOS versie 1611 en Intel ME 16.1.30.2307v4.
    
    Wat betreft de andere tests:
    - 'consoleblank' had wel degelijk effect op RC6. Ik keek gewoon niet op de juiste plaats. De iGPU was 100% in RC6.
    - Ik kan ook de CPU-verbonden PCIe 5.0 poort gebruiken en toch C8 bereiken met wat beperkingen: C6-C8 schommelden rond de 10-20%. Ik heb dit alleen getest met een Arc A750 omdat dit het enige PCIe apparaat is dat ik momenteel heb. Mogelijk is de kaart zelf hier debet aan, dus ik zal dit opnieuw testen zodra ik een ASM1166 heb
    - Daniel op februari 26, 2024 - klik hier om te reageren
      Ik vraag dit omdat ik iets soortgelijks heb opgemerkt op B660 en B760 borden, maar alleen met 12 Mbps USB-apparaten en ik ben benieuwd of dit ook geldt voor Z690/Z790.
Michael op februari 28, 2024 - klik hier om te reageren
Hoi Matt, gefeliciteerd met het goed onderbouwde en tijdrovende artikel. De beste bron hier op het net die ik kon vinden, vooral wat betreft de technische achtergrond. Ik ben op de bandwagon gesprongen en zal verslag uitbrengen ;-) Een snelle vraag blijft over: Is er een exacte specificatie van welk Kingston HyperX geheugen is gebruikt? Welke rol speelt het RAM-geheugen überhaupt in het stroomverbruik? Nogmaals bedankt en met vriendelijke groet, Michael
- Matt Gadient op februari 28, 2024 - klik hier om te reageren
  Ik heb niet de modelnummers van de sticks die ik tijdens de test heb gebruikt (en er wordt momenteel ander geheugen gebruikt). Wat betreft het stroomverbruik heb ik geen A/B-test gedaan - de laatste keer dat ik bewust heb geprobeerd om het stroomverbruik van RAM te meten was in een laptop met DDR4 SODIMM's waar volgens "Intel Power Gadget" een 8GB stick 0,15W idle en 1,67W gaming gebruikte, en een 16GB stick 0,29W idle en 2,18W gaming gebruikte, maar ik neem aan dat dit waarschijnlijk schattingen waren - als je nieuwsgierig bent, kun je daar details over vinden aan het einde van de volgende pagina: https://mattgadient.com/faster-gaming-on-intel-uhd-620-kaby-lake-r-by-upgrading-ram/
  - Michael op februari 29, 2024 - klik hier om te reageren
    Hartelijk dank voor het gedetailleerde antwoord. Ik zal aan de slag gaan en rapporteren wat ik heb bereikt. De vraag blijft welke harde schijven C10 mogelijk maken. Er is echt niet veel te vinden op het net. Heb je ervaring met 3,5" Seagate Exos harde schijven? De Toshibas lijken te werken. Bedankt.
    - Matt Gadient op februari 29, 2024 - klik hier om te reageren
      De volgende 3,5" Seagate 10TB SATA-schijven werken momenteel allemaal voor mij met C10: Seagate Exos X16 (ST10000NM001G), Seagate Ironwolf Pro (ST10000NE0008), Seagate Barracuda (ST10000DM0004). Tot nu toe zijn er nog geen Seagate-schijven geweest die problemen hebben veroorzaakt met C10.
Paul op maart 8, 2024 - klik hier om te reageren
Hallo, is het een loterij welke stepping van 12400 ik zal krijgen als ik er een koop in een winkel? Ik heb gehoord dat C0 stepping meer verbruikt bij stationair draaien dan H0 stepping. Ik wilde ook vragen of 12600 een goed alternatief zou kunnen zijn?
- Matt Gadient op maart 8, 2024 - klik hier om te reageren
  Als je in een winkel naar de S-spec op het doosetiket kijkt (of naar de CPU zelf), zou het voor de 12400 een situatie moeten zijn waarbij SRL4V=C0 en SRL5Y=H0. Een aantal commentaren heeft echter aangegeven dat chips met E-Cores voor hen geen negatieve stroomkosten met zich meebrengen. Wat de andere modellen betreft, kan ik niets met zekerheid zeggen over de 12600, maar ten minste een paar mensen in de commentaren hebben de i5-13500 met succes op laag vermogen gebruikt (en die bevat E-Cores).
  - Paul op maart 12, 2024 - klik hier om te reageren
    Bedankt voor de info over 12400 steppings! Ik overweeg 12600 omdat het een krachtigere iGPU heeft dan 12400. Beide CPU's zijn 6P cores +0E cores. Weet je of 12600 ook verschillende steppings heeft?
    - Matt Gadient op maart 12, 2024 - klik hier om te reageren
      Ik ben hier niet zeker van.
Michael op maart 27, 2024 - klik hier om te reageren
Hallo Matt,
Je artikel en commentaar zijn een echte schat. Bedankt aan iedereen die zoveel heeft bijgedragen. Ik wil graag kort mijn ervaring delen:

ASUS Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus
Zonder toetsenbord en HDMI
Powertop 2.14 (--auto-tune)

Ubuntu Server 23.04 Kernel 6.2.0-20 (nieuw, geen updates):
6-7 watt (voornamelijk C10)

Opmerking: Als HDMI is aangesloten (+2-3 watt) en Logitech MX Bluetooth-ontvanger +4-5 watt = 7-8 watt voor headless gebruik)

Extra opwaarderen 2xSamsung EVO 970: 7-8 watt
Extra upgrade 4xSeagate X20 9-10 watt (slaapstand)
Opwaarderen 2x14mm ventilator 12-13 watt (laagste niveau)

Iets minder dan 13 watt met 2xNVME en 4x3,5" is geen slechte waarde (C10 op 90%).

Na een kernelupdate naar 6.2.0-39 is C10 niet meer mogelijk, het systeem gaat slechts tot C3 en verbruikt 21 watt.
Duidelijk Realtek-gerelateerd. De handmatige instelling van
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42

leidt gelukkig weer tot de C10-status en dus weer 12-13 watt

Soortgelijk gedrag met Ubuntu Server 23.10 Kernel 6.5.x 16-18 watt (meestal C3) ...

Ik probeerde Unraid (6.1.74) als test. Het systeem is niet zo zuinig, hangt op 16 watt, zelfs na het handmatig instellen van de ASPM toestanden via setpci (zie hierboven) ... Ubuntu heeft een paar watt minder, je zult wat onderzoek moeten doen.

In ieder geval was het bouwen en onderzoeken erg leuk, de oude Synology verbruikt vele malen meer dan het nieuwe systeem.
Nogmaals bedankt Matt en alle anderen.
Alexander op maart 27, 2024 - klik hier om te reageren
Hallo! Ik heb alle reacties gelezen, maar kan geen duidelijk antwoord vinden... Mijn ASRock B760M Pro RS/D4 worstelt met 13500 c-states (maximum c3) en 20w idle stroom op schone proxmox. Ik heb het getest met Arc a380 en geen van de recepten van internet werkte, het trekt 20w idle :facepalm: Beveel aub een mATX moederbord aan voor 13500, het zou perfect zijn als mb ook pcie bifurcatie (x8x4x4) zou ondersteunen.
kihoon op april 8, 2024 - klik hier om te reageren
Ik lees dit van ver weg in Korea, en ik denk dat het erg nuttig zal zijn voor mijn NAS-configuratie, dank u. Ik heb een vraag: is er een verschil in stroomverbruik tussen de H610, B660 en B760? En, als ik een GPU op PCIe aansluit, heb ik dan alleen een inefficiënte C2-status?
cromo op april 12, 2024 - klik hier om te reageren
Ik heb geprobeerd om een HP Z2 G9 workstation moederbord, dat W680 is en ECC ondersteunt, opnieuw te gebruiken, maar niet zonder energie-efficiëntie problemen. Ik heb het hier in detail uitgelegd: https://forums.servethehome.com/index.php?threads/a-cost-effective-intel-w680-ecc-server-repurposing-an-hp-z2-g9-motherboard.43943/

Om een kort verhaal kort te maken, ik heb een probleem met het eerste PCI-slot dat de C-status reduceert tot 2 als er een GPU is geïnstalleerd. Voor de rest, met 2 x Lexar 1TB NVME's en 64 GB geheugen, zie ik een stroomverbruik van slechts 4,5-6W met de 12600k, wat verbazingwekkend is.
Anoniem op april 13, 2024 - klik hier om te reageren
Geweldig artikel, echt goed om te lezen.
Martin op april 20, 2024 - klik hier om te reageren
Interessant om te lezen, de commentaren op het artikel waren nuttig. ;)
Rasmus op april 28, 2024 - klik hier om te reageren
Hallo

Ik ben op zoek naar een ITX gebaseerde i3-12100 nas met de asm chip. Ik begrijp echter dat het gebruik van het x16 pci slot het systeem zal dwingen om op C2 te blijven.

Maar zal het gebruik van 8 harde schijven, 2 harde schijven en een nvme (chipset) het bereiken van hoge C-states een beetje irrelevant maken?

Ik neem aan dat je wattage tests alleen de asm laten zien in een slot dat niet is aangesloten op de cpu. Het lijkt erop dat ik ongeveer 20 W zou besparen door hogere cstates te bereiken met mijn cpu? De inactieve capaciteit van de harde schijf en dus de energiebesparing is niet verbonden met de C-states?
- Matt Gadient op april 28, 2024 - klik hier om te reageren
  Gebaseerd op mijn resultaten, zou ik ongeveer 12-14w extra stroomverbruik verwachten elke keer dat je in C2 bent in plaats van ~C8 - of dat relevant is of onbeduidend, hangt af van je ontwerpdoelen. Wat HDD's betreft, vermeld ik de specifieke energiebesparingen van de HDD's die ik heb gebruikt in het gedeelte "onnodige opslagdetails" aan het einde van de post, maar om het hier in het kort te zeggen: ik bespaarde bijna 5 W per 3,5" schijf wanneer deze werd gedraaid in plaats van in actieve inactieve modus.
  
  Vermogensbesparingen van schijven en besparingen in de C-state houden meestal geen verband met elkaar: Ik zeg meestal omdat bepaalde NVMe-schijven, bepaalde SSD's en zelfs bepaalde SATA-configuraties C-States lijken te verhinderen. Maar de energiebesparing doordat een HDD fysiek wordt gedraaid (in plaats van gedraaid) zou volledig onafhankelijk moeten zijn van al het andere dat in het systeem gebeurt, inclusief C-States.
duxet op mei 2, 2024 - klik hier om te reageren
Ik wil een B760 ITX moederbord kopen voor mijn volgende NAS setup, maar ik weet niet zeker welke 2.5GbE NIC ik moet kiezen: Intel of Realtek. Ik was er zeker van dat Intel een betere keuze zou zijn, maar ik las op het Unraid forum dat hun NIC's eigenlijk voorkomen dat het systeem een betere C status bereikt dan C2 wanneer het gebruikt wordt met een 2.5Gb link, terwijl Realtek C8 kan bereiken. Zelfs als dat waar is, dan is de vraag of het mogelijk is zonder gebruik te maken van out of the tree r8125 driver in plaats van r8169. Kan iemand dit bevestigen of ontkennen?
- Matt Gadient op mei 2, 2024 - klik hier om te reageren
  Alex liet een commentaar achter (scroll naar 31 december 2023) waarin hij
```
echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm
```
  gebruikte om L1 toe te staan voor de Realtek NIC op zijn Gigabyte B760M, en Jon volgde in een commentaar met een eenvoudiger apparaatpad.
  - duxet op mei 3, 2024 - klik hier om te reageren
    Maar werkt het ook met nieuwere kernelversies? Het lijkt erop dat het een hobbelige weg is met Realtek en ASPM, omdat het soms wordt ingeschakeld: https://github.com/torvalds/linux/commit/a99790bf5c7f3d68d8b01e015d3212a98ee7bd57 maar later weer wordt uitgeschakeld: https://lists.ubuntu.com/archives/kernel-team/2023-September/142666.html
    
    Ik ben een beetje bezorgd dat zelfs als ik ASPM forceer om ingeschakeld te zijn, het rare stabiliteitsproblemen kan veroorzaken. Ik denk dat 1GbE kaarten nog steeds de enige veilige keuze zijn om er zeker van te zijn dat power management goed werkt met Linux.
    - Luis op mei 9, 2024 - klik hier om te reageren
      Ik kan bevestigen dat op een build die ik zojuist heb voltooid met een 2,5GB Intel NIC met een i5 13500 ik op 7-8w stationair draai, zonder HDD's. Ik kan C10 97% van de tijd raken en de i226-v chip meldt dat ASPM volledig wordt ondersteund. Ik denk dat ik met nog een paar tweaks dichter bij 7w stationair kan blijven.
      - Philipb op september 16, 2024
        Bedankt Luis, welk bord heb je gebruikt?
      - vixmix op november 7, 2024
        Hoi Luis - welk model moederbord en chipset gebruik je?
      - Luis op november 24, 2024
        Dit is met behulp van een ASUS ROG Strix B760i
Carsten op mei 3, 2024 - klik hier om te reageren
Ik heb net een ASUS PRIME Z790-P (V2) met DDR5 en Intel i3-14100. Zou leuk zijn om te zien hoe je dit doet met de nieuwste generatie en DDR5 verschillen.
Alex op mei 13, 2024 - klik hier om te reageren
Heeft/weet iemand een Intel chipgebaseerde PCI-E kaart met ten minste twee Gbit RJ45 connectoren, die er niet voor zorgt dat het hw-pakket op C3 blijft staan in plaats van naar C8 te gaan? Ik wil een Proxmox server bouwen met opnsense als vm en als ik 7W kan besparen door gewoon de juiste kaart te kiezen, zou dat fantastisch zijn.
Michael op mei 16, 2024 - klik hier om te reageren
Hoi Matt, bedankt voor het geweldige artikel. Ik gebruik dezelfde constructie en krijg C10-toestanden bij gebruik van beide onderste M2-slots met Samsung 970 EVO. Wat mij stoort is de temperatuur. De linkerslot krijgt consequent 15 graden celsius lagere temperaturen. Ik gebruik BeQuiet koellichamen. Ik heb gegoogled maar geen aanwijzing gevonden. Heeft iemand een soortgelijk probleem waargenomen? Heel erg bedankt Michael
Alex op mei 17, 2024 - klik hier om te reageren
Wat puzzelelementen toevoegen....

Asus Prime H770 Plus D4, I3-12100, 2x32GB Corsair Vengeance LPX 2666MHz RAM, wees stil! Pure Power 12 M (550 W), WD blue SN570 512GB NVME schijf, Supermicro AOC-SG-I2 Dual Port GbE, stille Pure Rock Slim 2 CPU-koeler.

Na het forceren van ASPM op het Realtek stuurprogramma, dat problemen leek te veroorzaken zelfs toen het gedeactiveerd was, kan ik de WD blue in het Gen 4x4 NVME slot steken en de Supermicor in het Gen4x4 PCI-E slot, zonder dat het hardwarepakket op C3 blijft staan. Met Proxmox 8.2 krijg ik ongeveer 60% tijd op C8 voor het HW pakket, 98% C10 voor de CPU en 96% op C7 voor de Core(HW), wat resulteert in ongeveer 8-9W stroomverbruik, gemeten aan de muur. Dit alles na het toepassen van alle standaard BIOS energiebesparende instellingen en het uitvoeren van powertop --auto-tune, plus het instellen van L1 ASPM op de Realtek via de opdrachtregel.

Alles wat ik zie zijn korte pieken, waar het verbruik omhoog gaat naar 15W, om vervolgens terug te vallen naar 8W, terwijl powertop wordt uitgevoerd. Ik heb dus 2 extra slots voor MVME-schijven of plaatsen waar ik NVME -> 6x SATA-adapterkaarten (met ASM1166-chipset) kan toevoegen.

Ik kan ook bevestigen dat na het instellen van ASPM op Realtek NIC andere kaarten geen C3 meer veroorzaken op het pakket. Als iemand een goedkopere optie wil dan de Supermicro, dan werkt de "10Gtek dual NIC card with 82576 Intel chipset" ook prima.
eduardz op mei 18, 2024 - klik hier om te reageren
Hallo Matt Heb je een geoptimaliseerde build voor 2024 of tips, suggesties? Ik ben van plan een nas te bouwen voor zfs (raidz2) met 6 of 8 drives + plex server. Ik was op zoek naar een tower case / moederbord voor i5-14500t (plex igpu transcode) met ten minste ddr5 (het heeft een aantal checksum foutcorrectie, maar niet zo goed als ECC) of misschien een mobo met ddr4 met ecc un-buffered (ondersteund).
Anoniem op mei 18, 2024 - klik hier om te reageren
Leuk artikel, vooral de gegevens over energieverbruik.
ChrisC op juni 9, 2024 - klik hier om te reageren
Uitstekend artikel, maar ik ben ook stomverbaasd over wat er is bereikt.

De reden dat ik uw artikel in de eerste plaats vond, is dat ik geëxperimenteerd heb met ASPM op een desktop systeem en dat het me slechts een armzalige 2 watt aan energie bespaarde, uw artikel geeft aan dat er iets niet klopt met mijn bevindingen en dat ik misschien meer onderzoek moet doen, helaas spuwt bijna niemand energiebesparingscijfers uit voor specifieke dingen. Jouw artikel suggereert voor mij dat de grootste winst van ASPM is dat het de CPU in staat stelt om in een diepe energiebesparende staat te gaan, dus ik vermoed dat daar mijn problemen liggen. Ik ben ook geïnteresseerd omdat ik net als jij desktoponderdelen gebruik voor een opslagplatform dat ik zo energiezuinig mogelijk wil maken.

Het is ook interessant dat je schijven hebt die zo weinig stroom verbruiken.

Ik heb twee seagate ironwolf schijven meegenomen, waar ik spijt van heb, de stationaire stroomafname van deze schijven is maar liefst 8w (als ze draaien), hoewel ze in stand-by onder de 1w zitten. Daarna heb ik een paar 12tb WD helium schijven meegenomen die minder dan 4w verbruiken als ze draaien. Hetzelfde vermogen als de Seagate in stand-by.

Andere problemen met de twee seagate schijven zijn (a) als er een opdracht naar de schijf wordt gestuurd, bijvoorbeeld SMART query, gaan ze draaien, wat heel vreemd gedrag is dat ik nog nooit van een schijf heb gezien. Zelfs het opvragen van de slaapstand met de seachest tools laat ze draaien, de WD-schijven die op dezelfde ASmedia-controllerkaart zijn aangesloten vertonen dit gedrag niet. Ook de langzamere toerentalmodus waarvan ik denk dat het de idle_c-status is, werkt niet op mijn twee Seagate-schijven. TrueNAS, de software die ik gebruik, stuurt elke 5 minuten een SMART-query voor de temperatuurmonitorfunctie die moeilijk uit te schakelen is en alleen globaal aan/uit kan worden gezet. Dus als de seagate drives uitgeschakeld zijn, worden ze gewekt. Uiteindelijk heb ik de code handmatig aangepast zodat ik de twee seagate drives kon uitsluiten van temperatuurbewaking en zodat de SMART-gezondheidscontroles werden overgeslagen als de drives in stand-by stonden.

Met dit in gedachten is mijn stroomverbruik verschrikkelijk vergeleken met dat van jou, het systeem draait headless, 4 spindels, 3 SATA SSD en 1 NVME SSD, en in ruststand is het ongeveer 48W, en ongeveer 34W met alle spindels gedraaid. Er zitten 3 ventilatoren in het systeem,

Ik heb ook interessante observaties met betrekking tot NVME.

In mijn systemen zijn NVME-schijven consistent veel heter dan SATA SSD's en meestal ook heter dan actieve spindels. In een NUC moest ik mijn toevlucht nemen tot actieve koeling omdat de NVME zelfs in rusttoestand tegen de 70C-gasklepgrens aan zat. Net als jij heb ik ontdekt dat deze dingen een beetje all over the place zijn als het aankomt op vermogenstoestanden.

Ik heb bijvoorbeeld ontdekt dat ASPM in Windows absoluut geen invloed heeft op de 3 NVME-schijven in het systeem. L1 en L0s hebben beide geen invloed op de temperatuur. Ik heb een Samsung 980 Pro, een WD SN850X en een PCI express Intel DC P4600 die zijn eigen stevige koelplaat heeft.

De DC P4600 is altijd onder de 30C en wordt niet beïnvloed door de ASPM-modus.
De WD SN850X draait laag tot midden in de 40, afhankelijk van de omgeving en wordt niet beïnvloed door ASPM.
Ik heb ook een WD SN570 getest en deze gedraagt zich hetzelfde als de SN850X, geen last van ASPM en draait stationair rond de 45C.
Tot slot wordt de 980 Pro ook niet beïnvloed door ASPM, maar ik kan wel een lagere energiestatus activeren met deze schijf, die stationair draait bij ongeveer 54-60C.

Windows heeft dus verborgen energie-instellingen waarmee je direct kunt spelen met de NVME energiebesparende standen, de Samsung 980 Pro daalt met ongeveer 7-8C in de eerste NVME energiebesparende stand, wat, hoewel gewaardeerd, nog steeds mijn heetste NVME-schijf is en veel heter dan mijn SATA SSD's die in de jaren 20 draaien. Interessant is dat de tweede energiebesparende stand slechts 1-2C lager is.

WD NVME-schijven lijken consequent geen diepere energiebesparende stand te ondersteunen volgens verschillende beoordelingen en rapporten op het internet. Gelukkig worden mijn WD-schijven niet zo heet als mijn Samsung-schijven.

Ik heb ook een 970 EVO die stationair op ongeveer 65C draaide, ik kreeg hem omlaag naar de lage 40s door hem in een PCIe NVME adapter te plaatsen met een groot koellichaam erop, dus mijn ervaring met Samsung schijven is niet geweldig wat betreft temperaturen. Ik heb besloten dat ik geen fan ben van NVME-schijven, ze lopen warm voor mij en hebben een zeer hoog stationair vermogen in vergelijking met SATA SSD's, maar toch heb je ze lijken te kraken.
Edward op juli 24, 2024 - klik hier om te reageren
Bedankt voor het delen van al je tests. De opmerkingen over het gebruik van cpu-pcie lanes verrasten me echt. Dat betekent dat het op een mini itx bouw erg moeilijk zou zijn om verder te gaan dan 4 sata, niet?
- Edward op juli 26, 2024 - klik hier om te reageren
  Ik heb een mogelijke oplossing gevonden... MSI en ASRock hebben allebei een z790 mitx moederbord met 3 m.2 slots... Twee daarvan zijn aangesloten op de chipset. Dat zou het mogelijk maken om een m.2 naar sata adapter te gebruiken, een nvme drive en de cpu-pcie/cpu-m2 slots te vermijden. Beide borden zijn echter in de $250-300 range, dus de energiebesparing/kostenratio krijgt een klap.
RD op augustus 27, 2024 - klik hier om te reageren
Ik vond dit ongelofelijk nuttige artikel. Ik denk erover om een NAS te bouwen om te upgraden van een Synology-box en ik maak me zorgen over het toegenomen stroomverbruik. Ik draai een aantal toepassingen (domotica) die vrijwel constant opslag gebruiken, dus het optimaliseren van *rust* stroomverbruik is niet zo nuttig als het verminderen van stroomverbruik bij actief gebruik. Zullen de keuzes en instellingen die je hierboven hebt aanbevolen in het algemeen ook helpen bij het hebben van een algeheel energiezuiniger systeem als het draait?
- Matt Gadient op augustus 27, 2024 - klik hier om te reageren
  De Crucial P3 NVMe SSD en Seagate 2.5" HDD schijven zijn beide extreem efficiënt bij het benaderen (bekijk de TomsHardware review van de Crucial P3 2TB op https://www.tomshardware.com/reviews/crucial-p3-ssd-review/2 om een goed beeld te krijgen van hoe deze zich verhoudt tot andere schijven). De Corsair RM(x) PSU is ook zeer efficiënt. Ik denk dat je met geen van deze componenten de fout in kunt gaan, of je nu stationair draait of intensief gebruikt.
  
  Wat betreft de CPU/Motherboard, de Intel 12e generatie begint echt zijn voordeel te verliezen als het niet in staat is om veel tijd door te brengen in de C6-C10 toestanden (en helaas is er geen manier om te weten of je die toestanden zult bereiken totdat je het probeert). Maar over het algemeen zou ik voor een systeem dat 24/7 matig belast zal worden op dit moment meer voor AMD kiezen.
Bastian op augustus 31, 2024 - klik hier om te reageren
Hoi Matt, ik hou van het gedetailleerde werk dat je levert aan de low-power home server gemeenschap!

Ik vroeg me af of je toevallig de CSM-versie van de ASUS Prime H770-Plus D4 hebt overwogen. Van wat ik heb begrepen, zou CSM in combinatie met i5 zoals 12500 of 13500 vPro Enterprise-functies mogelijk moeten maken, wat op zijn beurt DASH, KVM/IPMI-achtige mogelijkheden voor beheer op afstand zou moeten bieden. DASH is lang niet zo krachtig als een volledige ASPEED AST2600 BMC oplossing, die meestal 5-10W extra verbruikt.

Tegelijkertijd is CSM ook bedoeld om enterprise-achtige stabiliteit te brengen, wat zou kunnen betekenen dat er minder BIOS-opties zijn voor het tunen van C-states enzovoort.
- Matt Gadient op augustus 31, 2024 - klik hier om te reageren
  De CSM-variant stond destijds niet op mijn radar, wat waarschijnlijk betekent dat er geen lokale beschikbaarheid was toen ik moederborden aan het kopen was.
  
  Als ik nu snel de productpagina bekijk, is het enige verschil met het niet-CSM-model de toegang tot ASUS Control Center Express. De technische specs pagina voor de CSM-variant is identiek met uitzondering van de toevoeging "1 x ACC Express Activation Key Card". De handleiding is identiek, zonder onderscheidende kenmerken. Ik heb beide BIOS'en gedownload (1663) en de checksums waren identiek, hoewel ik veronderstel dat functies kunnen worden omgedraaid via vlaggen.
  
  Het zou me niet verbazen als de features/functionaliteit/BIOS allemaal precies hetzelfde zijn, met uitzondering van de functionaliteit die de ACC Express software biedt. Maar er is geen manier om het zeker te weten, behalve als iemand het probeert.
Anoniem op september 3, 2024 - klik hier om te reageren
Proberen je hele systeem opnieuw op te bouwen. 12400 32gb h770 d4 plus in een fantec 24-slot met een X710-DA2 en een 9600-24i. Hoofd nvme is een 1 tb samsung pro. De corsair is niet meer leverbaar dus ik ben overgestapt op een seasonic titanium.

Het systeem kan c10 halen zonder de 9600. Het is nog niet geprept, dus ik heb het er niet in gedaan.

Wat echt klote is aan het bord is de min ventilatorsnelheid van 20%. En ik weet niet waarom, maar mijn min draw is 11,5W met de X710-DA2. Ik zal de cpu-koeler vervangen door een passieve. Misschien win ik nog een watt.

Gewoon een info voor anderen die geïnteresseerd zijn in de X710-DA2: geen WoL tenminste voor mij. Dat ding patchen is pure kanker - doe het in EFI. Dat ding wordt HEET in actieve modus. Je moet het actief koelen of de sink vervangen. Ik heb voor het laatste gekozen. Draai de kaart met een pcie kit zodat hij horizontaal staat. Ik heb er een https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7 op gezet, dus ik heb nu ook een dremel. Je moet de kaart STAND maken op het mobo met afstandhouders. Tip: efi shell alleen met een zelfgemaakte efi. Vergeet dat mobo open te maken het is efi.
Philipb op september 16, 2024 - klik hier om te reageren
Absoluut geweldig geschreven, heel erg bedankt. Ik ga dit zo'n beetje klonen.

Weet je toevallig voor dezelfde CPU of de i3-12e gen een goed m-ATX of itx bord voor stroom zoals hierboven?
- Matt Gadient op september 16, 2024 - klik hier om te reageren
  Gezien mijn problemen met het Gigabyte-bord dat ik heb geprobeerd, zou ik, als ik een identiek systeem zou willen bouwen, maar dan in mATX- of ITX-vormfactoren (en bereid om een aantal PCI-E- en NVMe-sleuven te verliezen), persoonlijk bij de ASUS PRIME-modellen blijven en een van de volgende proberen:
  - ASUS PRIME H610I-PLUS D4 (ITX, DDR4, maar 1G Realtek Ethernet is misschien een grote gok)
  - ASUS PRIME H610M-A D4-CSM (mATX, DDR4, 1G Intel)
  - ASUS PRIME Z790M-PLUS (mATX, DDR5, 1G Intel)
  Het zal geen verrassing zijn dat ik de Intel 1G Ethernet op de laatste 2 echt goed vind.
  
  Om duidelijk te zijn, ik heb geen van deze geprobeerd: mijn veronderstelling is dat BIOS etc. waarschijnlijk gelijk zouden zijn aan de H770-PLUS D4 en dat ik het resultaat zou kunnen spiegelen. Maar ik weet het niet zeker. De Z790M-PLUS heeft 4xPCIe en 3xNVMe - ervan uitgaande dat de DDR5 geen probleem vormt, zou ik waarschijnlijk voor deze kiezen. Ik vermoed echter dat die kleine chipset heatsink wat luchtstroom nodig heeft.
  
  Er zouden veel andere geschikte opties kunnen zijn, ook buiten de PRIME-serie, en ook buiten ASUS. Historisch gezien was Gigabyte altijd mijn go-to. Het werkte gewoon niet voor mij deze generatie.
  - Jim op oktober 22, 2024 - klik hier om te reageren
    Hoi Matt, ik heb wat tests gedaan met de "ASUS PRIME H610M-A D4". (Ik had een MB nodig die in mijn Jonsbo C2 past)
    
    Setup:
    - ASUS PRIME H610M-A D4-CSM
    - i3 12100 met Intel-koeler
    - Samsung 970 Evo Plus 1TB als opstartschijf (op eerste M.2 slot)
    - Mushkin 2x 16GB DDR4 3200
    - Be quiet M12 550
    - minimaal Debian 12
    
    Ik heb Matt's Bios instellingen overgezet naar het mATX moederbord!
    Gemeten aan de muur (Fritz Dect 200) = 6,4 Watt (idle)
    
    Met een PicoPSU-90 haalde ik 5,7 Watt (maar veel hoger verbruik bij WOL-Standby!).
    
    Bedankt voor jullie goede werk, zonder jullie Bios instructies zou het een maand duren om een energiezuinige staat te bereiken...
Lukas op september 18, 2024 - klik hier om te reageren
Hey Matt, bedankt voor dit diepgaande artikel!
Ik ben eigenlijk ook op zoek naar mATX moederborden voor een echt efficiënte homeserver. Ik heb alleen een extra voorbehoud: ik bouw hem in een passief gekoelde kast (HDPlex H3).
Nu maakt dit mijn moederbordkeuze een beetje moeilijk, want - zoals het lijkt - moet ik kiezen tussen twee moederborden:
Asus Prime Z790M Plus
+ Intel 1G Ethernet
- nogal kleine en dunne VRM koeling
Asus TUF B760M Plus II
+ in mijn land een stuk goedkoper
+ grotere koelplaat
- 2.5G Realtek Ethernet

Op dit moment neig ik naar de TUF, omdat een extra Ethernet eenvoudiger toe te voegen is dan een sterkere VRM heatsink, maar ik wilde jullie mening weten over hoeveel een showstopper de 2.5G realtek ethernet controller is.
Alvast bedankt!
- Matt Gadient op september 18, 2024 - klik hier om te reageren
  Ik weet niet of je het al gecontroleerd hebt, maar controleer of er genoeg ruimte is boven de VRM-koeler voor de heatpipes van je HDPlex H3-kast. Een snelle blik op productfoto's van die kast leert dat de heatpipes niet zo hoog zitten.
  
  Met dat in gedachten, afhankelijk van de CPU die je van plan bent te gebruiken, maakt de VRM-koeling misschien niet uit. De H770-PLUS die ik heb gebruikt heeft niet eens een VRM-koeler aan de bovenkant. Hoewel ik een paar kleine koellichamen aan de mijne heb toegevoegd, waren deze niet echt nodig omdat de VRM's niet erg heet werden.
  
  Mijn grootste zorg met passieve koeling zou de chipset heatsink zijn, omdat die extreem heet kan worden als de chipset veel data aan het pushen is. De TUF GAMING B760M Plus II lijkt dezelfde te hebben als de Prime Z790M Plus (alleen in het zwart en gedraaid). Waarschijnlijk kun je hier niet veel aan doen, behalve de heatsink eraf halen en wat modding doen om de garantie te omzeilen.
  
  Dat terzijde, als je bereid bent om door de hoepels te springen die nodig zijn om goede C-states te krijgen, is de Realtek 2.5G niet per se een show-stopper. Ik zou er wel voor zorgen dat je bij een verkoper koopt met een gemakkelijk retourbeleid, voor het geval het toch meer problemen oplevert dan gehoopt.
- Daniel op september 21, 2024 - klik hier om te reageren
  Ik had TUF B760M DDR4. De chipset heatsink is nog dunner dan hij eruit ziet op de foto's, maar het echte probleem was de stabiliteit in rust en lichte belasting. Om de paar dagen of zo, zou het systeem willekeurig afsluiten.
  Ik heb geen idee of dit een defecte unit was of een ontwerpfout, maar ik zou het niet riskeren om dit bord te kopen bij een winkel die geen 30 dagen retourbeleid biedt. ASUS support was compleet nutteloos, net als de garantie in dit soort gevallen.
Andy23 op september 19, 2024 - klik hier om te reageren
Ik waardeer je artikel, Matt! Ik wil graag mijn ervaring delen. Ik ben in staat om 10.1W te bereiken in idle (gemeten aan de muur), met Proxmox 8.2.2 en BIOS & powertop tweaks (C10 status bereikt).

CPU: i7-14700
Moederbord: Asus Z790-P WIFI (2,5G LAN aangesloten)
RAM: 96 GB DDR5 (2x32 GB + 2x16 GB)
NVMe: Samsung 970 EVO Plus 1TB
PSU: Corsair RM750x
Het stroomverbruik is gemeten zonder monitor.

Een paar opmerkingen:
---- belang van PSU ----
1) Ik begon met een Seasonic Focus 1000w PSU en het stroomverbruik was 14.4w. Overschakelen naar de Corsair RM750x leidde tot een energiebesparing van +4w. De RM750x heeft een stroomefficiëntie van ~80% bij 20w, dat betekent dat mijn originele Focus 1000w een slechte stroomefficiëntie moet hebben bij 20w (10.1*0.8/14.4=56%)!!! Dus mensen, overweeg alstublieft te investeren in een betere PSU (referentie: RM750x nummers in dit blad: https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14 ondersteunt GEEN Intel 13/14Gen CPUs (het toonde in eerste instantie alleen C3 toestanden). Ik moest de nieuwste powertop 2.15 compileren en daarmee kon ik de C6-C10 toestanden zien.
---- Problematische onboard SATA-controller van ASUS Z790-P ----
3) een verrassende observatie is dat als ik een SSD aansluit op de onboard SATA interface, de CPU c-state maar tot C6 komt (geen C8, helemaal geen C10). Als ik echter dezelfde SSD aansluit op een ASM1166 PCIe-naar-SATA kaart, kan ik C10 bereiken. Dit lijkt erop te wijzen dat de onboard SATA-controller van dit moederbord ASPM NIET goed ondersteunt ("lspci -vv" uitvoer van de onboard SATA-controller laat GEEN ASPM-mogelijkheid zien).
---- Kosten voor het toevoegen van een GPU ----
4) Het toevoegen van een Nvidia GTX 1050 Ti GPU leidde tot een toename van maar liefst 16 W in idle. Al snel realiseerde ik me dat de watt van de nvidia GPU in ruststand kan worden verminderd met de optimalisatie "nvidia-smi --persistence-mode=1", waarmee de 16w 8w wordt (GPU prestatiemodus P8). Het is echter nog steeds 80% van mijn 10.1w idle zonder GPU. Waarschijnlijk is het niet de moeite waard om de GPU erin te laten. Meer onderzoek toont aan dat de GPU zelf slechts ongeveer 3w verbruikt in idle, maar door de GPU worden de C-states van de CPU op C6 gehouden, vandaar het verschil van 8w (met GPU vs. zonder).
5) Het stroomverbruik steeg met nog eens 6 W toen ik de GPU aansloot op de Chipset-attached PCIe-sleuf (eerst zat hij in de CPU-attached PCIe-sleuf). Ja, met alle optimalisatie voegt de GPU 8+6=14w toe als je hem aansluit op het chipset-slot van dit moederbord. Ik zag dat de C-state veranderde van max C6 naar max C3, wat waarschijnlijk de bron is van de extra 6w.

Over het algemeen ben ik blij met het resultaat en het is een leuke ervaring. Ik zou graag een GPU toevoegen (bijvoorbeeld voor foto-gerelateerde taken), maar dat is te duur qua stroomverbruik. Heeft iemand ervaring met GPU's op servers met een laag stroomverbruik? Zijn er manieren om de CPU c-state vrij te maken zodat ze C8/C10 kunnen bereiken? Merk op dat ik het heb over stroomverbruik in ruststand (de GPU wordt niet gebruikt voor grafische uitvoer en is niet aangesloten op een monitor).
Federico op september 21, 2024 - klik hier om te reageren
Geweldige analyse! Ik was verdwaald op zoek naar een energiebewuste HBA en ik had nog niet eens nagedacht over de impact op de vermogenstoestanden...

Het verbaast me dat AMD chipsets zo ver achterlopen op het gebied van stroomverbruik. Ik mis de oude tijden toen er meerdere goede opties waren voor mini-ITX moederborden met de vroege AMD APU's en er een gezamenlijke inspanning was om het hele pakket energiezuinig te maken.

Ik zie net dat de nieuwe AMD X870 chipset een TDP van 7 W zou moeten hebben, maar de moederborden die tot nu toe zijn aangekondigd lijken een beetje overkill ("De ROG Strix X870-A Gaming WIFI wordt geleverd met 16+2+2 voedingstrappen die zijn berekend op maximaal 90 A", zegt alktech).
lowpowerobsession op oktober 2, 2024 - klik hier om te reageren
Hoi Matt (en alle anderen)!

Ik ben van plan om mijn pfsense en truenas boxen te upgraden met 10 GbE netwerken, en kwam deze post tegen. Ik heb het advies opgevolgd om te kiezen voor een bord met een intel 1gb ethernet controller, en ben gegaan voor de Asrock b660m pro RS, en een pentium g7400 voor beide boxen. Ik wilde een extra PCIe poort over de hele lengte voor wat uitbreidingsmogelijkheden in de toekomst.

Ik ga de tweaks hier proberen: https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/

om te zien of ik een acceptabel stroomverbruik kan krijgen. Ik zag je opmerking over het gebruik van een H610M van ASUS en zal daar waarschijnlijk op overstappen als ik niet veel geluk heb met deze borden. Ik zal verslag uitbrengen aangezien ik niet veel informatie kan vinden over mensen die succesvol waren in het verlagen van het stroomverbruik van de b660m.

Elk advies wordt op prijs gesteld!
mack op oktober 16, 2024 - klik hier om te reageren
Mijn bouw:
- Chinees moederbord CWWK Q670 V1, het bord heeft 3xnvme, 8 sata, pcie5 x16 met de mogelijkheid om te splitsen in 2 x8 (theoretisch kunnen we 5 nvme schijven plaatsen), 2x2.5Gbs
- i5 13500T
- 1 module 48GB DDR5 Crucial Pro.
- 2xSamsung evo 970 plus, 1xLexar NM790
pico voeding (ik heb momenteel geen andere)
- Lan aangesloten op één poort
In rusttoestand met Proxmox draait ongeveer 8-10W

Over het algemeen zijn de parameters goed, maar naar mijn mening is de bios niet verfijnd, problemen met ASPM in één poort, alleen de Samsung evo werkt daarin met ASPM ingeschakeld, in de rest is het goed met andere schijven.

De processor gaat alleen naar de C6 status
Matt op november 25, 2024 - klik hier om te reageren
Ik ben benieuwd of het probleem met de Realtek NIC's nog steeds een probleem is. Ik kijk naar hetzelfde H770 bord als een home server bord waarop Unraid draait. Ik weet niet zeker hoe makkelijk het is om andere drivers te gebruiken als Unraid het OS is. Is het de moeite waard om in plaats daarvan te kijken naar iets als het MSI Z790-P bord (dat een Intel NIC heeft)?

Ik stel alle feedback op prijs!
Ben op december 13, 2024 - klik hier om te reageren
Ik ben benieuwd welke onboard netwerkinterface nu wordt aanbevolen als je 2,5 G wilt? Intel of Realtek?
Anoniem op december 16, 2024 - klik hier om te reageren
Zeer nuttige tekst. Bedankt voor je tijd en om dit te posten.

Meer opmerkingen laden (136 meer te zien!)

156 Reacties | Laat een reactie achter

Laat een reactie achter Reactie annuleren

mattgadient.com