Commençons par un peu d’histoire :
- 2016: Construction d’un PC basse consommation sur Skylake – 10 watts en veille
- 2019: 9 watts en veille : création d’un NAS domestique à faible consommation d’énergie / serveur de fichiers avec 4 unités de stockage
- 2021: (pas d’écriture) – 11 watts avec un Intel i3-10320 sur un Gigabyte H470M DS3H
Tous mes systèmes n’ont pas connu le même succès. En 2022, j’ai mesuré quelques autres systèmes à 19 watts et 27 watts dans le cadre de l’étude Freiner les tendances au « Gas-Guzzling » de l’AMD Radeon avec le multi-moniteur . Bien que j’aie réussi à réduire la puissance de ce système AMD de 27 watts quelque temps plus tard, tous les combos CPU/carte mère ne sont pas destinés à atteindre les 10 watts.
—
Avant d’aller plus loin, le chiffre de 7 watts pour ce système était avant l’ajout de stockage. Les 7 watts (mesurés au mur) comprennent :
- Carte mère (Intel H770)
- Processeur (Intel i5-12400)
- 64 GO DE RAM
- SSD (démarrant Ubuntu Server 23.04)
- Bloc d’alimentation (Corsair)
- C-States configuré dans le BIOS pour atteindre C8
- powertop avec auto-tune (qui désactive le clavier USB lorsque le port se met en veille)
Notez que si je ne permets pas à powertop de désactiver le clavier, j’obtiens 8 watts mesurés au mur.
—
Entrons dans le détail des spécifications et des choix de composants. Cette fois-ci, j’avais les objectifs suivants:
- faible consommation au ralenti
- performances raisonnables du CPU pour la compression
- capacité à gérer 12 disques durs + au moins 1 NVMe
- capacité à convertir (éventuellement) ces 12 disques durs en 6 NVMe + 6 SSD SATA
- garder les coûts sous contrôle – puisqu’un achat de carte mère serait nécessaire, essayer de s’en tenir à la DDR4 et réutiliser un CPU que j’ai déjà.
Mettre en place un nouveau système avec l’espoir de se rapprocher des 10 watts *mesurés à partir du mur* est souvent non seulement un défi, mais aussi un peu un pari. Parfois, vous devez simplement prendre vos meilleures suppositions en termes de composants, construire votre système, régler ce que vous pouvez, et laisser les copeaux tomber où ils peuvent.
Carte mère – ASUS Prime H770-Plus D4
Avant de commencer, voici un aperçu de la disposition de la carte mère. Les slots VERT connectés au CPU et les slots ORANGE connectés au chipset deviendront pertinents tout au long de cet article.
Au moment de la rédaction de cet article, les options grand public largement disponibles étaient les cartes mères des séries Intel 600/700 et AMD 500/600.
L’un de mes objectifs était de pouvoir accueillir 6 disques NVMe.
Nous allons voir plus en détail pourquoi cela peut être un défi (n’hésitez pas à sauter cette section)…
Problème : Il n’existe aucune carte mère grand public dotée de 6x emplacements M.2 pouvant être utilisés simultanément en mode PCIe. Chez AMD, la MEG X570S Unify-X Max en a l’air, mais vérifiez le manuel et vous verrez que si vous essayez de remplir les 6 emplacements, le dernier doit être une variante SATA. Le Z790 PG Sonic d’ASRock dispose également de 6 slots, mais vous ne pouvez en utiliser que 5 (avec une excuse légitime : ils proposent un slot NVMe Gen5, mais il est accompagné d’une clause restrictive).
Pourquoi ce problème existe-t-il? : Il y a des limitations de voies de chipset sur les cartes grand public. En supposant que je veuille pouvoir utiliser tous les M.2 en Gen4x4 et qu’un fabricant soit réellement disposé à consacrer toutes les voies aux emplacements M.2 NVMe (ce n’est pas le cas), l’AMD X570 et l’Intel B760 ne dépasseraient pas trois emplacements M.2, l’AMD B650 et l’Intel H670/Q670/Z690/W680 en gèreraient quatre. Cinq emplacements M.2 sont possibles sur les cartes AMD X670 et Intel H770. Six sur une carte Z790. Au-delà, il faudrait prendre des mesures extraordinaires, par exemple en privant de voies l’emplacement PCIE principal. Si le nombre de M.2 était souhaité, les fabricants pourraient théoriquement utiliser des voies en Gen4x2 ou ajouter des emplacements M.2 Gen3, mais à ce stade, ils ont créé un produit *très* de niche.
La solution : Les adaptateurs PCI-E vers M.2 sont devenus nécessaires. Désormais, lors de la recherche d’une carte mère, il s’agissait d’ajouter les emplacements M.2 inclus à tous les emplacements PCI-E disponibles capables de x4 ou plus. Mes options se limitaient alors aux cartes mères AMD X570, Intel H770 et Intel Z790. Notez que bien que l’utilisation de la bifurcation soit possible sur certaines cartes mères pour obtenir plus d’un NVMe sur l’emplacement PCIe principal, j’ai décidé de ne pas m’y fier.
J’ai décidé d’opter pour Intel pour plusieurs raisons :
- TDP du chipset : les chipsets Intel des séries 600/700 ont tous un TDP de 6W, alors que le TDP du chipset AMD X670 est assez élevé (7w+7w). La consommation d’énergie des chipsets AMD me préoccupe depuis un certain temps, car les chipsets X570 précédents avaient un TDP de 11w et nécessitaient un ventilateur.
- Vitesse du chipset : Les chipsets Intel H670/Q670/W680/Z690/H770/Z790 ont un lien DMI 4.0 x8 avec le CPU. Les chipsets AMD X570/B650/X670 ont une liaison PCIe 4.0 x4 avec le processeur. Le débit théorique d’Intel devrait être deux fois plus élevé que celui d’AMD (16GB/s contre 8GB/s).
- J’avais déjà 64 Go de DDR4 que le système Intel pouvait utiliser. Les chipsets AMD de la série 600 n’utilisent que de la DDR5.
- J’avais déjà un processeur Intel 12ème génération.
- Je n’ai pas encore vu de discussion positive sur la consommation d’énergie de l’AM5. Pas du tout. Mise à jour : au moment où j’écrivais ces lignes, des informations ont été publiées sur des CPU de la série 7000 d’AMD qui brûlaient à l’endroit où les broches du socket de la carte mère rejoignaient le CPU. Oui, désolé AMD, pas cette fois.
C’est donc Intel qui a été choisi. Après avoir vérifié les cartes mères DDR4 disponibles sur le marché, j’ai rapidement réduit les options à 2 fabricants : MSI et ASUS.
Vous ne vous souciez pas des comparaisons entre les tableaux ? N’hésitez pas à passer votre chemin.
Les cartes MSI les plus intéressantes sont les PRO Z790-P WIFI DDR4 et Z790-A WIFI DDR4. Presque identiques en apparence, sauf que le « A » est un peu plus haut de gamme (audio, ports arrière, dissipateurs, phases d’alimentation, etc). Avantages/inconvénients :
- Pro : 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 supporte un total de 6 Gen4 NVMe
- Pro : 2x PCIE Gen3x1 supplémentaires
- Pro : 6 ports SATA
- Inconvénient : Intel 2.5G LAN (connu pour être problématique et bogué)
- Inconvénient : je ne suis pas un fan du BIOS MSI
- Inconvénient : ma carte B660 actuelle, qui consomme plus que prévu au ralenti, est une MSI.
Les options ASUS intéressantes étaient le Prime H770-Plus D4 et le Prime Z790-P D4 (édition WIFI en option). Les TUF, Strix, ou ProArt étaient tout simplement trop chers.
Je vais commencer par lister les avantages et inconvénients du H770-Plus :
- Pro : 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 supporte un total de 6 NVMe Gen4
- Pro : 2 PCIE Gen3x1 supplémentaires
- Inconvénient : seulement 4 ports SATA
Pro : Adaptateur réseau Realtek 2.5G (préférable au LAN Intel 2.5G de nos jours)(voir commentaires)Le Z790-P D4 est similaire sauf qu’il a plus de phases d’alimentation, un meilleur dissipateur thermique, plus de ports USB, une tête de ventilateur supplémentaire, et pour nos besoins… :
- +1 PCIE Gen4x4
- -1 PCIE Gen3x1
Finalement, le ASUS Prime H770-Plus D4 était 100$ moins cher à l’époque et c’est ce que j’ai choisi.
Un avantage que j’ai trouvé avec les cartes « moins chères » est qu’elles ont tendance à avoir moins de composants et donc moins de consommation d’énergie vampire au ralenti, bien que ce ne soit pas toujours une certitude.
CPU – Intel i5-12400 (H0 stepping) – Alder Lake
J’avais déjà ce processeur dans le cadre d’une précédente construction d’ordinateur de bureau. À l’époque, il avait été choisi pour le système de bureau pour les raisons suivantes :
- il avait le décodage matériel AV1
- il avait la plus haute performance disponible de la gamme Intel de la 12ème génération qui évite l’overhead du silicium E-core
- dans cette configuration, j’allais recevoir une nouvelle carte mère avec 2xDP de toute façon, et choisir une génération plus ancienne n’avait pas de sens pour moi.
Cet ordinateur de bureau s’est avéré être une déception, et se classe parmi mes constructions préférées.
Quelques détails…
J’ai eu des problèmes où parfois seulement 1 des 2 moniteurs DP connectés se réveillait sous Linux, ce qui signifiait que je devais soit retirer/reconnecter l’autre connecteur DP, soit suspendre/reprendre manuellement le système pour qu’il puisse réessayer.
Un autre problème était que le redémarrage entre Windows/Linux provoquait parfois des problèmes étranges qui nécessitaient une extinction/redémarrage complet.
Le décodage matériel sous Ubuntu à l’aide de Wayland est toujours problématique et lorsque des programmes essayaient de l’utiliser pour lire des vidéos, des problèmes survenaient.
Enfin, contrairement à mes systèmes Intel précédents qui pouvaient tous être ramenés à près de 10 watts, celui-ci tournait au ralenti à 19 watts, bien que je soupçonne la carte mère MSI que j’utilisais d’avoir joué un rôle.
La plupart des maux de tête que j’ai rencontrés étaient liés au GPU et à l’affichage. Comme j’étais sur le point de construire quelque chose d’orienté serveur, ce n’était plus un facteur.
MÉMOIRE – 64GB DDR4-3200
Voici ce que j’ai utilisé :
- 2x16GB Kingston HyperX dual-rank (Hynix DJR)
- 2x16GB Kingston HyperX single-rank (Hynix CJR)
C’est de la mémoire que j’avais déjà. J’ai fait fonctionner les 4 barrettes de mémoire au profil XMP du kit dual-rank, soit 16-18-18-36. Tout le reste a été laissé aux valeurs par défaut, sauf que j’ai fait fonctionner la RAM à 1,25 volt (plus élevé que le 1,20 du stock, mais plus bas que le réglage XMP de 1,35v). TestMem5 et Memtest86 ont montré une stabilité à 1,22v, bien que les tests de cette mémoire sur les cartes mères précédentes aient montré que 1,22v était instable, donc pour un peu plus de stabilité, j’ai augmenté la tension à 1,25v.
Disque de démarrage – Sandisk Ultra 3D 1TB SSD
TCe composant n’a pas été choisi délibérément. Lorsque j’ai voulu installer un serveur Ubuntu frais pour les tests, il s’est avéré que c’était le seul disque SSD que j’avais à portée de main et qui n’était pas utilisé. J’allais faire beaucoup de tests A/B sur des périphériques PCIE et NVMe, donc installer Ubuntu 23.04 sur un SSD SATA était logique pour garder les slots PCIE libres.
Notez qu’après les tests, le système d’exploitation principal devait être exécuté sur un Samsung SSD 970 EVO Plus 500GB NVMe. Il n’y a pas grand-chose à dire, si ce n’est que les produits Samsung ont tendance à se mettre en mode basse consommation de manière fiable.
Ayant utilisé les deux disques, je n’ai pu mesurer aucune différence de puissance entre eux lors de mes tests. Tom’s Hardware a testé le Samsung en mode ralenti à 0,072 watts (via ASPM/APST), et Anandtech a testé le Sandisk Ultra 3D en mode ralenti à 0,056 watts (via ALPM). Les deux sont bien en dessous de la résolution de 1W de mon compteur Kill-A-Watt.
Bloc d’alimentation – Corsair RM750
Même si ce bloc d’alimentation de 750W peut sembler excessif pour un système destiné à tourner autour de 10 watts, lorsque 12 moteurs de disques tournent en même temps, la charge instantanée est susceptible d’être assez élevée. Seagate indique des courants de pointe de 2A/3A DC/AC sur le rail 12V pour l’un de ses disques 3,5″ de 10 To. Même les lectures/écritures aléatoires de pointe peuvent atteindre plus de 2A.
Cette demande de puissance en rafale peut être problématique si le bloc d’alimentation n’est pas à la hauteur de la tâche. Si une matrice de 6 disques durs consomme collectivement 150-200 watts au moment même où le CPU atteint un pic de 120 watts, on passe d’une dizaine de watts au repos à environ 400 watts. Cela peut facilement provoquer une chute de tension instantanée – si elle est suffisante pour provoquer un plantage/redémarrage immédiat, ce n’est probablement pas grave, mais si elle est suffisante pour corrompre les données lors d’un rafraîchissement de la mémoire ou lorsqu’un autre disque est en cours d’écriture… c’est un problème plus douloureux. Surdimensionner le bloc d’alimentation dans une certaine mesure (ou ajouter des condensateurs en ligne sur les rails d’alimentation) est logique.
Heureusement, bien que fonctionnant en dehors de la plage d’efficacité maximale, la plupart des Corsair RM sont assez efficaces sur une large plage.
Mesures de puissance – Initiales
Quelques éléments importants :
- Puissance mesurée à partir du mur
- Intel PowerTOP a été utilisé pour l’auto-ajustement des paramètres
- Serveur Ubuntu 23.04
Quelques éléments du BIOS potentiellement importants :
- Les états C du CPU ont été activés dans le BIOS (C10)
- ASPM a été activé avec tout réglé sur L1
- RC6 (Render Standby) activé
- Support LPM agressif activé (ALPM)
- DISABLED : HD Audio, Connectivity Mode, LEDs, GNA Device, Serial Port
9-10 watts était la consommation lorsque l’écran était allumé.
7 watts était la consommation une fois l’écran éteint (consoleblank=600 paramètre de démarrage du noyau pour une temporisation de 600s), ce qui est le cas de ce système la majeure partie de la semaine.
8 watts était la consommation si la gestion de l’alimentation du clavier USB était désactivée. Si vous ne vous connectez pas au serveur par SSH depuis un autre endroit, il peut être nécessaire de dépenser le watt supplémentaire pour l’utilisation du clavier.
Mesures de puissance problématiques – Chargé avec de la rouille qui tourne (qui ne tourne pas)
Comme indiqué au début, j’ai commencé avec 12 disques durs. La moitié était de 2,5″ et l’autre de 3,5″. La carte mère ne disposant que de 4 ports SATA, un contrôleur SATA et un multiplicateur de port ont été utilisés pour gérer les disques restants. De plus, 4 disques NVMe ont été utilisés au début : l’un d’entre eux, un Western Digital SN770, avait tendance à chauffer même au ralenti, ce qui indique qu’il ne passait probablement pas en mode basse consommation.
Avec tout l’équipement connecté, au ralenti, avec l’écran éteint, et avec les 12 disques en veille, j’ai été choqué de voir que ma consommation d’énergie au ralenti était passée de 7 watts à 24-25 watts. C’est beaucoup trop ! Quelque chose ne tournait pas rond.
Casse-tête de la consommation d’énergie – Investigation et diagnostic de la haute puissance
J’ai déconnecté les disques durs et j’ai commencé à tester les composants un par un. Il s’agissait de tests assez rudimentaires destinés à se faire une idée approximative du coupable, de sorte que les chiffres indiqués ici ne sont pas précis.
J’ai rapidement découvert que le contrôleur SATA JMB585 que j’utilisais provoquait une augmentation de la consommation d’énergie de l’ordre de 6 à 10 watts (les mesures précises sont présentées dans une section ultérieure). Le contrôleur lui-même n’est censé consommer que quelques watts, et le minuscule dissipateur thermique est resté froid, mais il est évident qu’il se passait plus de choses. Où allait la puissance ?
J’ai décidé d’observer les états C du paquet CPU. Sans le contrôleur SATA JMB585, le système a atteint C6. Lorsque le JMB585 a été reconnecté, le système a atteint au mieux C3. Ah ha ! mais pourquoi ? Il s’avère que si un périphérique connecté au PCIE ne passe pas en ASPM L1, le CPU ne passe pas en sommeil aussi profond. Les cartes contrôleur JMB585 ne semblent pas supporter l’ASPM.
Un peu plus d’expérimentation a révélé quelque chose d’autre que je ne savais pas, et cela a à voir avec C6 vs C8. Le système n’atteindra C8 que si rien n’est branché sur les voies PCIE connectées au processeur. En d’autres termes, si quoi que ce soit est branché sur l’emplacement PCIE supérieur ou sur l’emplacement NVMe supérieur, C6 est le maximum. La différence de consommation d’énergie entre C6 et C8 *a semblé* être inférieure à un watt lors d’un simple test.
Ainsi, alors que C8 serait un luxe, atteindre C6 était une nécessité. C3 consomme trop d’énergie. Si les contrôleurs SATA allaient empêcher le CPU d’atteindre les meilleurs états d’économie d’énergie, j’ai commencé à me demander si je n’aurais pas dû chercher une carte mère avec 6-8 ports SATA afin de ne pas avoir à compter sur des contrôleurs supplémentaires…
Une petite recherche sur les HBAs SATA a montré que bien qu’il n’y ait pas beaucoup d’options ici, le contrôleur SATA ASM1166 devrait supporter ASPM L1, bien que le firmware doive être flashé pour qu’il fonctionne correctement (et pour qu’il fonctionne du tout sur les cartes Intel plus récentes). C’est quelque chose que je devais commander : J’ai des pièces de rechange Marvel et JMicron, mais elles ne supportent pas l’ASPM. En fait, j’ai évité ASMedia pendant des années, mais par nécessité, ils avaient maintenant une nouvelle chance : J’ai commandé deux contrôleurs ASM1166 6 ports SATA.
A côté : BadTLP, Bad ! Erreurs de bus AER sur le pcieport
Cela vaut la peine d’être mentionné… Lors des tests initiaux avec un WD Black SN770 (Gen4 NVMe), j’ai constaté un problème lorsque les ports PCIE et NVMe primaires (attachés au processeur supérieur) étaient utilisés. En exécutant dmesg, j’ai obtenu une sortie contenant des éléments tels que :
pcieport 0000:00:06.0: AER: Corrected error received: 0000:02:00.0
nvme 0000:02:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
pcieport 0000:00:06.0: PCIe Bus Error: severity=Corrected, type=Data Link Layer, (Transmitter ID)
pcieport 0000:00:06.0: AER: Error of this Agent is reported first
nvme 0000:02:00.0: [ 6] BadTLP
…après de nombreux essais et erreurs, j’ai découvert que si le paramètre « PEG – ASPM » du BIOS était réglé sur [Disabled] ou [L0s], il n’y avait pas d’erreurs.
Bien sûr, il s’agit d’une mauvaise option, car [L1] est crucial pour les économies d’énergie. Si [L1] ou [L0sL1] étaient utilisés, la seule option était de régler la vitesse de liaison de ces ports sur [Gen3], ce qui n’a pas empêché les erreurs, mais les a considérablement réduites.
Des recherches ont montré que l’origine de ces erreurs pouvait être multiple. Comme le remplacement de la carte mère ou du CPU n’était pas une idée agréable, mon meilleur espoir était de changer de marque de NVMe.
J’ai commandé des disques Crucial P3 NVMe. Cette démarche s’est avérée fructueuse : une fois les disques WD remplacés par les disques Crucial, je n’ai plus eu d’erreurs, même s’il ne faut pas oublier qu’il s’agit de disques Gen3.
Casse-tête sur la consommation d’énergie – L1.1 et L1.2 activés uniquement sur les ports connectés au chipset
Lorsque j’ai installé les 2 disques Crucial P3 NVMe dans l’emplacement PCIEx16 connecté au CPU et dans l’emplacement M2 supérieur, j’ai remarqué des températures de ralenti plus élevées que prévu. Alors que la NAND était à environ 27-29C, les contrôleurs indiquaient 49-50C – beaucoup plus élevé que ce à quoi je m’attendais pour ces disques particuliers.
J’ai déplacé celui de l’emplacement PCIEx16 vers un emplacement PCIEx4 connecté au chipset. Une différence intéressante entre ces disques est apparue via lspci -vvv :
Emplacement M2 connecté au processeur : L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
Emplacement PCIE connecté au chipset : L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+
Les sous-états L1 ne semblent être activés que sur les slots connectés au chipset. C’est regrettable, mais cela semble coïncider avec les paramètres BIOS disponibles dans la capture d’écran ci-dessus.
Reprenons l’image de la carte mère pour illustrer la situation :
J’ai placé les deux disques NVMe sur des emplacements PCIE connectés au chipset. Les deux disques affichent L1.1+/L1.2+ et la température des deux contrôleurs est passée de 49-50C à 38-41C.
Malheureusement, lorsque j’ai tenté divers tests A/B en utilisant ces deux disques NVMe Crucial avec différentes configurations d’emplacement et divers paramètres BIOS, j’ai constaté un comportement très incohérent en termes de température, bien qu’il soit intéressant de noter que le JMB585 et un disque de démarrage NVMe étaient également connectés pendant ces tests. Par exemple, les deux disques pouvaient tourner au ralenti à environ 40°C jusqu’à un redémarrage progressif, moment où l’un d’entre eux (ou les deux) pouvait maintenant tourner au ralenti à 50°C. Parfois, il semblait possible de garder un disque sur le M.2 connecté au processeur et de conserver des températures de 40°C sur les deux disques tant que l’emplacement x16 n’était pas occupé. Il est probable que j’ai rencontré une sorte de bug. Le Samsung boot NVMe semblait maintenir une température constante au repos indépendamment de ce qui se passait avec les disques Crucial NVMe, j’ai donc soupçonné les disques Crucial d’être au moins en partie responsables.
Il est intéressant de noter que la température de l’un des contrôleurs (ou des deux) descendait parfois jusqu’à 29°C sur les slots connectés au chipset. Étant donné qu’il n’était pas réaliste d’essayer de trouver un remplaçant NVMe de 4 To à faible consommation pour le Crucial P3, mon meilleur espoir à ce stade était que le JMicron JMB 585 incompatible avec l’ASPM était en quelque sorte à blâmer, puisqu’il allait bientôt être remplacé par l’ASMedia ASM 1166 compatible avec l’ASPM.
Mise à jour tardive : je n’ai malheureusement pas suivi les températures pendant le reste des tests, et les dissipateurs/flux d’air entre les disques ont été mélangés. Mais pour ce que ça vaut, dans la version finale, les températures de mon contrôleur Crucial P3 sont de 31-34C, et les températures NAND sont de 23-24C.
Puzzle sur la consommation d’énergie – Passage du JMB585 à l’ASM1166.
Après quelques semaines, l’ASM1166 est arrivé. Tout d’abord, quelques informations sur la carte qui pourraient vous être utiles si vous envisagez de l’utiliser…
J’ai commencé par un flash du firmware – les cartes ASM1166 ont souvent un vieux firmware qui ne fonctionne pas avec les cartes mères Intel de la série 600 et qui, d’après ce que j’ai compris, peut avoir des problèmes avec la gestion de l’énergie. Un firmware plus récent peut être trouvé à différents endroits, mais j’ai décidé de prendre une copie de SilverStone (« fix compatibility issue » dans la section Download de https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/) et j’ai suivi les instructions sur https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/ . Notez que les fichiers SilverStone avaient un MD5 identique au firmware que j’ai trouvé en suivant le fil de discussion à https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707 .
Pour tous ceux qui prévoient d’acheter l’une de ces cartes ASMedia, je dois noter que, comme la plupart des contrôleurs SATA et des HBA, la qualité varie vraiment. L’une de mes cartes avait un dissipateur thermique qui était un peu de travers : le coussin thermique était suffisamment épais pour l’empêcher de court-circuiter les composants voisins, mais soyez conscient que ces produits peuvent être vraiment aléatoires. C’est l’une des situations où il peut être prudent de payer un peu plus cher pour acheter un produit auprès d’un fournisseur offrant une bonne politique de retour.
J’ai fait pas mal de tests A/B, voici donc un rapide « JMicron JMB585 vs ASMedia ASM1166 » en termes de consommation totale du système, bien qu’il ne puisse s’appliquer qu’à cette plateforme (ou peut-être même à cette carte mère spécifique).
SANS DRIVE
Tout d’abord, la consommation d’énergie sans aucun disque connecté aux cartes (le disque SSD SATA de démarrage est connecté à la carte mère) pour obtenir une base de référence. PowerTOP est utilisé sur tous les périphériques à l’exception du clavier (ajoutant +1 watt). Mesures après la mise en veille de l’écran.
- 8 watts – Pas de contrôleur SATA – état d’alimentation C8
- 9 watts – ASM1166 sur un emplacement x4 connecté au chipset – état d’alimentation C8
- 12 watts – JMB585 sur un emplacement x16 connecté au processeur – état d’alimentation C3
- 15 watts – JMB585 sur un emplacement x4 connecté au chipset – état d’alimentation C3
- 22 watts – ASM1166 sur un emplacement x16 connecté au processeur – état de puissance C2
L’ASM1166 s’en sort bien si elle est branchée sur un slot connecté au chipset (seulement +1 watt), mais elle s’en sort très mal si elle est connectée au slot PCI-E principal (+14 watts) où l’état d’alimentation du package CPU chute à C2. Chose étonnante, le JMB585 se comporte de manière opposée : sa consommation est plus faible sur le slot connecté au CPU (et il n’a pas provoqué de C2) – cependant, vous verrez bientôt que les choses changent lorsque les disques sont réellement connectés…
J’ai effectué d’autres tests avec les contrôleurs, notamment en jouant aux « chaises musicales » avec quelques disques NVMe pour voir si la présence de plusieurs périphériques pouvait perturber les choses, mais rien d’inattendu ne s’est produit, donc je ne vais pas entrer dans les détails.
LORSQUE LES DISQUES DURS SONT INSTALLÉS
Les mesures de base étant terminées, il était temps d’installer des disques sur ces contrôleurs. Le disque SSD SATA de démarrage est resté sur la carte mère, 2 disques NVMe ont été ajoutés au mélange (connectés au chipset sauf indication contraire), et 4 des disques durs SATA 2,5″ ont été placés sur le contrôleur. Je vais énumérer la consommation après que les disques durs ont été mis en veille – la consommation après la mise en veille était exactement 2 watts plus élevée dans chaque test alors que les disques étaient inactifs.
- 10 watts – ASM1166 sur un emplacement x4 connecté au chipset – état d’alimentation C8
- 11 watts – ASM1166 sur un emplacement x4 connecté au chipset avec 1 NVMe déplacé vers l’emplacement x16 connecté au CPU – état d’alimentation C6
- 11 watts – 2 ASM1166 sur des emplacements x4 connectés au chipset, avec seulement 1 lecteur NVMe – état d’alimentation C8
- 16 watts – JMB585 sur un emplacement x4 connecté à un chipset – état de puissance C3
- 24 watts – JMB585 sur un emplacement x16 connecté au CPU – état d’alimentation C2
Avec 4 disques connectés via un emplacement connecté au chipset, l’ASM1166 ajoute +2 watts à la consommation du système, tandis que le JMB585 ajoute +8 watts. Il n’y a pas photo.
Un autre avantage est que j’ai pu utiliser les deux cartes ASM1166 dans le système, alors qu’en essayant d’utiliser les deux cartes JMB575 en même temps, le système a refusé de démarrer, bien que cela puisse être un problème spécifique à la plateforme ou à la carte mère.
Il y a cependant un compromis à faire – j’ai toujours trouvé que la JMB585 était d’une fiabilité à toute épreuve, y compris lorsqu’elle était associée à un multiplicateur de port JMB575. Mon expérience passée avec les contrôleurs SATA ASMedia n’a pas été brillante : la fiabilité de l’ASM1166 reste à voir, mais c’est au moins un mauvais candidat pour un multiplicateur de port puisqu’il ne supporte pas le FBS (seulement le CBS).
Quelques autres problèmes mineurs qui se sont présentés avec l’ASM1166 :
- Lors du retrait/réinsertion du disque de démarrage NVMe, un message BIOS est apparu indiquant qu’il ne pouvait pas démarrer en raison d’une corruption GPT. Les cartes ASM1166 ont dû être temporairement retirées pour que le BIOS « trouve » à nouveau le lecteur de démarrage NVMe (après quoi elles ont pu être réinstallées).
- Les cartes ASM1166 prétendent avoir un *nombre* de ports – cela augmente le temps de démarrage car Linux doit les parcourir tous.
Mise à jour : SATA et marques de SSD
L’un des commentaires mentionnait qu’un ancien SSD Samsung 840 PRO était limité à C3 alors qu’un SSD Crucial Force GT était autorisé à C8. Bien qu’il s’agisse de disques plus anciens, j’ai trouvé cela un peu surprenant. Cela valait la peine d’enquêter.
J’ai utilisé le H770 comme banc d’essai avec un disque de démarrage Samsung 850 EVO SATA SSD ainsi qu’un Crucial P3 NVMe et j’ai construit un noyau personnalisé pour permettre à l’adaptateur réseau Realtek d’atteindre L1.2. Pas d’ASM1166, juste l’utilisation de l’Intel onboard SATA. J’ai atteint C10 après avoir exécuté powertop avec auto-tune et permis à l’écran de se mettre en veille. J’ai essayé différents disques que j’avais sous la main, en éteignant le système à chaque fois pour échanger les disques et répéter le processus. Voici les résultats.
Les disques qui ont bloqué le système en C6 :
- 1To SSD Patriot P210 SATA
Les disques qui ont permis au système d’atteindre le niveau C10 :
- 500Go Samsung 850 EVO SATA SSD
- 4To 2.5″ Seagate SATA HDD
- 8To 3.5″ Seagate SATA HDD
- 14To de disque dur Toshiba SATA
- 1To Sandisk Ultra 3D SATA SSD
- 4To Sandisk Ultra 3D SATA SSD (note : lenteur de la découpe)
- 4To Crucial MX500
Je suggère d’être prudent dans le choix des disques SSD SATA. J’essaierai de mettre à jour cette liste avec les disques que j’ai testés, mais gardez à l’esprit que certains fabricants d’espace de stockage ont une propension à remplacer silencieusement les produits principaux par des composants de qualité inférieure, vous devriez donc toujours vérifier les performances des périphériques de stockage que vous achetez pendant la période de retour. N’hésitez pas à laisser un commentaire sur les bons et les mauvais produits que vous avez rencontrés.
Puzzles sur la consommation d’énergie – Conclusion
Quelques points importants si l’on vise une faible consommation :
1) Le support de la carte mère et la configuration du BIOS sont critiques – j’ai eu des cartes mères avec des BIOS très inflexibles. Sur celle-ci, « Native ASPM » et les états L1 appropriés doivent être activés (pour permettre un contrôle par le système d’exploitation au lieu d’un contrôle par le BIOS) pour que la faible consommation d’énergie fonctionne.
2) Les périphériques doivent tous prendre en charge l’ASPM L1. Sinon, c’est un véritable coup de dés. La partie la plus difficile est de trouver des contrôleurs SATA qui le supportent – si possible, prenez une carte mère avec suffisamment de ports SATA connectés au chipset Intel pour éviter d’avoir besoin d’une carte séparée. Je dois noter qu’il n’est pas toujours facile de trouver des disques NVMe qui ont des états d’alimentation APST à faible consommation sous ASPM et vous devrez faire quelques recherches à ce sujet également.
3) Si vous pouvez atteindre l’état d’alimentation C8, évitez d’utiliser les voies PCIe connectées au CPU (PCIe supérieur et slot M2). Sur cette carte mère spécifique, mon conseil serait de ne pas les utiliser du tout si vous le pouvez, à moins que vous n’ayez besoin d’une bande passante complète à faible latence vers le CPU ou que vos périphériques soient si actifs qu’ils ne dorment jamais de toute façon. Rappelez-vous que mes deux cartes SATA JMicron et ASMedia ont fait chuter l’état C du CPU à C2 si elles étaient branchées dans l’emplacement PCI-E x16.
4) Mesurer la puissance à partir du mur est le seul moyen de s’assurer que ce que vous *pensez* être en train de se produire est réellement en train de se produire. Un appareil Kill-A-Watt s’amortit au fil du temps si vous l’utilisez – sachez que j’ai acheté le mien en 2006 (16 $USD + 14 $USD de frais de port à l’époque sur eBay). À l’époque, j’ai constaté que notre télécopieur, rarement utilisé et toujours allumé, consommait 7 watts… le simple fait de maintenir cet appareil éteint lorsqu’il n’est pas utilisé pendant les 10 années suivantes a largement suffi à payer le Kill-A-Watt.
Consommation électrique avec plusieurs disques durs
Maintenant que diverses pièces sont entrées et sorties du système tout au long de ce processus, la configuration actuelle est la suivante :
- 1x Samsung 970 EVO Plus NVMe (disque de démarrage de 500 Go)
- 2x Crucial P3 NVMe (4TB chacun)
- 5x Seagate 2.5″ HDD (5TB chacun – 4TB utilisé)
- 6x disques durs Seagate 3.5″ (10 To chacun – 8 To utilisés)
- 2x cartes ASM1166 fournissant des ports SATA
Puissance totale mesurée à partir du mur (écran allumé, clavier activé) :
- 50 watts avec les 11 disques durs en veille active
- 38 watts avec les 6 disques durs de 3,5 pouces en Idle_B
- 34 watts avec les 6 disques durs de 3,5 pouces en Idle_C
- 21 watts avec les 6 disques durs de 3,5 pouces en Standby_Z (essorage)
- 18 watts avec le disque dur 5x 2,5″ AUSSI en veille
- 16 watts avec la sortie d’affichage AUSSI éteinte
- 15 watts lorsque PowerTOP est autorisé à désactiver le clavier USB
Seagate estime la consommation en veille de ces disques de 3,5″ à environ 0,8w chacun, et celle des disques de 2,5″ à environ 0,18w chacun. Cela correspond à ce que je vois ci-dessus. Mes chiffres de consommation en veille active correspondent en fait assez bien aux spécifications de Seagate.
L’observation qui s’impose : par rapport au reste des composants du système, les disques durs de 3,5 pouces sont des monstres gourmands en énergie.
Les disques durs seront éventuellement remplacés par des disques SSD. Avec une consommation en veille aussi faible que celle des disques durs, il n’y a pas d’urgence majeure et ce processus se fera progressivement au fur et à mesure que mes disques durs/spares mourront et que les prix des disques SSD diminueront.
Le plan pour le « jeu final » est de construire un système entièrement basé sur des SSD. A l’origine, le plan prévoyait 1 disque de démarrage, 6xNVMe (probablement Crucial P3 4TB) pour une matrice RAIDZ2, et 6xSATA (probablement Samsung 870 QVO 8TB) pour la seconde matrice RAIDZ2. Comme l’utilisation des slots M2/PCIe connectés au CPU n’apporte pas seulement de l’imprévisibilité mais aussi un léger coût en termes d’état, de puissance et de température, je pourrais modifier ce plan et abandonner quelques NVMe dans la première matrice et utiliser SATA à la place afin de ne pas avoir à toucher aux lanes connectées au CPU. L’avenir nous le dira.
Détails inutiles sur le stockage
Cette partie ne vaut la peine d’être lue que si vous êtes intéressé par des détails méticuleux sur le stockage. Dans le cas contraire, n’hésitez pas à passer à la dernière section.
Lecteur de démarrage NVMe
Comme nous l’avons déjà mentionné, il s’agit d’un Samsung 970 EVO Plus. Actuellement, moins de 4 Go des 500 Go d’espace sont utilisés (une partition d’échange de 64 Go existe mais reste toujours à 0 utilisé). Ce disque a été choisi à l’origine parce que Samsung avait acquis une réputation de fiabilité (qui s’est affaiblie ces derniers temps), et Samsung a également obtenu de bons résultats dans les revues chaque fois qu’il s’agissait de la consommation d’énergie en mode inactif. Ce disque est presque toujours en veille et les températures du contrôleur et de la NAND sont restées basses tout au long des tests (20-24C). Il pourra éventuellement être remplacé par un SSD SATA pour libérer un port NVMe.
DISQUES DURS DE 2,5 POUCES
Ces disques sont utilisés pour la matrice ZFS RAIDZ2 principale à 6 disques – celle qui est la plus utilisée. Un jour par semaine, il est occupé par une tâche qui implique la lecture de quelques To au cours de 24 heures. Le reste de la semaine, l’utilisation est sporadique et les disques passent la majeure partie de la semaine à tourner. Pour ceux qui se demandent pourquoi les disques durs de 2,5 pouces sont utilisés à la place des disques durs de 3,5 pouces, il y a *une* raison : la consommation d’énergie.
La consommation électrique des disques Seagate de 2,5 pouces est franchement impressionnante. Ils consomment 0,18 watt chacun, 0,85 watt en mode veille et environ 2 watt en moyenne pour la lecture et l’écriture. Il existe de nombreux disques SSD dont la consommation d’énergie est inférieure à celle de ce disque. Une capacité de 5 To permet de stocker beaucoup d’espace par watt.
Les principaux inconvénients de ces disques Seagate de 2,5 pouces sont les suivants :
- Ils ne sont pas très performants. 80-120MB/s en lecture/écriture. Pour être honnête, de nombreux disques SSD TLC/QLC tombent à ces niveaux d’écriture lorsque leur cache SLC est épuisé.
- SMR (enregistrement magnétique shinglé). Les lectures sont correctes, mais les performances en écriture s’effondrent lorsque des écritures aléatoires ont lieu – il se comporte comme un SSD QLC sans cache SLC qui n’a pas non plus de TRIM.
- Charge de travail nominale faible (55 To/an contre 550 To/an pour les disques Exos 3,5″).
- Pas de temps de récupération d’erreur configurable (SCT ERC), et ces disques peuvent rester bloqués pendant des minutes s’ils rencontrent une erreur alors qu’ils essaient sans relâche de relire le secteur problématique. Ubuntu doit être configuré pour attendre au lieu d’essayer de réinitialiser le lecteur après 30 secondes.
- Des taux d’erreur plus élevés s’ils chauffent (j’ai dû en remplacer quelques-uns et j’ai découvert qu’ils n’aiment pas chauffer).
- Les problèmes typiques des disques durs (lenteur de rotation, etc.).
Pour être tout à fait juste envers Seagate, ces disques sont vendus en tant que disques de sauvegarde USB externes. Sortir ces disques de 15 mm de haut de leur boîtier et les utiliser comme membres d’un RAID dans un NAS n’est pas exactement l’usage auquel ils sont destinés. La très faible consommation d’énergie est extraordinaire, mais il y a des compromis évidents.
À long terme, ces disques 2,5″ de 4/5 To seront lentement remplacés par des disques SSD de 4 To (peut-être tous NVMe). Les disques SSD d’une capacité de 4 To ont commencé à être disponibles sur le marché grand public en 2021/2022 à environ 4-5x le coût des spinners. Moins de 2 ans plus tard, ils sont tombés à environ 2 fois le coût, et je m’attends à ce que les marques décentes durent plus de 2 fois plus longtemps que les spinners Seagate.
Si le modèle Crucial P3 (Gen3) reste disponible, je le conserverai probablement, même s’il est limité aux vitesses Gen3. J’ai fortement envisagé le Crucial P3 Plus (Gen4), mais la consommation d’énergie dans les revues était plus élevée malgré quelques rares situations où les performances étaient notablement plus élevées. Ma plus grande inquiétude concernant le P3 Plus (Gen4) était que si j’avais des problèmes avec ASPM/APST, Tom’s Hardware l’a montré avec une consommation d’énergie au repos supérieure de 0,3w par rapport au P3 (Gen3) pour le modèle 2TB. Je préfère que la consommation dans le pire des cas soit aussi basse que possible.
DISQUE DUR 3,5
Utilisé dans la matrice RAIDZ2 secondaire à 6 disques – une matrice de sauvegarde qui tourne environ 2 heures par semaine et qui reçoit constamment des écritures lourdes.
La consommation d’énergie des disques Seagate de 3,5 pouces est conforme à ce que l’on peut attendre. Ces disques de 10 To consomment environ 0,8 W chacun en veille, 2 à 5 W en mode veille, et 6 à 9 W en lecture et en écriture.
Deux points à prendre en compte :
- Ces disques sont conçus pour consommer collectivement environ 45 à 50 watts en écriture. Cela représente une charge supplémentaire pour l’onduleur que je ne souhaite pas vraiment si une longue coupure de courant se produit pendant les sauvegardes (je m’en tiens à des onduleurs grand public de 1500 watts).
- Ces onduleurs sont conçus pour consommer collectivement environ 4,8 watts lorsqu’ils sont en veille. Encore une fois, je n’hésiterais pas à réduire la charge de l’onduleur.
À long terme, ces disques seront probablement remplacés par des disques Samsung 870 QVO 8TB SATA. Le 870 QVO consomme 0,041w/0,046w au ralenti avec ALPM, 0,224w/0,229w au ralenti sans ALPM, et 2,0-2,7w pendant une copie (selon Toms/Anandtech).
En termes de prix, le Samsung 8TB SATA SSD est actuellement un peu plus cher que les spinners 8TB (près de 3x le prix), donc à moins que ces disques commencent à être utilisés plus fréquemment pour une raison ou une autre, le remplacement par les SSD attendra presque certainement que je sois à court de pièces de rechange.
Lecteur de cache NVMe
Le remplacement de mes rouilles par des disques SSD est un processus qui prendra probablement un certain temps.
En attendant, ZFS dispose de quelques options pour utiliser le stockage à grande vitesse (typiquement SSD) devant le stockage plus lent :
- Classe d’allocation « spéciale » – permet de créer un vdev spécifique pour les métadonnées et pour les « petits » blocs si vous le souhaitez.
- Il s’agit d’un lecteur de cache, communément appelé L2ARC.
Si vous créez le vdev « spécial » lors de la création du pool, toutes vos métadonnées (et, en option, les petits blocs de la taille de votre choix) iront sur le vdev « spécial » au lieu de votre disque en rotation. Les listes de fichiers et la traversée des répertoires sont très rapides tout en conservant la rouille en rotation pour les fichiers eux-mêmes. Oui, vous pouvez « ls » un tas de répertoires sans réveiller vos disques durs. Le plus gros inconvénient est que, comme toutes vos métadonnées se trouvent sur ce disque virtuel, s’il meurt, l’accès à toutes vos données est pratiquement perdu. Il devrait donc être au moins mis en miroir. Peut-être même un miroir à trois voies. Dites adieu à quelques ports.
Le L2ARC est un peu différent. Il s’agit essentiellement d’un cache de niveau 2. Lorsque le cache en RAM est plein, ZFS copie certains blocs dans le L2ARC avant d’expulser ce contenu de la RAM. La prochaine fois que ces données devront être consultées, elles seront lues à partir du L2ARC au lieu du disque. L’un des avantages par rapport au vdev « spécial » est que vous pouvez vous contenter d’un seul SSD – en cas de problème avec les données dans le L2ARC (mauvaise somme de contrôle, disque mort, etc.), ZFS lira simplement le contenu à partir du disque d’origine. De plus, une fois que le L2ARC est plein, ZFS recommence au début du SSD L2ARC et écrase les données qu’il a écrites auparavant, ce qui présente des avantages (les anciennes données ne sont plus jamais consultées) et des inconvénients (les données fréquemment consultées doivent être réécrites sur le L2ARC). Vous pouvez également ajouter/supprimer des périphériques L2ARC du pool à votre guise – vous souhaitez ajouter un SSD de 64 Go, un SSD de 500 Go et un SSD de 2 To ? ZFS répartira les blocs entre eux. Vous avez besoin de retirer le disque SSD de 500 Go du pool quelques jours plus tard pour l’utiliser ailleurs ? Ne vous gênez pas. Le principal inconvénient du L2ARC est que si vous oubliez de spécifier « cache » lors de l’ajout du périphérique, vous avez probablement gâché votre pool. Il est également imparfait : même avec un réglage minutieux, il est difficile de faire en sorte que ZFS écrive TOUT ce que vous voulez sur le L2ARC avant qu’il ne soit expulsé de la mémoire. En même temps, en fonction de vos données, le L2ARC peut voir beaucoup d’écritures, et vous pouvez avoir à surveiller attentivement la santé de votre SSD.
Dans le passé, j’ai utilisé le « special », le L2ARC, et les deux en même temps (vous pouvez même dire au L2ARC de ne pas mettre en cache les données déjà contenues dans le vdev « special »).
Cette fois-ci, j’ai simplement opté pour un L2ARC sur un NVMe de 4 To : une fois que tous les autres disques 2,5″ auront été remplacés par des SSD et que les avantages en termes de vitesse d’un cache SSD ne s’appliqueront plus, je pourrai simplement supprimer ce périphérique de cache (bien qu’en théorie, le fait d’avoir un lecteur de cache L2ARC gérant la majeure partie des lectures *permettrait* aux autres lecteurs NVMe de rester plus longtemps en mode basse consommation…).
Conclusion – Des regrets ? Des remises en question ? Qu’est-ce qui aurait pu se passer différemment ?
Contrairement à la construction de l’ASRock J4005 où j’ai réalisé en cours de route que je m’étais mis des bâtons dans les roues de plusieurs façons, je n’ai pas le même sentiment ici. Cette fois-ci, je me suis retrouvé avec une faible consommation au ralenti ET un système assez performant qui devrait être flexible même s’il est réutilisé à l’avenir.
Je suis assez satisfait de mes choix de composants, même si je serais curieux de savoir comment la MSI PRO Z790-P DDR4 (l’une des autres cartes mères que j’ai envisagées) se comporterait en comparaison. Sur le plan fonctionnel, la MSI a l’avantage d’avoir 6 ports SATA, mais elle a l’inconvénient évident d’avoir la fameuse puce réseau Intel 2.5G. Le MSI dispose également d’un port PS/2 et je n’ai jamais vérifié si la consommation d’énergie d’un clavier PS/2 était inférieure à celle d’un clavier USB (je rappelle que j’économise 1 watt si j’autorise powertop à éteindre le port clavier USB). Et bien sûr, il serait intéressant de comparer les paramètres ASPM et ALPM, et de voir si les problèmes que j’ai rencontrés avec les slots PCIe/M.2 attachés au CPU existent de la même manière.
Alors que ce système tourne actuellement autour de 15-16 watts au repos avec les disques en standby, une fois que tous les disques durs seront remplacés par des SSD, je m’attends à une consommation au repos d’environ 10-11 watts, ce qui n’est pas mal pour 72TB de disques, 64GB de RAM, et un processeur plutôt décent.
Mise à jour : Les noyaux Linux récents désactivent les modes d’économie d’énergie L1 de la plupart des cartes réseau Realtek, ce qui empêche le CPU d’entrer dans des états C décents, augmentant ainsi considérablement la consommation d’énergie. Bien qu’il existe des solutions de contournement, à l’avenir je me limiterai probablement aux cartes mères contenant des adaptateurs réseau Intel 1 Gigabit (peut-être en passant à Intel 2.5 Gigabit lorsqu’il sera clair qu’ils ont résolu tous les problèmes). Vous trouverez plus de détails sur la situation des cartes réseau Realtek dans les commentaires ci-dessous.
Je pense que beaucoup de maux de tête auraient pu être évités si tu avais trouvé une carte avec plus de ports sata !
De mon côté, je n'ai jamais réussi à faire passer ma puce au delà du C3. J'ai volontairement essayé de réduire le nombre de composants en trop (comme ces contrôleurs SATA, j'avais lu à quel point ils pouvaient être aléatoires).
Je vais vérifier mes paramètres BIOS pour m'assurer que j'ai activé tous les éléments pertinents que vous avez mentionnés dans votre article.
Article très intéressant, merci beaucoup.
Donc vous ne vous souciez pas de l'ECC, certains disent que c'est un must pour un serveur toujours actif, surtout avec ZFS.
De plus, les NVME semblent brûler plus de carburant que les SSD.
Je suis à la recherche d'une carte mère ECC frugale mais je n'ai encore rien trouvé, les cartes W680 sont difficiles à trouver.
En attendant, je fais tourner Unraid sur une carte Asrock J5040 avec deux SSD de 1 To en miroir et 3 WD mécaniques qui dorment la plupart du temps.
Le système consomme 19 watts au ralenti, il était de 16-17 watts (C6) avant d'ajouter un contrôleur Asmedia (4). Je vais bientôt remplacer le vieux PSU seasonic par un Corsair.
Salutations distinguées
Geert
Gardez à l'esprit que si le deuxième emplacement M.2 est occupé, seuls 5 des 6 ports SATA fonctionneront. Si je me souviens bien, le BIOS du H470M DS3H cachait aussi quelques options (comme forcer l'IGPU ou le GPU dédié) à moins de le mettre en mode CSM. De plus, il se bloquait aléatoirement sur l'écran de démarrage avec une erreur si j'avais un HBA SAS LSI installé, ce qui nécessitait une nouvelle tentative de redémarrage - les contrôleurs SATA normaux fonctionnaient bien par contre. En mettant de côté ces petites nuances bizarres, j'ai trouvé que la carte était fiable, qu'elle fonctionnait très bien et que je l'aimais bien.
Envisagez-vous de publier un article similaire mais pour un système avec support ECC et faible consommation d'énergie à vide qui serait encore compatible avec Linux (je pense que la faible consommation d'énergie à vide d'AMD n'est pas la meilleure pour Linux à titre d'exemple).
J'ai l'intention de réaliser moi-même un tel système bientôt et j'aimerais savoir si je dois commencer à le faire dans le mois ou les deux mois à venir ou si je dois attendre un peu pour lire vos publications qui fourniraient des informations utiles qui pourraient m'aider à prendre des décisions plus éclairées sur le choix des composants.
Quoi qu'il en soit, merci beaucoup pour cet article très complet. Vous avez fait un travail impressionnant en soulignant les parties importantes de la construction d'un NAS basse consommation très efficace.
Quoi qu'il en soit, bonne chance pour votre construction !
Merci pour tes articles sur les NAS, très détaillés et instructifs !
Je suis en train monter le mien avec un i3-10500T, 16Go et 4xHDD.
Pour l'alimentation, j'ai trouvé une Antec EarthWatts 380W EA-380D (80+ Bronze) en reconditionné à 25€ .Est-ce que cela vaut le coup d’après toi ? ou est-elle trop ancienne ?
Si tu as d'autre modèle à me recommandé, je suis preneur. Merci d'avance.
J'ai également utilisé un 970 Evo Plus (2TB) comme disque de démarrage et je peux confirmer qu'il doit être connecté au chipset afin d'atteindre des états C bas (C8). Ce que j'ai trouvé intéressant, c'est que la différence entre les paquets C3 et C8 était beaucoup plus importante lorsque le SSD était connecté au chipset. Je pense que cela est dû au fait que le chipset lui-même n'entre en état de sommeil profond que lorsque tous les périphériques connectés supportent l'ASPM et que le SATA Link Power Management est actif.
Connecter le SSD au CPU PCIe n'a augmenté la consommation que de ~2W (Package C3 vs C8), alors que ne pas avoir ASPM sur un périphérique connecté au chipset semble prendre 5W de plus juste pour le chipset mais a le même effet (C3) sur le package C-State.
Une chose intéressante à noter est que j'ai une carte PCIe 1.1 DVB-C Capture connectée au chipset. Même si ASPM est listé comme une capacité pour la carte par lspci et que j'ai démarré le noyau avec pcie_aspm=force, il n'a pas été activé pour cette carte. J'ai dû forcer l'activation de l'ASPM via setpci, voir https://wireless.wiki.kernel.org/en/users/documentation/aspm - cela semble fonctionner sans problème. Cela m'a permis d'atteindre les 15W de puissance au repos. Malheureusement, la carte de capture consomme encore ~5W, sinon je n'ai actuellement que 2x4TB HDD de Toshiba connectés qui tournent au ralenti quand ils sont inactifs.
A propos, le Sata Hot Plug doit être désactivé pour tous les ports, sinon le paquet n'atteindra que C6.
Superbe article, merci pour toutes ces informations.
Je suis en train de planifier la construction de mon nas. Comme la consommation d'énergie est le sujet principal, que pensez-vous de la construction suivante (mais je suis un peu un noob en ce qui concerne le système et ce qui est possible et/ou la limitation d'une puce à faible tdp) ?
Asrock N100M micro ATX (avec le nouveau processeur Intel® Quad-Core N100 (jusqu'à 3.4 GHz) avec un tdp de 6W. Comme il n'y a que 2 ports SATA, l'idée est d'ajouter une carte SAS HBA avec 8 ports SATA supplémentaires sur l'emplacement 1 x PCIe 3.0 x16. Pour le stockage, ce serait 1 M2 (celui de la carte mère) pour TrueNas OS, 2 SSD sata mirroring pour VM, docker, ... et 8 disques durs Seagate EXO 7200 rpm comme étape finale (2 au début et évoluant ensuite en fonction des besoins).
Pour l'alimentation, un Seasonic Focus PX 550W - Modular 80+ Platinum ATX et enfin un stick unique de 32GB de ram (non ECC).
Merci d'avance
En ce qui concerne la carte HBA SAS, je vous suggère de regarder autour de vous pour voir quelle est la consommation d'énergie à vide de la carte spécifique que vous envisagez : les cartes les plus populaires consomment souvent quelques watts alors qu'elles ne font absolument rien. Je ne suis pas sûr de la manière dont *BSD gère les cartes, mais sur les quelques cartes qui semblent avoir l'ASPM activé par défaut, Linux semble finalement le désactiver dans le noyau à un moment ou à un autre en raison de problèmes. Cela dit, c'est une situation où l'ASRock N100 pourrait s'en sortir mieux qu'un combo CPU/carte mère séparé car je m'attends à ce qu'il soit moins sensible aux implications de l'état c d'une carte d'extension, bien que ce ne soit qu'une supposition basée sur ce que j'ai vu avec mes cartes ASRock J4x05 et que cela ne s'applique peut-être pas au N100.
Le Seasonic PX 550W semble être un très bon choix.
Dans l'ensemble, ça a l'air d'être une construction solide !
Avez-vous des conseils pour identifier les cartes mères qui peuvent atteindre une faible consommation d'énergie ? Les gens recommandent parfois les cartes mères ITX, mais je n'ai pas trouvé de mesures sur le nombre de watts économisés par les cartes ITX par rapport aux cartes ATX. Maintenant, ITX n'aurait pas fonctionné pour cette construction, mais ATX ne semble pas avoir été une source significative de consommation d'énergie de toute façon. En général, il semble très difficile de déterminer quelles sont les cartes mères qui consomment peu d'énergie et celles qui n'en consomment pas ?
Que voulez-vous dire par "l'overhead du silicium du E-core" et pourquoi avez-vous essayé de l'éviter ? Je comprends que les CPU avec des E-cores sont probablement plus complexes, mais j'aurais pensé que les E-cores pourraient conduire à une consommation d'énergie plus faible lorsque le CPU effectue des tâches non intensives à faible charge.
Encore une fois, merci pour ces excellentes informations. J'espère pouvoir construire un système avec une efficacité énergétique similaire. Pour l'instant, j'ai une carte mère Gigabyte Z790 UD AX et un système i5-13500 que je n'arrive pas à faire descendre en dessous de 28W.
L'avantage de l'ITX est qu'il tend à limiter le nombre de composants, mais ce n'est pas strictement nécessaire - la semaine dernière, j'ai réutilisé le "Intel i3-10320 sur un Gigabyte H470M DS3H" dont j'ai parlé au début et je l'ai fait descendre à 6 watts au ralenti (sans tête, sans clavier, réseau Intel i219V 1GbE uniquement, c-states dans le BIOS, 3 Samsung SATA SSDs 840/860/870, alimentation Corsair RM850, Ubuntu Server avec powertop). C'est une carte mère très utilitaire. Je ne ferai pas d'article séparé car la carte n'est plus disponible, mais 6 watts sur la carte Gibabyte H470 MicroATX et 7 watts sur la carte ASUS H770 ATX dans cet article sont mes 2 meilleurs résultats jusqu'à présent et notamment aucun n'était ITX. Autre chose que je viens de remarquer : ces deux cartes n'ont que 6 phases d'alimentation.
En ce qui concerne le "E-core silicon overhead", de nombreux détails peuvent être trouvés sur https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ , mais je vais essayer de résumer. Le i5-12400 est livré avec 6 P-cores et 0 E-cores activés, communément appelé 6+0. Cependant, il existe 2 variantes : un stepping "C0" qui était à l'origine un 8+8 dont les cœurs ont été fusionnés pour devenir un 6+0, et un stepping "H0" qui a été fabriqué directement comme un 6+0 et qui n'a jamais eu de matériel E-core à l'intérieur pour commencer. Lors des tests (page 5 de cet article), le C0 a consommé jusqu'à 16 watts de plus que le H0 selon le benchmark, dont près de 11 watts de plus au ralenti. Il est toujours possible que l'échantillon C0 ait eu d'autres problèmes causant des fuites d'énergie, ou qu'il y ait d'autres variables en jeu, mais quoi qu'il en soit, les deux puces qui avaient du matériel E-Cores physique à l'intérieur ne se sont pas bien débrouillées dans le test au ralenti.
Comme je me concentre sur une consommation au ralenti extrêmement faible pour la plupart de mes systèmes, je ne peux pas justifier l'achat de l'une des puces combinées P/E-core tant que je n'ai pas vu de données montrant que les puces avec E-cores consomment moins de 10 watts au ralenti. Et ce n'est pas encore le cas. C'est un domaine où Intel est très menacé ces jours-ci : les mini PC AMD descendent maintenant à environ 6-7 watts de consommation en veille pour un Ryzen 9 7940HS ( https://youtu.be/l3Vaz7S3HmQ?t=610 ) et si AMD apporte ce type de conception d'APU à l'ordinateur de bureau ou si quelqu'un comme ASRock commence à emballer certaines de ces impressionnantes puces HS dans une carte mère personnalisée, Intel pourrait rapidement perdre le marché de la faible consommation en veille.
Je vois bien que la carte mère que j'ai achetée n'est sans doute pas idéale (elle annonce beaucoup de phases).
Cela dit, même si votre carte avait beaucoup de MOSFETs inefficaces, la consommation de 28 watts que vous dites obtenir semble un peu élevée, à moins que vous n'ayez de la rouille qui tourne ou une carte PCIe qui consomme beaucoup d'énergie. Avez-vous vérifié si vous atteignez des états de puissance C6 ou supérieurs ? Rappelez-vous que lorsque j'ai mis l'ASM1166 sur le slot PCIe principal, j'étais limité à C2 et je consommais 22 watts.
Vous avez en effet raison de dire que les 28 W que j'ai partagés n'étaient pas aussi bons qu'ils pouvaient l'être. J'ai fait l'erreur de penser que débrancher les câbles SATA de mes disques durs les mettrait hors tension. Avec le recul, il est évident qu'il faut aussi les débrancher du bloc d'alimentation. En outre, j'avais un tas de périphériques connectés au PC dont je n'avais pas réalisé qu'ils consommaient de l'énergie (en particulier, un moniteur branché fait une grande différence). Après avoir déconnecté tous les disques durs et tous les périphériques, j'obtiens des valeurs de l'ordre de 8-10W.
Pour que ces données soient utiles à d'autres, je vais donner quelques détails supplémentaires. Le CPU est un i5-13500 dans une carte mère Gigabyte Z790 UD AX. La seule chose connectée est un SSD SATA et un seul stick de mémoire. Le PSU est un Corsair RM850x de 850W. Le système atteint C8 et même C10. Il y a encore quelques petites choses à faire pour réduire la consommation d'énergie. J'ai pris des mesures alors que GNOME tournait au ralenti (je suppose que le fait de ne pas avoir DE en cours d'exécution permet d'économiser un tout petit peu de CPU), j'ai deux ventilateurs de CPU qui tournent lentement même à basse température, le système est en WiFi (je suppose que l'Ethernet consomme moins d'énergie), et je n'ai pas désactivé les LED de l'étui ni le HD Audio.
Je suis maintenant très satisfait du niveau de consommation d'énergie. Peut-être que l'on peut en déduire que les processeurs Intel E n'affectent pas beaucoup la consommation d'énergie au repos, du moins pour ce processeur. Le seul problème que j'ai maintenant est que le système est instable et redémarre sporadiquement 😭. Je pense avoir réduit le problème à un CPU défectueux ou à une carte mère défectueuse (j'ai essayé de remplacer le PSU et memtest86+ dit que la mémoire est bonne). La société où j'ai acheté les pièces prétend que les deux sont en bon état, mais à moins que je ne trouve une autre solution, je vais essayer de remplacer le CPU et la carte mère par des pièces bas de gamme : un i3 de 13ème génération et une carte mère Asus B760M-A. Si cela résout le problème, j'espère pouvoir renvoyer les autres pièces, dans le pire des cas, j'utiliserai les pièces économiques pour un serveur et les pièces plus haut de gamme pour une station de travail.
J'ai exactement la même configuration ( i5-13500 + Z790 UD AX), mon disque de démarrage est un Samsung 990 pro 4TB
et j'ai exactement le même problème - des redémarrages sporadiques. J'ai essayé la dernière version du BIOS, mais je n'ai pas réussi à trouver la cause.
J'ai essayé le dernier BIOS F9b ainsi que F5 et j'ai changé plusieurs paramètres du BIOS, mais jusqu'à présent rien n'y fait. Je pense que le disque de démarrage entre dans un mode de faible puissance et qu'il est incapable de s'en remettre, mais je ne sais pas comment le prouver.
Il n'y a pas d'événements avant le crash, j'ai aussi configuré netconsole - toujours rien d'enregistré.
Avec le dernier BIOS, les paramètres par défaut et la 970 evo plus comme périphérique de démarrage (aucun autre disque connecté), le système semble stable, mais malheureusement il consomme 32W en moyenne au ralenti, ce qui n'est pas acceptable.
Pour l'instant je modifie un paramètre à la fois et j'attends plus de 12h pour trouver la cause de ce problème, ce qui prend beaucoup de temps.
J'ai essayé tous les réglages, une fois que j'ai activé c8/10 le système devient instable et s'éteint à un moment donné, j'ai vérifié tous les disques et les câbles, j'ai remplacé le psu deux fois, j'attends actuellement un RMA pour le cpu de la part d'intel. J'ai aussi essayé différents firmwares BIOS sans succès, donc il semble que si un RMA CPU ne résout pas le problème, il s'agit d'un problème avec les cartes mères Gigabyte z790.
Je suis déçu car je n'ai plus de fenêtre de retour et je ne veux vraiment pas m'occuper du RMA de Gigabyte, donc si le RMA du CPU ne fonctionne pas, je vais devoir vivre avec ou le vendre et acheter une autre carte.
Étant donné que ce fil est un peu ancien (décembre 2023), je me demande si quelqu'un d'autre a eu ce problème et a pu le résoudre.
Merci.
Je teste actuellement un ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos) et au ralenti, avec l'écran et l'USB (souris, clavier) suspendus, l'indicateur de puissance affiche 6,7-8,1 W. Le reste du système :
- i5 13500
- 2 x 16 GB 3600 MHz (gear 1)
- 1 TB KC 3000
- RM550x 2021
- 2 ventilateurs de 120 mm à 450 tr/min
- codec audio activé
- WiFi désactivé
Arch Linux + module RTL8125 (mon routeur ne supporte pas EEE)
Avec la carte Realtek désactivée, l'indicateur de puissance affiche 6.4 - 6.7 W
États du PC avec LAN
C2 (pc2) 0,7%
C3 (pc3) 1,3
C6 (pc6) 41,1%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0 % C10 (pc10) 55,0 % 0,0 % C10 (pc10)
C10 (pc10) 55,8%
États PC sans LAN
C2 (pc2) 0,6%
C3 (pc3) 0,9%
C6 (pc6) 0,0%
C7 (pc7) 0,0%
C8 (pc8) 0,0%
C9 (pc9) 0,0 % C10 (pc10) 97,6
C10 (pc10) 97,8%
J'ai obtenu des résultats similaires sur un B660 AORUS MASTER DDR4 (16+1+1).
J'ai récemment acheté un i3-13100 (4+0) et un i3-13500 (6+8) pour tester les affirmations de "E-core overhead" que j'ai vues en ligne. Je suis heureux d'annoncer que la consommation d'énergie au repos est identique pour ces deux puces ! Peut-être que le problème de consommation élevée est propre au i5-12400 C0, malheureusement je n'en ai pas un sous la main pour le tester.
J'utilise actuellement un quanta 1u que j'ai acheté sur ebay juste avant l'arrivée de covid et ses performances en single-core montrent vraiment qu'il a pris de l'âge. De plus, il tourne au ralenti à 80W >.<
J'aimerais partager mon expérience avec mon nouveau PC 12-14 W.
Je viens de construire un PC mini-ITX sans ventilateur. Le boîtier est également un refroidisseur passif - AKASA Maxwell Pro et à l'intérieur se trouve un AMD Ryzen 5600G (Zen 3, 65W TDP), Gigabyte B550I AORUS PRO AX (bios FB), 1x 16GB DDR4 (je prévois de passer à 2x32GB), 1x 2TB Samsung 980Pro m.2 SSD. Il est alimenté par une alimentation 12V AC/DC de AKASA (max. 150W) et une PSU Inter-Tech MINI-ITX 160 W.
12-14W de consommation en veille pour l'ensemble du PC sous Windows 10 (mesuré côté DC, le plan d'alimentation est équilibré, mais j'ai activé ASPM, Pstates et C-states dans le bios et l'économie d'énergie PCIe dans les paramètres avancés du plan d'alimentation de Windows).
En charge (Cinebench R23) 61-65W. Actuellement je fais du undervolting pour avoir une meilleure consommation d'énergie et de meilleures températures.
----------
mon petit laboratoire domestique & ; NAS a une consommation d'énergie en veille de moins de 2W ‼️
Je recommande l'Odroid H3 (H3+) avec BIOS 1.11 et Debian 11 + DietPi + kernel 6.0.0 (ou plus récent) + tweaks appliqués via powertop il a une consommation d'énergie au ralenti de seulement 1.2 - 1.5W (comparé à 2.7W pour RPi 4 - source) ⚡️(avec ma configuration : 1x 16GB RAM et 1x SATA SSD).
See: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif
La taille maximale de la mémoire est de 64 GB RAM et il a 1x port m.2, 2x SATA 3, et 2x LAN 2.5Gbps. Il est beaucoup plus rapide que le Raspberry Pi 4 et consomme moins d'énergie en veille. En charge, il peut consommer 20W (+dépend des appareils connectés).
Si vous avez besoin de plus de ports SATA, le port m.2 peut être étendu à 5x SATA en utilisant ceci : https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
Je me bats actuellement pour que mon nouveau NAS consomme moins de 40W au ralenti, sans disque de données, et je n'arrive pas à comprendre pourquoi il en consomme autant. Mon ordinateur de jeu consomme moins au ralenti.
C'est un Asrock H670M-ITX/ac avec un i3-12100, 8GB RAM, be quiet 400W PSU. A l'origine, j'utilisais un Kingston NV2 NVMe pour le système d'exploitation, mais j'ai découvert qu'en le remplaçant par un SSD SATA, la consommation au ralenti diminuait d'environ 10W (50W - > 40W).
D'après powertop, les cœurs entrent en C7 sans problème, mais le paquet refuse de quitter C2. Je ne sais pas si c'est important.
Je vais continuer à travailler dessus, avec votre article comme référence :)
Matt,
J'ai acheté la même carte mère (prime h770 plus d4) et un processeur similaire etc. J'ai pu atteindre 12-14w minimum. Je suis content de ça pour l'instant mais les 8w supplémentaires dus au fait que le package n'atteint plus le c8 sont très frustrants, avez-vous vu quelque chose de similaire dans votre construction ?
Plusieurs enquêtes ont montré qu'il s'agit d'un problème de lecteur avec RealTekLAN. Si vous téléchargez et installez les pilotes pour le chipset 8125 à partir du site de Realtech, vous pouvez atteindre c10 comme avant.
vous devriez envisager un autre PSU comme le Corsair RM550x (2021) ou le BeQuiet 12M 550W. Le Corsair est le meilleur pour les configurations à faible consommation, mais il est extrêmement difficile à obtenir. Il réduira la consommation d'énergie encore plus (2 à 4 watts).
Ce réglage et d'autres sont mentionnés dans ce sujet :
https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/
Malheureusement, il s'agit d'une modification intentionnelle du pilote Realtek contenu dans le noyau. Il garantit que L1 est désactivé sur pratiquement tous les adaptateurs Realtek, apparemment en réponse à un certain nombre d'adaptateurs Realtek rencontrant des problèmes de stabilité lorsque ces états de faible consommation sont activés. Sur mon système de test actuel, cela se traduit par une augmentation de la puissance de 4 watts au ralenti avec l'écran en veille, car le système ne descend plus en dessous de C3.
Essayer le pilote Realtek qui a été lié par Tseting est probablement la solution la plus facile pour l'instant, bien que je n'aie aucune idée de la façon dont il se comportera avec des versions de noyau non prises en charge et que je ne sois pas personnellement un grand fan des modules de noyau. Je vais le coller ici pour plus de commodité : https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
Il y a bien sûr une solution plus difficile - pour ceux qui sont familiers avec la compilation du noyau, inverser le changement dans le diff ci-dessus restaurera L1/L1. 1 sur les dispositifs RTL8168h/8111h, RTL8107e, RTL8168ep/8111ep, RTL8168fp/RTL8117, et RTL8125A/B (tous les dispositifs plus anciens l'avaient déjà désactivé) - si vous voulez autoriser L1.2, vous pouvez forcer rtl_aspm_is_safe() à renvoyer true, bien que sur mon système de test, cela n'ait apporté aucun avantage par rapport à L1.1.
À moins que les développeurs du noyau ne changent d'avis, il semble que les cartes réseau Intel soient la seule option viable pour l'avenir. Les cartes réseau 1G d'Intel sont généralement très solides. Il est inquiétant de constater que la désactivation de la carte réseau Realtek sur ma carte MSI ne la désactive pas complètement (elle est toujours bloquée à C3). Il peut donc être risqué d'acheter une carte avec une carte réseau Realtek en prévoyant de la désactiver et d'utiliser une carte d'extension réseau Intel. Il est intéressant de noter qu'à l'avenir, il existe un drapeau que les vendeurs peuvent placer sur un adaptateur 8125A/B pour indiquer que L1.2 est testé et autorisé, ce que le noyau Linux respectera, mais je ne sais pas s'il a été intégré à des cartes mères ou à des cartes d'extension.
Merci pour les informations détaillées que vous avez partagées.
Votre configuration m'a inspiré et j'ai acheté le "Prime h770-plus" avec la Ram DDR 4800.
Malheureusement, j'ai également des problèmes avec les SSD NVME lorsque aspm est activé dans le bios (et PCI express clock gating). Les solutions de contournement pour bloquer certains modes d'économie d'énergie des WD n'ont malheureusement pas aidé. J'ai essayé le SN750 (1tb) et le SN850X(2tb).
Pouvez-vous continuer à recommander la Crucial P3 ou est-elle régulièrement mise hors service en raison de problèmes ASPM ?
Qui a d'autres NVME sur la carte qui fonctionnent de manière fiable avec l'ASPM activé ?
Je pense que vous utilisez la configuration de manière productive en continu ?
De plus, j'ai constaté qu'une 840pro (256gb) empêche le système de descendre en dessous de C3 au moins sur SATA1. Un Crusial Force GT (128GB) fonctionne en revanche jusqu'à C8.
J'ai contourné le problème de la carte réseau Realtek en retirant la vérification dans le noyau.
Merci et meilleures salutations
J'ai maintenant essayé un Samsung 990 pro. Malheureusement, cela continue à provoquer les erreurs nvme aspm déjà connues.
Quelqu'un a-t-il d'autres idées ?
Le bloc d'alimentation ne peut pas être en cause (ce serait très étrange), car un Corsair cx 750 est utilisé temporairement.
Si tout cela n'aide pas, quelqu'un aurait-il une bonne alternative de carte ?
Je mets malheureusement trop souvent les pieds dans le plat en matière de matériel informatique ;-(.
"Je pense que beaucoup de maux de tête auraient pu être évités si vous aviez trouvé une carte avec plus de ports SATA !"
Ce n'est pas vrai par défaut - parce que cela dépend du contrôleur SATA utilisé et/ou de la façon dont ces ports sont connectés. Il y a de fortes chances qu'il utilise un contrôleur embarqué, et spécifiquement pour le N5105, il y a une variante NAS bien connue avec 6 ports SATA qui circule, vendue par Kingnovy et Topton.
La variante noire utilise JMS585 et la variante verte utilise ASM1166 - la variante noire est bloquée en C3 et la variante verte peut aller jusqu'à C8 (vérifié par moi-même car j'ai la variante verte). Si j'avais besoin de quelque chose de plus qu'un serveur de secours, alors j'opterais pour cette solution - avec un Intel beaucoup plus puissant sur LGA1700.
Un bon exemple de ce que l'on peut faire en matière de consommation d'énergie au repos est l'Odroid H3 - <2W au repos avec 2x HDDs via SATA en Spindown ... cependant dès que l'on ajoute de (mauvais) composants, cela s'accélère rapidement - vérifiez les stats de consommation d'énergie ici :
https://github.com/fenio/ugly-nas
TLDR : En fin de compte, il consomme plus d'énergie que votre construction ici - et je dois ajouter que j'ai précédemment possédé un Odroid H2, qui a grillé leur voie 5V et a entraîné les SSD (chers) avec lui ... depuis lors, je reste à l'écart pour le maximum absolu de la consommation d'énergie la plus faible dans des combinaisons exotiques comme l'Odroid H3.
Je dirais qu'en fin de compte, tout se résume à la praticité de l'ensemble par rapport aux niveaux de consommation d'énergie.
Cela dit, je suis impressionné par cette construction - 7W au ralenti avec un PSU de 750W, c'est quelque chose.
Je suis en train de mettre à jour mon serveur domestique du j3455 au 11400.
En changeant de matériel, j'ai trouvé un problème étrange :
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (dernier bios) +asm1166.
Si je démarre depuis l'USB sans aucun disque sata attaché, l'état du paquet C atteint c8.
Si je démarre en USB avec un disque SATA connecté au contrôleur sata embarqué, l'état du paquet C n'atteint que C2 (+4W).
Si je démarre en USB avec un disque SATA connecté à un contrôleur pcie asm1166, l'état du paquet c atteint c8.
Il me semble donc que le contrôleur SATA b560 a des problèmes d'économie d'énergie. Même si j'ai activé L1 pour tout et que j'ai lancé powertop tune, il ne descend pas en dessous de c2.
Est-ce que vous avez une idée de ce qui pourrait faire que le contrôleur SATA b560 consomme 4w de plus ?
En fin de compte, il pourrait être moins coûteux d'ajouter un autre ASM1166 à la place du contrôleur embarqué :D
C'est activé, j'ai aussi essayé avec désactivé, mais cela n'a pas changé la consommation d'énergie ou les C-States. (je le laisse activé pour l'instant)
Dans le BIOS, je peux spécifier si M.2_2 utilise SATA ou PCIE. Selon le BIOS et le manuel, SATA6G_2 n'est bloqué que si M.2_2 est réglé sur SATA.
Mais j'ai connecté l'ASM1166 dans M.2_2 et l'ai configuré en PCIE. J'ai confirmé que tous les ports SATA embarqués fonctionnent comme prévu avec ce réglage.
Le Hotplug est désactivé par défaut pour tous les ports. Je l'ai activé pour voir si cela changeait quelque chose, mais ce n'est pas le cas. Je le laisse sur Disabled pour l'instant.
J'ai démarré à partir d'un port USB et j'ai essayé différents périphériques : 2 SSD (Emtec et Samsung plus ancien), 2 disques durs 3.5" (WD et Seagate) et même 1 graveur de DVD LG.
Il semble que le type de périphérique connecté n'ait pas d'importance.
C'est toujours la même chose, dès que je connecte un périphérique via SATA, le C2 embarqué est au maximum.
Pour le vérifier, j'ai démarré à partir d'une clé USB avec des périphériques SATA connectés, puis je les ai tous débranchés pendant le démarrage.
Dès que le dernier périphérique SATA est physiquement déconnecté du système, il passe immédiatement en pc6 et en pc8 peu de temps après.
Lorsque l'on reconnecte tous les périphériques SATA, on reste en PC6/8 mais le dmesg ne reconnaît pas la reconnexion (très probablement parce que le hotplug est désactivé).
Je vais parcourir les logs de démarrage de dmesg, peut-être que quelque chose d'intéressant en ressortira.
-Je n'ai pas eu de problème avec la carte mère, mais j'ai eu un problème avec la carte mère.
-Le contrôleur sata fonctionne (testé avec l'adaptateur m.2-pcie&x16 du mobo et le slot m.2 d'un autre minipc)
Mais avec l'asm1166 connecté au slot m.2, rien ne s'affiche dans le bios ou le lspci.
Je ne sais pas comment procéder, mais je ne suis pas sûr que ce soit le cas.
Je ne sais pas comment procéder par la suite
https://youtu.be/-DSTOUOhlc0?t=254
De plus, une chose que je ne comprends pas en général, si j'utilise le serveur domestique comme NAS mais aussi comme routeur, est-ce que cela empêcherait d'atteindre des états c élevés au ralenti étant donné qu'il devrait toujours faire un peu de travail ? J'ai une connexion gigabit et j'utilise actuellement openwrt sur un pi4 mais avec qos activé je n'obtiens que la moitié de la vitesse de téléchargement.
Je vous remercie.
Pour ce qui est d'être un routeur, je ne suis pas sûr mais c'est quelque chose que j'espère tester dans les deux semaines à venir. Actuellement, j'ai le bon vieux ASRock/Intel J4005B-ITX qui fait tourner OpenWRT en tant que routeur mais la limite de la carte mère est C6 (bien qu'il passe 88-92% du temps dans cette position après le démarrage avec un trafic domestique typique, y compris un flux YouTube que j'ai testé à l'instant). Le tout est alimenté par l'un de mes vieux PSU Antec, et il fonctionne de manière fiable à une puissance constante de 10 watts.
Mise à jour 13 décembre : Juste pour suivre, j'ai fait quelques tests avec l'Asus H770 + i3-12100 + Intel i350-4T exécutant OpenWRT dans un conteneur systemd-nspawn exécutant privileged avec SYSTEMD_SECCOMP=0. Les résultats sont un peu désordonnés.
Sans rien faire, il serait en C10 90-95% du temps.
TEST A : Gestion d'un seul appareil regardant YouTube, 90% C10. Connecté à un trafic domestique très léger (irrégulier avec une moyenne inférieure à 3Mbit/s), il est resté en C10 pendant 80-90% du temps. En téléchargeant à partir d'un de mes serveurs web qui plafonne le débit à 4MB/s (environ 32Mbit/s), il est tombé à environ 50-60% en C10.
TEST B : Exécution de tests iperf à partir d'un VPS extérieur vers une machine locale (en transférant un port) :
- 0Mbps = environ 82% C10 (trafic domestique uniquement)
- 1Mbps = environ 73% C10
- 5Mbps = environ 61% C10
- 10Mbps = environ 58% C10
- 20Mbps = environ 30% C10
- 30Mbps = environ 12% C10
...il atteint 0 à un peu plus de 40Mbps.
TEST C : Il est intéressant de noter que le passage par le routeur entre 2 réseaux locaux (pas de NAT, juste un transfert) a donné des résultats différents :
- 0Mbps = environ 82% C10 (trafic domestique uniquement)
- 1Mbps = environ 82% C10
- 5Mbps = environ 80% C10
- 10Mbps = environ 74% C10
- 20Mbps = environ 70% C10
- 30Mbps = environ 64% C10
...il a atteint 0 à un peu plus de 70Mbps.
Comme je suis dans un conteneur nspawn, je n'ai pas pu essayer le software flow offloading dans la section firewall d'OpenWRT pour voir s'il atténuerait l'impact dans les tests A et B - il est tout à fait possible que le "flow offloading" qu'il effectue rapprocherait les résultats du test C. Il est également possible que l'IPv6 obtienne de meilleurs résultats dans les tests A et B en sautant la NAT, bien que l'impact des paquets plus petits mais plus nombreux puisse toujours jeter un trouble dans les choses.
Pour autant que je puisse en juger, la conclusion est qu'il existe un certain niveau de trafic que l'ordinateur peut gérer en tant que pare-feu tout en trouvant des occasions de dormir. Mais s'il est maintenu éveillé... d'autres options commencent à être attrayantes. Je viens de tester à nouveau l'Intel J4005 (branché sur rien d'autre qu'un moniteur) et il consomme 9-10W dans OpenWRT même si les C-States sont désactivés, et je soupçonne la série J5xxx d'être similaire (aucune idée pour le N100). Si vous avez besoin d'un peu de puissance, mon Ryzen 5600G fait 22-23W sur un LiveDVD Ubuntu avec les états C désactivés. Les deux commencent à être aussi attractifs l'un que l'autre dès qu'Alder Lake perd l'avantage de l'état C à mon avis.
Mise à jour 15 décembre : Bare metal, configuré Debian comme un routeur. Le TEST B était presque identique sauf que le temps en C10 était de +6% pour chaque élément - toujours un mur dur juste au dessus de 40Mbps. Les tables de flux n'ont pas aidé.
Le test C s'est déroulé un peu mieux, avec les chiffres finaux suivants :
- 70Mbps = environ 70% C10
- 75Mbps = environ 60% C10
- 80Mbps = 0% C10 (nous sommes au pied du mur)
Lorsque j'ai activé les tables de débit pour le test C, j'ai obtenu un peu plus :
- 80Mbps = environ 60% C10
- 85Mbps = environ 45% C10
- 90Mbps = 0% C10 (je me suis heurté à un mur ici)
TEST D : Pour tester l'impact d'un nombre croissant de connexions, j'ai lancé un client torrent et ajouté un certain nombre de torrents avec une vitesse de téléchargement globale plafonnée à 1MB/s.
- 0 connexion = environ 80% C10 (trafic domestique uniquement)
- 16 connexions = 36-39% C10 variable
- 32 connexions = varié 33-35% C10
- 64 connexions = varié 26-29% C10
- 128 connexions = varié 21-29% C10
- 256 connexions = environ 20% C10
- 512 connexions = environ 15% C10
- 1024 connexions = environ 5% C10
...J'ai essayé les tables de débit à différents endroits. Aucune différence positive.
J'ai fait quelques découvertes intéressantes au cours de ce voyage.
Tout d'abord, les tables de débit n'ont pas été d'une grande aide. Au contraire, les tests de vitesse en ligne semblaient atteindre moins de pics. C'est peut-être quelque chose de spécifique à l'Intel i350-T4 que j'ai utilisé (dans un Debian bare metal H770 et un OpenWRT bare metal J4005).
Deuxièmement, OpenWRT dans un conteneur n'a pas été une expérience agréable. J'ai eu des problèmes bizarres où certaines connexions étaient solides et d'autres difficiles. Peut-être qu'avec suffisamment d'ajustements et de cajoleries, il serait possible de le faire fonctionner sans problème. J'ai constaté qu'une VM consommait 2 à 2,5 % de CPU à temps plein sur une installation nue et qu'elle n'était pas facile pour les états C. Je n'ai donc pas cherché à aller plus loin.
Troisièmement, et c'est très obscur et probablement spécifique à l'ASUS H770 ou peut-être à ma combinaison de matériel ou peut-être même au noyau linux que j'ai utilisé... si la carte réseau Realtek intégrée était activée dans le BIOS mais n'était PAS activée (via un fichier systemd-networkd .network), le fait d'avoir une autre carte réseau installée et activée faisait que le système passait 50 % du temps en C3. Par "activé", j'entends même quelque chose d'aussi simple qu'un [Match]name=X avec le reste vide. J'ai essayé un i210, un i340 et un i350. Lorsque j'ai utilisé le i350-T4, j'ai remarqué qu'un élément SMBUS correspondant dans powertop avait également disparu après que j'ai désactivé le NIC embarqué et déplacé la carte vers le second emplacement PCIEx1. On a parfois l'impression qu'ASUS a quelques gremlins qui se baladent sur le bus PCIE.
J'ai suivi votre construction et j'ai acheté la même carte mère avec un cpu i3-13100.
J'ai un problème que je n'arrive pas à résoudre et je ne sais pas où / quoi chercher.
J'ai installé ubuntu 22.04 et essayé avec 23.04 mais le problème est toujours le même :
Chaque fois que j'essaie d'envoyer un ping à http://www.google.com, j'ai un problème Aussitôt que j'enlève mon clavier et ma souris :
- soit "ping sendmsg no buffer space available" avec les pilotes r8168
- ou "pcie link is down" avec les pilotes r8125
J'ai supprimé toutes les options de gestion de l'énergie que j'ai pu trouver.
J'ai essayé de brancher un autre périphérique usb.
Des indices ?
- Vérifier la sortie de "dmesg" pour tout événement associé.
- Voir si cela se produit lors du démarrage via le LiveCD 22.04/23.04 ou si c'est seulement après l'installation.
- Essayez Ubuntu 23.10 (je *pense* que la version release est livrée avec le noyau qui a désactivé ASPM sur le RTL8125) - soit le LiveCD, soit l'installation en fonction des résultats de #1.
- Essayez un autre jeu de ports USB, faites-en un à la fois pour déterminer si c'est le clavier ou la souris (ou les deux), essayez un clavier/souris d'une autre marque pour voir si cela fait une différence.
- Débranchez/rebranchez le câble réseau pour voir si le réseau se rétablit ou s'il est définitivement hors service.
- Désactivez la fonction "F1 pour erreur" dans le BIOS et essayez de démarrer le système d'exploitation sans brancher le clavier/la souris, puis voyez ce qui se passe lorsqu'il/elle est branché(e) et débranché(e).
- Si vous disposez d'une carte réseau PCIe (idéalement non Realtek pour ce test), voyez si elle souffre du même problème.
Peut-être que quelqu'un d'autre qui a rencontré le même problème répondra. Ce n'est pas une situation que j'aurais rencontrée car j'ai fini par laisser mon clavier branché (j'ai finalement opté pour un clavier sans fil qui ne craint pas d'être mis en veille par powertop). Il peut toujours s'agir d'un problème étrange avec du matériel défectueux.CPU : i5-12600K
PSU : Corsair RM750e
NVMe : Samsung 980 Pro
RAM : 2x16 GB DDR5
Système d'exploitation : Ubuntu 23.04 Server (sur USB)
J'ai initialement acheté un ASRock B760M Pro RS. Après avoir réglé le BIOS et même après avoir forcé l'activation de l'ASPM sur la carte Realtek, je n'ai pas pu descendre en dessous du PC-3. Ma consommation totale était d'environ 15 watts. Ce n'est pas terrible, mais cette machine est destinée à un nouveau serveur domestique qui fonctionnera 24 heures sur 24 et 7 jours sur 7, et je savais qu'elle pouvait être améliorée. J'ai envoyé un e-mail à ASRock, car leur BIOS ne définit pas explicitement les valeurs de l'état du PC, il a juste un tri-statut Auto, Enabled et Disabled, pour savoir s'ils prévoyaient d'ajouter un support et je n'ai pas eu de réponse. J'en ai donc terminé avec eux.
J'ai renvoyé l'ASRock et j'ai opté pour un ASUS Prime B760-M-A. J'ai configuré le BIOS et lancé powertop. ASPM L1 fonctionnait sur le Realtek sans changement de la part de l'utilisateur. J'étais à environ 11 watts. Après avoir débranché le câble DP et la souris sans fil USB KB/mouse, je suis descendu à 7,2 watts. C'est génial ! J'ai pu descendre jusqu'à PC10 et le système semble très stable. C'est assez incroyable de voir à quel point les ordinateurs de bureau ont progressé en matière de consommation d'énergie.
Je viens de faire un build avec un Asus Prime b760M d4 et j'ai eu exactement les mêmes constatations sur ma carte mère. J'ai contacté Asus pour voir s'ils avaient un retour concernant le slot pci/m2 connecté au cpu. J'arrive à C6 quand j'ai un intel I226-v dans le slot x16 et un samsung 970 evo dans le slot cpu m2.
Cependant, ma carte réseau X710-da2 doit être placée dans un emplacement x4 car si elle est utilisée dans un emplacement x16, l'état c ne va que vers c2/c3.
Je n'ai aucun problème avec ma carte réseau i226-v.
Mon cas d'utilisation était de construire un routeur 10 gigabits à faible consommation. J'utilise actuellement OPNsense, mais je vais peut-être passer à Vyos pour réduire la charge du système.
J'ai essayé avec
1. intel x520-da2(carte de chine), qui ne supporte pas l'aspm
2. melanox connectx4(carte de chine), qui supporte l'aspm mais n'autorise que le c3
3. randome i226 nic de chine - qui supporte aspm, mais ne peut pas activer aspm
Je ne suis pas sûr que vous puissiez me dire où vous avez acheté votre nic i226v, ni quel est le modèle exact.
J'ai utilisé celui-ci. https://www.aliexpress.com/item/1005005929535264.html
Je suis sûr que vous avez déjà entendu cela, mais je vous remercie pour vos articles instructifs et pour le temps que vous y consacrez.
Je suis 100% nouveau dans tout ça et c'est un peu accablant pour être honnête, mais l'idée de posséder un serveur est incroyablement attrayante. J'ai abordé tout cela exactement comme je l'ai fait lorsque j'ai commencé à construire des PC, un tas de vidéos youtube, lire un tas d'articles et se débrouiller en quelque sorte pour s'en sortir. En faisant des recherches sur la construction de serveurs, il est tout de suite évident qu'il faut savoir ce que l'on fait et la lecture de vos articles rend la chose encore plus évidente.
Je ne sais pas ce que vous pensez d'un serveur plex/jellyfin, toujours allumé, à faible consommation d'énergie, avec des capacités de transcodage complètes. Les gens ont l'air d'avoir une bonne ou une mauvaise opinion de produits comme Synology et QNap, ce qui me laisse perplexe. Merci encore une fois
Merci pour cet excellent article ! Cette année, je me suis construit un NAS de faible puissance pour remplacer mon QNAP TS-351 (Intel J1800) et un Gigabyte Brix J4105. Mes exigences étaient que ce nouveau système devait consommer moins d'énergie en moyenne que ces deux systèmes combinés et avoir des performances bien supérieures. Avec l'aide de vos (précédents) articles, du forum néerlandais Tweakers, du forum allemand Hardwareluxx, du forum unRAID et de quelques autres sources, j'en suis arrivé à ce qui suit :
- Intel i5-13500
- Gigabyte B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- be quiet ! Pure Power 12 M 550W
- 1x Toshiba MD04ACA50D 5TB (de mon NAS)
- 2x Toshiba MG07ACA14TE 14TB (de mon NAS)
- Crucial P1 1TB (NVMe)
- Samsung 980 1 To (NVMe)
- Crucial BX500 1 To (sauvegarde connectée via USB)
- Transcend SSD230S 2TB (SSD SATA)
- Disque Philips OEM USB2.0 (disque de démarrage)
Avec cette configuration, je fais actuellement tourner près de 50 conteneurs Docker avec diverses applications et bases de données et je peux atteindre 17W à partir du mur au ralenti. Tout a tourné et aucun service n'a été accédé, à l'exception de SSH. Ce dont je suis assez satisfait. Le paquet C8 peut être atteint, en particulier lorsque la plupart des applications ne font pas grand-chose ou lorsque je les arrête. Lorsque j'arrête tout, je peux atteindre 11W au plus bas sur unRAID.
Une autre chose que j'ai remarquée (et plusieurs autres) sur les Intel 600/700 est que l'utilisation de périphériques USB2.0 série comme les périphériques Zigbee ou Z-Wave augmentait considérablement la consommation d'énergie. Quelque chose comme 5-7W. J'utilise actuellement ser2net sur un Pi pour contourner ce problème. J'ai contacté Gigabyte et Intel mais les deux ont nié que c'était un problème.
J'utilise également des E-cores pour la plupart des applications, ce qui m'a permis d'économiser 1 à 2 W en moyenne. Il en va de même pour les processus système que j'ai tendance à déplacer vers ces cœurs avec taskset. Ce qui semble bien fonctionner.
En ce qui concerne le NIC Realtek, j'ai récemment essayé le pilote Realtek 'natif' qui est disponible dans le magasin d'applications, mais cela a complètement désactivé L1 pour moi. Il en résulte une consommation supplémentaire de 4W. Je suis revenu à celui du noyau et j'ai forcé L1 avec : `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` fonctionne.
Si vous avez des questions, n'hésitez pas à nous contacter. Nous vous souhaitons une excellente année <3 !
/sys/bus/pci/devices/$DEVICELOC/link/l1_aspm
- merci pour cela. Je viens de l'essayer avec le RTL8125 sur ma carte MSI et cela fonctionne très bien - c'est beaucoup plus facile de le configurer au démarrage plutôt que de construire un noyau personnalisé. Malheureusement, la RTL8168 sur l'ancienne Gigabyte H110N n'a pas l'air d'avoir ce paramètre sysfs exposé, donc elle continuera à recevoir le traitement du noyau personnalisé jusqu'à ce que j'aie la chance d'échanger avec un Intel i210 (qui malgré le fait qu'il soit 1Gbit est maintenant légèrement plus cher que l'Intel i225 2.5Gbit sur AliExpress).Comment se passe la stabilité de cette version jusqu'à présent ? Je pense prendre le même combo mobo cpu mais j'ai peur qu'il soit instable au milieu, ce qui irait à l'encontre de mon objectif de mettre à la retraite mon vieux système xeon.
Merci beaucoup,
Wojtek
Ma configuration :
I5-12500
Asrock B660M Steel Legend
64GB DDR4-3200 Corsair LPX
2 disques NVME (1 SK Hynix Gold P31, 1 TeamGroup)
Adaptateur ASM1064 PCI-Express 3x1 vers 4 SATA".
Carte réseau Realtek 2.5G
Ventilateurs 3x120mm.
Proxmox 8 avec le noyau Linux 6.5.11. Gouverneur Powersave activé.
J'ai essayé de tout réduire à l'essentiel et j'ai supprimé tous les périphériques de stockage et autres. J'ai désactivé l'audio embarqué, le nic realtek, et le contrôleur SATA ASM1062. En démarrant à partir d'une clé USB et en exécutant Powertop, il y avait ~50% C2 et ~50% C3. Jamais au-dessus. J'ai confirmé que tous les périphériques supportaient l'ASPM en utilisant LSPCI et j'ai activé tous les paramètres d'alimentation ASPM que j'ai pu trouver dans le bios. J'ai également cherché des paramètres d'overclocking sournois mais je n'en ai trouvé aucun d'activé. Dans cette configuration, la consommation d'énergie était de ~20W. L'ajout du contrôleur SATA ASM1064 et des disques NVME n'a pas fait de différence significative. J'ai lancé powertop --auto-tune à chaque fois sans effet notable.
J'ai ensuite ajouté un Nvidia 1660 Super GPU que je fais passer dans une VM Linux légère. Je lance alors les pilotes nvidia avec le mode persistance et nvidia-smi signale qu'il utilise ~1 Watts. Cela permet d'économiser ~10-20W.
En ajoutant ~8 disques durs (combo de disques Western Digital Reds et Seagate Exo), la machine tourne au ralenti à ~100W et passe 80% du temps en C2.
Je démarre ensuite ma VM principale et passe par les contrôleurs SATA. La consommation d'énergie augmente de 30 W pour atteindre 130 W et reste inchangée. Powertop sur l'hôte montre que le paquet n'entre jamais dans aucun état c. Je n'ai pas configuré d'arrêt de disque.
Je ne sais pas si je demande quelque chose, je partage juste mon expérience. Même si cela n'a pas fait une grande différence, j'ai certainement appris quelques choses.
Je pense migrer de la VM vers un conteneur Linux LXC sur l'hôte. Je me demande si la VM n'affecte pas d'une manière ou d'une autre la gestion de l'énergie. Merci encore pour cet article très détaillé et intéressant !
Corsair SFX SF450 Platinum
ASRock Z690-ITX
Corsair DDR4 2*16GB 3200 MHz
2 Samsung NVMe 980 Pro 1TB on board miniPCIe (ZFS Mirror)
1 Samsung EVO 870 2TB sur carte SATA (ext4)
I5-12400 stepping H0
Realtek 2.5G désactivé
1 ventilateur Noctua sur le CPU (92mm)
Proxmox 8.1 (1 Docker LXC fonctionnant avec plex)
Pas d'écran, pas de clavier, pas de souris
BIOS chargé avec les paramètres par défaut d'ASRock + Audio/Wifi désactivés, ASPM activé partout
Consommation en veille au mur = 18W
Powertop dit | Pkg C2 28%, C3 64% | Core CPU C7 97%
Quoi qu'il en soit, j'ai tout activé dans la page ASPM de ma carte mère (Asus Pro WS W680-ACE IPMI), la seule chose que j'ai remarquée et qui se réinitialise à Auto à chaque fois est l'Aspm natif (lorsqu'il est activé, il devrait ajouter le support ASPM OS), mais chaque fois que j'entre dans le BIOS, je vois qu'il est réglé sur Auto. Avez-vous une idée ?
Lorsque je lance cette commande, voici l'état actuel des périphériques :
En ce qui concerne le BIOS, je pense que "Native ASPM" Auto/Enabled aboutit probablement à la même chose de toute façon. Vous pourriez essayer de régler "Native ASPM" sur Disabled pour essayer de forcer les paramètres du BIOS sur le système d'exploitation, puis voir si "lspci" signale une amélioration sur l'une des 8 entrées qui indiquent actuellement "ASPM Disabled" - cependant, vous devriez probablement vous assurer que vous avez des sauvegardes externes juste au cas où le noyau l'aurait intentionnellement désactivé sur votre système pour des raisons liées à la perte de données. Je ne sais pas ce qu'utilise votre pont ASPEED AST1150, mais étant donné que l'ASPM semble être désactivé, je ne serais pas surpris que tous les périphériques en aval de celui-ci le soient également.
Lors du dépannage, il peut être utile de modifier un paramètre du BIOS à la fois entre le redémarrage et les tests. Si vous n'arrivez pas à faire en sorte que PowerTOP vous dise quoi que ce soit (même via quelque chose comme un DVD Ubuntu Live), votre meilleure option sera probablement d'utiliser un dispositif Kill A Watt pour mesurer l'impact de vos changements.
Que pensez-vous de la carte : ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail
Comme j'aurais 8 ports SATA, je n'aurais plus besoin d'une autre carte PCIe (jusqu'à nouvel ordre). En plus, le i5 12400F avec les HDD et SSD existants.
Dans mon ordinateur de bureau avec carte mère MSI, je n'ai aucun des paramètres C-State, d'économie d'énergie ou autres comme mentionné ici. Est-ce dû à MSI ou à la carte elle-même ? C'est un B450M PRO-VDH MAX (MS-7A38).
Je suis reconnaissant pour toute aide et tout commentaire :)
Je ne suis pas sûr de la carte mère B450M que vous avez mentionnée, bien qu'il s'agisse d'une carte mère AMD et que je n'ai que quelques cartes B550, donc je n'ai pas beaucoup d'expérience avec elles. Il se peut que vous disposiez d'un bouton basique appelé "Global C-State Control", mais il vous faudra peut-être fouiller dans tous les éléments du menu pour le trouver. En fonction du processeur, si vous utilisez Linux, les nouveaux noyaux de la ligne 6.x prennent en charge différents pilotes de mise à l'échelle de l'état amd_pstate, ce qui peut avoir un effet positif sur la consommation d'énergie.
Maintenant, un collègue a acheté un mini PC et a installé Unraid. Celui-ci est équipé d'un adaptateur m.2 vers SATA et dispose ainsi de 6 connexions SATA. Celui-ci serait également disponible avec 2x m.2, ce qui permettrait d'installer 2 cartes Ryzer.
https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/
La consommation, sans aucun réglage, est d'environ 9W au repos avec 2 dockers et 2x VM. 5 disques durs sont connectés.
L'idée est qu'il y a une unité centrale mobile derrière et que l'on trouve quelque chose de ce genre. Y a-t-il des expériences à ce sujet ? Les résultats ont l'air bons et la puissance devrait être suffisante.
Je m'attends à ce que les performances du processeur soient tout à fait correctes pour la plupart des tâches.
- Le mini-PC a sa propre alimentation et les disques durs sont alimentés par un deuxième Pico PSU de 160W. Comme boîtier, il a un boîtier NAS vide, mais les deux ventilateurs consomment à eux seuls 11W supplémentaires, il y réfléchit encore.
Mon idée était d'ouvrir le mini PC et de tout monter, y compris le disque dur, dans mon boîtier ATX. 1 ou 2 ventilateurs Nactua, fortement réglés à la baisse et utiliser l'alimentation avec un bloc d'alimentation ATX existant, en plus du Pico PSU pour le mini PC.
Matériel :
* CPU Alder Lake N6005
* Samsung 980 1TB
* 32 GB SO-DIMM
* Réseau 1 Gb/s
Logiciel
* Proxmox 8
* LXC Home-Assistant
* LXC Plex (transcodage matériel I915)
* LXC dokuwiki
* LXC fileserve (smbd, filebrowser, vsftpd)
* LXC Syncthing
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
etc.
FONCTIONNE 24 HEURES SUR 24, 7 JOURS SUR 7
Consommation mesurée au mur (la plupart du temps au repos) : 7 watts
===== J'ai aussi un 'pseudo NAS' fait maison basé sur un AsRock Z690 =====
* CPU I5-12400
* 2 NVMe 1TB
* 8 disques durs ZFS Raidz2
* Proxmox 8
* Réseau 2.5 Gb/s vers mon PC de bureau
Consommation mesurée au mur (la plupart du temps au repos) : 70 watts
FONCTIONNEMENT À LA DEMANDE
=== Switch 8 ports ===
Consommation : 8 watts
=== mon expérience actuelle ===
Pour un usage domestique, je ne souhaite pas faire fonctionner mon 'pseudo NAS' 24h/24 et 7j/7 mais seulement à la demande.
J'ai installé debian wakeonlan sur le NUC11, donc
Quand j'en ai besoin (que ce soit à l'horaire ou sur demande manuelle), je peux lancer
* wakeonlan [MAC-ADDRESS-Z690] pour réveiller le NAS
* systemctl suspend [PSEUDO-NAS-Z7690] pour mettre le NAS en mode veille
Tout cela fonctionne assez bien
Je travaille sur une interface graphique dans Home-Assistant qui surveillera également la consommation.
C'est le meilleur compromis que j'ai trouvé : NAS, faible consommation, domotique)
Puissance au repos : ~5.3 watts
Matériel :
* ASUS PRIME H610I-PLUS D4
* Intel Core i3-12100
* Crucial RAM 32GB DDR4 2666 MHz CL19 CT32G4DFD8266
* SAMSUNG 980 PRO SSD 2TB NVMe
* PicoPSU-150-XT
* Refroidisseur de CPU Noctua NH-L9i-17xx à profil bas
* Noctua NF-A8 PWM, ventilateur de boîtier
Logiciel :
* BIOS 3010
* Ubuntu 22.04.3 Server (à partir d'une clé USB)
Paramètres du BIOS :
* EZ System Tuning réglé sur : "Power Saving" (ce qui règle automatiquement tous les paramètres BIOS nécessaires)
* PL1/PL2 réglé sur 35/69 watts. (en raison de l'étroitesse du boîtier et de la faible puissance du pico-psu)
Paramètres du logiciel (définis à partir de l'écran de la console TV)
* powertop --auto-tune
* setterm -blank 1
Mesuré au mur avec un kill-a-watt. La lecture se situe généralement entre 5,1 et 5,5 watts. La mesure de la puissance est effectuée une fois que l'écran de la console s'éteint. L'état C du paquet est recueilli par ssh. Le processeur passe la plupart du temps dans l'état C du paquet C10 (~90%).
Quelques avantages de cette configuration :
* Très bonne puissance à vide
* Configuration BIOS simple.
* Emplacement PCIe 4.0 x16 pour d'éventuelles mises à jour/expansion (cependant, il semble que son utilisation pourrait nuire à la faible consommation au repos).
Quelques inconvénients de cette configuration :
* 1GbE vs 2.5GbE
* Le picoPSU a un connecteur d'alimentation à 4 broches, la carte veut un connecteur d'alimentation à 8 broches (des recherches sur internet indiquent que c'est correct pour les situations de faible consommation).
* Un seul emplacement M.2. Mode PCIe 3.0 x4
Je voulais 2.5GbE. Quand j'aurai atteint la masse critique dans la maison pour le 2.5GbE, je jouerai probablement avec une carte 2.5GbE dans l'emplacement PCIe 4.0 x16.
Autres informations :
* Le réglage magique "Power Saving" du BIOS n'a pas activé "Native ASPM". Cependant, l'activer n'a pas fait de différence.
* La désactivation du module WIFI/Bluetooth dans le BIOS n'a pas fait de différence.
OS : Unraid on USB
PSU : RM850x (2021) car elle est très efficace à faible charge.
Disques : ajout de 2x12TB WD Red Plus NAS Drives à côté des NVMe
RAM : 1x32GB 3400MHz DDR4 (récupéré du PC actuel)
Ventilateurs : Ventilateur CPU Intel + ventilateurs du boîtier Fractal Node 304 à basse vitesse.
La consommation en watts mesurée par mon onduleur est de ~21W, avec les ISO Linux sur un disque dur et l'autre disque en mode veille. Il est clair qu'ils ajoutent beaucoup de puissance à la construction. J'ai réglé le disque de parité pour qu'il ne tourne que lors de la synchronisation du cache nvme avec le disque de données une fois par jour (du moins, c'est ainsi que je prévois qu'il fonctionne...), et le CPU est suffisamment rapide pour regarder des films sous licence Creative Commons. En tout cas, 21W c'est bien pour ma première seedbox :D
Cette feuille de calcul sur l'efficacité des PSU devrait être utile pour les gens ici ! Les données sont tirées de cybernetics :
https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
J'ai réussi à faire fonctionner l'asmedia 1166 sur le slot pcie x16 et à utiliser le slot m2 connecté au cpu et à atteindre le c8.
J'ai dû modifier le bios Asus pour avoir accès aux paramètres du port racine. J'ai désactivé le Multi-VC sur le root port 1 et je peux maintenant utiliser le slot x16 et j'arrive à l'état c8 du paquet cpu. J'arrive aussi à c8 en utilisant le slot m2 connecté au cpu en même temps.
Etapes simplifiées :
Désolidarisation du BIOS de la carte mère
Dump bios avec un programmateur ch341 3.3v
Modifier le BIOS avec l'éditeur UEFI opensource et les paramètres du port racine "non caché".
Flashage du BIOS
Resouder la carte mère.
Ma carte mère est une ASUS PRIME B760M-A D4, mais cela devrait être la même chose sur Prime H770-Plus D4.
Il faut remercier le support Intel pour avoir suggéré de désactiver le Multi-VC, je ne l'aurais pas fait moi-même.
CPU : i5-14500
MB : Asus Z790-P D4 (Je l'ai eu en retour d'un client pour le même prix que le H770-P D4, et comme vous l'avez dit il a un PCIe 4.0 x4 supplémentaire)
RAM : 4x 8Gb (pas de XMP) => ; sera remplacé par 2x 32Gb
NVMe : Sabrent Rocket 1TB PCIe 3.0
PSU : Seasonic Focus GX-550
Ceci a été testé sur TrueNas Scale 23.10.2 et Ubuntu Server 23.10. Pour les deux, j'ai pris le pilote Realtek.
Quelques observations :
Oui, j'en suis sûr. Lorsque j'ai connecté mon dongle Logitech MX Keys usb2.0 sur la carte mère, la consommation d'énergie sur l'étui est passée de 10,5 à 15-16W. Si je me souviens bien, cela perturbait les états C du CPU (c'est-à-dire qu'il n'entrait plus en C6, C8).
Je n'ai testé qu'avec des périphériques USB2.0 sur les ports attachés à la carte mère (sur l'E/S arrière). Les périphériques USB2.0 n'ont même pas été reconnus dans les ports non USB2.0.
Ma théorie est que le BIOS et/ou les pilotes du contrôleur USB sont en cause. Comme je n'utilise aucun type d'USB dans le cadre de mes activités normales, je n'ai pas poussé plus loin mes recherches. Je suis maintenant de retour sur TrueNas et il est coincé avec powertop 2.14 qui ne supporte pas mon CPU, donc le rapport d'état C est cassé.
Pour info, j'utilise la version 1611 du BIOS et Intel ME 16.1.30.2307v4.
Pour ce qui est des autres tests :
Félicitations pour cet article bien documenté qui a demandé beaucoup de temps. C'est la meilleure source que j'ai pu trouver sur le web à ce sujet, notamment en ce qui concerne le contexte technique. J'ai pris le train en marche et je vais en parler ;-)
Il reste une petite question : Y a-t-il une indication précise de la mémoire Kingston HyperX utilisée ? Quel est le rôle de la RAM dans la consommation d'énergie ?
Merci encore et salutations,
Michael
Reste la question de savoir quels disques durs permettent le C10. Il y a vraiment peu de choses sur le net. Avez-vous de l'expérience avec les disques Seagate Exos 3,5" ? Les Toshiba semblent fonctionner. Merci
Est-ce que c'est une loterie de savoir quel stepping de 12400 j'obtiendrai lorsque j'en achèterai un dans le commerce ? J'ai entendu dire que le stepping C0 consomme plus au ralenti que le stepping H0.
Je voudrais aussi savoir si le 12600 peut être une bonne alternative ?
J'envisage le 12600 car il a un iGPU plus puissant que le 12400. Les deux CPU sont 6P cores +0E cores.
Savez-vous si le 12600 a aussi des steppings différents ?
Ton article et les commentaires sont un vrai trésor. Merci à tous ceux qui y ont tant contribué. J'aimerais partager brièvement mon expérience :
ASUS Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus
Sans clavier ni HDMI
Powertop 2.14 (--auto-tune)
Ubuntu Server 23.04 Kernel 6.2.0-20 (nouveau, pas de mises à jour) :
6-7 watts (principalement C10)
Remarque : si HDMI est connecté (+2-3 watts) et récepteur Logitech MX Bluetooth +4-5 watts = 7-8 watts pour fonctionnement headless)
Mise à niveau supplémentaire 2xSamsung EVO 970 : 7-8 watts
Mise à niveau supplémentaire 4xSeagate X20 : 9-10 watts (mode veille)
Mise à niveau 2x14mm ventilateurs : 12-13 watts (niveau le plus bas)
Près de 13 watts avec 2xNVME et 4x3,5" n'est pas une mauvaise valeur (C10 à 90%).
Après une mise à jour du noyau à 6.2.0-39, C10 n'est plus possible, le système ne va que jusqu'à C3 et consomme 21 watts.
Manifestement associé à Realtek. La définition manuelle de
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42
mais, heureusement, ramène à l'état C10 et donc à 12-13 watts.
Comportement similaire avec Ubuntu Server 23.10 Kernel 6.5.x 16-18 watts (principalement C3) ...
J'ai essayé Unraid (6.1.74) à titre d'essai. Le système n'est pas aussi économe, il est bloqué à 16 watts, même après avoir défini manuellement les états ASPM via setpci (voir ci-dessus) ... Ubuntu a quelques watts de moins, il faut encore faire quelques recherches.
En tout cas, la construction et les recherches ont été très amusantes, l'ancien Synology consomme beaucoup plus que le nouveau système.
Merci encore à Matt et à tous les autres.
Mon ASRock B760M Pro RS/D4 se bat avec 13500 c-states (maximum c3) et 20w au ralenti avec un proxmox propre.
J'ai testé avec Arc a380 et aucune des recettes d'internet n'a fonctionné, elle consomme 20w au ralenti :facepalm :
Je ne sais pas si c'est le cas, mais je ne sais pas si c'est le cas, mais je ne sais pas si c'est le cas,
Il serait parfait que mb supporte aussi la bifurcation pcie (x8x4x4)
J'ai une question à poser. Y a-t-il une différence de consommation d'énergie entre le H610, le B660 et le B760 ? De plus, si je connecte un GPU à PCIe, est-ce que je n'aurai qu'un état C2 inefficace ?
En résumé, j'ai un problème avec le premier slot PCI qui réduit les états C à 2 avec un GPU installé. Sinon, avec 2 x Lexar 1TB NVMEs et 64 GB de mémoire, je vois une consommation d'énergie aussi basse que 4.5-6W avec le 12600k, ce qui est étonnant.
J'ai l'intention de construire un système ITX basé sur un i3-12100 avec la puce asm. J'ai bien compris que l'utilisation de l'emplacement x16 pci obligera le système à rester en C2.
Mais est-ce que le fait d'utiliser 8 disques durs, 2 disques durs et un nvme (chipset) rendra l'atteinte de Cstates élevés un peu inutile ?
Je suppose que vos tests de puissance ne montrent que l'asm dans un emplacement non connecté au processeur. Il semblerait que j'économiserais environ 20W en atteignant des cstates plus élevés avec mon cpu ? La capacité inactive des disques durs et donc les économies d'énergie ne sont pas liées aux états C ?
Les économies d'énergie des disques et les économies d'état C ne sont pour la plupart pas liées : Je dis principalement parce que certains disques NVMe, certains disques SSD et même certaines configurations SATA semblent inhiber les C-States. Mais les économies d'énergie réalisées en faisant tourner un disque dur physiquement vers le bas (plutôt que vers le haut) devraient être complètement indépendantes de tout ce qui se passe dans le système en termes d'énergie, y compris les états C.
J'ai un peu peur que même si je force l'ASPM à être activé, cela puisse causer d'étranges problèmes de stabilité. Je suppose que les cartes 1GbE sont encore le seul choix sûr pour être certain que la gestion de l'énergie fonctionnera correctement avec Linux.
Merci pour cet excellent article. J'utilise la même construction et j'obtiens des états C10 en utilisant les deux emplacements M2 inférieurs avec des Samsung 970 EVO. Ce qui me dérange, c'est la température. L'emplacement de gauche a constamment des températures inférieures de 15 degrés Celsius. J'utilise des dissipateurs de chaleur BeQuiet. J'ai cherché sur Google mais je n'ai pas trouvé d'indice. Quelqu'un a-t-il observé un problème similaire ?
Merci beaucoup Michael
Asus Prime H770 Plus D4, I3-12100, 2x32 Go Corsair Vengeance LPX 2666MHz RAM, taisez-vous ! Pure Power 12 M (550 W), disque NVME WD blue SN570 512 Go, Supermicro AOC-SG-I2 double port GbE, refroidisseur de processeur be quiet Pure rock slim 2
Après avoir forcé ASPM sur le pilote Realtek, ce qui semblait poser des problèmes même s'il était désactivé, je peux brancher le WD blue dans le slot Gen 4x4 NVME et le Supermicor dans le slot Gen4x4 PCI-E, sans que le package matériel ne reste en C3. Avec Proxmox 8.2, j'obtiens environ 60 % de temps sur C8 pour le package matériel, 98 % sur C10 pour le processeur et 96 % sur C7 pour le Core (HW), ce qui entraîne une consommation électrique d'environ 8 à 9 W, mesurée au mur. Tout cela après avoir appliqué tous les paramètres d'économie d'énergie standard du BIOS et exécuté powertop --auto-tune, ainsi que la configuration de L1 ASPM sur Realtek via la ligne de commande.
Tout ce que je vois, ce sont de courts pics, où la consommation monte jusqu'à 15 W, pour ensuite retomber à 8 W, lors du fonctionnement de Powertop. J'ai donc 2 emplacements supplémentaires pour les lecteurs MVME ou des endroits où je peux ajouter du NVME -> 6x cartes adaptateur SATA (avec chipset ASM1166).
Je peux également confirmer qu'après avoir configuré ASPM sur la carte réseau Realtek, d'autres cartes ne provoquent plus C3 sur le package. Si quelqu'un souhaite une option moins chère que le Supermicro, la "carte double NIC 10Gtek avec chipset Intel 82576" fonctionne également très bien.
Je n'ai pas eu de réponse à ma question, mais j'ai eu l'occasion d'en avoir une.
J'ai un projet de construction d'un nas pour zfs (raidz2) avec 6 ou 8 disques + serveur plex.
Je cherche un boîtier tour / une carte mère pour i5-14500t (plex igpu transcode) avec au moins ddr5 (il y a une correction d'erreur checksum mais pas aussi bien que ECC) ou peut-être un mobo avec ddr4 avec ecc un-buffered (supporté).
La raison pour laquelle j'ai trouvé votre article en premier lieu est que j'ai expérimenté l'ASPM sur un système de bureau et que j'ai constaté qu'il ne m'a permis d'économiser qu'un misérable 2 watts d'énergie, votre article indique que quelque chose ne va pas avec mes résultats et que je dois peut-être creuser davantage, malheureusement presque personne ne donne de chiffres d'économie d'énergie pour des choses spécifiques. Je pense que votre article suggère que le plus grand gain de l'ASPM est qu'il permet au CPU d'entrer dans un état d'économie d'énergie profonde, donc je soupçonne que c'est là que se trouvent mes problèmes. Je m'y intéresse également parce que, comme vous, j'utilise des composants de bureau pour faire fonctionner une plate-forme de stockage que j'aimerais voir consommer le moins d'énergie possible.
Il est également intéressant de constater que vos disques durs ont une consommation au ralenti aussi faible.
J'ai apporté deux disques seagate ironwolf, ce que je regrette, la consommation en veille de ces disques est de 8w (lorsqu'ils tournent), bien qu'en veille ils soient inférieurs à 1w. J'ai ensuite apporté des disques WD helium de 12 To qui consomment moins de 4 W en veille lorsqu'ils tournent. Leur consommation est similaire à celle des disques Seagate lorsqu'ils sont en veille.
D'autres problèmes avec les deux disques seagate sont (a) si une commande est envoyée au disque, par exemple une requête SMART, ils se mettent en marche, ce qui est un comportement très étrange que je n'ai jamais vu sur un disque auparavant, même une requête sur leur état de veille avec les outils seagate les met en marche, les disques WD attachés à la même carte contrôleur ASmedia n'ont pas ce comportement. De même, le mode de rotation plus lent qui, je pense, correspond à l'état idle_c, ne fonctionne pas sur mes deux disques Seagate. TrueNAS, le logiciel que j'utilise, envoie une requête SMART toutes les 5 minutes pour la fonction de surveillance de la température qui est difficile à désactiver, et qui est une fonction globale on/off uniquement. J'ai fini par patcher manuellement le code pour pouvoir blacklister les deux disques Seagate de la surveillance de la température, et aussi pour que les contrôles de santé SMART soient ignorés si les disques sont en veille.
En gardant cela à l'esprit, ma consommation d'énergie est horrible comparée à la vôtre, le système fonctionne sans tête, 4 spindles, 3 SATA SSD et 1 NVME SSD, et au ralenti sa consommation est d'environ 48W, et d'environ 34W lorsque tous les spindles tournent à vide. Il y a 3 ventilateurs dans le système,
J'ai également des observations intéressantes concernant le NVME.
Dans mes systèmes, j'ai constaté que les disques NVME étaient toujours beaucoup plus chauds que les SSD SATA, et généralement plus chauds que les spindles actifs. Dans un NUC, j'ai dû recourir au refroidissement actif car le NVME atteignait la limite de 70°C, même au repos. Comme vous, j'ai découvert que ces appareils sont un peu partout en ce qui concerne les états d'alimentation.
J'ai découvert, par exemple, que sous Windows, l'ASPM semble n'avoir aucun impact sur les 3 disques NVME du système. L1 et L0s n'ont aucun impact sur les températures. J'ai un Samsung 980 Pro, un WD SN850X, et un PCI express Intel DC P4600 qui a son propre dissipateur thermique.
Le DC P4600 est toujours en dessous de 30C et n'est pas affecté par le mode ASPM.
Le WD SN850X tourne dans les 40°C en fonction de la température ambiante et n'est pas affecté par le mode ASPM.
J'ai également testé un WD SN570, et il se comporte de la même manière que le SN850X. Il n'est pas affecté par le mode ASPM et tourne au ralenti à environ 45C.
Enfin, le 980 Pro n'est pas non plus affecté par l'ASPM, mais je peux déclencher des états d'alimentation plus faibles avec ce disque, qui tourne au ralenti à une température très élevée d'environ 54-60C.
Ainsi, Windows dispose de paramètres d'alimentation cachés qui vous permettent de jouer directement avec les états d'alimentation NVME. Le Samsung 980 Pro baisse d'environ 7-8C s'il est dans le premier état d'économie d'énergie NVME, ce qui, bien qu'apprécié, reste mon disque NVME le plus chaud et bien plus chaud que mes disques SSD SATA qui tournent dans les années 20. Il est intéressant de noter que le deuxième mode d'économie d'énergie ne permet qu'une baisse supplémentaire de 1 à 2°C.
Les disques NVME de WD semblent ne pas supporter un état d'économie d'énergie plus profond, d'après divers commentaires et rapports sur le net. Heureusement, mes disques WD ne chauffent pas autant que mes disques Samsung.
Je possède également un 970 EVO qui tournait au ralenti à environ 65°C, je l'ai fait descendre à 40°C en le plaçant dans un adaptateur PCIe NVME avec un gros dissipateur thermique, donc mon expérience des disques Samsung n'est pas excellente en ce qui concerne les températures. J'ai décidé de ne pas être un fan des disques NVME, ils fonctionnent à chaud pour moi et ont une puissance au ralenti très élevée par rapport aux disques SSD SATA, et pourtant vous semblez les craquer.
MSI et ASRock ont tous deux une carte mère z790 mitx avec 3 emplacements m.2... Deux d'entre eux sont connectés au chipset. Cela vous permettrait d'avoir un adaptateur m.2 vers sata, un disque nvme et d'éviter les slots cpu-pcie/cpu-m2. Les deux cartes sont dans la gamme des 250-300$, donc le rapport économie d'énergie/coût en prend un coup.
En ce qui concerne le CPU et la carte mère, la 12ème génération Intel commence vraiment à perdre ses avantages si elle n'est pas capable de passer beaucoup de temps dans les états C6-C10 (et malheureusement il n'y a aucun moyen de savoir si vous atteindrez ces états jusqu'à ce que vous essayiez). Mais en général, pour un système qui va être modérément chargé 24/7, je commencerais personnellement à graviter plus vers AMD à ce stade.
Je me demandais si par hasard vous aviez envisagé la version CSM du ASUS Prime H770-Plus D4. D'après ce que j'ai compris, CSM en combinaison avec un i5 comme 12500 ou 13500 devrait permettre les fonctionnalités vPro Enterprise, qui à leur tour sont censées apporter des capacités de gestion à distance de type DASH, KVM/IPMI. DASH n'est de loin pas aussi puissant qu'une solution BMC ASPEED AST2600 complète, qui consomme généralement 5 à 10 W supplémentaires.
Dans le même temps, CSM est également censé apporter une stabilité digne d'une entreprise, ce qui pourrait signifier moins d'options BIOS pour le réglage des états C et ainsi de suite.
En jetant un coup d'œil rapide à la page produit, la seule différence que je vois entre le modèle CSM et le modèle non CSM est l'accès à l'ASUS Control Center Express. La page des spécifications techniques de la variante CSM est identique, à l'exception de l'ajout de "1 x ACC Express Activation Key Card". Le manuel est identique, aucune caractéristique distinctive n'est mentionnée. J'ai téléchargé les deux BIOS (1663) et les sommes de contrôle étaient identiques, bien que je suppose que les caractéristiques peuvent être inversées via des drapeaux.
Je ne serais pas surpris que les caractéristiques/fonctionnalités/BIOS soient toutes exactement les mêmes, à l'exception des fonctionnalités fournies par le logiciel ACC Express. Mais il n'y a aucun moyen d'en être sûr, si ce n'est d'essayer.
Le système peut atteindre c10 sans le 9600. La carte n'est pas encore préparée, donc je ne l'ai pas insérée.
Ce qui est vraiment nul sur la carte, c'est la vitesse minimale du ventilateur de 20%. Et je ne sais pas pourquoi, mais ma consommation minimale est de 11,5W avec le X710-DA2. Je vais changer le refroidisseur de cpu pour un passif. Peut-être un autre watt de gagné.
Juste une info pour les autres intéressés par le X710-DA2 : pas de WoL, du moins pour moi. Le Patching de ce truc est un PURE cancer - faites-le en EFI. Ce truc devient CHAUD en mode actif. Il faut soit le refroidir activement, soit changer de dissipateur. J'ai opté pour cette dernière solution. Tourner la carte avec un kit pcie pour la mettre à l'horizontale. J'ai mis un https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7 donc je possède aussi un dremel. Vous devez faire en sorte que la carte tienne sur le mobo avec des entretoises. Indice : efi shell seulement avec un efi fait maison. Il n'y a pas d'autre solution que d'ouvrir le mobo.
Je ne sais pas si vous connaissez des cartes m-ATX ou itx pour le même processeur ou l'i3-12ème génération, mais je ne sais pas si vous connaissez des cartes m-ATX ou itx pour la même puissance.
- ASUS PRIME H610I-PLUS D4 (ITX, DDR4, mais 1G Realtek ethernet pourrait être un pari important)
- ASUS PRIME H610M-A D4-CSM (mATX, DDR4, 1G Intel)
- ASUS PRIME Z790M-PLUS (mATX, DDR5, 1G Intel)
Il n'est pas surprenant que j'aime beaucoup le 1G Ethernet d'Intel sur les 2 derniers.Pour être clair, je n'ai essayé aucun de ces modèles : je suppose que le BIOS, etc. serait probablement similaire à celui du H770-PLUS D4 et que je serais capable de reproduire le résultat. Mais je n'en suis pas certain. Le Z790M-PLUS embarque 4xPCIe et 3xNVMe - en supposant que la DDR5 ne pose pas de problème, c'est probablement celui vers lequel je graviterais. Cependant, je soupçonne que le petit dissipateur thermique du chipset pourrait avoir besoin d'un certain flux d'air.
Il pourrait y avoir beaucoup d'autres options convenables, y compris en dehors de la série PRIME, et en dehors d'ASUS. Historiquement, Gigabyte a toujours été mon choix. Cela n'a tout simplement pas fonctionné pour moi cette génération.
Configuration :
- ASUS PRIME H610M-A D4-CSM
- i3 12100 avec refroidisseur Intel
- Samsung 970 Evo Plus 1TB comme disque de démarrage (sur le premier slot M.2)
- Mushkin 2x 16GB DDR4 3200
- Be quiet M12 550
- Debian 12 minimale
J'ai transféré les réglages du Bios de Matt sur la carte mère mATX !
Mesure au mur (Fritz Dect 200) = 6,4 Watt (au ralenti)
Avec un PicoPSU-90 j'ai pu atteindre 5,7 Watt (mais une consommation beaucoup plus élevée en mode WOL-Standby !)
Merci pour votre excellent travail, sans vos instructions sur le Bios, il me faudrait des mois pour arriver à un état de faible consommation...
Je suis également à la recherche de cartes mères mATX pour un serveur domestique très efficace. J'ai juste une contrainte supplémentaire, celle de le construire dans un boîtier à refroidissement passif (HDPlex H3).
Cela rend mon choix de carte mère un peu difficile, car - comme il semble -, je dois choisir entre deux cartes mères :
Asus Prime Z790M Plus
+ Intel 1G Ethernet
- refroidissement VRM un peu petit et fragile
Asus TUF B760M Plus II
+ moins chère dans mon pays de beaucoup
+ dissipateur plus volumineux
- Ethernet 2.5G Realtek
Je penche actuellement pour le TUF, car il est plus facile d'ajouter un Ethernet que de renforcer le dissipateur thermique du VRM, mais je voulais avoir votre avis sur le fait que le contrôleur Ethernet 2.5G Realtek est un obstacle.
Merci d'avance !
Cela dit, en fonction du processeur que vous prévoyez d'utiliser, le refroidissement VRM peut ne pas avoir d'importance. Le H770-PLUS que j'ai utilisé n'a même pas de refroidisseur VRM sur les VRM supérieurs. J'ai ajouté quelques petits dissipateurs au mien, mais ils n'étaient pas vraiment nécessaires car les VRM ne chauffaient pas beaucoup au départ.
Mon plus grand souci avec le refroidissement passif serait le dissipateur thermique du chipset car il peut devenir extrêmement chaud lorsque le chipset envoie beaucoup de données. Le TUF GAMING B760M Plus II semble avoir le même que le Prime Z790M Plus (juste en noir et tourné). Il n'y a probablement pas grand-chose à faire ici, à moins d'enlever le dissipateur thermique et de faire du modding pour éviter la garantie.
Cela dit, si vous êtes prêt à faire les efforts nécessaires pour obtenir de bons états C, la Realtek 2.5G n'est pas nécessairement un obstacle. Cependant, je m'assurerais d'acheter auprès d'un revendeur ayant une politique de retour facile, juste au cas où le problème serait plus important qu'espéré.
Je ne sais pas s'il s'agit d'une unité défectueuse ou d'un défaut de conception, mais je ne prendrais pas le risque d'acheter cette carte dans un magasin qui n'offre pas une politique de retour de 30 jours. L'assistance ASUS a été totalement inutile, tout comme la garantie dans des cas comme celui-ci.
CPU : i7-14700
Carte mère : Asus Z790-P WIFI (2.5G LAN connecté)
RAM : 96GB DDR5 (2x32GB + 2x16GB)
NVMe : Samsung 970 EVO Plus 1TB
BLOC D'ALIMENTATION : Corsair RM750x
La consommation électrique a été mesurée sans moniteur.
Quelques observations :
---- importance du PSU ----
1) J'ai commencé avec une alimentation Seasonic Focus 1000w et la consommation était de 14.4w. Le passage au Corsair RM750x a conduit à une réduction de puissance de +4w. Le RM750x a un rendement de ~80% à 20w, ce qui signifie que mon Focus 1000w original doit avoir un mauvais rendement à 20w (10.1*0.8/14.4=56%) ! Donc, les gens, s'il vous plaît, pensez à investir dans une meilleure PSU (référence : RM750x chiffres dans cette fiche : https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14 ne supporte pas les CPU Intel 13/14Gen (il n'affichait initialement que les états C3). J'ai dû compiler la dernière version de powertop 2.15 et cela m'a permis de voir les états C6-C10.
---- Contrôleur SATA embarqué problématique de l'ASUS Z790-P ----
3) une observation surprenante est que si j'attache un SSD à l'interface SATA embarquée, l'état c du CPU ne va que jusqu'à C6 (pas de C8, pas de C10 du tout). Cependant, si je connecte le même SSD à une carte PCIe-to-SATA ASM1166, je peux atteindre C10. Cela semble suggérer que le contrôleur SATA embarqué de cette carte mère ne supporte PAS correctement l'ASPM (la sortie "lspci -vv" du contrôleur SATA embarqué ne montre PAS de capacité ASPM).
---- Coût de l'ajout d'un GPU ----
4) L'ajout d'un GPU Nvidia GTX 1050 Ti a entraîné une augmentation considérable de 16w au ralenti. J'ai vite réalisé que les watts au repos du GPU nvidia peuvent être réduits avec une optimisation "nvidia-smi --persistence-mode=1", avec laquelle les 16w deviennent 8w (GPU performance mode P8). Cependant, cela représente encore 80% de mes 10,1w en mode veille sans GPU. Cela ne vaut probablement pas la peine de laisser le GPU en place. Une recherche plus approfondie montre que le GPU lui-même ne consomme qu'environ 3w au repos, mais qu'à cause du GPU, les états C du CPU sont maintenus à C6, d'où la différence de 8w (avec GPU vs. sans GPU).
5) la consommation d'énergie a encore augmenté de 6w lorsque j'ai attaché le GPU à l'emplacement PCIe rattaché au chipset (initialement il était dans l'emplacement PCIe rattaché au CPU). Oui, avec toutes les optimisations, le GPU ajoute 8+6=14w si vous l'attachez à l'emplacement du chipset de cette carte mère. J'ai remarqué que l'état C est passé de C6 max à C3 max, ce qui est probablement la source des 6w supplémentaires.
Dans l'ensemble, je suis satisfait du résultat et c'est une expérience amusante. J'aimerais vraiment ajouter un GPU (par exemple pour des tâches liées à la photo), mais c'est trop cher en termes de consommation d'énergie. Quelqu'un a t-il de l'expérience avec un GPU sur un serveur basse consommation ? Existe-t-il des moyens de libérer l'état c du CPU pour qu'il puisse atteindre C8/C10 ? Notez que je parle de la consommation d'énergie au repos (le GPU n'est pas utilisé pour la sortie graphique, et n'est pas connecté à un moniteur).
Je suis surpris que les chipsets AMD aient pris autant de retard en matière de consommation d'énergie. Je regrette le bon vieux temps où il y avait plusieurs bonnes options pour les cartes mères mini-ITX avec les premiers APU AMD et où il y avait un effort concerté pour que l'ensemble soit à faible consommation d'énergie.
Je viens de voir que le nouveau chipset AMD X870 est censé avoir un TDP de 7 W, mais les cartes mères annoncées jusqu'à présent semblent un peu exagérées ("Le ROG Strix X870-A Gaming WIFI est équipé de 16+2+2 étages d'alimentation pouvant supporter jusqu'à 90A", dit alktech).
J'ai eu l'occasion de rencontrer des gens qui m'ont dit qu'ils avaient des problèmes d'accès à l'Internet et qu'ils avaient besoin d'aide. J'ai choisi la carte Asrock b660m pro RS et un pentium g7400 pour les deux boîtiers, en suivant le conseil de choisir une carte avec un contrôleur ethernet intel 1gb. Je voulais un port PCIe supplémentaire pour une extension future.
Je vais essayer les modifications ici : https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/
pour voir si je peux obtenir une consommation d'énergie acceptable. J'ai vu votre commentaire sur l'utilisation d'un H610M d'ASUS et je vais probablement passer à cela si je n'ai pas beaucoup de chance avec ces cartes. Je ferai un rapport car je n'ai pas trouvé beaucoup d'informations sur les personnes qui ont réussi à réduire la consommation d'énergie de la b660m.
Tout conseil serait apprécié !
- Carte mère chinoise CWWK Q670 V1, la carte a 3xnvme, 8 sata, pcie5 x16 avec la possibilité de diviser en 2 x8 (théoriquement on peut mettre 5 disques nvme), 2x2.5Gbs
- i5 13500T
- 1 module 48GB DDR5 Crucial Pro.
- 2xSamsung evo 970 plus, 1xLexar NM790
alimentation pico (je n'en ai pas d'autre actuellement)
- Lan connecté sur un port
Au repos avec le Proxmox fonctionnant à environ 8-10W
En général les paramètres sont bons, mais à mon avis le bios n'est pas affiné, problèmes avec ASPM dans un port, seul samsung evo fonctionne dans ce port avec ASPM activé, dans le reste c'est ok avec d'autres disques.
Le processeur ne descend que jusqu'à l'état C6
J'apprécie tout retour d'expérience !