NAS з низьким енергоспоживанням

Написано Matt Gadient

Почнемо трохи з історії:

2016: Створення малопотужного комп’ютера на Skylake – 10 Вт у режимі очікування
2019: 9 Вт на холостому ходу: створення домашнього мережевого сховища / файлового сервера з низьким енергоспоживанням з 4 накопичувачами
2021: (без запису) – 11 Вт за допомогою Intel i3-10320 на Gigabyte H470M DS3H

Не всі мої системи були такими успішними. У 2022 році я виміряв пару інших систем на 19 Вт і 27 Вт у рамках Стримування тенденцій «поглинання газу» AMD Radeon з кількома моніторами . Хоча через деякий час мені вдалося вимкнути живлення цієї 27-ватної системи AMD, не кожна комбінація процесора/материнської плати призначена для 10Watt Ballpark.

—

Перш ніж йти далі, цифра 7 Вт для цієї системи була до додавання пам’яті. 7 Вт (виміряні на стіні) включають:

Материнська плата (Intel H770)
ЦП (Intel i5-12400)
64 ГБ оперативної пам’яті
SSD (завантаження Ubuntu Server 23.04)
Блок живлення (Corsair)
C-States, налаштовані в BIOS так, щоб досягати C8
powertop з автоналаштуванням (що вимикало USB-клавіатуру, коли порт переходив у режим сну)

Зверніть увагу: якщо я не дозволю Powertop вимикати клавіатуру, я отримаю 8 Вт, виміряних на стіні.

—

Розглянемо докладні характеристики та вибір компонентів. Цього разу у мене були такі цілі:

низька потужність холостого ходу
розумна продуктивність ЦП для стиснення
здатний працювати з 12 жорсткими дисками + принаймні 1 NVMe
здатність (зрештою) перетворити ці 12 жорстких дисків на 6 NVMe + 6 SSD SATA
тримайте витрати під контролем – оскільки знадобиться придбати материнську плату, спробуйте дотримуватися пам’яті DDR4 і повторно використовувати ЦП, який у мене вже є.

Створення нової системи з надією досягти рівня потужності в 10 Вт *вимірюваних від стіни* часто є не тільки складним завданням, але й певним ризиком. Іноді вам просто потрібно зробити свої найкращі обґрунтовані припущення щодо компонентів, створити свою установку, налаштувати все, що ви можете, і дозволити фішкам падати, де вони можуть.

Материнська плата – ASUS Prime H770-Plus D4

Перш ніж почати, ось короткий огляд компонування материнської плати. ЗЕЛЕНІ слоти, підключені до процесора, і помаранчеві слоти, підключені до чіпсета, стануть актуальними протягом цього опису.

На момент написання статті широко доступними споживчими варіантами були материнські плати серії Intel 600/700 і AMD 500/600.

Однією з моїх цілей вище була ємність для можливих 6 дисків NVMe.

Докладніше про те, чому це може бути проблемою (не соромтеся пропустити цей розділ)…
Проблема. Існує 0 споживчих материнських плат із 6 слотами M.2, які можна використовувати одночасно в режимі PCIe. На AMD MEG X570S Unify-X Max *виглядає* так, але перевірте посібник, і ви побачите, що якщо ви спробуєте заповнити всі 6, останній має бути варіантом SATA. ASRock Z790 PG Sonic також має 6 слотів, але ви можете використовувати лише 5 із них (із законним виправданням: вони пропонують слот Gen5 NVMe, але він постачається із застереженням або/або).
Чому існує ця проблема: на споживчих платах існують обмеження щодо кількості чіпсетів. Якщо припустити, що я хочу мати можливість запускати весь M.2 у Gen4x4 і припустити, що виробник дійсно готовий виділити всі смуги для слотів M.2 NVMe (вони не є), AMD X570 і Intel B760 матимуть максимум три M.2 слоти AMD B650 і Intel H670/Q670/Z690/W680 керують чотирма. П’ять слотів M.2 можливі на платах AMD X670 і Intel H770. Шість на платі Z790. Окрім цього, знадобляться екстраординарні заходи, такі як пограбування смуг основного слота PCIE. Якби була потрібна велика кількість M.2, виробники теоретично могли б запустити смуги запуску в Gen4x2 або додати кілька слотів M.2 Gen3, але на цьому етапі вони створили *дуже* нішевий продукт.
Рішення: стали необхідні адаптери з PCI-E на M.2. Тепер під час пошуку материнської плати постало питання про додавання слотів M.2 до будь-яких доступних слотів PCI-E, що підтримують x4 або вище. Тепер мої можливості були обмежені материнськими платами AMD X570, Intel H770 і Intel Z790. Зауважте, що хоча на деяких материнських платах за допомогою роздвоєння є можливість отримати більше ніж 1 NVMe з головного слота PCIe, я вирішив не покладатися на це.

Я вирішив піти шляхом Intel з кількох причин:

TDP чіпсета: всі чіпсети Intel серії 600/700 мають TDP 6 Вт, тоді як TDP чіпсета AMD X670 досить високий (7w+7w). Енергоспоживання чіпсета AMD деякий час мене хвилювало, оскільки попередні чіпсети X570 мали TDP 11 Вт і потребували вентилятора.
Швидкість чіпсета: чіпсети Intel H670/Q670/W680/Z690/H770/Z790 мають зв’язок DMI 4.0 x8 із ЦП. AMD X570/B650/X670 мають підключення PCIe 4.0 x4 до ЦП. Теоретична пропускна здатність на Intel повинна бути вдвічі більшою, ніж на AMD (16 ГБ/с проти 8 ГБ/с).
У мене вже було 64 ГБ DDR4, які могла використовувати система Intel. Усі чіпсети серії AMD 600 працюють лише з DDR5.
У мене вже був процесор Intel 12-го покоління.
Я ще не бачив жодної позитивної дискусії щодо енергоспоживання AM5. Взагалі. Оновлення: поки я писав це, фактично з’явилася новина про те, що процесори AMD серії 7000 горять/здуваються там, де контакти роз’єму материнської плати стикаються з ЦП. Так, вибачте, AMD, не цього разу.

Так Intel це було. Перевіривши наявні на ринку материнські плати DDR4, я швидко звузив вибір до двох виробників: MSI та ASUS.

Вас не цікавлять порівняння дощок? Не соромтеся пропустити це.
Принадними платами MSI були PRO Z790-P WIFI DDR4 і Z790-A WIFI DDR4. Майже ідентичні зовні, за винятком того, що «A» є трохи преміальнішим (аудіо, задні порти, радіатори, фази живлення тощо). Плюси/мінуси:
Pro: 4x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 1x PCIE Gen4x4 підтримує загалом 6 Gen4 NVMe
Pro: 2x PCIE Gen3x1 додатково
Pro: 6 портів SATA
Мінус: локальна мережа Intel 2.5G (відома як проблематична та з помилками)
Мінус: я не прихильник MSI BIOS
Мінус: Моя поточна плата B660, яка призводить до більшого споживання в режимі простою, ніж очікувалося, є MSI.
Привабливими варіантами ASUS були Prime H770-Plus D4 і Prime Z790-P D4 (додаткова версія WIFI). Потрапити в TUF, Strix або ProArt було занадто дорого.
Я почну з переліку переваг/проти H770-Plus:
Pro: 3x M.2 (Gen4x4) + 1x PCIE Gen5x16 + 2x PCIE Gen4x4 підтримує загалом 6 Gen4 NVMe
Pro: 2x PCIE Gen3x1 додатково
Мінус: лише 4 порти SATA
~~Pro: Мережевий адаптер 2.5G Realtek (бажано перед Intel 2.5G LAN у ці дні)~~(див. коментарі)
Z790-P D4 схожий, за винятком того, що він має більше фаз живлення, кращий радіатор, більше USB-портів, додатковий роз’єм вентилятора, і для наших цілей…:
+1 PCIE Gen4x4
-1 PCIE Gen3x1

Зрештою ASUS Prime H770-Plus D4 був на той час приблизно на 100 доларів дешевшим, і я вибрав його.

Один плюс, який я виявив у «дешевших» платах, полягає в тому, що вони, як правило, мають менше компонентів і, отже, менше споживають електроенергію під час простою, хоча це не завжди точно.

ЦП – Intel i5-12400 (степінг H0) – Alder Lake

У мене вже був цей процесор як частина попередньої збірки робочого столу. У той час його було обрано для настільної системи, оскільки:

він мав апаратне декодування AV1
він мав найвищу продуктивність серед лінійки Intel 12-го покоління, що дозволяє уникнути накладних витрат на процесор E-core
у цій збірці я все одно отримував нову материнську плату з 2xDP, і перехід на старішу генерацію для мене не мав сенсу.

Ця збірка робочого столу виявилася розчаруванням і вважається однією з моїх найменш улюблених збірок.

Деякі деталі…
У мене виникали проблеми, коли іноді лише 1 із 2 моніторів, підключених до DP, прокидався в Linux, що означало, що мені доводилося під’єднувати/знову підключати інший роз’єм DP або вручну призупиняти/відновлювати роботу системи, щоб вона могла повторити спробу.
Інша проблема полягала в тому, що перезавантаження між Windows/Linux іноді викликало дивні проблеми, які вимагали повного вимкнення/перезапуску.
Апаратне декодування в Ubuntu за допомогою Wayland все ще є проблематичним, і коли програми намагалися використовувати його для відтворення відео, виникали проблеми.
Нарешті, на відміну від моїх попередніх систем Intel, які могли знизитися до позначки в 10 Вт, ця споживала 19 Вт у режимі очікування, хоча я підозрював, що материнська плата MSI, яку я використовував, могла бути фактором.

Більшість головних болів, які я відчував, були пов’язані з GPU та дисплеєм. Оскільки я збирався створити щось серверно-орієнтоване, це вже не було фактором.

ПАМ’ЯТЬ – 64 ГБ DDR4-3200

Ось що я використовував:

2x16GB Kingston HyperX dual-rank (Hynix DJR)
2x16GB Kingston HyperX single-rank (Hynix CJR)

Це була пам’ять, яку я вже мав. Я запустив 4 карти пам’яті в профілі XMP дворангового набору, який був 16-18-18-36. Все інше, по суті, було залишено за замовчуванням, за винятком того, що я запустив оперативну пам’ять на 1,25 В (вище, ніж стандартне 1,20, але нижче, ніж налаштування XMP 1,35 В). TestMem5 і Memtest86 показали стабільність при напрузі 1,22 В, хоча тестування цієї пам’яті на попередніх материнських платах показало нестабільність 1,22 В, тому для трохи додаткового буфера, коли справа стосується стабільності, я підвищив напругу до 1,25 В.

Завантажувальний накопичувач – Sandisk Ultra 3D 1TB SSD

Цей компонент був обраний не навмисно. Коли я хотів свіжу інсталяцію Ubuntu Server для тестування, це був єдиний твердотільний накопичувач, який зараз не використовувався. Я збирався проводити багато A/B-тестування на пристроях PCIE та NVMe, тому встановлення Ubuntu 23.04 на SSD SSD мало сенс, щоб слоти PCIE залишалися вільними.

Зауважте, що після тестування основна ОС мала працювати на SSD Samsung 970 EVO Plus 500 ГБ NVMe . Мало що сказати, крім того, що речі Samsung мають тенденцію надійно перейти в режими низького енергоспоживання.

Використавши обидва накопичувачі, я не можу виміряти різницю в потужності між ними під час тестування. Tom’s Hardware протестувала Samsung у режимі очікування на рівні 0,072 Вт (через ASPM/APST), а Anandtech протестувала Sandisk Ultra 3D на рівні 0,056 Вт (через ALPM). Обидва мають значно нижчу роздільну здатність 1 Вт мого вимірювача Kill-A-Watt.

Блок живлення – Corsair RM750

Незважаючи на те, що цей блок живлення потужністю 750 Вт може здатися надмірним для системи, призначеної для споживання близько 10 Вт, коли 12 приводних двигунів обертаються одночасно, миттєве навантаження, ймовірно, буде досить високим. Seagate заявляє про максимальний струм постійного/змінного струму 2A/3A на шині 12V для одного з їхніх накопичувачів 3,5″ ємністю 10 ТБ. Навіть пікове випадкове читання/запис може досягати понад 2 А.

Ця швидка потреба в електроенергії може бути проблематичною, якщо блок живлення не справляється зі своїм завданням. Якщо масив із 6 накопичувачів разом споживає 150-200 Вт в той самий момент, коли ЦП досягає пікових 120 Вт, це означає стрибок із приблизно 10 Вт у режимі очікування до приблизно 400 Вт. Це може легко спричинити миттєве падіння напруги – якщо воно впаде достатньо, щоб спричинити негайний збій/перезавантаження, ймовірно, нічого страшного, але якщо воно впаде настільки, що дані будуть пошкоджені під час оновлення пам’яті або коли інший диск перебуває в процесі запису… це більш болюча проблема. До певної міри збільшити блок живлення (або додати кілька вбудованих конденсаторів до шин живлення) має сенс.

На щастя, незважаючи на роботу за межами максимального діапазону ефективності, більша частина серії Corsair RM досить ефективна в широкому діапазоні.

Вимірювання потужності – початкове

Кілька важливих деталей:

Потужність вимірюється від стіни
Для автоматичного налаштування параметрів використовувався Intel PowerTOP
Сервер Ubuntu 23.04

Кілька потенційно важливих бітів BIOS :

C-стани ЦП були включені в BIOS (C10)
ASPM було ввімкнено, для всього встановлено значення L1
RC6 (Render Standby) увімкнено
Активна підтримка LPM (ALPM)
ВИМКНЕНО: HD-аудіо, режим підключення, світлодіоди, пристрій GNA, послідовний порт

9-10 ват було споживання при включеному дисплеї.

7 Вт було споживанням після вимкнення дисплея (consoleblank=600 параметр завантаження ядра для таймера 600 с), на якому ця система працює більшу частину тижня.

8 Вт було споживанням, якщо керування живленням USB-клавіатури було вимкнено. Якщо ви не підключаєтеся до сервера через SSH з іншого боку, може знадобитися додатковий ват на використання клавіатури.

Проблемні вимірювання потужності – наповнений обертовою іржею (розкручування)

Як згадувалося на початку, я почав з 12 жорстких дисків. Половина була 2,5 дюйма, а інша половина – 3,5 дюйма. Оскільки материнська плата має лише 4 порти SATA, контролер SATA та множник портів використовувалися для роботи з іншими дисками. Крім того, на початку використовувалися 4 диски NVMe: один із них, Western Digital SN770, мав тенденцію сильно нагріватися навіть у режимі очікування, що вказує на те, що він, ймовірно, не переходив у режим низького енергоспоживання.

З усім підключеним обладнанням, у режимі очікування, з вимкненим дисплеєм і з 12 дисками, які перейшли в режим очікування, я був шокований, побачивши, що моє енергоспоживання в режимі очікування зросло з 7 Вт до колосальних 24-25 Вт . Забагато! Щось пішло не так.

Головоломки про енергоспоживання – дослідження та діагностика високої потужності

Я від’єднав жорсткі диски й почав тестувати компоненти по одному. Це були досить грубі тести, призначені для отримання приблизного уявлення про винуватця, тому цифри тут не точні.

Я швидко виявив, що контролер JMB585 SATA, який я використовував, спричинив збільшення споживання електроенергії приблизно на 6-10 Вт (точні вимірювання в наступному розділі). Сам контролер повинен споживати лише пару ват, а крихітний радіатор залишався холодним, тому, очевидно, відбувалося більше. Куди поділася сила?

Вирішив подивитись пакет CPU C-states. Без контролера SATA JMB585 система потрапила на C6. Коли JMB585 було повторно підключено, найкращим ударом системи був C3. Ах ха! Але чому? Виявляється, якщо пристрій, підключений до PCIE, не переходить у ASPM L1, ЦП не переходить у такий глибокий сон. Схоже, що карти контролера JMB585 не підтримують ASPM.

Трохи подальші експерименти виявили ще щось, чого я не знав, і це пов’язано з C6 проти C8. Система вразить C8, лише якщо нічого не підключено до смуг PCIE, підключених до ЦП. Іншими словами, якщо щось підключено до верхнього слота PCIE або верхнього слота NVMe, C6 є максимальним. Різниця в енергоспоживанні між C6 і C8 *виявилася* меншою за один ват у простому тесті.

Отже, хоча C8 був би розкішшю, удар C6 був обов’язковим. C3 споживає занадто багато енергії. Якщо контролери SATA збиралися запобігти досягненню центральним процесором найкращих станів енергозбереження, я почав думати, чи варто було мені шукати материнську плату з 6-8 портами SATA, щоб мені не довелося покладатися на додаткові контролери …

Невеликий пошук HBA SATA показав, що, хоча тут не так багато варіантів, контролер SATA ASM1166 повинен підтримувати ASPM L1, хоча прошивка повинна бути прошита, щоб він працював належним чином (і взагалі працював на новіших платах Intel). Ось що мені довелося замовити: у мене є запасні частини Marvel і JMicron, але вони не підтримують ASPM. Насправді я роками уникав ASMedia, але через необхідність вони отримали ще один шанс: я замовив пару 6-портових контролерів SATA ASM1166.

Убік: BadTLP, Bad! Помилки шини AER з порту pcie

Варто згадати… Під час початкового тестування з WD Black SN770 (Gen4 NVMe) я виявив проблему, коли використовувалися основні (приєднані до ЦП) порти PCIE та NVMe. Виконання dmesg призвело до того, що вихідні дані завалені такими речами:

pcieport 0000:00:06.0: AER: отримано виправлену помилку: 0000:02:00.0
nvme 0000:02:00.0: помилка шини PCIe: серйозність=виправлено, тип=фізичний рівень, (ідентифікатор отримувача)
pcieport 0000:00:06.0: PCIe Помилка шини: серйозність=Виправлено, тип=Каналовий рівень, (ідентифікатор передавача)
pcieport 0000:00:06.0: AER: спочатку повідомляється про помилку цього агента
nvme 0000:02:00.0: [ 6] BadTLP

…після багатьох спроб і помилок я виявив, що якщо для параметра BIOS «PEG – ASPM» було встановлено значення [Disabled] або [L0s], помилок не було.

Звичайно, це був поганий варіант, оскільки [L1] має вирішальне значення для енергозбереження. Якщо використовувався [L1] або [L0sL1], єдиним варіантом було встановити швидкість з’єднання цих портів на [Gen3], що не зупинило помилки, але суттєво зменшило їх.

Деякі дослідження показали, що першопричиною може бути будь-яка кількість речей. Оскільки заміна материнської плати чи процесора була неприємною думкою, я найбільше сподівався на заміну NVMe іншої марки.

Я замовив диски Crucial P3 NVMe. Це виявилося успішним кроком: після заміни дисків WD на диски Crucial я більше не отримував жодних помилок , хоча майте на увазі, що це диски Gen3.

Головоломки енергоспоживання – пошук L1.1 і L1.2 для ввімкнення лише на портах, підключених до чіпсета

Коли я встановив 2 накопичувачі Crucial P3 NVMe у слот PCIEx16, підключений до процесора, і верхній слот M2, я помітив вищу температуру простою, ніж очікувалося. У той час як NAND тримав приблизно 27-29C, контролери повідомляли про 49-50C – набагато вище, ніж я очікував для цих дисків.

Я перемістив один із слота PCIEx16 у слот PCIEx4, підключений до чіпсета. Цікава різниця між цими дисками виявилася через lspci -vvv:

Слот M2, підключений до ЦП: L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
Слот PCIE, підключений до чіпсета: L1SubCtl1: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1. 2+ ASPM_L1.1+

Здається, підстани L1 вмикаються лише на слотах, підключених до чіпсета. На жаль, але, здається, це збігається з доступними параметрами BIOS на знімку екрана вище.

Давайте знову звернемося до зображення материнської плати, щоб показати ситуацію:

Я поставив обидва диски NVMe на слоти PCIE, підключені до чіпсета. Тепер обидва показали L1.1+/L1.2+, а температура обох контролерів знизилася з діапазону 49-50C до 38-41C.

На жаль, під час спроби проведення різноманітних тестів A/B з використанням цих 2 дисків Crucial NVMe з різними конфігураціями слотів і різними налаштуваннями BIOS я побачив дуже суперечливу поведінку з точки зору температури, хоча варто зазначити, що JMB585 і завантажувальний диск NVMe також були підключені під час цих тестів . Наприклад, обидва диски можуть простоювати при температурі близько 40C до м’якого перезавантаження, після якого точка 1 (або обидва) тепер може простоювати в діапазоні 50C. Іноді здавалося можливим залишити 1 диск на M.2, підключеному до процесора, і підтримувати температуру 40C на обох дисках, доки слот x16 не був заповнений. Імовірно, я натрапив на якусь помилку. Здавалося, що завантажувальний NVMe Samsung підтримував постійну температуру простою незалежно від того, що відбувалося з приводами Crucial NVMe, тому я підозрював, що самі диски Crucial принаймні частково винні.

Цікаво, що іноді температура одного (або обох) контролерів падає аж до діапазону 29C, коли на слотах, підключених до чіпсета. Оскільки спроби знайти малопотужну заміну 4TB NVMe для Crucial P3 не були реалістичною метою, я найбільше сподівався на цей момент полягати в тому, що чомусь винен JMicron JMB 585, несумісний із ASPM, оскільки незабаром він мав бути замінений на ASPM-сумісний ASMedia ASM 1166.

Пізнє оновлення: я, на жаль, не стежив за температурами протягом решти тестування, і радіатори/повітряний потік між дисками були переплутані. Але незалежно від того, у фінальній збірці температура мого контролера Crucial P3 становить 31-34C, а температура NAND – 23-24C.

Головоломки щодо енергоспоживання – заміна JMB585 на ASM1166.

Через пару тижнів прибув ASM1166. Спочатку кілька деталей щодо картки, які можуть бути корисними, якщо ви розглядаєте це…

Я почав зі спалаху мікропрограми – карти ASM1166 часто мають стару мікропрограму, яка не працює з материнськими платами Intel серії 600 і, наскільки я розумію, може мати проблеми з керуванням живленням. Новіші мікропрограми можна знайти в різних місцях, але я вирішив взяти копію з SilverStone («виправити проблему сумісності» в розділі «Завантаження» https://www.silverstonetek.com/en/product/info/expansion-cards /ECS06/ ) і виконайте інструкції на сторінці https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/ . Зауважте, що файли SilverStone мали ідентичну MD5 мікропрограмі, яку я знайшов, перейшовши за темою на https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707 .
Для всіх, хто планує придбати одну з цих карт ASMedia, я повинен зауважити, що, як і більшість контролерів SATA та HBA, якість дійсно відрізняється. Одна з моїх карт мала дещо викривлений радіатор: термопрокладка була достатньо товстою, щоб не замикати сусідні компоненти, але майте на увазі, що ці продукти можуть бути справді випадковими. Це одна із ситуацій, коли платити трохи більше за покупку десь із хорошою політикою повернення може бути розумним.

Я провів досить багато A/B-тестування, тож ось короткий «JMicron JMB585 проти ASMedia ASM1166» щодо загального енергоспоживання системи, хоча це може бути застосовано лише до цієї платформи (або, можливо, навіть до цієї конкретної материнської плати).

БЕЗВОДІЙНИЙ

По-перше, енергоспоживання без будь-яких накопичувачів, підключених до карт (завантажувальний диск SATA SSD підключено до материнської плати), щоб отримати базову лінію. PowerTOP використовується на всіх пристроях, крім клавіатури (додавання +1 Вт). Вимірювання після того, як вихід дисплея перейшов у сплячий режим.

8 Вт – без контролера SATA – стан живлення C8
9 Вт – ASM1166 на слоті x4, підключеному до чіпсета – стан живлення C8
12 Вт – JMB585 на слоті x16, підключеному до процесора – стан живлення C3
15 Вт – JMB585 на слоті x4, підключеному до чіпсета – стан живлення C3
22 Вт – ASM1166 на слоті x16, підключеному до процесора – стан живлення C2

Тут ASM1166 працює добре, якщо його підключити до чіпсетного слота (тільки +1 Вт), але жахливо, якщо підключити його до основного слота PCI-E (+14 Вт), де рівень потужності процесора різко падає до C2. Приголомшливо, але JMB585 поводиться протилежним чином, оскільки його споживання нижче на слоті, підключеному до процесора (і це не спричинило C2) – однак незабаром ви побачите, що все зміниться, коли накопичувачі фактично підключені…

Я провів додаткове тестування з контролерами, включаючи гру в «музичні крісла» з парою накопичувачів NVMe, щоб перевірити, чи кілька пристроїв вдадуться до справи, але нічого несподіваного не сталося, тому я пропущу ці деталі.

ДОДАВАННЯ ДИСКОВ

Після завершення базових вимірювань настав час фактично встановити деякі диски на ці контролери. Завантажувальний накопичувач SSD SSD залишився на материнській платі, до суміші було додано 2 накопичувачі NVMe (підключені до чіпсета, якщо не вказано інше), а 4 з 2,5-дюймових жорстких дисків SATA були розміщені на контролері. Я наведу список споживання «розкрутився» після того, як жорсткі диски перейшли в режим очікування – «розкрутився» був рівно на 2 Вт вищим у кожному тесті, коли диски простоювали.

10 Вт – ASM1166 на слоті x4, підключеному до чіпсета – стан живлення C8
11 Вт – ASM1166 на слоті x4, підключеному до чіпсета, з 1 NVMe, переміщеним у слот x16, підключеному до ЦП – стан живлення C6
11 Вт – 2x ASM1166 на підключених до чіпсета x4 слотах, лише з 1 приводом NVMe – стан живлення C8
16 Вт – JMB585 на слоті x4, підключеному до чіпсета – стан живлення C3
24 Вт – JMB585 на слоті x16, підключеному до ЦП – стан живлення C2

Завдяки 4 приводам, підключеним через слот, підключений до чіпсета, ASM1166 додає +2 Вт до енергоспоживання системи, тоді як JMB585 додає +8 Вт. Жодного конкурсу.

Додатковою перевагою є те, що я міг використовувати обидві карти ASM1166 у системі, тоді як спроба використовувати обидві мої карти JMB575 одночасно призвела до того, що система відмовлялася завантажуватися, хоча це могло бути залежно від платформи чи материнської плати. питання.

Однак є компроміс – я завжди вважав JMB585 неймовірно надійним, у тому числі в поєднанні з помножувачем портів JMB575. Мій минулий досвід роботи з контролерами ASMedia SATA був не таким чудовим: надійність ASM1166 ще належить побачити, але принаймні це поганий кандидат для множника портів, оскільки він не підтримує FBS (лише CBS).

Кілька інших незначних недоліків, пов’язаних з ASM1166:

Під час видалення/повторного вставлення завантажувального диска NVMe з’явилося повідомлення BIOS про те, що він не може завантажитися через пошкодження GPT. Карти ASM1166 довелося тимчасово видалити, щоб BIOS знову «знайшов» завантажувальний диск NVMe (після чого їх можна було перевстановити).
Карти ASM1166 стверджують, що мають *багато* портів – це спричиняє додатковий час завантаження, оскільки Linux має повторювати їх усі.

Оновлення: бренди SATA та SSD

В одному з коментарів згадується, що старіший SSD Samsung 840 PRO обмежує C3, тоді як твердотільний накопичувач Crucial Force GT допускає C8. Хоча це старіші диски, я все одно вважаю це трохи дивним. Варто було дослідити.

Я використовував H770 як тестовий стенд із завантажувальним накопичувачем Samsung 850 EVO SATA SSD разом із Crucial P3 NVMe та створив спеціальне ядро, щоб дозволити мережевому адаптеру Realtek досягти L1.2. Без ASM1166, лише з використанням вбудованого SATA Intel. Я досяг C10 після того, як запустив Powertop з автоналаштуванням і дозволив дисплею переходити в режим сну. Я спробував різні накопичувачі, які у мене були під рукою, щоразу вимикаючи систему, щоб замінити диски та повторити процес. Ось результати.

Диски, які призвели до того, що система застрягла на C6:

1TB Patriot P210 SATA SSD

Диски, які дозволили C10:

500 ГБ SSD Samsung 850 EVO SATA
Жорсткий диск Seagate SATA 4 ТБ 2,5 дюйма
Жорсткий диск Seagate SATA 3,5″ 8 ТБ
Жорсткий диск Toshiba SATA на 14 ТБ
1 ТБ Sandisk Ultra 3D SATA SSD
4 ТБ Sandisk Ultra 3D SATA SSD (примітка: повільне налаштування)
4 ТБ Crucial MX500

Я пропоную бути обережними при виборі марок і моделей SATA SSD. Я спробую з часом оновити цей список накопичувачами, які я тестував, але майте на увазі, що певні виробники пам’яті демонструють схильність до тихої заміни компонентів нижчої якості в деяких своїх основних продуктах, тому ви завжди повинні перевіряти заявлені показники продуктивності будь-яких пристроїв зберігання даних, які ви купуєте протягом періоду повернення. Не соромтеся залишати коментарі з хорошими/поганими дисками, які вам трапляються.

Головоломки про енергоспоживання – висновок

Кілька важливих деталей, якщо прагнете до низького споживання:

1) Підтримка материнської плати та налаштування BIOS є критично важливими – у мене були материнські плати з дуже негнучким BIOS. На цьому «Native ASPM» і відповідні стани L1 повинні бути ввімкнені (щоб дозволити керування ОС замість керування BIOS) для роботи з низьким енергоспоживанням.

2) Усі пристрої мають підтримувати ASPM L1. Інакше ви дійсно кидаєте кубики. Як ви могли здогадатися, найважче тут знайти контролери SATA, які підтримують це. Якщо можливо, придбайте материнську плату з достатньою кількістю портів SATA, підключених до чіпсета Intel, щоб уникнути потреби в окремій картці. Маю зауважити, що знайти диски NVMe, які мають робочі стани живлення APST із низьким енергоспоживанням під ASPM, не завжди є даністю, і ви також захочете провести деякі дослідження там.

3) Якщо ви можете досягти стану живлення C8, уникайте використання смуг PCIe, підключених до процесора (верхній PCIe та слот M2). На цій конкретній материнській платі моя порада полягала б у тому, щоб уникати їх використання взагалі, якщо це можливо, якщо вам не потрібен шлях із низькою затримкою повної смуги пропускання до ЦП або ваші пристрої настільки активні, що все одно ніколи не сплять. Згадаймо, що ОБИДВІ мої карти JMicron і ASMedia SATA призвели до різкого падіння C-State CPU Package до C2, якщо їх підключити до слота x16 PCI-E.

4) Вимірювання потужності від стіни – це єдиний спосіб переконатися, що те, що ви *думаєте*, відбувається насправді. Пристрій Kill-A-Watt з часом окупиться, якщо ви ним користуєтеся – вважайте, що я купив свій у 2006 році (16 доларів США + 14 доларів США на той час за доставку через eBay). У той час я виявив, що наш рідко використовуваний факс, який завжди був увімкнений, споживав 7 Вт… просто тримав цей один пристрій вимкнутим, коли він не використовувався протягом наступних 10 років, більше, ніж заплатили за Kill-A-Watt.

Енергоспоживання при завантаженні великої кількості жорстких дисків

Тепер, коли різноманітні частини переміщувалися в систему та виходили з неї протягом цього процесу, поточні налаштування виглядають так:

1x Samsung 970 EVO Plus NVMe (завантажувальний диск 500 ГБ)
2x Crucial P3 NVMe (4 ТБ кожен)
5 жорстких дисків Seagate 2,5 дюйма (5 ТБ кожен – 4 ТБ використовується)
6 HDD Seagate 3,5 дюйма (10 ТБ кожен – 8 ТБ використано)
2 карти ASM1166 з портами SATA

Загальна потужність, виміряна від стіни (дисплей увімкнено, клавіатура включена):

50 Вт з усіма 11 жорсткими дисками в активному режимі очікування
38 Вт із 6x 3,5″ HDD у Idle B
34 Вт із 6x 3,5″ жорстким диском у Idle C
21 Вт із 6x 3,5″ жорстким диском у режимі очікування_Z (відключено)
18 Вт із 5x 2,5″ HDD ТАКОЖ у режимі очікування
16 Вт із вимкненим дисплеєм
15 Вт, коли PowerTOP дозволено вимикати USB-клавіатуру

Seagate оцінює споживання цих 3,5-дюймових дисків у режимі очікування приблизно на 0,8 Вт кожен, а 2,5-дюймових дисків — приблизно на 0,18 Вт кожен. Це узгоджується з тим, що я бачу вище. Мої показники активного простою також досить добре збігаються зі специфікаціями Seagate.

Очевидне спостереження: порівняно з рештою системних компонентів 3,5-дюймові накопичувачі є енергоємними монстрами.

З часом жорсткі диски будуть замінені на SSD. З таким низьким споживанням у режимі простою, як і під час очікування жорсткого диска, немає великого поспіху, і цей процес відбуватиметься поступово, оскільки мої жорсткі диски/запасні частини виходять з ладу та ціни на SSD падають .

План «кінця гри» передбачає збірку повністю з SSD. Спочатку планувалося створити 1 завантажувальний диск, 6xNVMe (ймовірно, Crucial P3 4TB) для масиву RAIDZ2 і 6xSATA (ймовірно, Samsung 870 QVO 8TB) для другого масиву RAIDZ2. Оскільки використання слотів M2/PCIe, підключених до ЦП, не лише створює непередбачуваність, але й має невеликі витрати на C-state/потужність/температуру, я міг би змінити цей план і відмовитися від пари NVMe у першому масиві та замість цього використовувати SATA, щоб Мені не потрібно торкатися смуг, підключених до ЦП. Час покаже.

Непотрібні деталі зберігання

Цю частину варто прочитати, лише якщо вас цікавлять докладні деталі зберігання. В іншому випадку можете перейти до останнього розділу.

Завантажувальний диск NVMe
Як згадувалося раніше, це Samsung 970 EVO Plus. Наразі використовується менше 4 ГБ із 500 ГБ простору (розділ підкачки на 64 ГБ існує, але завжди використовується як 0). Спочатку його було обрано, тому що Samsung створила репутацію надійності (яка останнім часом занепадає), і Samsung також отримувала хороші оцінки в оглядах кожного разу, коли йшлося про споживання енергії в режимі очікування. Цей диск майже завжди неактивний, і температура контролера та NAND залишалася низькою протягом усього тестування (20-24C). Згодом його можна замінити на SSD SSD, щоб звільнити порт NVMe.
2,5″ HDD
Ці диски використовуються для основного 6-дискового масиву ZFS RAIDZ2 – того, який використовується найбільше. Один день на тиждень він зайнятий завданням, яке передбачає читання кількох ТБ протягом 24 годин. Використання протягом решти тижня є спорадичним, і диски витрачають більшу частину тижня в неробочому стані. Для тих, хто цікавиться, чому замість 3,5-дюймових накопичувачів використовуються жалюгідні 2,5-дюймові накопичувачі, *є* причина: енергоспоживання .
Енергоспоживання 2,5-дюймових дисків Seagate, чесно кажучи, досить вражаюче . Після обертання кожен з них має номінальне споживання 0,18 Вт, у режимі очікування з низьким енергоспоживанням вони розраховані на 0,85 Вт, а середнє значення читання/запису становить близько 2 Вт. Є багато твердотільних накопичувачів з гіршими показниками енергоспоживання, ніж ця обертова іржа. Ємність 5 ТБ дає багато пам’яті на ват.
Основні недоліки цих 2,5-дюймових накопичувачів Seagate:
Не чудові виконавці. 80-120 МБ/с (пікове читання/запис). Справедливості заради варто відзначити, що багато твердотільних накопичувачів TLC/QLC падають до цих рівнів запису, коли їх SLC-кеш вичерпується.
SMR (магнітний запис). З читанням все добре, але продуктивність запису абсолютно падає, коли відбувається випадковий запис – він діє як QLC SSD без кешу SLC, який також не має TRIM.
Низьке робоче навантаження (55 ТБ/рік проти 550 ТБ/рік для дисків Exos 3,5 дюйма).
Немає настроюваного часу відновлення після помилки (SCT ERC), і ці диски можуть зависати протягом хвилин, якщо на них виникне помилка, поки вони невпинно намагаються перечитати проблемний сектор. Ubuntu потрібно налаштувати на очікування замість спроби скинути диск через 30 секунд.
Вищий рівень помилок, якщо вони нагріваються (мені довелося замінити кілька, і я виявив, що вони не люблять гарячі).
Типові проблеми з жорстким диском (повільне обертання тощо).
Щоб бути абсолютно справедливим щодо Seagate, вони продаються як зовнішні резервні накопичувачі USB. Витягування цих дисків заввишки 15 мм із корпусів і використання їх як членів RAID у NAS не означає використання їх за призначенням. Наднизьке енергоспоживання є величезним, але є очевидні компроміси.
У довгостроковій перспективі ці 2,5-дюймові накопичувачі ємністю 4/5 ТБ повільно будуть замінені накопичувачами SSD ємністю 4 ТБ (можливо, усі NVMe). Твердотільні накопичувачі ємністю 4 ТБ стали доступними для споживачів у 2021/2022 роках приблизно в 4-5 разів дорожче, ніж спінери. Менш ніж через 2 роки вони впали приблизно в 2 рази дорожче, і я очікую, що гідні бренди прослужать у 2 рази довше, ніж спінери Seagate.
Якщо модель Crucial P3 (Gen3) залишиться в наявності, я, швидше за все, залишу цю модель, незважаючи на обмеження швидкості Gen3. Я наполегливо розглядав Crucial P3 Plus (Gen4), але енергоспоживання в оглядах було вище, незважаючи на дуже небагато випадків, коли продуктивність також була помітно вищою. Моє найбільше занепокоєння щодо P3 Plus (Gen4) полягало в тому, що якщо у мене виникли проблеми з ASPM/APST, Tom’s Hardware показав це з надбавкою до потужності простою на 0,3 Вт порівняно з P3 (Gen3) для моделі 2 ТБ. Я вважаю за краще, щоб потужність «за найгіршим сценарієм» була якомога нижчою.
3,5″ HDD
Використовується у вторинному масиві RAIDZ2 із 6 дисків – резервному масиві, який працює приблизно 2 години на тиждень, де постійно виконується інтенсивний запис.
Енергоспоживання 3,5-дюймових накопичувачів Seagate приблизно відповідає очікуванням. Ці диски на 10 ТБ розраховані на приблизно 0,8 Вт кожен у режимі очікування, 2–5 Вт у режимі очікування та 6–9 Вт під час читання та запису.
Тут є дві проблеми:
Вони розраховані на загальну споживання близько 45-50 Вт під час запису. Це трохи додаткового навантаження на ДБЖ, якого я не хочу, якщо під час резервного копіювання відбудеться тривале відключення електроенергії (я дотримуюся споживчих ДБЖ потужністю 1500 Вт).
Вони розраховані на сумарну споживання приблизно 4,8 Вт у режимі очікування. Знову ж таки, трохи навантаження на ДБЖ, якого я б не заперечував.
У довгостроковій перспективі ці диски, ймовірно, будуть замінені дисками Samsung 870 QVO 8 ТБ SATA. 870 QVO має 0,041 Вт/0,046 Вт у режимі очікування з ALPM, 0,224 Вт/0,229 Вт у режимі очікування без і 2,0-2,7 Вт під час копіювання (за даними Toms/Anandtech).
Що стосується ціни, SSD-накопичувач Samsung 8 ТБ SATA наразі трохи дорожчий, ніж спінери на 8 ТБ (приблизно в 3 рази дорожче), тому, якщо з якихось причин ці накопичувачі не почнуть використовуватися частіше, заміна на SSD майже напевно почекає, доки я закінчилися запчастини.
NVMe Cache Drive
Заміна обертової іржі на твердотільні накопичувачі — процес, який, імовірно, займе деякий час.
Тим часом у ZFS є кілька варіантів використання високошвидкісного сховища (зазвичай SSD) перед повільнішим сховищем:
«Спеціальний» клас розподілу — дозволяє створювати vdev спеціально для метаданих і для «маленьких» блоків, якщо потрібно.
Кеш-диск, широко відомий як L2ARC.
Якщо ви створюєте «спеціальний» vdev під час створення пулу, усі ваші метадані (і, за бажанням, невеликі блоки вибраного вами розміру) потраплять у «спеціальний» vdev замість вашої обертової іржі. Дуже швидкий список файлів і обхід каталогів, зберігаючи при цьому обертову іржу для самих файлів. Так, ви можете «l» набір каталогів, не виводячи жорсткі диски з режиму сну. Найбільшим недоліком є те, що оскільки всі ваші метадані знаходяться на цьому vdev, якщо він колись загине, доступ до всіх ваших даних фактично зникне. Тож це справді має бути принаймні дзеркальним. Можливо, навіть тристороннє дзеркало. Попрощайтеся з кількома портами.
L2ARC трохи інший. По суті, це кеш рівня 2. Коли кеш в оперативній пам’яті заповниться, ZFS скопіює деякі блоки в L2ARC, перш ніж вилучити цей вміст із ОЗП. Наступного разу, коли ці дані потребуватимуть доступу, вони будуть прочитані з L2ARC, а не з диска. Одна з переваг порівняно зі «спеціальним» vdev полягає в тому, що вам не завадить мати лише 1 SSD – якщо виникне проблема з даними в L2ARC (погана контрольна сума, диск не працює тощо), ZFS просто прочитає вміст з оригінального диска. . Крім того, щойно L2ARC заповниться, ZFS просто запуститься знову на початку L2ARC SSD і перезапише записаний матеріал, який має деякі плюси (старі дані більше не доступні) і мінуси (дані, до яких часто зверталися і їх потрібно отримати знову написано в L2ARC). Ви також можете додавати або видаляти пристрої L2ARC з пулу на дозвіллі – хочете додати SSD на 64 ГБ, 500 ГБ і 2 ТБ SSD? Давайте – ZFS розподілить блоки між ними. Потрібно вийняти SSD на 500 ГБ із пулу через кілька днів і використовувати його в іншому місці? Іди вперед. Найбільшим недоліком L2ARC є те, що якщо ви забули вказати «cache» під час додавання пристрою, ви, ймовірно, зіпсували свій пул. Він також недосконалий: навіть за умови ретельного налаштування важко змусити ZFS записати ВСЕ, що ви хочете, до L2ARC, перш ніж його буде вилучено з пам’яті. У той же час, залежно від ваших даних, L2ARC може бачити багато записів, і вам, можливо, доведеться уважно стежити за справністю вашого SSD.
У минулому я використовував «спеціальний», використовував L2ARC і використовував обидва одночасно (ви навіть можете сказати L2ARC не кешувати речі, які вже містяться в «спеціальному» vdev).
Цього разу я просто використав L2ARC на 4 ТБ NVMe: коли всі інші 2,5-дюймові накопичувачі буде замінено на SSD і переваги кешу SSD у швидкості більше не застосовуються, я зможу просто видалити цей пристрій кешу (хоча теоретично матиму 1 Кеш-накопичувач L2ARC, який обробляє основну частину зчитування *дозволить* іншим накопичувачам NVMe залишатися в режимі низького енергоспоживання більше…).

Висновок – шкодуєте? Повторне вгадування? Що могло бути інакше?

На відміну від збірки ASRock J4005 , де я на півдорозі зрозумів, що врізався в колінну чашечку кількома способами, тут я не маю такого сенсу. Цього разу я отримав низьку потужність простою І досить потужну систему, яка має бути гнучкою, навіть якщо її перепрофілювати в майбутньому.

Я цілком задоволений своїм вибором компонентів, хоча мені було б цікаво дізнатися, як MSI PRO Z790-P DDR4 (одна з інших материнських плат, які я розглядав) буде працювати в порівнянні. З точки зору функціональності MSI має перевагу 6xSATA портів, але вона має очевидний недолік горезвісного мережевого чіпа Intel 2.5G. MSI також має порт PS/2, і я ніколи не перевіряв, чи споживана потужність клавіатури PS/2 нижча, ніж USB (нагадаю, що я заощаджую 1 Вт, якщо дозволяю Powertop вимикати порт USB клавіатури). І, звісно, було б цікаво порівняти налаштування ASPM і ALPM і побачити, чи існують проблеми, з якими я зіткнувся з підключеними до процесора слотами PCIe/M.2.

Хоча ця система наразі споживає в діапазоні 15-16 Вт під час простою з дисками в режимі очікування , після заміни всіх жорстких дисків на SSD я очікував би споживання в режимі простою близько 10-11 Вт, що непогано для дисків на 72 ТБ, 64 ГБ оперативної пам’яті і досить пристойний процесор.

Оновлення: Останні ядра Linux вимикають режими енергозбереження рівня L1 більшості мережевих карт Realtek, що запобігає переходу ЦП у пристойні C-стани, таким чином значно збільшуючи енергоспоживання. Хоча є обхідні шляхи, я, швидше за все, обмежуся материнськими платами з мережевими адаптерами Intel 1 Gigabit (можливо, перейду на Intel 2,5 Gigabit, коли стане зрозуміло, що вони усунули всі недоліки). Ви можете знайти додаткові відомості про ситуацію з Realtek NIC у коментарях нижче.

152 Коментарі | Залишити коментар

Сортувати за старшинством | Сортувати за найновішими

Анонім на Травень 14, 2023 - натисніть тут, щоб відповісти
Привіт, Метт, чудова стаття!

Думаю, багатьох головних болів можна було б уникнути, якби ви знайшли плату з більшою кількістю портів SATA!

З мого боку, мені так і не вдалося вивести свою мікросхему за межі C3. Я цілеспрямовано намагався зменшити кількість зайвих компонентів (як і ті контролери SATA, я читав про те, наскільки вони можуть бути нестабільними).

Я ще раз перевірю налаштування BIOS, щоб переконатися, що я увімкнув всі необхідні речі, про які ви згадали у своїй статті.
Geert на Травень 22, 2023 - натисніть тут, щоб відповісти
Привіт,
Дуже цікава стаття, дуже дякую.
Отже, ви не дбаєте про ECC, деякі кажуть, що це обов'язкова умова для завжди ввімкненого сервера, особливо з ZFS.
Також NVME, здається, спалюють більше палива, ніж SSD.
Я шукаю економну материнську плату з ECC, але поки що нічого не знайшов, плати W680 важко дістати.
Тим часом я використовую Unraid на платі J5040 Asrock з двома дзеркальними SSD на 1 ТБ і 3 механічними WD, які більшу частину часу сплять.
Система споживає 19 Вт на холостому ходу, до додавання контролера Asmedia (4) було 16-17 Вт (C6). Незабаром я заміню старий сезонний блок живлення на Corsair.
З повагою
Герт
Hamun на Липень 4, 2023 - натисніть тут, щоб відповісти
Яку ОС ви використовували?
- Matt Gadient на Липень 4, 2023 - натисніть тут, щоб відповісти
  Ubuntu Server 23.04
Анонім на Серпень 9, 2023 - натисніть тут, щоб відповісти
Приголомшлива стаття, Метт. Це мене дуже надихнуло. Оскільки немає відгуку, що ви думаєте про Gigabyte H470M DS3H з i5 для малопотужного низькопрофільного медіа-сервера з 30-40 ТБ даних?
- Matt Gadient на Серпень 9, 2023 - натисніть тут, щоб відповісти
  Я використовував його деякий час як мережеве сховище даних. Як медіа-серверу процесору не вистачатиме апаратного декодування AV1, але в іншому, я підозрюю, він буде в порядку.
  
  Майте на увазі, що якщо 2-й слот M.2 заповнений, то працюватимуть лише 5 з 6 портів SATA. Якщо я правильно пам'ятаю, BIOS на H470M DS3H також приховував кілька опцій (наприклад, примусове використання IGPU або виділеного GPU), якщо його не перевести в режим CSM. Крім того, він випадково зависав на екрані завантаження з помилкою, якщо у мене був встановлений LSI SAS HBA, що вимагало ще однієї спроби перезавантаження - звичайні SATA-контролери працювали нормально. Якщо не брати до уваги ці дивні маленькі нюанси, я вважаю, що вона надійна, працює чудово, і мені дуже подобається плата.
Robert на Серпень 15, 2023 - натисніть тут, щоб відповісти
Привіт, Метте, дякую за цікаву статтю. Я намагаюся мінімізувати енергоспоживання в системі NAS з двома 3,5'' жорсткими дисками, в якій також працює операційна система та деякі віртуальні машини на двох твердотільних дисках. З платою Intel J4205 I і 2 WD Red 6 ТБ система падає через кілька хвилин після того, як я переведу жорсткі диски в режим сну. Під "падінням" я маю на увазі, що все вимикається, і мені потрібно перезавантажити систему. Ви коли-небудь стикалися з чимось подібним? Система працює нормально при 25 Вт, коли жорсткі диски вимкнені, вона споживає 15 Вт. У мене тут стоїть блок живлення потужністю близько 250 Вт. Чи можливо, що блок живлення ATX вимикається через мале навантаження?
- Matt Gadient на Серпень 15, 2023 - натисніть тут, щоб відповісти
  Деякі старі блоки живлення вимикаються, якщо навантаження занадто низьке (деякі BIOS мають налаштування для фіктивного навантаження для боротьби з цим). Деякі дуже старі блоки живлення виходять за межі номінальної напруги, якщо навантаження на шину дуже низьке. Коливання напруги в електромережі також можуть бути більш проблематичними при дуже низькому навантаженні.
  - Robert на Серпень 22, 2023 - натисніть тут, щоб відповісти
    Невелике оновлення, я замовив новий 300-ватний вентилятор за 50 євро. Цікаво, що енергоспоживання на 1 Вт менше, ніж раніше, чи то через вищу ефективність, чи то через те, що вентилятор працює менше. Режим використання з низьким енергоспоживанням тепер також в порядку.
Ahmed на Серпень 30, 2023 - натисніть тут, щоб відповісти
ECC може бути важливим для системи, яка працює 24/7 і обробляє важливі дані NAS (незалежно від того, чи використовується ZFS чи ні, наявність ECC для NAS все одно є гарною функцією).

Чи плануєте ви опублікувати подібну статтю, але про систему з підтримкою ECC і низьким енергоспоживанням в режимі очікування, яка була б сумісна з Linux (я вважаю, що низьке енергоспоживання AMD не найкращий приклад для Linux).

Я сам незабаром планую зробити таку збірку і хотів би знати, чи варто мені починати збирати її в найближчі місяць-два, чи, можливо, трохи почекати і почитати ваші публікації, які б надали мені корисну інформацію, що може допомогти мені прийняти більш обґрунтоване рішення щодо вибору компонентів.

Тим не менш, дуже дякую за ретельно написану статтю. Ви виконали вражаючу роботу, висвітливши важливі аспекти побудови дуже ефективного мережевого сховища з низьким енергоспоживанням.
- Matt Gadient на Серпень 30, 2023 - натисніть тут, щоб відповісти
  У короткостроковій перспективі нічого не планується щодо ECC. Зазвичай я просто використовую пам'ять Kingston і ретельно проганяю її через Memtest86 і TestMem5, перш ніж вводити в експлуатацію. Якби було можливо отримати ECC в сучасній малопотужній недорогій платформі, я б скористався ним, але для мене це було б скоріше приємністю, ніж необхідністю.
  
  У будь-якому випадку, удачі вам у вашій збірці!
Olivier на Вересень 6, 2023 - натисніть тут, щоб відповісти
Привіт, Метт,
Дякую за ваші дуже докладні та інформативні статті про NAS!
Я будую свій з i3-10500T, 16 ГБ і 4xHDD.
Що стосується блоку живлення, я знайшов Antec EarthWatts 380W EA-380D (80+ Bronze), відновлений за 25 євро. на вашу думку, він того вартий? чи він занадто старий?
Якщо у вас є інша модель, яку ви можете порекомендувати, я зацікавлений. Заздалегідь дякую.
- Matt Gadient на Вересень 6, 2023 - натисніть тут, щоб відповісти
  Зазвичай я купую серії Corsair RM або SF через їхню дуже хорошу ефективність на холостому ходу. Але вони трохи дорогі. Мені завжди дуже подобалися блоки живлення EA-380D (хоча я нещодавно віддав один зі своїх останніх), тому, якщо вони добре вписуються у ваш бюджет, я б радив їх придбати.
xblax на Вересень 11, 2023 - натисніть тут, щоб відповісти
Ця стаття допомогла мені вибрати материнську плату B760M-K D4 з процесором i3-1200 для модернізації мого домашнього сервера після того, як я побачив тут, яке низьке енергоспоживання можливе. Я перейшов з FM2A88M-HD+ на AMD A4-4000 і зміг знизити енергоспоживання в режимі очікування з 40 Вт до 15 Вт, а це означає, що нове обладнання в основному окупиться за пару років.

Я також отримав 970 Evo Plus (2 ТБ) в якості завантажувального диска і можу підтвердити, що його необхідно підключити до чіпсету, щоб досягти низького рівня пакету C-States (C8). Цікаво те, що різниця між пакетом C3 і C8 була набагато більшою, коли SSD було підключено до чіпсета. Я вважаю, що це пов'язано з тим, що сам чіпсет переходить у стан глибокого сну лише тоді, коли всі підключені пристрої підтримують ASPM і активне керування живленням SATA Link Power Management.

Підключення SSD до процесорного PCIe збільшило енергоспоживання лише на ~2 Вт (пакет C3 проти C8), тоді як відсутність ASPM на пристрої, підключеному до чіпсета, здається, забирає додаткові 5 Вт тільки для чіпсета, але має той самий ефект (C3) для пакету C-State.

Варто зазначити, що до чіпсета підключено карту захоплення DVB-C PCIe 1.1 DVB-C Capture. Незважаючи на те, що ASPM вказано як можливість для цієї карти у lspci, і я завантажив ядро за допомогою pcie_aspm=force, вона не була ввімкнена для цієї карти. Мені довелося примусово увімкнути ASPM за допомогою setpci, див. https://wireless.wiki.kernel.org/en/users/documentation/aspm - здається, це працює без проблем. Це допомогло мені досягти 15 Вт потужності в режимі очікування. На жаль, плата захоплення все ще споживає ~5 Вт, інакше у мене зараз підключено лише 2x4TB HDD від Toshiba, який обертається вхолосту.

До речі, Sata Hot Plug має бути вимкнено для всіх портів, інакше пакунок дійде лише до C6.
danwat1234 на Вересень 15, 2023 - натисніть тут, щоб відповісти
Схоже, ви не фанат USB-накопичувачів, вам би не завадив один-два концентратори та кілька корпусів. Гарно написано!
Анонім на Вересень 22, 2023 - натисніть тут, щоб відповісти
Привіт,

Супер чудова стаття, дякую за всю цю інформацію.

Я планую побудувати свій nas. Оскільки енергоспоживання є основною темою, що ви думаєте про наступну збірку (але я трохи новачок у системі та можливостях та / або обмеженнях такого низького tdp чіпа)?

Asrock N100M micro ATX (з новим чотирьохядерним процесором Intel® N100 (до 3,4 ГГц) з tdp 6 Вт. Оскільки є лише 2 порти SATA, ідея полягає в тому, щоб додати карту SAS HBA з 8 додатковими портами SATA на 1 слот PCIe 3.0 x16. Для зберігання даних це буде 1 M2 (той, що на материнській платі) для TrueNas OS, 2 SSD дзеркальних SATA для ВМ, докера, ... і 8 HDD Seagate EXO 7200 об/хв на завершальному етапі (2 на початку, а потім розвиватися в залежності від потреби).

Для живлення - блок живлення Seasonic Focus PX 550W - Modular 80+ Platinum ATX і, нарешті, унікальна флешка на 32 ГБ оперативної пам'яті (без ECC).

Заздалегідь дякуємо
- Matt Gadient на Вересень 22, 2023 - натисніть тут, щоб відповісти
  Нещодавно я розглядав модель N100, яка, здається, є останнім улюбленцем світу міні-ПК. На платах N100 лише 1 канал пам'яті, але для більшості ситуацій, коли пропускна здатність пам'яті не критична, цього цілком достатньо. Найбільша проблема, з якою я зіткнувся за останні кілька років, полягає в тому, що ці плати ASRock з вбудованим процесором подорожчали до такої міри, що дешева материнська плата + процесор часто знаходиться в межах досяжності, разом з більшою кількістю смуг PCI-E, більшою кількістю вбудованих SATA і аналогічним енергоспоживанням, якщо ви можете досягти високих значень c-статусу. Але я б швидко придбав ASRock N100, якби ціна була прийнятною. Зверніть увагу, що слот x16 працює в режимі x2, тому максимальна пропускна здатність на картах PCIe 2.0 становить 1 Гб/с, а на картах PCIe 3.0 - 2 Гб/с. Навряд чи ви досягнете цих швидкостей при звичайному використанні з купою жорстких дисків, але це те, про що слід пам'ятати при роботі з цими платами.
  
  Що стосується карт SAS HBA, я б порадив подивитися, яке енергоспоживання в режимі очікування спостерігається у інших користувачів на конкретній карті, яку ви розглядаєте: популярні карти часто споживають кілька ват, при цьому абсолютно нічого не роблячи. Не знаю, як *BSD поводиться з картами, але з тих небагатьох, у яких ASPM увімкнено за замовчуванням, Linux, схоже, в якийсь момент вимикає його в ядрі через певні проблеми. Тим не менш, в цій ситуації ASRock N100 може виявитися кращою, ніж окрема комбінація процесор/материнська плата, оскільки я очікую, що вона буде менш чутливою до впливу c-стану плати розширення, хоча це лише припущення, засноване на тому, що я бачив з моїми платами ASRock J4x05, і може не стосуватися N100.
  
  Seasonic PX 550W виглядає чудовим вибором.
  
  В цілому виглядає як надійна збірка!
paldepind на Вересень 23, 2023 - натисніть тут, щоб відповісти
Дякуємо за чудову статтю, сповнену корисної інформації.

Чи є у вас якісь поради щодо визначення материнських плат, які можуть досягти низького енергоспоживання? Люди іноді рекомендують материнські плати ITX, але я не знайшов жодних вимірювань щодо того, скільки ват зазвичай економить ITX порівняно з ATX. ITX не підійшла б для цієї збірки, але і ATX, схоже, не була значним джерелом енергоспоживання в будь-якому випадку. Взагалі, здається, дуже важко зрозуміти, які материнські плати є енергоефективними, а які ні?

Що ви маєте на увазі під "накладними витратами кремнію E-core" і чому ви намагалися їх уникнути? Я розумію, що процесори з E-ядрами, ймовірно, більш складні, але я думав, що E-ядра можуть призвести до зниження енергоспоживання, коли процесор виконує неінтенсивні завдання при низькому навантаженні.

Ще раз дякую за чудову інформацію. Сподіваюся, що зможу зібрати систему з подібною енергоефективністю. Зараз у мене є материнська плата Gigabyte Z790 UD AX і система i5-13500, яку я не можу отримати нижче 28 Вт.
- Matt Gadient на Вересень 23, 2023 - натисніть тут, щоб відповісти
  Що стосується материнських плат з низьким енергоспоживанням, моє загальне емпіричне правило полягає в тому, що менша кількість компонентів, як правило, призводить до меншого енергоспоживання. Це не є надійним правилом, але в даному випадку воно працює досить добре. Швидкий "нюховий тест" полягає в перевірці кількості фаз живлення (те, що виробники інтенсивно рекламують): багато фаз, що працюють на високих частотах перемикання, чудово підходять для потужних оверклокерів, але для малопотужних систем нам потрібно кілька фаз, що перемикаються на такій низькій частоті, що якщо на материнській платі і є MOSFET радіатор, то він буде здебільшого декоративним.
  
  Перевагою ITX є те, що він, як правило, обмежує кількість компонентів, але це не обов'язково - минулого тижня я фактично перепрофілював "Intel i3-10320 на Gigabyte H470M DS3H", про який я згадував на початку, і зменшив його енергоспоживання до 6 Вт в режимі очікування (без вентиляторів, без клавіатури, тільки вбудована мережа Intel i219V 1GbE, c-стани в BIOS, 3 SATA SSD Samsung 840/860/870, блок живлення Corsair RM850, сервер Ubuntu з електросистемою). Це дуже утилітарна материнська плата. Я не буду писати окрему статтю, оскільки ця плата більше не доступна, але 6 Вт на цій платі MicroATX Gibabyte H470 і 7 Вт на платі ATX ASUS H770 в цій статті - це мої найкращі 2 результати на сьогоднішній день, і, що примітно, вони не були досягнуті на ITX. Ще одне, що я помітив: обидві ці плати мають лише 6 фаз живлення.
  
  Що стосується "кремнієвих накладних витрат на E-core", то багато деталей можна знайти на https://www.hwcooling.net/en/the-same-and-yet-different-intel-core-i5-12400-duel-h0-vs-c0/ , але я спробую підсумувати. i5-12400 поставляється з 6 P-ядрами та 0 E-ядрами, що зазвичай називається 6+0. Однак, він поставляється в 2 варіантах: "C0", який спочатку був 8+8, але потім ядра були сплавлені, щоб стати 6+0, і "H0", який був виготовлений безпосередньо як 6+0 і ніколи не мав жодного E-ядра всередині. У тестах (сторінка 5 цієї статті) C0 споживав до 16 Вт більше енергії, ніж H0, залежно від тесту, в тому числі майже на 11 Вт більше на холостому ходу. Завжди можливо, що їх зразок C0 мав інші проблеми, що спричиняють витік енергії, або що є якась інша змінна в грі, але в будь-якому випадку 2 чіпи, які мали фізичне обладнання E-Core всередині, не показали хороших результатів в тесті на холостому ходу.
  
  Оскільки для більшості своїх систем я орієнтуюся на надзвичайно низьке споживання в режимі очікування, я не можу виправдати покупку будь-якого з комбінованих P/E-чіпів, поки не побачу дані, які показують, що чіпи з E-ядрами споживають менше 10 Вт в режимі очікування. І я просто ще не бачив. Це сфера, де Intel сьогодні знаходиться під великою загрозою: міні-ПК AMD зараз споживають близько 6-7 Вт енергії в режимі очікування для Ryzen 9 7940HS ( https://youtu.be/l3Vaz7S3HmQ?t=610 ), і якщо AMD перенесе цей тип дизайну APU на настільні комп'ютери або хтось на кшталт ASRock почне упаковувати деякі з цих вражаючих чіпів HS в індивідуальні материнські плати, Intel може швидко втратити ринок з низьким споживанням енергії в режимі очікування.
  - paldepind на Вересень 27, 2023 - натисніть тут, щоб відповісти
    Дуже дякую за чудову відповідь 🙏. Не так багато інформації про такі речі, тому ви ділитеся своїми знаннями, що є дуже цінним і вдячним.
    
    Я бачу, що материнська плата, яку я купив, ймовірно, не ідеальна (вона рекламує багато фаз).
    - Matt Gadient на Вересень 27, 2023 - натисніть тут, щоб відповісти
      Що стосується фаз, то, хоча я використовую його як швидкий тест, він також не ідеальний: якщо у фазах вашої материнської плати використовуються дуже ефективні MOSFET, вона може перевершити материнську плату з меншою кількістю, але менш ефективних MOSFET на заданій частоті перемикання. І, безумовно, є багато інших компонентів материнської плати, які додають змінних до ситуації. Справа в тому, що я впевнений, що десь існує 6-фазна материнська плата, яка пожирає електроенергію, і, можливо, 20-фазна, яка дозволяє побудувати систему потужністю менше 10 Вт, хоча я не думаю, що це буде поширеним випадком.
      
      З огляду на це, навіть якщо на вашій платі багато неефективних MOSFET, 28 Вт енергоспоживання, про які ви говорите, здається трохи завищеним, якщо тільки у вас немає іржі, що крутиться, або PCIe-карти, яка пожирає енергію. Ви перевіряли, чи не потрапляєте ви в режим C6 або кращі режими живлення? Пам'ятайте, що коли я встановив ASM1166 в основний слот PCIe, я був обмежений C2 і споживав 22 Вт.
      - paldepind на Жовтень 9, 2023
        Вибачте за пізню відповідь (я не очікував її і не отримую сповіщень). Добре, що мені потрібно було перечитати деяку чудову інформацію тут
        
        Ви дійсно маєте рацію, що 28 Вт, якими я поділився, були не найкращим варіантом. Я припустився помилки, думаючи, що від'єднання кабелів SATA від моїх жорстких дисків залишить їх вимкненими. Як очевидно в ретроспективі, вам також потрібно від'єднати їх від БЖ. Крім того, до комп'ютера було підключено багато периферійних пристроїв, про які я не знав, що вони споживають енергію (зокрема, підключений монітор має велике значення). Після відключення всіх жорстких дисків і периферійних пристроїв я отримую показники в діапазоні 8-10 Вт.
        
        Сподіваючись, що це буде корисною інформацією для інших, я поділюся деякими подробицями. Процесор - i5-13500 на материнській платі Gigabyte Z790 UD AX. Єдине, що підключено - це SATA SSD і одна карта пам'яті. Блок живлення - 850-ватний Corsair RM850x. Система досягає C8 і навіть C10. Можна було б зробити ще кілька речей, щоб зменшити енергоспоживання. Я вимірював у режимі холостого ходу в GNOME (я припускаю, що відсутність запущеного DE заощадить трохи процесора), у мене є два вентилятори процесора, які працюють повільно навіть при низьких температурах, система підключена до WiFi (я припускаю, що Ethernet споживає менше енергії), і я не відключив індикатори корпусу і HD Audio.
        
        Зараз я дуже задоволений рівнем енергоспоживання. Можливо, одним з висновків є те, що ядра Intel E не сильно впливають на енергоспоживання в режимі очікування, принаймні в цьому процесорі. Єдина проблема, з якою я зіткнувся зараз - це те, що система працює нестабільно і періодично перезавантажується 😭. Я думаю, що я звузив проблему до несправного процесора або несправної материнської плати (я спробував замінити блок живлення, і memtest86+ каже, що пам'ять в порядку). Компанія, де я придбав деталі, стверджує, що обидва компоненти в порядку, але якщо я не знайду іншого рішення, я спробую замінити процесор і материнську плату на дешевші деталі: i3 13-го покоління і материнську плату Asus B760M-A. Якщо це вирішить проблему, сподіваюся, я зможу повернути інші деталі, в гіршому випадку я використаю бюджетні деталі для сервера, а більш дорогі - для робочої станції.
    - Jon на Грудень 13, 2023 - натисніть тут, щоб відповісти
      Привіт, Палдепінде,
      
      у мене точно таке ж налаштування (i5-13500 + Z790 UD AX), мій завантажувальний диск - Samsung 990 pro 4TB
      і у мене точно така ж проблема - спорадичні перезавантаження. Чи вдалося вам знайти причину?
      
      Я спробував останню версію BIOS F9b, а також F5 і змінив кілька налаштувань BIOS, але поки що нічого не допомогло. Я підозрюю, що завантажувальний диск переходить в якийсь режим низького енергоспоживання і не може з нього вийти, але не знаю, як це довести.
      - Daniel на Грудень 13, 2023
        У ваших випадках, чи є якісь події, записані в системних журналах до перезавантаження?
      - Jon на Грудень 18, 2023
        Привіт,
        
        Перед аварією не було ніяких подій, я також налаштував netconsole - все одно нічого не реєструється.
        З останньою версією BIOS, налаштуваннями за замовчуванням і 970 evo plus як завантажувальний пристрій (інших дисків не підключено) система працює стабільно, але, на жаль, вона споживає в середньому 32 Вт під час простою, що є неприйнятним.
        
        Наразі я змінюю по одному налаштуванню за раз і чекаю більше 12 годин, щоб з'ясувати, що насправді є причиною цього, а це займає багато часу.
      - Matt Gadient на Грудень 18, 2023
        Це міг би бути зовсім інший сценарій, але я взяв Gigabyte Z790 D DDR4 близько місяця тому, і при спробі стиснути каталог на 1 ТБ з приблизно 1 мільйоном файлів з масиву RAIDZ до файлу tar.zstd на інший диск, він випадково перезавантажувався протягом 30 хвилин. Це повторювалося знову і знову. Вимкнення C-станів у BIOS допомогло вирішити проблему. Заміна всього обладнання на плату ASUS H770 призвела до того, що все запрацювало належним чином. Я купив багато плат Gigabyte за ці роки - це була перша, яку мені довелося повернути.
      - Zac на Травень 20, 2024
        Я зіткнувся з подібною проблемою на платі Gigabyte z790 (z790 Aorus Elite AX DDR4), все працює стабільно, поки я не ввімкну високі c-стани (c8/10).
        Я перепробував усі налаштування, як тільки я вмикаю c8/10, система стає нестабільною і в якийсь момент вимикається, я перевірив усі диски та кабелі, двічі замінив psu, наразі чекаю на дозвіл на повернення процесора від intel. Судячи з цієї теми, може здатися, що це проблема Gigabyte, я також пробував різні прошивки BIOS безрезультатно, тому, схоже, якщо RMA процесора не вирішить проблему, це буде проблема з материнськими платами Gigabyte z790.
        
        Це, звичайно, розчаровує, оскільки я вже не маю права на повернення і не хочу мати справу з Gigabyte RMA, тому, якщо CPU RMA не спрацює, мені доведеться просто жити з цим або продати її і купити іншу плату.
        
        Оскільки ця тема трохи застаріла (грудень 2023 року), мені цікаво, чи хтось ще стикався з цією проблемою і зміг її вирішити.
        
        Дякую.
  - Daniel на Листопад 14, 2023 - натисніть тут, щоб відповісти
    Я не впевнений, що кількість фаз є хорошим показником.
    
    Зараз я тестую ASUS TUF GAMING B760M-PLUS WIFI D4 (12+1 DrMos), і на холостому ходу, з відключеним монітором і USB (миша, клавіатура), вимірювач потужності показує 6,7-8,1 Вт:
    
    - i5 13500
    - 2 x 16 ГБ 3600 МГц (шестерня 1)
    - 1 ТБ KC 3000
    - RM550x 2021
    - 2 x 120 мм вентилятори @ 450 об/хв
    - аудіокодек увімкнено
    - WiFi вимкнено
    
    Arch Linux + модуль RTL8125 (мій роутер не підтримує EEE)
    
    З відключеною картою Realtek вимірювач потужності показує 6,4 - 6,7 Вт
    
    Стани ПК з локальною мережею
    C2 (pc2) 0,7%)
    C3 (pc3) 1,3%)
    C6 (pc6) 41,1% )
    C7 (pc7) 0,0%
    C8 (pc8) 0,0%)
    C9 (pc9) 0,0%
    C10 (pc10) 55,8%
    
    Стани ПК без локальної мережі
    C2 (pc2) 0,6%
    C3 (pc3) 0,9%
    C6 (pc6) 0,0%
    C7 (pc7) 0,0%
    C8 (pc8) 0,0%
    C9 (pc9) 0,0%
    C10 (pc10) 97,8%.
    
    Я отримав схожі результати на B660 AORUS MASTER DDR4 (16+1+1).
    - Daniel на Листопад 16, 2023 - натисніть тут, щоб відповісти
      Забув згадати. Хоча результати пристойні, я не рекомендую цю плату ASUS - вона нестабільно працює на холостому ходу. У мене було кілька випадкових вимкнень (раптове відключення живлення).
    - Jackie D на Липень 9, 2024 - натисніть тут, щоб відповісти
      Чи має материнська плата AORUS MASTER таку саму проблему низького холостого ходу?
      - Daniel на Липень 10, 2024
        Ні. Він надійний. Працює майже цілодобово, і поки що без жодної поломки.
  - Wolfgang на Грудень 1, 2023 - натисніть тут, щоб відповісти
    Дякую за статтю Метт!
    
    Нещодавно я придбав i3-13100 (4+0) та i3-13500 (6+8), щоб перевірити твердження про "накладні витрати E-core", які я бачив в Інтернеті. Я радий повідомити, що енергоспоживання на холостому ходу ідентичне для обох цих чіпів! Можливо, проблема підвищеного енергоспоживання характерна лише для i5-12400 C0, але, на жаль, у мене немає його під рукою, щоб протестувати.
    - Matt Gadient на Грудень 1, 2023 - натисніть тут, щоб відповісти
      Приємно чути, дякуємо, що передали!
Dave на Вересень 25, 2023 - натисніть тут, щоб відповісти
Порекомендуйте, будь ласка, ДБЖ з низьким енергоспоживанням в режимі очікування. Я читав, що енергоспоживання на холостому ходу сильно варіюється.
htmlboss на Жовтень 9, 2023 - натисніть тут, щоб відповісти
Привіт, дякую за цю статтю, Метт! Я шукав можливість побудувати малопотужну систему, яка б слугувала моїм особистим хмарним середовищем для розробки, в яке я міг би зайти по SSH з будь-якого ПК (я не фанат цін на кодові простори github, лол). Перший поверхневий огляд вашого дослідження показує, що це хороша відправна точка для мене :)

Наразі я використовую Quanta 1u, який я купив на ebay якраз перед тим, як з'явився ковід, і його одноядерна продуктивність дійсно демонструє свій вік. Також він працює на холостому ходу при 80 Вт >.
Lukas на Жовтень 12, 2023 - натисніть тут, щоб відповісти
Привіт, дякую за чудову статтю!
Я хотів би поділитися своїм досвідом роботи з моїм новим ПК потужністю 12-14 Вт.

Я щойно зібрав безвентиляторний міні-ITX ПК. Корпус також пасивний - AKASA Maxwell Pro, а всередині AMD Ryzen 5600G (Zen 3, 65 Вт TDP), Gigabyte B550I AORUS PRO AX (bios FB), 1x 16 ГБ DDR4 (планую оновити до 2x32 ГБ), 1x 2 ТБ Samsung 980Pro m.2 SSD. Живиться від блоку живлення 12В AC/DC від AKASA (макс. 150 Вт) та Inter-Tech MINI-ITX PSU 160 Вт.

12-14 Вт енергоспоживання в режимі очікування для всього ПК під управлінням Windows 10 (виміряно на стороні постійного струму, план енергоспоживання збалансований, але я ввімкнув ASPM, Pstates і C-states в біосі та енергозбереження PCIe в розширених налаштуваннях у плані енергоспоживання Windows).
Під навантаженням (Cinebench R23) 61-65 Вт. Наразі я занижую напругу, щоб мати кращі показники енергоспоживання та температури.

----------

Моя маленька домашня лабораторія та NAS споживає менше 2 Вт у режимі очікування ‼️

Я рекомендую Odroid H3 (H3+) з BIOS 1.11 і Debian 11 + DietPi + ядро 6.0.0 (або новіше) + застосовані налаштування через powertop, він має енергоспоживання в режимі очікування лише 1,2 - 1,5 Вт (порівняно з 2,7 Вт для RPi 4 - джерело) ⚡️ (з моєю конфігурацією: 1x 16 ГБ оперативної пам'яті і 1x SATA SSD).

See: https://i.ibb.co/7QD390m/H3-1-10-6-0-0-sata-idle.gif

Максимальний обсяг пам'яті - 64 ГБ оперативної пам'яті, він має 1x порт m.2, 2x SATA 3 і 2x LAN 2,5 Гбіт/с. Він набагато швидший, ніж Raspberry Pi 4, і споживає менше енергії в режимі очікування. Під навантаженням він може споживати 20 Вт (+ залежить від підключених пристроїв).

Якщо вам потрібно більше портів SATA, то порт m.2 можна розширити до 5x SATA за допомогою цього: https://wiki.odroid.com/odroid-h3/application_note/m.2_to_sata_adapter
Martin на Жовтень 17, 2023 - натисніть тут, щоб відповісти
Дякую за чудову статтю, дуже корисна інформація.

Наразі я намагаюся змусити своє нове мережеве сховище використовувати менше 40 Вт на холостому ходу без дисків з даними, і я не можу зрозуміти, чому воно споживає так багато. Мій ігровий робочий стіл простоює менше.

Це Asrock H670M-ITX/ac з процесором i3-12100, 8 ГБ оперативної пам'яті, тихим 400-ватним блоком живлення. Спочатку я використовував Kingston NV2 NVMe для ОС, але виявив, що заміна його на SATA SSD знизила енергоспоживання в режимі очікування приблизно на 10 Вт (50 Вт - > 40 Вт).

Згідно з powertop, ядра без проблем потрапляють в C7, але пакет відмовляється залишати C2. Не впевнений, наскільки це важливо.

Я продовжу працювати над цим, з вашою статтею в якості довідника :)
- Matt Gadient на Жовтень 17, 2023 - натисніть тут, щоб відповісти
  Стани пакета C мають значення. Зазвичай я роблю такі кроки: (1) вилучаю все, що підключено до слоту PCIE, (2) вмикаю C-стани в BIOS, вибираю найвищий C-стан (зазвичай C10, але на деяких материнських платах тільки C6-C8), (3) починаю пробувати і помилятися з налаштуваннями BIOS, доки не знайду винуватця проблеми. Зазвичай я використовую USB-накопичувач Ubuntu для тестування, оскільки іноді ви можете отримати дивні речі з крайніми випадками ОС під час встановлення наживо (тестування Debian нещодавно зірвало одну з моїх спроб).
nice на Жовтень 28, 2023 - натисніть тут, щоб відповісти
Дякую, після налаштування цієї збірки за допомогою proxmox у мене нормально працює c10. Однак, у нещодавній Ubuntu 23.10 ми досягаємо c3, тільки якщо це проблема ядра. Цікаво, чи у інших людей так само
- Dan на Листопад 2, 2023 - натисніть тут, щоб відповісти
  Я теж зіткнувся з цією проблемою. Після багатьох розчаровуючих годин і днів тестування, я трохи звузив її. Я використовую archlinux, і після завантаження з кожним місячним живим usb я бачу, що моя система не може досягти глибшого c-стану пакунків, ніж c3 після ядра 6.4.7. Це дорівнює приблизно на 7-9 ват більше, ніж c8. Можливо, справа не у ядрі, а у пакунку в archlinux liveusb. Не знаю, куди рухатися далі. Будемо раді будь-яким ідеям щодо того, як звузити цю проблему.
  
  Метт,
  Ваші статті надихнули мене, тому я придбав таку ж материнську плату (prime h770 plus d4) і подібний процесор тощо. Мені вдалося досягти мінімум 12-14 Вт. Наразі я задоволений цим, але додаткові 8 Вт через те, що пакет більше не досягає c8, дуже розчарували, чи бачили ви щось подібне у своїй збірці?
  - Matt Gadient на Листопад 2, 2023 - натисніть тут, щоб відповісти
    Дуже цікаво. Схоже, що проблема, з якою я зіткнувся в Debian, може бути не ізольованим крайнім випадком, як я думав: Трохи більше місяця тому я поміняв материнську плату/процесор з моєю настільною системою, встановив Debian 12, оновився до Debian trixie/testing і зіткнувся з тими самими проблемами з C-станом, що і у вас. При використанні USB-накопичувача Ubuntu c-стани працювали коректно. У мене не було часу на діагностику, тому я просто перевстановив Debian 12 bookworm/stable (наразі працює ядро 6.1), яке дозволило C8.
    - Matt Gadient на Листопад 2, 2023 - натисніть тут, щоб відповісти
      Сьогодні я оновив Debian 12, в результаті чого ядро було оновлено з 6.1.0-12-amd64 до 6.1.0-13-amd64. Після перезавантаження я застряг на C3. Повернення до 6.1.0-12 відновило C8. Це дійсно починає виглядати так, ніби ми бачимо помилку/регресію ядра, яку, очевидно, було перенесено у старіші ядра. У гілці 6.1 це може бути десь між 6.1.52 і 6.1.55. Не знаю, чи хтось надсилав повідомлення про ваду, чи її було виправлено в основному ядрі, і у мене зараз немає часу переглядати журнали змін, але якщо її не буде виправлено, то, напевно, з часом мені доведеться в ній покопатися.
      - tseting на Листопад 5, 2023
        https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software
        Кілька досліджень показали, що це проблема з приводом RealTekLAN. Якщо ви завантажите та встановите драйвери для чіпсета 8125 з сайту Realtech, ви зможете досягти c10, як і раніше.
Marc Gutt на Листопад 4, 2023 - натисніть тут, щоб відповісти
Привіт, Метте,
вам варто розглянути інший блок живлення, наприклад, Corsair RM550x (2021) або BeQuiet 12M 550W. Corsair найкраще підходить для систем з низьким енергоспоживанням, але його дуже важко дістати. Це дозволить ще більше знизити енергоспоживання (від 2 до 4 Вт).
Цей та інші твіки згадуються в цій темі:
https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/
Dan на Листопад 6, 2023 - натисніть тут, щоб відповісти
Я можу підтвердити, що встановлення останньої версії драйвера Realtek r8125 з веб-сайту Realtek вирішило проблему для мене. Тепер моя система знову досягає стану c8. Не впевнений, що вона коли-небудь досягне c10, але в біосі сказано, що вона підтримується. Чи може хтось порадити, як перевірити наявність c10?
- Matt Gadient на Листопад 7, 2023 - натисніть тут, щоб відповісти
  Щоб перевірити C10, оскільки powertop оновлюється повільно, ви можете залишити powertop увімкненим, поки дисплей спить, зачекати хвилину, а потім увімкнути дисплей і подивитися, чи показує powertop якийсь відсоток у C10. Або ж увімкніть SSH на машині і запустіть powertop, коли дисплей перебуває у режимі сну.
  - Dan на Листопад 9, 2023 - натисніть тут, щоб відповісти
    Дякую Метт, ssh в машину підтвердив c10. Зараз намагаюся отримати нижче 12 Вт. Перепробував все в біосі, тож винуватцями є psu, живлення/таймінги dram і, можливо, вимірювач потужності (не можу дістати кіловатметр у Великобританії, але думаю, що мій еквівалентний). Будьмо
Matt Gadient на Листопад 6, 2023 - натисніть тут, щоб відповісти
Дякуємо тим, хто передав інформацію про мережеві адаптери Realtek щодо c-станів. Причиною є наступний патч, який, схоже, було випущено у ядрах 6.x, побудованих 13 вересня 2023 року або пізніше: https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/diff/drivers/net/ethernet/realtek/r8169_main.c?id=v6.1.53&id2=v6.1.52.

На жаль, це була навмисна зміна драйвера Realtek, що міститься у ядрі. Це гарантує, що L1 вимкнено практично на кожному адаптері Realtek, мабуть, у відповідь на те, що деякі адаптери Realtek відчувають проблеми зі стабільністю, коли ці стани низького енергоспоживання увімкнено. На моїй поточній тестовій системі це призводить до збільшення енергоспоживання на 4 Вт на холостому ходу з вимкненим екраном, оскільки система більше не виходить за межі C3.

Спроба використання драйвера Realtek, на який посилається Tseting, ймовірно, буде найпростішим обхідним шляхом, хоча я не маю уявлення, як він буде працювати на непідтримуваних версіях ядра, а я особисто не є великим шанувальником модулів ядра. Для зручності я вставлю його сюди: https://www.realtek.com/en/component/zoo/category/network-interface-controllers-10-100-1000m-gigabit-ethernet-pci-express-software

Звичайно, є більш складний обхідний шлях - для тих, хто знайомий з компіляцією ядра, відміна змін у наведеному вище diff відновить L1/L1. 1 на пристроях RTL8168h/8111h, RTL8107e, RTL8168ep/8111ep, RTL8168fp/RTL8117 та RTL8125A/B (на старіших пристроях цю функцію вже вимкнено) - якщо ви хочете дозволити L1.2, ви можете змусити rtl_aspm_is_safe() повертати true, хоча на моїй тестовій системі це не дало жодних переваг над L1.1.

Якщо розробники ядра не змінять свою думку, схоже, що мережеві карти Intel можуть бути єдиним життєздатним варіантом для подальшого розвитку. Мережеві карти Intel 1G, як правило, дуже надійні. На жаль, я виявив, що відключення мережевої карти Realtek на моїй платі MSI не призводить до її повного відключення (вона все ще застрягла на рівні C3), тому покупка плати з мережевою картою Realtek з планами відключити її і використовувати мережеву карту розширення Intel може бути ризикованою. Варто зазначити, що в майбутньому виробники можуть встановлювати прапорець на адаптер 8125A/B для позначення того, що L1.2 протестовано і дозволено, і ядро Linux буде його поважати, але я не знаю, чи було це реалізовано на материнських платах або картах розширення.
SaveEnergy на Листопад 12, 2023 - натисніть тут, щоб відповісти
Доброго дня,
дякую за детальну інформацію, якою ви поділилися.
Ваше налаштування надихнуло мене, і я придбав "Prime h770-plus", включаючи 4800 DDR Ram.
На жаль, у мене також виникли проблеми з NVME SSD, коли в біосі ввімкнено aspm (і PCI express clock gating). Обхідні шляхи блокування певних режимів енергозбереження WD не допомогли. Спробував SN750 (1tb) і SN850X (2tb).
Чи можете ви все ще рекомендувати Crucial P3 або він також регулярно виходить з ладу через проблеми з ASPM?

У кого який інший NVME на платі працює надійно з увімкненим ASPM?

Чи продуктивно ви працюєте в безперервному режимі?

Крім того, я виявив, що 840pro (256gb) принаймні на SATA1 не дає системі опуститися нижче C3. З іншого боку, Crusial Force GT (128 ГБ) працює до C8.
Я обійшов проблему з мережевою картою Realtek, видаливши галочку в ядрі.
Дякую і з найкращими побажаннями
- SaveEnergy на Листопад 13, 2023 - натисніть тут, щоб відповісти
  Доброго дня,
  Я спробував Samsung 990 pro. На жаль, це все ще призводить до вже відомих помилок nvme aspm.
  Хтось ще має якісь ідеї?
  Це не може бути пов'язано з блоком живлення (я б знайшов це дуже дивним), тому що тут тимчасово використовується Corsair cx 750.
  Якщо нічого не допоможе, чи є у когось хороша альтернативна плата?
  Якось я занадто часто кладу ногу в рот, коли справа доходить до апаратного забезпечення ;-(.
  - Firesucker на Вересень 3, 2024 - натисніть тут, щоб відповісти
    Для мене Samsung Pro на 1 ТБ працює ідеально. Досягає C10 навіть з підключеним Intel X710-DA2
jit-010101 на Листопад 14, 2023 - натисніть тут, щоб відповісти
Щодо:

"Думаю, багатьох головних болів можна було б уникнути, якби ви знайшли плату з більшою кількістю SATA-портів!"

За замовчуванням це не так - тому що все залежить від того, який SATA-контролер використовується і/або як ці порти з'єднані. Швидше за все, використовується вбудований контролер, і спеціально для N5105 є широко відомий NAS-варіант з 6-ма портами SATA, який продається компаніями Kingnovy і Topton.

Чорний варіант використовує JMS585, а зелений з друкованою платою використовує ASM1166 - чорний застряг на C3, а зелений може опускатися до C8 (перевірено мною, тому що у мене є зелений варіант). Якби мені було потрібно щось більше, ніж просто резервний сервер, я б пішов цим шляхом - з набагато потужнішим процесором Intel на LGA1700.

Хорошим прикладом того, наскільки низьким може бути енергоспоживання в режимі очікування, є Odroid H3 - <2 Вт в режимі очікування з 2-ма жорсткими дисками через SATA в спіндауні ... однак, як тільки ви додасте (неправильні) компоненти, які будуть швидко прискорюватися - перевірте статистику енергоспоживання тут:

https://github.com/fenio/ugly-nas

TLDR: Зрештою, він споживає більше енергії, ніж ваша збірка тут - і я повинен додати, що раніше у мене був Odroid H2, який смажив свою смугу 5В і тягнув за собою (дорогі) SSD ... з тих пір я тримаюся подалі для абсолютного максимуму найнижчого енергоспоживання в екзотичних комбінаціях, таких як Odroid H3.

Я б сказав, що в кінцевому підсумку все зводиться до того, наскільки все практично в порівнянні з рівнем енергоспоживання.

Тим не менш, я вражений цією збіркою - 7 Вт в режимі очікування з 750-ватним БЖ - це вже щось.
Frederik на Листопад 18, 2023 - натисніть тут, щоб відповісти
Привіт, Метт, я прочитав вашу статтю кілька разів і дуже вражений знаннями, які містяться в ній та коментарях.
Наразі я оновлюю свій домашній сервер з j3455 на 11400.
Під час перемикання обладнання я виявив дивну проблему:
I5-11400+2x8Gb 2666 ddr4 +ASUS Prime B560M-A (остання версія біосу) +asm1166.

Якщо я завантажуюсь з USB без підключених sata дисків, стан пакету C досягає c8.
Якщо я завантажуюся з USB з підключеним SATA-диском до вбудованого sata-контролера, стан пакета C досягає лише C2 (+4W).
Якщо я завантажуюся з USB з SATA-диском, підключеним до pcie asm1166, стан пакета c досягає c8.

Отже, мені здається, що SATA-контролер b560 має проблеми з енергозбереженням. Навіть якщо я увімкну L1 для всього і запустив налаштування живлення, він не опускається нижче c2.

Чи є у вас ідея, що може спричинити споживання контролером b560 SATA на 4 Вт більше?
- Matt Gadient на Листопад 18, 2023 - натисніть тут, щоб відповісти
  Не впевнений. Вбудований SATA на цій платі має бути від чіпсета Intel, а ви згадуєте, що у вас увімкнено L1 для всього. Перше, що я б спробував:
  - переконайтеся, що керування живленням SATA Link State Power Management увімкнено (на моєму H770 воно знаходиться у розділі Advanced/PCHStorageConfiguration/AggressiveLPMSupport)
  - На сторінці материнської плати ASUS Prime B560M-A зазначено, що порт SATA_2 ділить пропускну здатність зі слотом M.2_2. Я не знаю, як це обробляється внутрішньо, але якщо ви підключилися до SATA_2, спробуйте підключитися до одного з інших портів SATA на материнській платі
  - Вимкніть SATA Hot Plug (xblax згадував про це вище)
  - Спробуйте інший SSD, якщо він є під рукою, щоб побачити, чи є різниця (SaveEnergy згадував про це вище)
  - Frederik на Листопад 20, 2023 - натисніть тут, щоб відповісти
    Привіт, Метт, дякую за твою допомогу! Я спробував наступне, але не вдалося. Плата все ще споживає 4-5 Вт через C2.
    Зрештою, може бути дешевше додати ще один ASM1166 замість вбудованого контролера :D.
    
    - Перевірте, чи увімкнено керування живленням SATA Link State Power Management (на моєму H770 воно знаходиться в розділі Advanced/PCHStorageConfiguration/AggressiveLPMSupport)
    Ця опція увімкнена, я також спробував з вимкненою, але це не змінило енергоспоживання або C-стани. (Залишаю поки що увімкненим)
    
    - На сторінці материнської плати ASUS Prime B560M-A зазначено, що порт SATA_2 ділить пропускну здатність зі слотом M.2_2. Я не знаю, як це обробляється внутрішньо, але якщо ви підключилися до SATA_2, спробуйте підключитися до одного з інших портів SATA на материнській платі
    У BIOS я можу вказати, чи використовує M.2_2 SATA або PCIE. Згідно з BIOS та інструкцією, SATA6G_2 заблоковано, лише якщо M.2_2 встановлено на SATA.
    Але я підключив ASM1166 в M.2_2 і налаштував його як PCIE. Я переконався, що всі вбудовані порти SATA працюють належним чином при такому налаштуванні.
    
    - Вимкніть SATA Hot Plug (xblax згадував про це вище)
    За замовчуванням гаряче підключення вимкнено для всіх портів. Я увімкнув його, щоб перевірити, чи це щось змінить, але це не допомогло. Наразі залишимо його у вимкненому стані.
    
    - Спробуйте інший SSD, якщо він у вас є, щоб побачити, чи є різниця (SaveEnergy згадував про це вище)
    Я завантажився з USB і спробував різні пристрої: 2x SSD (Emtec і старіший Samsung), 2x 3.5" HDD (WD і Seagate) і навіть 1x LG DVD Burner.
    Здається, що не має значення, який тип пристрою підключено.
    
    Завжди одне і те ж, як тільки я підключаю пристрої через SATA на борту C2 стає максимальним.
    Щоб перевірити це, я завантажився з USB-накопичувача з підключеними SATA-пристроями, а потім відключив їх усі під час завантаження.
    Як тільки останній sata-пристрій буде фізично від'єднано від живої системи, він одразу перейде на pc6, а трохи згодом - на pc8.
    
    При повторному підключенні всіх SATA-пристроїв він залишається на PC6/8, але також dmesg не розпізнає перепідключення (швидше за все, через вимкнене гаряче підключення)
    Я перегляну журнали завантаження dmesg, можливо, щось цікаве спливе.
Анонім на Грудень 1, 2023 - натисніть тут, щоб відповісти
Привіт, у мене система з ASRock H610M-ITX та i3-12100, і адаптер ASM1166 M.2, який я маю, здається, не розпізнається навіть після того, як я перепрошив прошивку від SilverStone. Зі специфікації H610m-ITX здається, що слот M.2 підключений до чіпсета. Чи можу я щось зробити на цьому етапі?
- Matt Gadient на Грудень 1, 2023 - натисніть тут, щоб відповісти
  Не впевнений. Я б спочатку встановив його на місце на випадок, якщо з'єднання не працює належним чином, і/або тимчасово підключив би NVMe SSD, і/або перевірив би, чи нічого в BIOS не відключає цей слот. Потім я б перевірив, чи все працює належним чином в іншій системі з підключеним накопичувачем, а потім ще раз перевірив, чи правильно оновилася прошивка. Якщо все в порядку, щоб визначити, чи є проблема саме в цьому слоті M.2 на вашій материнській платі, я б спробував встановити ASM1166 на адаптер PCIe M2 (наразі близько 3 доларів США з Aliexpress або 10 доларів США з доставкою з Amazon) і встановити його в основний слот PCIe - я використовував варіанти x1 і x4, і вони досить зручні.
  - Анонім на Січень 31, 2024 - натисніть тут, щоб відповісти
    Я нарешті спробував використати адаптер PCIE M.2 у слоті процесора x16, він працює, але стан пакунка залишається лише на рівні C2, як і те, що ви знайшли. Що ж, схоже, я не зможу використовувати деякі з відсіків для жорстких дисків у моєму корпусі NAS.
- baegopooh на Січень 25, 2024 - натисніть тут, щоб відповісти
  У мене така ж проблема з контролером Asrock z170-itx fatal1ty / asm1166 m.2 sata.
  -m.2 слот mobo працює (перевірено з m.2 ssd)
  -sata контролер працює (перевірено з адаптером m.2-pcie та слотом x16 материнської плати і слотом m.2 іншого мініатюрного комп'ютера)
  Але з asm1166, підключеним до слоту m.2, нічого не відображається ні в bios, ні в lspci.
  
  Тож схоже, що у плати Asrock є якась проблема.
  Не знаю, як діяти далі
  - Matt Gadient на Січень 25, 2024 - натисніть тут, щоб відповісти
    Безумовно, здається, що це може бути дивна проблема, пов'язана з ASRock, як ви припустили, і/або проблема з цим слотом M.2. Я швидко переглянув інструкцію до цієї материнської плати і не побачив нічого пов'язаного з BIOS, що могло б мати відношення до цієї проблеми. На моєму місці я б спробував увімкнути/вимкнути CSM просто заради цікавості (іноді він впливає на дивні речі), але я б не був оптимістом.
  - baegopooh на Лютий 7, 2024 - натисніть тут, щоб відповісти
    Повне вимкнення CSM призвело до збою завантаження з 5 звуковими сигналами (щось не так з графічним процесором). увімкнення cm та вимкнення storage oprom не допомогло.
  - Анонім на Березень 26, 2024 - натисніть тут, щоб відповісти
    Цікаво, що Вольфганг з Wolfgang's Channel змусив адаптер ASM1166 M.2 працювати в платі ASRock N100DC-ITX, при цьому система змогла досягти стану живлення C8. Всі лінії PCIe на цій платі повинні йти безпосередньо від N100. https://youtu.be/-DSTOUOhlc0?t=254
Walter на Грудень 1, 2023 - натисніть тут, щоб відповісти
привіт Метт, дякую за найкраще та найдокладніше пояснення, як це зробити. Вчора я купив ASUS Prime H770-Plus D4 за $99 на Amazon, щоб повторити ваше налаштування, доставка через пару тижнів, і я хотів запитати вас, чи Intel i5-12400 все ще є процесором, який ви б рекомендували на даний момент. Я запитую, тому що ви згадуєте, що у вас вже був цей процесор (хоча тоді він був ретельно підібраний для іншого проекту). Мені потрібно купити процесор спеціально для цього, і я хотів би найпотужніший, припускаючи, що він все одно буде простоювати на низькій потужності.

Крім того, я не розумію одну річ, якщо я використовую домашній сервер як мережеве сховище даних, а також як маршрутизатор, чи не буде це перешкоджати досягненню високих температур на холостому ходу, враховуючи, що він завжди повинен виконувати якусь роботу? У мене гігабітне з'єднання, і зараз я використовую openwrt на pi4, але з увімкненим qos я можу отримати вдвічі меншу швидкість завантаження.

Ще раз дякую.
- Matt Gadient на Грудень 1, 2023 - натисніть тут, щоб відповісти
  Принаймні кілька людей в коментарях використовують i5-13500 і досягли низьких показників енергоспоживання. У нього вища турбо-частота, більше кеш-пам'яті та 8 електронних ядер. Тому, враховуючи, що ви шукаєте найпотужніший процесор з низьким енергоспоживанням на холостому ходу, я підозрюю, що це може бути кращим варіантом. Можливо, деякі з більш швидких процесорів також будуть цілком придатні, але, очевидно, вам доведеться витратити більшу суму грошей, щоб з'ясувати це напевно, і я не впевнений, що ASUS H770 впорається з високими вимогами до потужності під час турбо-режиму.
  
  Що стосується маршрутизатора, я не впевнений, хоча це те, що я сподіваюся протестувати протягом наступних кількох тижнів. Наразі я використовую старий ASRock/Intel J4005B-ITX з OpenWRT в якості маршрутизатора, але обмеження материнської плати на ньому - C6 (хоча він проводить там 88-92% часу після живлення з типовим домашнім трафіком, включаючи потік YouTube, який я щойно протестував). Він живиться від одного з моїх старих блоків живлення Antec, і він надійно сидить на постійних 10 ватах.
  
  ЗМІНЕНО/ОПОВНЕНО 13 грудня: Щоб продовжити, я провів невелике тестування на Asus H770 + i3-12100 + Intel i350-4T з OpenWRT у контейнері systemd-nspawn, запущеному з привілеями з SYSTEMD_SECCOMP=0. Результати дещо заплутані.
  
  Якщо нічого не робити, то 90-95% часу він буде працювати на C10.
  
  ТЕСТ A: Обробка лише 1 пристрою, який дивиться YouTube, 90% C10. Підключений до дуже легкого домашнього трафіку (стрибкоподібний, зі середньою швидкістю менше 3 Мбіт/с), він перебував у C10 80-90% часу. При завантаженні з одного з моїх веб-серверів, який обмежує швидкість до 4 МБ/с (приблизно 32 Мбіт/с), вона впала до 50-60% в діапазоні C10.
  
  ТЕСТ B: Запуск тестів iperf із зовнішнього VPS на локальну машину (перенаправлення порту):
  - 0 Мбіт/с = приблизно 82% C10 (лише домашній трафік)
  - 1 Мбіт/с = приблизно 73% C10
  - 5 Мбіт/с = приблизно 61% C10
  - 10 Мбіт/с = приблизно 58% C10
  - 20 Мбіт/с = приблизно 30% C10
  - 30 Мбіт/с = приблизно 12% C10
  ...він досягнув 0 на швидкості трохи більше 40 Мбіт/с.
  
  ТЕСТ C: Цікаво, що проходження через маршрутизатор між 2 локальними мережами (без NAT, просто переадресація) дало різні результати:
  - 0 Мбіт/с = приблизно 82% C10 (тільки домашній трафік)
  - 1 Мбіт/с = приблизно 82% C10
  - 5 Мбіт/с = приблизно 80% C10
  - 10 Мбіт/с = приблизно 74% C10
  - 20 Мбіт/с = приблизно 70% C10
  - 30 Мбіт/с = приблизно 64% C10
  ...він досягнув 0 на швидкості трохи більше 70 Мбіт/с.
  
  Оскільки я перебуваю в контейнері nspawn, я не зміг спробувати програмне розвантаження потоку в розділі брандмауера OpenWRT, щоб побачити, чи пом'якшить це вплив в тестах A і B - цілком можливо, що "розвантаження потоку" наблизить результати до тесту C. Також можливо, що IPv6 може показати кращі результати в тестах A і B, пропускаючи NAT, хоча вплив менших, але більших пакетів завжди може вносити свої корективи.
  
  Наскільки я можу судити, висновок полягає в тому, що є певний обсяг трафіку, який комп'ютер може обробити в якості брандмауера, знаходячи при цьому можливості для сну. Але якщо він не спить ... інші варіанти теж починають виглядати привабливо. Я щойно знову протестував Intel J4005 (підключений лише до монітора), і він споживає 9-10 Вт в OpenWRT, навіть якщо C-States вимкнено, і я підозрюю, що серія J5xxx буде схожою (про N100 не маю жодного уявлення). Якщо потрібно трохи більше потужності, мій Ryzen 5600G споживає 22-23 Вт в Ubuntu LiveDVD з відключеними C-станами. Обидва вони починають виглядати однаково привабливо, як тільки Alder Lake втрачає свою перевагу C-стану, на мій погляд.
  
  ПРАВКА/ОПОВНЕННЯ 15 грудня: Голий метал, налаштовано Debian як маршрутизатор. ТЕСТ B був майже ідентичним, за винятком часу в C10, який склав +6% для кожного пункту - все одно наштовхнувся на тверду стіну трохи більше 40 Мбіт/с. Таблиці потоків не допомогли.
  
  Тест C пройшов трохи краще, і остаточні цифри такі:
  - 70 Мбіт/с = приблизно 70% C10
  - 75 Мбіт/с = приблизно 60% C10
  - 80Мбіт/с = 0% C10 (тут ми наштовхнулися на тверду стіну)
  
  Коли я увімкнув таблиці потоків для тесту C, я отримав трохи більше:
  - 80Mbps = приблизно 60% C10
  - 85Mbps = приблизно 45% C10
  - 90 Мбіт/с = 0% C10 (тут я наштовхнувся на тверду стіну)
  
  ТЕСТ D: Щоб перевірити вплив збільшення кількості з'єднань, я запустив торрент-клієнт і додав кілька торрентів з обмеженою глобальною швидкістю завантаження 1 МБ/с.
  - 0 з'єднань = приблизно 80% C10 (лише домашній трафік)
  - 16 з'єднань = варіюється 36-39% C10
  - 32 з'єднання = у різних межах 33-35% C10
  - 64 з'єднання = варіюється від 26 до 29% C10
  - 128 з'єднань = варіюється 21-29% C10
  - 256 з'єднань = приблизно 20% C10
  - 512 з'єднань = приблизно 15% C10
  - 1024 з'єднання = приблизно 5% C10
  ...Я спробував таблиці потоків на різних етапах. Ніякої позитивної різниці.
  
  На цьому шляху я зробив кілька цікавих відкриттів.
  
  По-перше, блок-схеми не дуже допомогли. Якщо вже на те пішло, то онлайн-тести на швидкість, здавалося, досягали піку трохи менше. Можливо, це щось специфічне для Intel i350-T4, який я використовував (в Debian bare metal H770 і OpenWRT bare metal J4005).
  
  По-друге, OpenWRT в контейнері не був приємним досвідом. У мене виникали дивні проблеми, коли деякі з'єднання були надійними, а інші - ні. Можливо, при достатньому налаштуванні і переконанні його можна було б змусити працювати безперебійно. Я виявив, що віртуальна машина з'їдала 2-2,5% процесора на повний робочий день при порожньому встановленні і була непростою в C-станах, тому я не став переслідувати цю проблему далі.
  
  По-третє, і це дуже незрозуміло і, ймовірно, специфічно для ASUS H770 або, можливо, моєї комбінації обладнання або, можливо, навіть ядра Linux, яке я використовував ... якщо вбудована мережева карта Realtek була включена в BIOS, але НЕ активована (через файл systemd-networkd .network), встановлення та активація іншої мережевої карти призвела до того, що система проводила 50% часу в C3. Під "активованою" я маю на увазі навіть таку просту річ, як [Match]name=X, коли решта поля порожні. Я спробував i210, i340 і i350. При використанні i350-T4 я помітив, що відповідний пункт SMBUS в Powertop також зник після того, як я відключив вбудовану мережеву карту і перемістив її в другий слот PCIEx1. Іноді здається, що в ASUS на шині PCIE бігають якісь гремліни.
Walter на Грудень 1, 2023 - натисніть тут, щоб відповісти
Дуже дякую, я отримаю I-5-13500 і повідомлю про результати через кілька тижнів, як тільки зберу всі деталі.
tom на Грудень 7, 2023 - натисніть тут, щоб відповісти
Привіт,

Я слідкував за вашою збіркою і купив таку ж материнську плату з процесором i3-13100.
У мене є одна проблема, яку я не можу вирішити, і я не знаю, де / що шукати.

Я встановив ubuntu 22.04 і спробував з 23.04, але проблема залишається незмінною:

Щоразу, коли я намагаюся пінгувати http://www.google.com, у мене виникає проблема, як тільки я виймаю клавіатуру та мишу:
- або "ping sendmsg no buffer space available" з драйверами r8168
- або "pcie link is down" з драйверами r8125

Я видалив усі варіанти керування живленням, які зміг знайти.
Я спробував підключити інший USB-пристрій.

Якісь підказки?
- Matt Gadient на Грудень 7, 2023 - натисніть тут, щоб відповісти
  Не знаю. Дійсно дивно, що USB-пристрої можуть впливати на мережу. Щоб зібрати більше інформації, я б спробував такі речі:
  1. Перевірте вивід "dmesg" на наявність будь-яких пов'язаних подій.
  2. Подивіться, чи це відбувається під час завантаження з LiveCD 22.04/23.04, чи тільки після встановлення.
  3. Спробуйте Ubuntu 23.10 (я *думаю*, що ця версія поставляється з ядром, яке відключило ASPM на RTL8125) - або LiveCD, або встановіть, залежно від результатів пункту 1.
  4. Спробуйте інший набір USB-портів, робіть по 1 за раз, щоб визначити, чи це клавіатура або миша (або обидва), спробуйте клавіатуру/мишу іншої марки, щоб побачити, чи це має значення.
  5. Відключіть/підключіть мережевий кабель, щоб перевірити, чи з'явиться мережа знову, чи вона зникла назавжди.
  6. Вимкніть "F1 for error" в BIOS і спробуйте завантажитися в ОС без підключеної клавіатури/миші, а потім подивіться, що станеться, коли її буде підключено і відключено.
  7. Якщо у вас є мережева карта PCIe (в ідеалі, не Realtek для цього тесту), перевірте, чи не виникає у неї така ж проблема.
  
  Можливо, хтось інший, хто зіткнувся з такою ж проблемою, відповість. Це не та ситуація, з якою я б зіткнувся, оскільки в кінцевому підсумку я залишив клавіатуру підключеною до мережі (в кінцевому підсумку я перейшов на бездротову клавіатуру, яка не заперечувала проти того, щоб спати від джерела живлення). Завжди може виникнути дивна проблема з несправним обладнанням.
  - tom на Грудень 10, 2023 - натисніть тут, щоб відповісти
    Перепробував все, але нічого не змінилося, збираюся відправити його назад і спробувати інший.
Rishi на Грудень 7, 2023 - натисніть тут, щоб відповісти
Дякую за відгук - я вирішив поділитися своїми висновками.

Процесор: i5-12600K
БЛОК ЖИВЛЕННЯ: Corsair RM750e
NVMe: Samsung 980 Pro
Оперативна пам'ять: 2x16 ГБ DDR5
ОС: Ubuntu 23.04 Server (працює від USB)

Спочатку я купив ASRock B760M Pro RS. Після налаштування BIOS і навіть після примусового ввімкнення ASPM на карті Realtek, я не зміг опуститися нижче PC-3. Моя загальна потужність становила близько ~15 Вт. Не жахливо, але ця машина призначалася для нового домашнього сервера, який буде працювати 24x7, і я знав, що вона може бути кращою. Я надіслав електронного листа ASRock, оскільки їхній BIOS не встановлює явно значення стану ПК, він просто має три стани: автоматичний, увімкнений та вимкнений, і запитав, чи планують вони додати підтримку, але нічого не почув у відповідь. Тож я закінчив з ними.

Я повернув ASRock і перейшов на ASUS Prime B760-M-A. Я налаштував BIOS і запустив powertop. ASPM L1 працював на Realtek без змін користувача. Я був на рівні близько 11 Вт. Після від'єднання кабелю DP і бездротової USB-мишки споживання впало до 7,2 Вт. Приголомшливо! Я зміг знизити його до PC10, і система працює дуже стабільно. Неймовірно, наскільки далеко зайшли настільні комп'ютери в плані енергоспоживання.
- Paul на Березень 12, 2024 - натисніть тут, щоб відповісти
  Дякую за цю публікацію! Мені було цікаво, чи можна використовувати процесори серії K в енергоефективній збірці. У моїй країні 12600K набагато дешевше, ніж не-K варіант.
SaveEnergy на Грудень 14, 2023 - натисніть тут, щоб відповісти
На моєму h770 plus (ddr5) c8 також досягається, коли SSD знаходиться у призначеному для нього слоті nvme процесора. Після того, як у мене виникли проблеми з моїми SSD Samsung та WD, я зараз використовую "SK hynix Platinum P41", який працює стабільно. На жаль, зараз я повернувся до c3 через мережеву карту від logilink (двопортова) :-(. Зараз я намагаюся замовити xl710-qda з Китаю *g, але я не впевнений, чи є в цьому сенс.
etnicor на Грудень 17, 2023 - натисніть тут, щоб відповісти
Привіт,
щойно зробив збірку з Asus Prime b760M d4 і отримав точно такі ж результати на моїй материнській платі. Я також зв'язався з Asus, щоб дізнатися, чи є у них якісь відгуки щодо слота pci/m2, підключеного до процесора. Я дійшов до C6, маючи Intel I226-v у слоті x16 та samsung 970 evo у слоті cpu m2.

Однак мою мережеву карту X710-da2 я повинен запустити в слоті x4, оскільки при використанні в x16 пакет c-state переходить тільки в c2/c3.

З моєю мережевою картою i226-v у мене не виникло жодних проблем.

Моїм завданням було створення 10-гігабітного маршрутизатора з низьким енергоспоживанням. Наразі використовую OPNsense, але можу перейти на Vyos для зменшення навантаження на систему.
- baegopooh на Лютий 6, 2024 - натисніть тут, щоб відповісти
  Намагаюся досягти глибокого c-стану (принаймні c6) з 2.5г або 10г nic в підключеному до процесора слоті x16.
  Я спробував з
  1. intel x520-da2 (плата з Китаю), яка не підтримує aspm
  2. melanox connectx4 (плата з Китаю), яка підтримує aspm, але дозволяє тільки c3
  3. randome i226 nic з Китаю - підтримує aspm, але не може ввімкнути aspm
  
  Отже, чи можете ви повідомити мені точну модель або де ви купили вашу i226v-nic, будь ласка?
  - etnicor на Лютий 15, 2024 - натисніть тут, щоб відповісти
    Привіт, я використовував цей. https://www.aliexpress.com/item/1005005929535264.html
    - baegopooh на Лютий 16, 2024 - натисніть тут, щоб відповісти
      Дуже дякую. Спробую.
Tony на Грудень 23, 2023 - натисніть тут, щоб відповісти
Привіт, Метте,

Я впевнений, що ви вже чули це раніше, але дякую вам за ваші інформативні пости та час, який ви приділили.
Я на 100% новачок у цьому питанні, і, чесно кажучи, це трохи приголомшує, але думка про власний сервер неймовірно приваблива. Я підійшов до цього точно так само, як і коли починав збирати комп'ютери: переглянув купу відео на youtube, прочитав купу статей і трохи заплутався у всьому. Вивчаючи збірки серверів, одразу стає зрозуміло, що вам дійсно потрібно знати, що ви робите, а читання ваших статей робить це ще більш очевидним.

Які ваші пропозиції щодо plex/jellyfin сервера, завжди увімкненого, з низьким енергоспоживанням, з повними можливостями перекодування. Люди, здається, або високо або низько оцінюють такі продукти, як synology та QNap, що змушує мене замислитися. Ще раз дякую
- Matt Gadient на Грудень 23, 2023 - натисніть тут, щоб відповісти
  Особисто я б почекав деякий час, якщо це можливо, і подивився, як Ryzen 8700G працює з точки зору енергоспоживання, коли він вийде - якщо споживання на холостому ходу буде краще, ніж у серії 5x00G, він може стати сильним претендентом на перемогу. Крім того, я не тестував свої 12100/12400 в задачах перекодування і не можу запропонувати нічого конкретного, окрім неясного усвідомлення того, що ви отримуєте 2 движка кодека, коли досягаєте 12500 (порівняно з 1 в слабших моделях). Можливо, хтось інший захоче поділитися своїм нещодавнім досвідом і спостереженнями.
JT на Грудень 23, 2023 - натисніть тут, щоб відповісти
Перевірте свою плату, на моїй мережева мікросхема Intel не дозволила системі перейти в більш глибокі C-стани (i226-V), схоже, що вона все ще працює з помилками.
Alex на Грудень 31, 2023 - натисніть тут, щоб відповісти
Привіт, Метт,

Дякую за чудову статтю! Цього року я зібрав собі малопотужне мережеве сховище для заміни моїх попередньо зібраних QNAP TS-351 (Intel J1800) і Gigabyte Brix J4105. Мої вимоги полягали в тому, щоб ця нова система споживала в середньому менше енергії, ніж обидві ці системи разом узяті, і мала набагато вищу продуктивність. За допомогою ваших (попередніх) статей, голландського форуму Tweakers, німецького форуму Hardwareluxx, форуму unRAID та деяких інших джерел я знайшов наступне:

- Intel i5-13500
- Gigabyte B760M GAMING X DDR4
- Crucial Pro CP2K16G4DFRA32A
- будьте тихі! Чиста потужність 12 М 550 Вт
- 1x Toshiba MD04ACA50D 5TB (з мого NAS)
- 2x Toshiba MG07ACA14TE 14TB (з мого NAS)
- Crucial P1 1TB (NVMe)
- Samsung 980 1TB (NVMe)
- Crucial BX500 1 ТБ (резервна копія підключена через USB)
- Transcend SSD230S 2TB (SATA SSD)
- Philips OEM USB2.0 диск (завантажувальний диск)

З таким налаштуванням я зараз запускаю майже 50 контейнерів Docker з різними програмами та базами даних, і я можу досягти 17 Вт від стіни на холостому ходу. Все обертається і немає доступу до жодних служб, окрім SSH. Чим я дуже задоволений. Пакет C8 може бути досягнутий, особливо коли більшість програм не роблять багато або коли я їх зупиняю. Коли я зупиняю все, я можу досягти 11 Вт на найнижчому рівні на unRAID.

Ще одна річ, яку я (і кілька інших) помітив на Intel 600/700 - це те, що використання послідовних пристроїв USB2.0, таких як Zigbee або Z-Wave, значно збільшує енергоспоживання. Щось на зразок 5-7 Вт. Зараз я використовую ser2net на Pi, щоб обійти цю проблему. Я звернувся до Gigabyte та Intel, але обидві компанії заперечили, що це проблема.

Я також використовую E-ядра для більшості програм, оскільки це заощаджує мені в середньому 1-2 Вт. Дещо йде на системні процеси, які я, як правило, переміщаю на ці ядра з набором завдань. Що, здається, досить добре.

Що стосується мережевої карти Realtek, я нещодавно спробував "рідний" драйвер Realtek, який доступний в магазині додатків, але він повністю відключив L1 для мене. В результаті я отримав додаткові 4 Вт. Повертаємося до ядра і примусово вмикаємо L1 за допомогою: `echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm` працює.

Якщо у вас виникнуть питання, ви завжди можете звернутися до нас. Гарного вам нового року <3!
- Matt Gadient на Січень 1, 2024 - натисніть тут, щоб відповісти
  Виглядає як чудове налаштування, дякую, що поділилися деталями. Насправді я не знав про налаштування/sys/bus/pci/devices/$DEVICELOC/link/l1_aspm - дякую за це. Я щойно спробував це з RTL8125 на моїй платі MSI, і це працює чудово - набагато простіше просто встановити це при завантаженні замість того, щоб збирати власне ядро. На жаль, RTL8168 на старій Gigabyte H110N, здається, не має такого налаштування sysfs, тому він продовжуватиме працювати з кастомним ядром, поки я не отримаю можливість замінити його на Intel i210 (який, незважаючи на 1 Гбіт, зараз трохи дорожчий, ніж 2,5 Гбіт Intel i225 на AliExpress).
  - Jon на Січень 9, 2024 - натисніть тут, щоб відповісти
    Трохи простіший спосіб дістатися до налаштувань ASPM L1 для мережевого інтерфейсу - `/sys/class/net/$$$$/device/link/l1_aspm`, де `$$$$` - ім'я мережевого інтерфейсу, наприклад `enp1s0`.
    - Matt Gadient на Січень 9, 2024 - натисніть тут, щоб відповісти
      Це, безумовно, простіше, ніж перебирати всі PCI-пристрої, як я робив у своєму скрипті. Дякую, Джоне.
- Wojtek на Січень 6, 2024 - натисніть тут, щоб відповісти
  Привіт, Алекс,
  
  Наскільки стабільна ця збірка на даний момент? Я думаю про те, щоб придбати таку ж комбінацію процесорів, але я хвилююся, що вона буде нестабільною в середніх частотах, що завадить моїй меті відправити на пенсію мою стару xeon-систему.
  
  З повагою,
  Войтек
Matt Gadient на Січень 3, 2024 - натисніть тут, щоб відповісти
На жаль, наразі ні.
voltron4lyfe на Січень 11, 2024 - натисніть тут, щоб відповісти
Дякую за цю статтю, хоча мушу визнати, що відчуваю себе трохи розбитим. Я так і не зміг піднятися вище C3 або нижче 20 Вт. Всі посилання на C-стан відносяться до стану пакета. Стан ядра, здається, набагато ближче до діапазону C10.

Мої налаштування:

I5-12500
Asrock B660M Steel Legend
64 ГБ DDR4-3200 Corsair LPX
2xNVME диски (1 SK Hynix Gold P31, 1 TeamGroup)
Адаптер ASM1064 PCI-Express 3x1 до 4 SATA"
Мережева карта Realtek 2.5G
3x120 мм вентилятори.
Proxmox 8 з ядром Linux 6.5.11. Губернатор Powersave увімкнено.

Я спробував розібрати все до основи і видалив всі накопичувачі та інші пристрої. Я відключив вбудоване аудіо, мережеву карту Realtek і SATA-контролер ASM1062. Завантажившись з флешки і запустивши Powertop, я отримав ~50% C2 і ~50% C3. Вище не було. Я переконався, що всі пристрої підтримують ASPM за допомогою LSPCI і увімкнув усі параметри живлення ASPM, які я зміг знайти в біосі. Я також шукав налаштування для прихованого розгону, але не знайшов жодного ввімкненого. У цій конфігурації енергоспоживання становило ~20 Вт. Додавання SATA-контролера ASM1064 і накопичувачів NVME не призвело до значних змін. Я запускав powertop --auto-tune кожного разу без помітного ефекту.

Потім я додав графічний процесор Nvidia 1660 Super GPU, який я підключив до легкої віртуальної машини Linux. Потім я запускаю драйвери nvidia у режимі постійного використання, і nvidia-smi повідомляє, що вони використовують ~1 Вт. Це економить ~10-20 Вт.

Додавши ~8 HDD (комбінація дисків Western Digital Reds і Seagate Exo), машина працює на холостому ходу при ~100 Вт і проводить 80% часу в C2.

Потім я запускаю основну віртуальну машину і проходжу через контролери SATA. Енергоспоживання зростає на 30 Вт до 130 Вт і залишається на цьому рівні. Powertop на хості показує, що пакет ніколи не входив до жодного c-стану. У мене не налаштовано спіндаун дисків.

Не впевнений, що я щось прошу, просто ділюся своїм досвідом. Навіть якщо це не зробило великої різниці, я, безумовно, дізнався кілька речей.

Я думаю, що я можу мігрувати з віртуальної машини в контейнер Linux LXC на хості. Мені цікаво, чи впливає віртуальна машина якимось чином на керування живленням. Ще раз дякую за дуже детальну та цікаву статтю!
Daniel на Січень 13, 2024 - натисніть тут, щоб відповісти
Привіт, ділюся своїм "щойно встановленим" досвідом

Corsair SFX SF450 Platinum
ASRock Z690-ITX
Corsair DDR4 2 * 16 ГБ 3200 МГц
2 Samsung NVMe 980 Pro 1TB на борту miniPCIe (ZFS Mirror)
1 Samsung EVO 870 2TB на борту SATA (ext4)
I5-12400 з кроком H0
Realtek 2.5G відключено
1 вентилятор Noctua на процесор (92 мм)
Proxmox 8.1 (1 Docker LXC, що працює з plex)
Екран не підключений, клавіатура та миша відсутні
BIOS завантажено з параметрами за замовчуванням ASRock + аудіо / Wi-Fi вимкнено, ASPM увімкнено скрізь

Споживання на холостому ходу біля стіни = 18 Вт
На панелі живлення написано | Pkg C2 28%, C3 64% | Core CPU C7 97%

UnraidUser на Січень 22, 2024 - натисніть тут, щоб відповісти

Привіт @MattGadient, дякую за ваш чудовий пост. Я хотів запитати вас, чи не могли б ви надати версію powertop, а також версію ядра linux, яку ви використовували. Я та інші хлопці зі спільноти Unraid помітили, що powertop не показує жодного pkg c-state, а також ядро c_state показує ACPI, що, згідно з github, відбувається, коли c-state неправильно зчитується з powertop. Дякуємо за вашу підтримку

Matt Gadient на Січень 22, 2024 - натисніть тут, щоб відповісти

На моїх 2 системах, що працюють на Intel i3-12100/i5-12400, PowerTOP 2.14 на ядрі 6.1 та PowerTOP 2.15 на ядрі 6.5.

Анонім на Січень 24, 2024 - натисніть тут, щоб відповісти

Дякую за відповідь, схоже, що навіть якщо показується ACPI, процесор все одно може досягати нижчих C-станів. Я не знаю, чи ви знавець Unraid, але в основному у мене є пара NVME crucial P3, які відформатовані як дзеркальний ZFS, і на цих дисках у мене є всі папки/томи і т.д. для докерних контейнерів. Як ви думаєте, якщо ці SSD працюють цілий день, вони ніколи не дозволять процесору перейти в нижчі C-стани?
У будь-якому випадку, я увімкнув все на сторінці ASPM на своїй материнській платі (Asus Pro WS W680-ACE IPMI), єдине, що я помітив, це те, що вона кожного разу скидається на Авто, це Native Aspm (коли вона увімкнена, вона повинна додати підтримку ОС ASPM), але кожного разу, коли я входжу в BIOS, я бачу, що вона встановлена на Авто. Чи є у вас якісь підказки?
Коли я запускаю цю команду, це фактичний стан пристроїв:

 lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

0000:00:1b.0 PCI bridge: Intel Corporation Device 7ac0 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #17, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
0000:00:1c.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #1 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.1 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #2 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.3 PCI bridge: Intel Corporation Device 7abb (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 2.5GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1c.4 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #5 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:00:1d.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #9 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
0000:02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:04:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 06) (prog-if 00 [Normal decode])
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <512ns, L1 <32us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
0000:06:00.0 VGA compatible controller: NVIDIA Corporation GP107 [GeForce GTX 1050] (rev a1) (prog-if 00 [VGA controller])
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
0000:06:00.1 Audio device: NVIDIA Corporation GP107GL High Definition Audio Controller (rev a1)
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e0:1b.4 PCI bridge: Intel Corporation Device 7ac4 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e1:00.0 Non-Volatile memory controller: Micron/Crucial Technology P2 [Nick P2] / P3 / P3 Plus NVMe PCIe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e2:00.0 Non-Volatile memory controller: Phison Electronics Corporation E12 NVMe Controller (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
10000:e3:00.0 Non-Volatile memory controller: Micron/Crucial Technology P2 [Nick P2] / P3 / P3 Plus NVMe PCIe SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

Matt Gadient на Січень 24, 2024 - натисніть тут, щоб відповісти
Я не користувався unraid, але відповім, що зможу, виходячи з мого загального досвіду роботи з Linux. Щодо першого питання, це залежить від того, що ви маєте на увазі під "SSD, які працюють цілий день". Постійна активність диска не дозволить йому перейти у кращі C-стани. Якщо ви маєте на увазі диски, що простоюють без діла з вимкненим ASPM, то ступінь впливу на C-стани залежить від пристрою, і, на жаль, я не пам'ятаю, щоб тестував P3 з повністю вимкненим ASPM.

Що стосується BIOS, я вважаю, що "Native ASPM" Auto/Enabled, ймовірно, призведе до того ж самого результату в будь-якому випадку. Ви можете спробувати встановити "Native ASPM" на Disabled, щоб спробувати примусово застосувати налаштування BIOS до ОС, а потім подивитися, чи повідомляє "lspci" про покращення для будь-якого з 8 записів, які наразі говорять "ASPM Disabled" - однак вам, ймовірно, слід переконатися, що у вас є зовнішні резервні копії на випадок, якщо ядро навмисно відключило його у вашій системі з причин, пов'язаних з втратою даних. Я не впевнений, що працює на вашому мості ASPEED AST1150, але оскільки ASPM на ньому відключено, я не здивуюся, якщо будь-які пристрої, що знаходяться нижче за течією від нього, також можуть бути відключені.

Під час усунення несправностей може виявитися корисним змінювати по 1 параметру BIOS за раз між перезавантаженнями/тестуваннями. Якщо PowerTOP нічого не показує (навіть через щось на кшталт Ubuntu Live DVD), найкращим варіантом буде використання пристрою Kill A Watt, щоб виміряти вплив ваших змін.

Maria на Січень 26, 2024 - натисніть тут, щоб відповісти
Дякуємо за чудову статтю.
Що ви думаєте про плату: ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail

Оскільки у мене буде 8 портів SATA, мені не знадобиться ще одна карта PCIe (до подальшого повідомлення). Плюс i5 12400F з наявними жорсткими та твердотільними дисками

У моєму офісному комп'ютері з материнською платою MSI я не маю жодного з C-State, режимів енергозбереження або інших налаштувань, про які тут згадувалося. Це пов'язано з MSI чи з самою платою? Це B450M PRO-VDH MAX (MS-7A38).

Дякую за будь-яку допомогу та будь-які коментаріДякую за чудову статтю.
Що ви думаєте про плату: ASRock PG Riptide Intel Z690 So. 1700 Dual Channel DDR4 ATX Retail

Оскільки у мене буде 8 портів SATA, мені не знадобиться ще одна карта PCIe (до подальшого повідомлення). Плюс i5 12400F з наявними жорсткими та твердотільними дисками

У моєму офісному комп'ютері з материнською платою MSI я не маю жодного з C-State, режимів енергозбереження або інших налаштувань, про які тут згадувалося. Це пов'язано з MSI чи з самою платою? Це B450M PRO-VDH MAX (MS-7A38).

Дякую за будь-яку допомогу і вдячний за коментарі :)
- Matt Gadient на Січень 26, 2024 - натисніть тут, щоб відповісти
  Поки що ніхто в коментарях не показав кращих результатів, ніж C3 на материнських платах ASRock 600/700 серій, причому 15-20 Вт є типовим енергоспоживанням в режимі очікування в мінімальній конфігурації.
  
  Не впевнений щодо згаданої вами материнської плати B450M, хоча це материнська плата AMD, і у мене є лише кілька плат B550, тому у мене не так багато досвіду роботи з ними. Можливо, у вас є дуже простий перемикач, який називається "Глобальний контроль стану C", хоча, можливо, вам доведеться перерити всі пункти меню, щоб знайти його. Залежно від процесора, якщо ви використовуєте Linux, новіші ядра в лінійці 6.x підтримують різні драйвери масштабування amd_pstate, які можуть мати позитивний вплив на загальне енергоспоживання.
- baegopooh на Лютий 6, 2024 - натисніть тут, щоб відповісти
  AMD дозволяє тільки c1,c2 і c6, а powertop показує c6 як c3 (afaik)
Maria на Січень 30, 2024 - натисніть тут, щоб відповісти
Дуже дякую за відповідь. 15-20 Вт - це, звичайно, не 7 Вт ;)
Зараз колега купив міні-ПК і встановив Unraid. Це з адаптером m.2 до SATA і, отже, має 6 портів SATA. Ймовірно, він також може бути доступний з 2-ма m.2, щоб можна було встановити 2 карти Ryzer.

https://www.amazon.de/gp/product/B0BCVCWWF3/ https://www.amazon.de/gp/product/B0BWYXLNFT/

Споживання без будь-яких налаштувань з 2 док-станціями та 2-ма відеокартами становить приблизно 9 Вт у режимі очікування. Підключено 5 HDD.

Ідея в тому, що за ним стоїть мобільний процесор і можна знайти щось подібне. Чи є у вас якийсь досвід? Результати виглядають добре, і продуктивність повинна бути достатньою.
- Matt Gadient на Січень 30, 2024 - натисніть тут, щоб відповісти
  Я думав про адаптер M.2 SATA в такому міні-ПК, але ще не пробував його використовувати. Якщо ви плануєте використовувати внутрішні диски, то, окрім простору та тепла, для мене найбільше значення має те, як вони будуть живитися - міні-ПК з внутрішнім роз'ємом SATA може бути простим способом живлення декількох дисків через розгалужувач живлення в залежності від їхнього енергоспоживання.
  
  Я очікую, що продуктивність процесора буде цілком достатньою для більшості завдань.
  - Maria на Січень 30, 2024 - натисніть тут, щоб відповісти
    Мій колега вирішив цю проблему наступним чином:
    - Міні-ПК має власний блок живлення, а жорсткі диски живляться через 2-й блок живлення Pico потужністю 160 Вт. У нього є порожній корпус NAS, але тільки два вентилятори споживають додатково 11 Вт, тому він вирішив ще раз поглянути на це.
    
    Моя ідея полягала в тому, щоб відкрити міні-ПК і встановити все, включаючи жорсткий диск, в мій корпус ATX. 1 або 2 вентилятори Nactua, значно зменшивши їхню потужність, а потім використовувати блок живлення з існуючим блоком живлення ATX, на додаток до блоку живлення Pico для міні-ПК.
Daniel на Січень 31, 2024 - натисніть тут, щоб відповісти
=== У мене Intel NUC11-ATKPE002 ===

Апаратне забезпечення:
* Процесор Alder Lake N6005
* Samsung 980 1TB
* 32 GB SO-DIMM
* Мережа 1 Гбіт/с

Програмне забезпечення
* Proxmox 8
* LXC Home-Assistant
* LXC Plex (апаратне перекодування I915)
* LXC dokuwiki
* LXC fileserve (smbd,filebrowser,vsftpd)
* LXC Synching
* LXC mosquitto
* LXC heimdall
* LXC gotify
* LXC rtsptoweb
* LXC esphome
і т.д..

ПРАЦЮЄ 24/7

Споживання виміряно біля стіни (переважно в режимі очікування): 7 Вт

=== Також маю домашню збірку "псевдо NAS" на базі AsRock Z690 ===

* ПРОЦЕСОР I5-12400
* 2 NVMe 1TB
* 8 жорстких дисків ZFS Raidz2
* Proxmox 8
* Мережа 2,5 Гбіт/с до мого настільного ПК

Споживання виміряно біля стіни (в основному в режимі очікування): 70 Вт

ПРАЦЮЄ НА ВИМОГУ

=== Комутатор на 8 портів ===

Споживання: 8 Вт

=== мій поточний експеримент ===

Для домашнього використання я не хочу запускати свій "псевдо NAS" 24/7, а тільки на вимогу

Я встановив debian wakeonlan на NUC11, тоді
При необхідності (або за розкладом, або за запитом керівництва) я можу запустити

* wakeonlan [MAC-ADDRESS-Z690] для пробудження NAS
* systemctl suspend [PSEUDO-NAS-Z7690], щоб перевести мережеве сховище в сплячий режим

Все це працює досить добре
Я працюю над графічним інтерфейсом в Home-Assistant, який також буде контролювати споживання

Це найкращий компроміс, який я знайшов: NAS, низьке споживання, домашня автоматизація)
Dave на Лютий 1, 2024 - натисніть тут, щоб відповісти
Дякуємо всім за чудову інформацію на цій сторінці. Вона мені дуже допомогла. Я знайшов гарну конфігурацію itx з низьким енергоспоживанням та центральним процесором, тому вирішив поділитися своєю конфігурацією та результатами, щоб допомогти іншим. Мій варіант використання відрізняється від деяких з наведених вище, але може бути корисним для когось.

Потужність в режимі очікування: ~5.3 Вт

Апаратне забезпечення:
* ASUS PRIME H610I-PLUS D4
* Intel Core i3-12100
* оперативна пам'ять 32 ГБ DDR4 2666 МГц CL19 CT32G4DFD8266
* Твердотільний накопичувач SAMSUNG 980 PRO SSD 2TB NVMe
* PicoPSU-150-XT
* Низькопрофільний процесорний кулер Noctua NH-L9i-17xx
* Noctua NF-A8 PWM, корпусний вентилятор
Програмне забезпечення:
* BIOS 3010
* Ubuntu 22.04.3 Server (запускається з флешки)
Налаштування BIOS:
* EZ System Tuning встановлений на: "Power Saving" (це автоматично встановить всі необхідні налаштування BIOS)
* PL1/PL2 встановлено на 35/69 Вт. (через щільний корпус та малопотужний pico-psu)
Налаштування програмного забезпечення (встановлюються з дисплея підключеної ТВ-приставки)
* powertop --auto-tune
* setterm -blank 1

Виміряно на стіні за допомогою кіловата. Показання здебільшого коливаються між 5,1 і 5,5 Вт. Вимірювання потужності проводиться, коли екран консолі порожній. Пакунок C-State збирається через ssh. Процесор проводить більшу частину часу у стані C-стану C10 (~90%).

Деякі переваги цієї конфігурації:
* Дуже гарне енергоспоживання на холостому ходу
* Просте налаштування BIOS.
* Слот PCIe 4.0 x16 для потенційного апгрейду/розширення (однак, схоже, що його використання може зіпсувати низьке енергоспоживання на холостому ходу).

Деякі недоліки цієї конфігурації:
* 1GbE проти 2.5GbE
* picoPSU має 4-контактний роз'єм живлення, а плата потребує 8-контактного роз'єму живлення (інтернет-дослідження показують, що це нормально для ситуацій з низьким енергоспоживанням)
* Один слот M.2. Режим PCIe 3.0 x4

Я хотів 2.5GbE. Коли я досягну критичної маси в будинку для 2.5GbE, я, ймовірно, пограюся з картою 2.5GbE в слоті PCIe 4.0 x16.

Інша інформація:
* Чарівне налаштування BIOS "Power Saving" не ввімкнуло "Native ASPM". Втім, його ввімкнення нічого не змінило.
* Вимкнення модуля WIFI/Bluetooth в BIOS нічого не змінило.
- Rusty на Лютий 12, 2024 - натисніть тут, щоб відповісти
  Дякую за вашу збірку. Я скопіював те, що у вас вийшло (імітація - найкраща форма лестощів!). Де ви змінили BIOS PL1/PL2? Ось що я змінив:
  OS: Unraid на USB
  БЛОК ЖИВЛЕННЯ: RM850x (2021), оскільки він дуже ефективний при низьких навантаженнях.
  Диски: додано 2х12ТБ WD Red Plus NAS диски разом з NVMe
  Оперативна пам'ять: 1x32 ГБ 3400 МГц DDR4 (врятована з поточного ПК)
  Вентилятори: штатний процесорний вентилятор Intel + корпусні вентилятори з корпусу Fractal Node 304 на низькій швидкості.
  
  Моє енергоспоживання в режимі очікування, виміряне з ДБЖ, становить ~21 Вт, при цьому на одному жорсткому диску зберігаються ISO-образи Linux, а інший диск знаходиться в режимі очікування. Очевидно, що вони додають збірці багато потужності. Я налаштував накопичувач парності так, щоб він обертався лише під час синхронізації кешу nvme з накопичувачем даних один раз на день (принаймні, я планую, щоб він працював саме так...), а процесор достатньо швидкий для перегляду фільмів з ліцензією Creative Commons Licensed. У будь-якому випадку, 21 Вт для моєї першої скриньки цілком достатньо :D
  
  Ця таблиця ефективності БЖ повинна бути корисною для людей тут! Дані взяті з кібернетики:
  https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas
IrishMarty на Лютий 8, 2024 - натисніть тут, щоб відповісти
Дійсно гарна стаття. Низьке енергоспоживання зараз є абсолютною необхідністю для мене тут, у Великобританії. Я намагаюся зробити збірку ITX, але ваші результати про підключений до процесора слот PCIe турбують мене. Доведеться продовжувати дослідження.
etnicor на Лютий 15, 2024 - натисніть тут, щоб відповісти
Не знаю, чи це цікаво.
Я зміг змусити asmedia 1166 працювати на слоті pcie x16 і використовувати слот m2, підключений до cpu, щоб дістатися до c8.

Довелося модифікувати біос Asus, щоб отримати доступ до налаштувань кореневого порту. Вимкнув Multi-VC на кореневому порту 1 і тепер можу використовувати слот x16, і я отримую доступ до стану пакунків процесора c8. Я потрапляю до c8, коли використовую слот m2, підключений до процесора в той самий час.

Спрощені кроки:
Випаяйте BIOS з материнської плати
Дамп біоса за допомогою програматора ch341 3.3v
модифікований BIOS з відкритим вихідним кодом UEFI-Editor і "неприхованими" налаштуваннями кореневого порту.
Прошитий BIOS
перепаяв назад.

Моя материнська плата - ASUS PRIME B760M-A D4, але на Prime H770-Plus D4 має бути те ж саме.

Треба подякувати службі підтримки Intel за підказку відключити Multi-VC, сам би я до цього не додумався.
- Matt Gadient на Лютий 15, 2024 - натисніть тут, щоб відповісти
  Дуже цікаво, дякую, що поділилися.
Marcin на Лютий 23, 2024 - натисніть тут, щоб відповісти
Дякую за відгук! Я зібрав схожу конфігурацію і зміг досягти 10,5 Вт на холостому ходу (з кращим БЖ було б менше), але я цілком задоволений. Енергоспоживання вимірювалося за допомогою Shelly Plug S.

Процесор: i5-14500
MB: Asus Z790-P D4 (Отримав його як повернення за ту ж ціну, що і H770-P D4, і, як ви сказали, він має додатковий PCIe 4.0 x4)
Оперативна пам'ять: 4x 8Gb (без XMP) => буде замінено на 2x 32Gb
NVMe: Sabrent Rocket 1TB PCIe 3.0
БЖ: Seasonic Focus GX-550

Це було протестовано на TrueNas Scale 23.10.2 і Ubuntu Server 23.10. Для обох я взяв драйвер Realtek

Кілька спостережень:
- З Z790-P D4 я можу використовувати підключений до процесора слот NVMe без будь-якого впливу на стан процесора. Мені потрібно перевірити, чи можна також використовувати слоти PCIe 5.0 без модифікації BIOS
- Підключення будь-якого USB-пристрою до материнської плати (клавіатура, USB-ключ) додає 5 Вт
- БП, який я використовую зараз, досить жахливий для низьких навантажень: 60% при 10 Вт і 71% при 20 Вт. З кращим БЖ (81% ККД) ця збірка знизиться до 7.8 Вт
- Використання "consoleblank", схоже, не вплинуло на RC6. Він завжди показував 0% у верхній частині живлення. Потрібне додаткове тестування тут
- Daniel на Лютий 24, 2024 - натисніть тут, щоб відповісти
  Ви впевнені, що будь-який USB-пристрій додає 5 Вт? Чи можете ви перевірити швидкість зв'язку, наприклад, з "usb-пристроями"?
  - Marcin на Лютий 25, 2024 - натисніть тут, щоб відповісти
    Привіт, Даніель!
    
    Так, я впевнений. Коли я під'єднав до материнської плати USB2.0-ключ Logitech MX Keys, енергоспоживання материнської плати зросло з 10,5 до 15-16 Вт. Якщо я правильно пам'ятаю, це було пов'язано зі зміною C-станів процесора (тобто більше не переходило в C6, C8).
    
    Я тестував тільки з пристроями USB2.0, підключеними до портів на материнській платі (на задньому вході/виході). Пристрої USB2.0 навіть не були розпізнані в портах, не пов'язаних з USB2.0.
    Моя теорія полягає в BIOS та/або драйверах для USB-контролера. Оскільки я не використовую жодного типу USB у звичайному режимі, я не досліджував далі. Зараз я повернувся до TrueNas, і він застряг на powertop 2.14, який не підтримує мій процесор, тому звітність про стан C не працює.
    
    Для інформації, я використовую BIOS версії 1611 та Intel ME 16.1.30.2307v4.
    
    Що стосується інших тестів:
    - 'consoleblank' дійсно впливав на RC6. Я просто дивився не в тому місці. У RC6 iGPU був задіяний на 100%.
    - Я також можу використовувати підключений до процесора порт PCIe 5.0, все ще досягаючи C8 з деякими застереженнями: C6-C8 коливалися в межах 10-20%. Я тестував це тільки з Arc A750, тому що це єдиний пристрій PCIe, який у мене зараз є. Можливо, в цьому винна сама карта, тому я повторно протестую це, як тільки у мене буде ASM1166
    - Daniel на Лютий 26, 2024 - натисніть тут, щоб відповісти
      Я запитую, тому що помітив щось подібне на платах B660 і B760, але тільки з USB-пристроями на 12 Мбіт/с, і мені цікаво, чи стосується це також і Z690/Z790.
Michael на Лютий 28, 2024 - натисніть тут, щоб відповісти
Привіт, Метте, вітаю з добре обґрунтованою та трудомісткою статтею. Це найкраще джерело в мережі, яке я зміг знайти, особливо щодо технічної бази. Я приєднався до команди і буду звітувати ;-) Залишається одне невелике запитання: чи є точна специфікація, яка саме пам'ять Kingston HyperX була використана? Яку роль відіграє оперативна пам'ять в енергоспоживанні взагалі? Ще раз дякую і з повагою, Майкл.
- Matt Gadient на Лютий 28, 2024 - натисніть тут, щоб відповісти
  У мене немає номерів моделей флешок, які я використовував під час тестування (і зараз використовується різна пам'ять). Що стосується енергоспоживання, то я не проводив A/B-тест - останній раз, коли я навмисно намагався виміряти енергоспоживання оперативної пам'яті, це було в ноутбуці з планками DDR4 SODIMM, де, згідно з "Intel Power Gadget", 8-гігабайтна планка споживала 0,15 Вт в режимі очікування і 1,67 Вт в іграх, а 16-гігабайтна планка - 0,29 Вт в режимі очікування і 2,18 Вт в іграх, але я припускаю, що це були лише приблизні дані, якщо вам цікаво, то ви можете ознайомитися з подробицями про це наприкінці наступної сторінки: https://mattgadient.com/faster-gaming-on-intel-uhd-620-kaby-lake-r-by-upgrading-ram/.
  - Michael на Лютий 29, 2024 - натисніть тут, щоб відповісти
    Дуже дякую за детальну відповідь. Я почну і повідомлю про результати. Залишається питання, які жорсткі диски підтримують C10. У мережі не так багато інформації. Чи є у вас досвід роботи з 3,5-дюймовими жорсткими дисками Seagate Exos? Toshiba, здається, працюють. Дякую.
    - Matt Gadient на Лютий 29, 2024 - натисніть тут, щоб відповісти
      Наступні 3,5-дюймові SATA-диски Seagate ємністю 10 ТБ наразі працюють з C10: Seagate Exos X16 (ST10000NM001G), Seagate Ironwolf Pro (ST10000NE0008), Seagate Barracuda (ST10000DM0004). Поки що не було жодного диска Seagate, який би викликав у мене проблеми з C10.
Paul на Березень 8, 2024 - натисніть тут, щоб відповісти
Привіт! Це лотерея, який крок 12400 я отримаю при покупці в роздрібному магазині? Я чув, що крок C0 споживає більше на холостому ходу, ніж крок H0. Також хотів запитати, чи може 12600 бути гарною альтернативою?
- Matt Gadient на Березень 8, 2024 - натисніть тут, щоб відповісти
  У роздрібному магазині, якщо ви подивитеся на S-специфікацію на етикетці коробки (або на самому процесорі), для 12400 має бути ситуація, коли SRL4V=C0 і SRL5Y=H0. У деяких коментарях зазначено, що чіпи з E-Core не мають негативного впливу на енергоспоживання. Щодо інших моделей, не можу сказати з упевненістю про 12600, але принаймні кілька людей у коментарях успішно використовували i5-13500 на низькому енергоспоживанні (і він містить E-Core).
  - Paul на Березень 12, 2024 - натисніть тут, щоб відповісти
    Дякую за інформацію про кроки 12400! Я розглядаю 12600, оскільки він має потужніший iGPU, ніж 12400. Обидва процесори мають 6P ядер +0E ядра. Чи знаєте ви, що 12600 також має різні кроки?
    - Matt Gadient на Березень 12, 2024 - натисніть тут, щоб відповісти
      Не впевнений.
Michael на Березень 27, 2024 - натисніть тут, щоб відповісти
Привіт, Метт,
Ваша стаття та коментарі - справжній скарб. Дякую всім, хто зробив такий великий внесок. Я хотів би коротко поділитися своїм досвідом:

ASUS Prime H770-Plus D4 + i5-12400 H0 + 2x16GB Kingston DDR4-3200 Kingston Fury Beast + Samsung 970 Evo Plus
Без клавіатури та HDMI
Powertop 2.14 (--auto-tune)

Ubuntu Server 23.04 Kernel 6.2.0-20 (новий, без оновлень):
6-7 Вт (в основному C10)

Примітка: Якщо підключено HDMI (+2-3 Вт) і Bluetooth-приймач Logitech MX +4-5 Вт = 7-8 Вт для роботи без навушників)

Оновлення додатково 2xSamsung EVO 970: 7-8 Вт
Встановіть додатково 4xSeagate X20 9-10 Вт (сплячий режим)
Оновлення 2x14-мм вентилятора 12-13 Вт (найнижчий рівень)

Трохи менше 13 Вт з 2xNVME і 4x3,5" - непогане значення (C10 при 90%).

Після оновлення ядра до 6.2.0-39, C10 більше не можливий, система піднімається лише до C3 і споживає 21 Вт.
Очевидно, це пов'язано з Realtek. Налаштування вручну за допомогою
setpci -s 00:1c.2 0x50.B=0x42
setpci -s 04:00.0 0x80.B=0x42

на щастя, призводить до повернення до стану C10 і, таким чином, знову до 12-13 ват

Подібна поведінка з Ubuntu Server 23.10 Kernel 6.5.x 16-18 Вт (в основному C3) ...

Я спробував Unraid (6.1.74) в якості тесту. Система не така економічна, зависає на 16 ватах, навіть після ручного налаштування станів ASPM через setpci (див. вище) ... Ubuntu споживає на кілька ват менше, вам доведеться провести деякі дослідження.

У будь-якому випадку, збірка і дослідження були дуже цікавими, старий Synology споживає в рази більше, ніж нова система.
Ще раз дякую Метту та всім іншим.
Alexander на Березень 27, 2024 - натисніть тут, щоб відповісти
Привіт! Прочитав усі коментарі, але не можу знайти чіткої відповіді... Мій ASRock B760M Pro RS/D4 бореться з 13500 c-станів (максимум c3) і 20 Вт холостого ходу на чистому proxmox. Я протестував його з Arc a380, і жоден рецепт з Інтернету не спрацював, він споживає 20 Вт холостого ходу :facepalm: Будь ласка, порекомендуйте материнську плату mATX для 13500, Було б ідеально, якщо б вона також підтримувала біфуркацію PCI (x8x4x4)
kihoon на Квітень 8, 2024 - натисніть тут, щоб відповісти
Я читаю цю статтю з далекої Кореї і думаю, що вона буде дуже корисною для моєї конфігурації NAS, дякую. У мене є питання: чи є різниця в енергоспоживанні між H610, B660 і B760? Також, якщо я під'єднаю графічний процесор до PCIe, чи буде у мене тільки неефективний стан C2?
cromo на Квітень 12, 2024 - натисніть тут, щоб відповісти
Я спробував переобладнати материнську плату для робочої станції HP Z2 G9, яка є W680 і підтримує ECC, але не без проблем з енергоефективністю. Я детально пояснив це тут: https://forums.servethehome.com/index.php?threads/a-cost-effective-intel-w680-ecc-server-repurposing-an-hp-z2-g9-motherboard.43943/

Коротше кажучи, у мене виникла проблема з першим слотом PCI, який зменшує стан C до 2 при встановленому графічному процесорі. В іншому випадку, з 2 x Lexar NVME на 1 ТБ і 64 ГБ пам'яті, я бачу енергоспоживання на рівні 4,5-6 Вт при 12600k, що є дивовижним.
Анонім на Квітень 13, 2024 - натисніть тут, щоб відповісти
Чудова стаття. Дійсно гарне чтиво.
Martin на Квітень 20, 2024 - натисніть тут, щоб відповісти
Цікаво почитати, коментарі до статті були вдумливими ;)
Rasmus на Квітень 28, 2024 - натисніть тут, щоб відповісти
Привіт

Я хочу зібрати i3-12100 nas на базі ITX з чіпом asm. Однак, як я розумію, використання слоту x16 pci змусить систему залишатися на рівні C2.

Але чи не призведе використання 8HDD, 2SSD та одного nvme (чіпсету) до того, що досягнення високих станів буде трохи неактуальним?

Я припускаю, що ваші тести потужності показують лише ASM у слоті, не підключеному до процесора. Схоже, що я заощаджу приблизно 20 Вт, досягнувши вищих станів за допомогою процесора? Ємність простою жорстких дисків і, отже, економія енергії не пов'язана з C-станами?
- Matt Gadient на Квітень 28, 2024 - натисніть тут, щоб відповісти
  Виходячи з моїх результатів, я б очікував приблизно 12-14 Вт додаткового енергоспоживання кожного разу, коли ви перебуваєте в C2 замість ~C8 - наскільки це суттєво чи несуттєво, залежить від ваших цілей проектування. Що стосується жорстких дисків, я згадаю про особливості енергозбереження дисків, які я використовував, у розділі "непотрібні деталі зберігання даних" наприкінці статті, але якщо говорити про загальну картину, то на 3,5-дюймовому диску було заощаджено майже 5 Вт, коли він був вимкнений, а не перебував у режимі активного простою.
  
  Економія енергії накопичувача і економія C-State здебільшого не пов'язані між собою: Я кажу "здебільшого", тому що деякі накопичувачі NVMe, деякі SSD і навіть деякі конфігурації SATA, схоже, пригнічують C-стани. Але економія електроенергії від того, що жорсткий диск фізично вимкнений (а не ввімкнений), не повинна залежати від того, що відбувається в системі з точки зору енергоспоживання, включно з C-станами.
duxet на Травень 2, 2024 - натисніть тут, щоб відповісти
Я хочу купити материнську плату B760 ITX для мого наступного NAS, але я не впевнений, яку мережеву карту 2.5GbE мені вибрати: Intel або Realtek. Я був впевнений, що Intel буде кращим вибором, але на форумі Unraid я прочитав, що насправді їх мережеві карти не дають системі досягти кращого стану C, ніж C2, при використанні 2.5Gb каналу, в той час як Realtek може досягти C8. Навіть якщо це правда, то питання полягає в тому, чи можливо це без використання драйвера r8125 замість r8169. Чи може хтось підтвердити або спростувати це?
- Matt Gadient на Травень 2, 2024 - натисніть тут, щоб відповісти
  Алекс залишив коментар (прокрутіть до 31 грудня 2023 року), де він використав
```
echo 1 > /sys/bus/pci/devices/0000\:04\:00.0/link/l1_aspm
```
  , щоб дозволити L1 для мережевої карти Realtek на своєму Gigabyte B760M, а Джон продовжив коментар з простішим шляхом до пристрою.
  - duxet на Травень 3, 2024 - натисніть тут, щоб відповісти
    Але чи працює це з новими версіями ядра? Схоже, що це дуже вибоїста дорога з Realtek і ASPM, оскільки іноді він вмикається: https://github.com/torvalds/linux/commit/a99790bf5c7f3d68d8b01e015d3212a98ee7bd57 , але пізніше його знову вимикають: https://lists.ubuntu.com/archives/kernel-team/2023-September/142666.html .
    
    Я трохи хвилююся, що навіть якщо я примусово увімкну ASPM, це може спричинити деякі дивні проблеми зі стабільністю. Гадаю, що 1GbE карти все ще залишаються єдиним безпечним вибором, щоб бути впевненим, що керування живленням буде працювати належним чином в Linux.
    - Luis на Травень 9, 2024 - натисніть тут, щоб відповісти
      Я можу підтвердити це на щойно завершеній збірці з мережевою картою Intel на 2,5 ГБ з процесором i5 13500, яка працює на холостому ходу при 7-8 Вт, без жорстких дисків. Я можу досягти C10 в 97% випадків, і чіп i226-v повідомляє, що ASPM повністю підтримується. Я думаю, що за допомогою ще кількох налаштувань я зможу триматися ближче до 7 Вт на холостому ходу.
      - Philipb на Вересень 16, 2024
        Дякую, Луїсе, яку дошку ви використовували?
      - vixmix на Листопад 7, 2024
        Привіт, Луїсе, яку модель материнської плати та чіпсету ви використовуєте?
Carsten на Травень 3, 2024 - натисніть тут, щоб відповісти
Я щойно придбав ASUS PRIME Z790-P (V2) з DDR5 та Intel i3-14100. Було б цікаво побачити, як ви робите це з різницею між останнім поколінням та DDR5.
Alex на Травень 13, 2024 - натисніть тут, щоб відповісти
Чи є у когось карта PCI-E на базі чіпа Intel з принаймні двома роз'ємами RJ45 Гбіт, яка не призводить до того, що пакет hw залишається на C3, а не переходить на C8? Я хочу побудувати сервер Proxmox, який працює під управлінням opnsense як vm, і якщо я зможу заощадити 7 Вт, просто вибравши правильну карту, це було б фантастично.
Michael на Травень 16, 2024 - натисніть тут, щоб відповісти
Привіт Метт, дякую за чудову статтю. Я використовую ту саму збірку і отримую стани C10, використовуючи обидва нижні слоти M2 з Samsung 970 EVO. Мене турбує температура. Лівий слот постійно отримує нижчу температуру на 15 градусів Цельсія. Я використовую радіатори BeQuiet. Я гуглив, але не знайшов підказки. Хтось спостерігав подібну проблему? Щиро дякую Майкл
Alex на Травень 17, 2024 - натисніть тут, щоб відповісти
Додаємо елементи головоломки....

Asus Prime H770 Plus D4, I3-12100, 2x32GB Corsair Vengeance LPX 2666MHz RAM, тихий! Pure Power 12 M (550 Вт), накопичувач WD blue SN570 512 ГБ NVME, Supermicro AOC-SG-I2 Dual Port GbE, безшумний процесорний кулер Pure rock slim 2

Після примусового використання ASPM у драйвері Realtek, який, здавалося, створював проблеми навіть у вимкненому стані, я можу вставити накопичувач WD blue у слот Gen 4x4 NVME, а Supermicor - у слот Gen4x4 PCI-E, і при цьому апаратний пакет не залишається на рівні C3. З Proxmox 8.2 я отримую близько 60% часу на C8 для пакету HW, 98% на C10 для процесора і 96% на C7 для ядра (HW), в результаті чого енергоспоживання становить близько 8-9 Вт, виміряне на стіні. І це після застосування всіх стандартних налаштувань енергозбереження BIOS і запуску powertop --auto-tune, а також налаштування L1 ASPM на Realtek через командний рядок.

Все, що я бачу - це короткі стрибки, коли споживання піднімається до 15 Вт, щоб потім впасти до 8 Вт під час запуску powertop. Тому у мене є 2 додаткові слоти для накопичувачів MVME або місця, куди я можу додати карти адаптерів NVME -> 6x SATA (з чіпсетом ASM1166).

Я також можу підтвердити, що після встановлення ASPM на Realtek NIC інші карти більше не викликають помилку C3 на упаковці. Якщо комусь потрібен дешевший варіант, ніж Supermicro, "10Gtek dual NIC card with 82576 Intel chipset" також працює добре.
eduardz на Травень 18, 2024 - натисніть тут, щоб відповісти
Привіт, Метт, чи є у вас оптимізована збірка на 2024 рік або якісь поради, пропозиції? Я планую збірку nas для zfs (raidz2) з 6 або 8 дисками + plex-сервер. Я шукаю корпус / материнську плату для i5-14500t (plex igpu transcode) з принаймні ddr5 (він має деяку корекцію помилок контрольної суми, але не так добре, як ECC) або, можливо, mobo з ddr4 з небуферизованим ecc (підтримується)
Анонім на Травень 18, 2024 - натисніть тут, щоб відповісти
Гарна стаття, особливо дані про енергоспоживання.
ChrisC на Червень 9, 2024 - натисніть тут, щоб відповісти
Чудова стаття, але я також вражений тим, що було досягнуто.

Причина, по якій я знайшов вашу статтю, полягає в тому, що я експериментував з ASPM на настільній системі і виявив, що це заощадило мені лише жалюгідні 2 Вт енергії, ваша стаття вказує на те, що щось не так з моїми висновками, і, можливо, мені потрібно більше копати, на жаль, майже ніхто не випльовує цифри енергозбереження для конкретних речей. Ваша стаття підказує мені, що найбільша перевага ASPM полягає в тому, що вона дозволяє процесору переходити в стан глибокого енергозбереження, тому я підозрюю, що саме в цьому полягають мої проблеми. Я також зацікавлений, тому що, як і ви, я використовую частини робочого столу для запуску платформи зберігання даних, яка повинна споживати якомога менше електроенергії.

Цікаво також, що у вас є диски з таким низьким енергоспоживанням на холостому ходу.

Я приніс два диски Seagate Ironwolf, про що дуже шкодую, адже в режимі очікування ці диски споживають 8 Вт (при обертанні), хоча в режимі очікування вони споживають менше 1 Вт. Потім я взяв кілька гелієвих дисків WD на 12 тб, які споживають менше 4 Вт в режимі очікування при обертанні. Подібна потужність до seagate в режимі очікування.

Інші проблеми з двома дисками Seagate: (а) якщо на диск надіслати будь-яку команду, наприклад, запит SMART, він розкрутиться, що є дуже дивною поведінкою, яку я ніколи раніше не бачив у дисків, навіть запит їхнього сплячого стану за допомогою інструментів seachest призводить до розкручування, диски WD, підключені до тієї ж плати контролера ASmedia, не демонструють такої поведінки. Крім того, режим повільного обертання, який, як я вважаю, є станом idle_c, не працює на двох моїх дисках Seagate. TrueNAS, програмне забезпечення, яке я використовую, надсилає SMART-запит кожні 5 хвилин для функції моніторингу температури, яку важко вимкнути, і вона є лише глобальним ввімкненням/вимкненням. Тому, якщо диски Seagate знаходяться в режимі очікування, це призводить до їх пробудження, тому я вручну виправив код, щоб внести два диски Seagate до чорного списку для моніторингу температури, а також, щоб перевірки стану SMART пропускалися, якщо диски знаходяться в режимі очікування.

З огляду на це, хоча моє енергоспоживання жахливе порівняно з вашим, система працює без головки, 4 шпинделі, 3 SATA SSD і 1 NVME SSD, і на холостому ходу споживає близько 48 Вт, і близько 34 Вт з усіма шпинделями, що обертаються. У системі 3 вентилятори,

У мене також є цікаві спостереження щодо NVME.

У своїх системах я виявив, що диски NVME постійно працюють набагато гарячіше, ніж SATA SSD, а також, як правило, гарячіше, ніж активні шпинделі. У NUC мені довелося вдатися до активного охолодження, оскільки температура NVME навіть на холостому ходу не перевищувала 70°C. Як і ви, я виявив, що ці речі трохи розкидані, коли справа доходить до станів живлення.

На прикладі Windows я виявив, що ASPM, схоже, не має абсолютно ніякого впливу на будь-який з 3 накопичувачів NVME в системі. L1 і L0 не впливають на температуру. У мене є Samsung 980 Pro, WD SN850X та PCI express Intel DC P4600, який має власний потужний радіатор.

По суті, температура DC P4600 завжди нижче 30°C і на нього не впливає режим ASPM.
WD SN850X працює в діапазоні від низьких до середніх 40-х градусів залежно від навколишнього середовища, і на нього не впливає ASPM.
Я також протестував WD SN570, і він поводиться так само, як і SN850X, на нього не впливає ASPM, він простоює при температурі близько 45°C.
Нарешті, на 980 Pro ASPM також не впливає, проте я можу запускати режими низького енергоспоживання для цього накопичувача, він працює на дуже високому холостому ходу при температурі близько 54-60°C.

Таким чином, Windows має приховані налаштування живлення, які дозволяють вам безпосередньо грати зі станами живлення NVME, Samsung 980 Pro знизить температуру приблизно на 7-8°C, якщо перебуває в першому стані енергозбереження NVME, що, як і раніше, є моїм найгарячішим NVME-диском і набагато гарячішим, ніж мої SATA SSD, які працюють в 20-х роках. Цікаво, що другий режим енергозбереження знижує температуру лише на 1-2°C.

Згідно з різними оглядами та повідомленнями в мережі, накопичувачі WD NVME, схоже, не підтримують більш глибокий режим енергозбереження. На щастя, мої накопичувачі WD не нагріваються так сильно, як накопичувачі Samsung.

У мене також є 970 EVO, який раніше працював на холостому ходу при температурі близько 65°C. Я знизив її до 40°C, помістивши його в адаптер PCIe NVME з великим радіатором, тому мій досвід роботи з накопичувачами Samsung не надто великий щодо температури. Я вирішив, що не є фанатом NVME-накопичувачів, оскільки вони нагріваються і мають дуже високу потужність на холостому ходу порівняно з SATA SSD, але ви, схоже, зламали їх.
Edward на Липень 24, 2024 - натисніть тут, щоб відповісти
Дякую, що поділилися своїми тестами. Спостереження щодо використання смуг cpu-pcie мене дуже здивували. Це означає, що на міні-комп'ютері itx буде дуже складно вийти за межі 4 sata, чи не так?
- Edward на Липень 26, 2024 - натисніть тут, щоб відповісти
  Я знайшов можливе рішення... MSI та ASRock випускають материнські плати z790 mitx з 3 слотами m.2... Два з яких підключені до чіпсету. Це дозволить вам мати перехідник m.2 на sata, nvme накопичувач та уникнути слотів cpu-pcie/cpu-m2. Обидві плати в діапазоні $250-300, тому співвідношення енергозбереження/вартість страждає.
RD на Серпень 27, 2024 - натисніть тут, щоб відповісти
Знайшов цю неймовірно корисну статтю. Я думаю про створення мережевого сховища для оновлення з коробки Synology, і мене турбує підвищене енергоспоживання. Я запускаю ряд програм (домашня автоматизація), які використовують сховище майже постійно, тому оптимізація енергоспоживання в режимі очікування не настільки корисна, як зменшення енергоспоживання під час активного використання. Чи допоможуть рекомендовані вами вище варіанти та налаштування також зменшити загальне енергоспоживання системи під час її роботи?
- Matt Gadient на Серпень 27, 2024 - натисніть тут, щоб відповісти
  Твердотільний накопичувач Crucial P3 NVMe SSD і 2,5-дюймовий жорсткий диск Seagate надзвичайно ефективні при зверненні до них (ознайомтеся з оглядом TomsHardware про Crucial P3 2 ТБ за посиланням https://www.tomshardware.com/reviews/crucial-p3-ssd-review/2 , щоб отримати уявлення про те, як він працює в порівнянні з іншими). Блок живлення Corsair RM(x) також знаходиться на висоті з точки зору ефективності. Я не думаю, що ви можете помилитися з будь-яким з цих компонентів, незалежно від того, чи працюєте ви на холостому ходу, чи піддаєтеся інтенсивному використанню.
  
  Що стосується процесора/материнської плати, то Intel 12-го покоління дійсно починає втрачати свої переваги, якщо він не може проводити багато часу в станах C6-C10 (і, на жаль, немає способу дізнатися, чи досягнете ви цих станів, поки не спробуєте). Але загалом для системи, яка буде помірно навантажена 24/7, я б особисто почав більше тяжіти до AMD на даний момент.
Bastian на Серпень 31, 2024 - натисніть тут, щоб відповісти
Привіт, Метт, мені подобається ваша детальна робота, яку ви надаєте спільноті малопотужних домашніх серверів!

Мені цікаво, чи ви випадково розглядали версію CSM для ASUS Prime H770-Plus D4. З того, що я зрозумів, CSM в поєднанні з i5, наприклад, 12500 або 13500, має забезпечити функції vPro Enterprise, що, в свою чергу, повинно забезпечити можливості віддаленого управління DASH, KVM/IPMI. DASH далеко не такий потужний, як повноцінне рішення ASPEED AST2600 BMC, яке зазвичай споживає додаткові 5-10 Вт.

У той же час, CSM також має на меті забезпечити стабільність, подібну до корпоративної, що може означати меншу кількість опцій BIOS для налаштування C-станів і так далі.
- Matt Gadient на Серпень 31, 2024 - натисніть тут, щоб відповісти
  Варіант CSM не був на моєму радарі в той час, що, ймовірно, означає, що його не було в наявності, коли я купував материнську плату.
  
  Поглянувши на сторінку продукту зараз, я побачив, що єдина відмінність між ним і моделлю без CSM - це доступ до ASUS Control Center Express. Сторінка технічних характеристик для варіанту CSM ідентична, за винятком додавання "1 x ACC Express Activation Key Card". Посібник з експлуатації ідентичний, без жодних відмінностей. Я завантажив обидва BIOS (1663), і контрольні суми були ідентичними, хоча я припускаю, що функції можна перемикати за допомогою прапорців.
  
  Я не здивуюся, якщо можливості/функціональність/BIOS будуть абсолютно однаковими, за винятком функціональності, що надається програмним забезпеченням ACC Express. Але немає способу дізнатися напевно, хіба що хтось спробує.
Анонім на Вересень 3, 2024 - натисніть тут, щоб відповісти
Намагаюся перебудувати всю свою систему. 12400 32gb h770 d4 plus у 24-слотовому fantec з X710-DA2 та 9600-24i. Основний nvme - це 1 tb samsung pro. Corsair більше не поставляється, тому я пішов з сезонним титаном.

Система може досягти c10 без 9600. Він ще не підготовлений, тому я не вставив його.

Що дійсно відстійно на платі, так це мінімальна швидкість обертання вентилятора 20%. І я не знаю чому, але моє мінімальне споживання становить 11,5 Вт, але з X710-DA2. Я заміню кулер процесора на пасивний. Можливо, ще один ват буде отримано.

Просто інформація для тих, хто цікавиться X710-DA2: ніякого WoL, принаймні для мене. Виправлення цієї штуки - це ЧИСТИЙ рак - робіть це в EFI. В активному режимі ця штука сильно нагрівається. Вам потрібно або активно охолоджувати її, або поміняти радіатор. Я зробив останнє. Переверніть карту за допомогою набору pcie, щоб вона стояла горизонтально. Вдягніть https://www.reichelt.de/kuehlkoerper-75-mm-alu-1-3-k-w-sk-89-75-kl-ssr-p227795.html?search=Sk+89+7 , так я тепер маю ще й дриль. Вам потрібно зробити так, щоб карта ВСТАНОВИЛАСЯ на материнській платі з дистанційними прокладками. Підказка: оболонку efi тільки з саморобним efi. Забудьте про те, що мобо відкривається, це efi.
Philipb на Вересень 16, 2024 - натисніть тут, щоб відповісти
Абсолютно дивовижна стаття, дуже дякую. Я майже збираюся клонувати це.

Ви випадково не знаєте, для цього ж процесора або i3-12-го покоління є якісь хороші m-ATX або itx плати для живлення, такі як вищезгадані?
- Matt Gadient на Вересень 16, 2024 - натисніть тут, щоб відповісти
  Враховуючи мої проблеми з платою Gigabyte, яку я спробував, якби я намагався зібрати ідентичну систему, але у форм-факторі mATX або ITX (і був би готовий втратити кілька слотів PCI-E і NVMe), я б особисто зупинився на моделях ASUS PRIME і спробував одну з них:
  - ASUS PRIME H610I-PLUS D4 (ITX, DDR4, але 1G Realtek ethernet може бути серйозною авантюрою)
  - ASUS PRIME H610M-A D4-CSM (mATX, DDR4, 1G Intel)
  - ASUS PRIME Z790M-PLUS (mATX, DDR5, 1G Intel)
  Не буде несподіванкою, що мені дуже подобається Intel 1G Ethernet на останніх 2 моделях.
  
  Щоб внести ясність, я насправді не пробував жодну з них: я припускаю, що BIOS і т.д., ймовірно, будуть схожі на H770-PLUS D4, і що я зможу повторити результат. Але я не знаю напевно. Z790M-PLUS має 4xPCIe і 3xNVMe - якщо припустити, що DDR5 не є проблемою, то, ймовірно, я б схилявся до нього. Однак я підозрюю, що маленькому радіатору чіпсета може знадобитися приплив повітря.
  
  Зауважте, що може бути багато інших підходящих варіантів, у тому числі поза серією PRIME, і в тому числі поза ASUS. Історично склалося так, що Gigabyte завжди була моєю улюбленою компанією. З цим поколінням мені просто не пощастило.
  - Jim на Жовтень 22, 2024 - натисніть тут, щоб відповісти
    Привіт, Метт, я провів кілька тестів з "ASUS PRIME H610M-A D4". (Мені потрібен MB, який поміщається в мій Jonsbo C2)
    
    Налаштування:
    - ASUS PRIME H610M-A D4-CSM
    - i3 12100 з кулером Intel
    - Samsung 970 Evo Plus 1TB як завантажувальний диск (на першому слоті M.2)
    - Мушкін 2x 16GB DDR4 3200
    - Be quiet M12 550
    - мінімальний Debian 12
    
    Я переніс налаштування Bios Метта на материнську плату mATX!
    Виміряно біля стіни (Fritz Dect 200) = 6,4 Вт (без роботи)
    
    З PicoPSU-90 я зміг досягти 5,7 Вт (але набагато більше споживання в режимі WOL-Standby!).
    
    Дякую за вашу чудову роботу, без ваших інструкцій з налаштування Bios знадобився б місяць, щоб досягти стану низького енергоспоживання...
Lukas на Вересень 18, 2024 - натисніть тут, щоб відповісти
Привіт, Метте, дякую за цю ґрунтовну статтю!
Насправді я також шукаю материнську плату mATX для дійсно ефективного домашнього сервера. У мене просто є додаткове застереження, що я збираю його в корпусі з пасивним охолодженням (HDPlex H3).
Це трохи ускладнює вибір материнської плати, тому що, схоже, мені доведеться обирати між двома материнськими платами:
Asus Prime Z790M Plus
+ Intel 1G Ethernet
- трохи маленька і крихка VRM-охолодження
Asus TUF B760M Plus II
+ трохи дешевше в моїй країні
+ об'ємніший радіатор
- 2.5G Realtek Ethernet

Наразі я схиляюся до TUF, оскільки інший Ethernet легше додати, ніж сильніший радіатор VRM, але я хотів би почути вашу думку про те, наскільки сильно заважає контролер Ethernet 2.5G Realtek Realtek.
Заздалегідь дякую!
- Matt Gadient на Вересень 18, 2024 - натисніть тут, щоб відповісти
  Не знаю, чи ви вже перевірили, але переконайтеся, що над кулером VRM достатньо місця для теплових трубок у вашому корпусі HDPlex H3. Побіжно поглянувши на фотографії цього корпусу, можна помітити, що теплові трубки розташовані не так вже й високо.
  
  З огляду на це, залежно від процесора, який ви плануєте використовувати, охолодження VRM може не мати значення. H770-PLUS, який я використовував, навіть не має кулера VRM на верхніх відеокартах. Хоча я додав кілька невеликих радіаторів до свого, вони були не дуже потрібні, оскільки VRM і так не сильно нагрівалися.
  
  Моє найбільше занепокоєння з приводу пасивного охолодження викликає радіатор чіпсета, оскільки він може сильно нагріватися, коли чіпсет обробляє велику кількість даних. TUF GAMING B760M Plus II виглядає так само, як і Prime Z790M Plus (тільки чорного кольору і повернута). Напевно, тут мало що можна зробити, окрім як відкрутити радіатор і зробити деякі модифікації, що позбавляють гарантії.
  
  Якщо відкласти все це в сторону, якщо ви готові стрибати через обручі, необхідні для отримання хороших C-станів, Realtek 2.5G не обов'язково є шоу-стоппером. Хоча я б переконався, що купую його у продавця з легкою політикою повернення на випадок, якщо це виявиться більш проблематичним, ніж очікувалося.
- Daniel на Вересень 21, 2024 - натисніть тут, щоб відповісти
  У мене був TUF B760M DDR4. Радіатор чіпсета навіть тонший, ніж виглядає на фотографіях, але справжньою проблемою була стабільність роботи в режимі очікування і під невеликим навантаженням. Кожні кілька днів або близько того система випадково вимикалася.
  Я не знаю, чи це був несправний блок, чи конструктивний недолік, але я б не ризикував купувати цю плату в магазині, який не пропонує 30-денний термін повернення. Підтримка ASUS була абсолютно марною, як і гарантія в таких випадках.
Andy23 на Вересень 19, 2024 - натисніть тут, щоб відповісти
Дякую за твою статтю, Метт! Я хотів би поділитися своїм досвідом. Я зміг досягти 10,1 Вт на холостому ходу (виміряно біля стіни), за допомогою Proxmox 8.2.2 та налаштувань BIOS (досягнуто стану C10).

Процесор: i7-14700
Материнська плата: Asus Z790-P WIFI (підключена 2.5G LAN)
Оперативна пам'ять: 96 ГБ DDR5 (2х32 ГБ + 2х16 ГБ)
NVMe: Samsung 970 EVO Plus 1TB
БЛОК ЖИВЛЕННЯ: Corsair RM750x
Енергоспоживання вимірювалося без монітора.

Кілька спостережень:
---- важливість БЖ ----
1) Я почав з БЖ Seasonic Focus 1000w і енергоспоживання становило 14,4 Вт. Перехід на Corsair RM750x призвів до зниження енергоспоживання на +4 Вт. RM750x має енергоефективність ~80% при 20 Вт, це означає, що мій оригінальний Focus 1000w повинен мати дуже погану енергоефективність при 20 Вт (10.1*0.8/14.4=56%)!!! Отже, люди, будь ласка, розгляньте можливість інвестування в кращий БЖ (посилання: RM750x номери на цьому аркуші: https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit?gid=110239702#gid=110239702)
2) powertop 2.14 НЕ підтримує процесори Intel 13/14Gen (спочатку він показував лише стани C3). Мені довелося скомпілювати останню версію powertop 2.15, і це дозволило мені побачити стани C6-C10.
---- Проблемний вбудований SATA-контролер ASUS Z790-P ----
3) дивовижне спостереження: якщо я підключаю SSD до вбудованого інтерфейсу SATA, стан процесора доходить лише до C6 (без C8, без C10 взагалі). Однак, якщо я під'єднаю той самий SSD до карти ASM1166 PCIe-to-SATA, я зможу досягти C10. Це свідчить про те, що вбудований SATA-контролер цієї материнської плати НЕ підтримує ASPM належним чином ("lspci -vv" на виході вбудованого SATA-контролера НЕ показує жодних можливостей ASPM).
---- Вартість додавання графічного процесора ----
4) додавання графічного процесора Nvidia GTX 1050 Ti призвело до колосального збільшення на 16 Вт на холостому ходу. Незабаром я зрозумів, що потужність графічного процесора nvidia на холостому ходу можна зменшити за допомогою оптимізації "nvidia-smi --persistence-mode=1", з якою 16 Вт стають 8 Вт (режим продуктивності графічного процесора P8). Однак, це все одно додаткові 80% від моїх 10,1 Вт, які простоюють без графічного процесора. Можливо, не варто залишати графічний процесор увімкненим. Додаткові дослідження показують, що сам графічний процесор споживає лише близько 3 Вт на холостому ходу, але завдяки графічному процесору C-стани CPU утримуються на рівні C6, звідси і різниця у 8 Вт (з графічним процесором і без нього).
5) енергоспоживання збільшилося ще на 6 Вт, коли я приєднав графічний процесор до слоту PCIe, що підключається до чіпсета (спочатку він був у слоті PCIe, що підключається до процесора). Так, з усією оптимізацією, графічний процесор додає 8+6=14 Вт, якщо ви встановите його в роз'єм PCIe на цій материнській платі. Я помітив, що C-стан змінився з максимального C6 до максимального C3, що, ймовірно, і є джерелом додаткових 6 Вт.

Загалом, я задоволений результатом, і це цікавий досвід. Я б дуже хотів додати графічний процесор (наприклад, для завдань, пов'язаних з фотографіями), але він занадто дорогий з точки зору енергоспоживання. Хтось має досвід роботи з графічним процесором на малопотужних серверах? Чи є способи звільнити c-стан процесора, щоб він міг досягти C8/C10? Зверніть увагу, що я говорю про енергоспоживання в режимі очікування (графічний процесор не використовується для виведення графіки і не підключений до монітора).
Federico на Вересень 21, 2024 - натисніть тут, щоб відповісти
Дивовижний аналіз! Я губився в пошуках енерго-орієнтованого HBA і навіть не починав розглядати вплив на енергетичні стани...

Я здивований, що чіпсети AMD так сильно відстали в енергоспоживанні. Я сумую за старими часами, коли було багато хороших варіантів материнських плат формату mini-ITX з ранніми процесорами AMD, і всі зусилля були спрямовані на те, щоб весь комплект був малопотужним.

Я щойно побачив, що новий чіпсет AMD X870 повинен мати TDP 7 Вт, але материнські плати, анонсовані до цього часу, здаються трохи перебірливими ("ROG Strix X870-A Gaming WIFI поставляється з 16+2+2 каскадами живлення, розрахованими на струм до 90 А", - говорить alktech).
lowpowerobsession на Жовтень 2, 2024 - натисніть тут, щоб відповісти
Привіт Метт (і всі інші)!

Я хотів оновити свої блоки pfsense і truenas до 10 GbE мережі, і натрапив на цю публікацію. Скориставшись порадою використовувати плату з контролером Intel 1gb ethernet, я обрав Asrock b660m pro RS та pentium g7400 для обох боксів. Мені потрібен був додатковий повнорозмірний порт PCIe для можливості розширення в майбутньому.

Спробую виконати налаштування тут: https://www.reddit.com/r/ASRock/comments/1998ozl/how_to_get_higher_pkg_cstates_on_asrock/

щоб побачити, чи зможу я отримати прийнятне енергоспоживання. Я бачив ваш коментар про використання H610M від ASUS і, ймовірно, перейду на неї, якщо мені не пощастить з цими платами. Я повідомлю про це, оскільки не можу знайти багато інформації про те, чи вдалося комусь знизити енергоспоживання b660m.

Буду вдячний за будь-яку пораду!
mack на Жовтень 16, 2024 - натисніть тут, щоб відповісти
Моя збірка:
- Китайська материнська плата CWWK Q670 V1, на платі є 3xnvme, 8 sata, pcie5 x16 з можливістю розбиття на 2 x8 (теоретично можна поставити 5 nvme дисків), 2x2.5Gbs
- i5 13500T
- 1 модуль 48GB DDR5 Crucial Pro.
- 2xSamsung evo 970 plus, 1xLexar NM790
блок живлення pico (зараз у мене немає іншого)
- підключена локальна мережа в одному порту
У режимі очікування з Proxmox працює близько 8-10 Вт

Загалом параметри непогані, але, на мою думку, біос не допрацьований, проблеми з ASPM в одному порту, тільки Samsung evo працює в ньому з увімкненим ASPM, в інших все нормально з іншими дисками.

Процесор опускається лише до стану C6

Завантажити більше коментарів (132 ще багато цікавого!)

152 Коментарі | Залишити коментар

Залишити коментар Скасувати відповідь

mattgadient.com