Сборка сервера на Tesla V100: что нужно кроме видеокарт

1. Мостовая плата под модули

V100 в исполнении SXM2 не ставится в слот — нужна несущая плата. Она даёт питание модулям, разводит между ними NVLink и подключается к материнской плате через PCIe-свитч. Подробно про это и про проверку меша мы написали отдельно: как подключается Tesla V100 SXM2 через NVLink.

Практический момент: на распространённых платах карты сидят за свитчем и получают по PCIe Gen3 x4. На скорость генерации это не влияет — тяжёлый обмен идёт по NVLink, — но загрузка большой модели с диска будет заметно дольше, чем на x16.

2. Питание: считайте по пиковому потреблению

Каждый модуль V100 держит планку 300 Вт, и под прожигом он её действительно выбирает: в наших замерах карты стабильно сидят на 289–300 Вт. Четыре карты — 1200 Вт, плюс процессоры, плата, диски и вентиляторы.

Мы дважды наблюдали одну и ту же картину: сервер уверенно работает вхолостую и отваливается через пару минут полной нагрузки на всех картах. Это почти всегда питание — либо блок на пределе, либо линия. Поэтому под четыре V100 закладывайте от 1600 Вт и не экономьте на качестве блока.

3. Охлаждение: у Tesla нет вентиляторов

Серверные ускорители рассчитаны на сквозной поток воздуха через корпус — на самих радиаторах вентиляторов нет. В обычном «тихом» корпусе такая сборка перегреется.

Ориентир по температурам из нашей практики: под полным прожигом исправно продуваемые V100 держатся в районе 41–54 °C. Если одна карта выбивается на 15–20 градусов выше соседей — это не «так и должно быть», а проблема продува или прилегания радиатора именно на ней. Разброс температур между картами — самый ранний признак, что с потоком воздуха что-то не так.

4. Оперативная память: не меньше объёма видеопамяти

Частая недооценка. При загрузке модель сначала читается в оперативную память, и только потом раскладывается по видеокартам. Мы работали с сервером, где на 128 ГБ видеопамяти приходилось всего 31 ГБ ОЗУ — узкое место вылезало на каждой загрузке крупной модели.

Разумный ориентир — оперативной памяти не меньше, чем суммарной видеопамяти. Для сборки 4× V100 32 ГБ это от 128 ГБ ОЗУ.

Отдельно про ECC-память: если сервер серверный, включите мониторинг исправимых ошибок. Деградирующая планка не роняет систему сразу, но исправимые ошибки копятся и в какой-то момент превращаются в неисправимые.

5. Драйвер — грабля, на которой ломается больше всего сборок

Volta не поддерживается открытыми модулями драйвера NVIDIA (пакеты с -open). Симптом очень пугающий: карты видны в lspci, но nvidia-smi пустой, а в логе ядра — «GPU has fallen off the bus» и «BAR0 is 0M». Выглядит как четыре трупа, а на деле нужен просто проприетарный серверный драйвер.

Отдельная тонкость при замене: после удаления старых пакетов их модули остаются в дереве ядра, и новый DKMS-модуль отказывается вставать «не новее существующего». Помогает ручная зачистка старых модулей и установка с --force, после чего обязательно перезагрузка.

6. Приёмка: что проверить до того, как отдадите деньги

Порядок, которым мы принимаем каждый кит:

• Серийники. Должны быть уникальны у всех карт. Совпадающие серийники или один inforom на весь кит — красный флаг.
• NVLink. Шесть линков на карту, для четырёх карт — 24 активных. Ни одного <inactive>.
• ECC. Режим включён, счётчики исправимых и неисправимых ошибок на нуле.
• Прожиг. gpu-burn не меньше 5 минут на всех картах разом. Для Volta собирать с COMPUTE=70, иначе он не запустится.
• Xid после прожига. В dmesg не должно появиться ни одной записи Xid. Особенно Xid 74 — это NVLink.

Отдельно предупредим про инструментальную ловушку: не оборачивайте gpu-burn в timeout — он убивает родительский процесс раньше, чем тот напечатает итог, и вы останетесь без вердикта по картам. Утилита сама завершится по своему аргументу длительности.

Чего ждать от готовой сборки

Собранный и принятый узел на четырёх V100 даёт 128 ГБ видеопамяти, около 13,9–14,5 ТФлопс FP32 на карту под прожигом и порядка 40 токенов в секунду на Llama 3.3 70B в квантовании AWQ при раздаче на четыре GPU. Этого достаточно, чтобы держать локальную модель уровня 70B для команды.

Если считать своё время, сборка «с нуля» редко выигрывает у готовой: мостовая плата, блок питания, продув и недельная возня с драйвером стоят дороже разницы в цене. Мы отдаём готовые серверы 4× Tesla V100 уже собранными и с полным протоколом приёмки, а если нужна вдвое большая скорость — есть сборки на 4× Tesla A100.

Частые вопросы

Что нужно кроме видеокарт для сборки сервера на Tesla V100 SXM2?

Мостовая (несущая) плата под модули SXM2, блок питания от 1600 Вт, корпус со сквозным продувом — у Tesla пассивные радиаторы без вентиляторов, оперативная память в объёме не меньше суммарной видеопамяти, и проприетарный серверный драйвер NVIDIA.

Какой блок питания нужен для четырёх Tesla V100?

Каждая карта под нагрузкой стабильно потребляет 289–300 Вт, то есть только GPU дают около 1200 Вт. С учётом процессоров, дисков и вентиляторов закладывайте блок от 1600 Вт. Типичный симптом нехватки питания — сервер отваливается через одну-две минуты полной нагрузки.

Сколько оперативной памяти нужно для сервера с 4× Tesla V100?

Ориентир — не меньше суммарного объёма видеопамяти, то есть от 128 ГБ для сборки из четырёх карт по 32 ГБ. Модель при запуске сначала читается в оперативную память и только потом раскладывается по видеокартам.

Какая нормальная температура Tesla V100 под нагрузкой?

При исправном продуве под полным прожигом карты держатся в районе 41–54 °C. Если одна карта горячее соседей на 15–20 градусов, это признак проблемы с потоком воздуха или прилеганием радиатора именно на ней.

Как проверить Tesla V100 при покупке?

Проверить уникальность серийников, режим ECC и нулевые счётчики ошибок, наличие 24 активных линков NVLink на четырёх картах, затем прогнать gpu-burn (собранный с COMPUTE=70) не меньше пяти минут и убедиться, что в dmesg не появилось ни одной записи Xid.