Коротко: в сервере для ИИ всё решают видеокарты — суммарная видеопамять (какие модели влезут) и её пропускная способность (скорость). Готовые сборки: 4× Tesla V100 — от 170 000 ₽ за 64 ГБ и 340 000 ₽ за 128 ГБ, 4× Tesla A100 со 128 ГБ и ~2× скоростью — 790 000 ₽. Обе запускают модели вплоть до 120B+. Собирать такое с нуля рискованно — серверные карты требуют особой обвязки.
«Сервер для нейросетей» звучит сложно, но по сути это компьютер, главная ценность которого — видеокарты с большим объёмом памяти. Именно от них зависит, какие модели вы сможете запустить и насколько быстро. Разберём по порядку.
Что определяет сервер для ИИ
- Видеопамять (главное). Суммарный объём VRAM определяет, какие модели поместятся. 128 ГБ хватает на модели вплоть до 120B+. Сколько нужно под конкретную модель — в статье сколько VRAM нужно для нейросети.
- Пропускная способность памяти. Определяет скорость генерации токенов. У серверных карт (HBM2) она в разы выше, чем у игровых.
- Число и связь карт. Несколько GPU дают общий пул памяти под большие модели и параллельную обработку запросов.
- Охлаждение и питание. Мощные карты греются — нужен продуманный отвод тепла (особенно водяное охлаждение) и надёжное питание, иначе троттлинг и нестабильность.
- Хост (процессор, ОЗУ, диск). Для инференса вторичны — достаточно адекватной базы, чтобы кормить карты данными.
Готовые сборки и цены
Наши два варианта под локальный ИИ — обе несут 128 ГБ видеопамяти:
| Сборка | Видеопамять | Скорость | Цена |
|---|---|---|---|
| 4× Tesla V100 | 128 ГБ HBM2 | 45 ток/с на 120B | от 170 000 ₽ |
| 4× Tesla A100 | 128 ГБ HBM2 | ~2× к V100 | 790 000 ₽ |
V100 — оптимальный вход по цене под локальные модели; A100 — когда нужна максимальная скорость и нагрузка на всю компанию. Прямое сравнение на одинаковом тесте — в материале Tesla V100 vs A100.
Собирать самому или взять готовую сборку
Серверные ускорители вроде Tesla V100 SXM2 — это не «вставить в обычный ПК». Им нужна специальная хост-плата с разъёмом SXM2, грамотное питание и серьёзное охлаждение. Купив отдельные карты, легко получить несовместимый или перегревающийся набор. Готовая сборка решает это за вас:
- Карты подобраны и протестированы (проверка памяти, ECC 0).
- Решены питание и охлаждение — без троттлинга под нагрузкой.
- Система собрана и готова к работе «из коробки».
- Есть гарантия и поддержка при запуске.
Свой сервер или облако
Облако удобно для разовых задач, но при постоянной нагрузке оплата за каждый токен быстро превышает стоимость своего железа, которое потом работает «бесплатно». Плюс облако — это передача данных третьей стороне, что неприемлемо для чувствительной информации. Подробнее, почему бизнес выбирает локально, — в статье локальный ИИ для бизнеса.
Частые вопросы
Сборка 4× Tesla V100 (128 ГБ) — от 170 000 ₽, сборка 4× A100 (128 ГБ, ~2× быстрее) — 790 000 ₽. Зависит от памяти, числа карт и охлаждения.
Видеокарты: объём видеопамяти решает, какие модели влезут, а её скорость — насколько быстро они отвечают. Остальное вторично.
Технически да, но серверные карты требуют особой платы, питания и охлаждения — без опыта легко получить несовместимый набор. Готовая протестированная сборка надёжнее.