Коротко: на одинаковом тесте (Qwen 35B, vLLM) 4× A100 примерно вдвое быстрее 4× V100 — 95 против 70 токенов/с в один поток и 1826 против 841 при 64 параллельных запросах. Решает не NVLink, а пропускная способность памяти. При этом V100 — лучший вход по цене (от 170 000 ₽), а A100 — максимум скорости и онлайн-нагрузки (790 000 ₽). Обе сборки несут 128 ГБ и тянут модели до 120B+.
Когда выбираешь железо под локальную нейросеть, главный вопрос обычно один: сколько токенов в секунду я получу и на сколько пользователей этого хватит. Спецификации с сайтов производителей тут мало помогают — важна реальная скорость на реальной модели. Поэтому мы прогнали идентичный тест на двух своих сборках и публикуем цифры как есть.
Коротко: чем Tesla V100 отличается от A100
Tesla A100 быстрее Tesla V100 примерно вдвое на инференсе языковых моделей при одинаковом объёме видеопамяти 128 ГБ в связке из четырёх карт. Это означает, что выбор между ними определяется не задачей, а бюджетом: обе конфигурации запускают одни и те же модели, но A100 обслуживает больше одновременных пользователей.
| Параметр | 4× Tesla V100 | 4× Tesla A100 |
|---|---|---|
| Видеопамять | 128 ГБ HBM2 | 128 ГБ HBM2 |
| Архитектура | Volta, sm_70 | Ampere, sm_80 |
| Скорость на инференсе | базовая | ≈2× выше |
| Формат bfloat16 | не поддерживается | поддерживается |
| Штатный vLLM | нужен форк под sm_70 | работает как есть |
| Цена комплекта | от 170 000 ₽ | 790 000 ₽ |
Практический ориентир: если сервер нужен одному-двум пользователям, разница в скорости почти не заметна, и переплата за A100 не окупается. Если модель обслуживает команду или продакшен с десятками параллельных запросов, A100 отрабатывает вложение.
Условия теста
- Сборка 1: 4× Tesla V100 SXM2, 128 ГБ HBM2, карты сшиты по NVLink 2.0.
- Сборка 2: 4× Tesla A100, 128 ГБ HBM2, водяное охлаждение, связь по PCIe (без NVLink).
- Движок: vLLM (tensor-parallel). Модель для прямого сравнения: Qwen 3.6 35B-A3B (MoE). Дополнительно — крупная модель 122B (AWQ).
- Замеряли скорость генерации в один поток и суммарную пропускную способность при росте числа одновременных запросов.
Результаты: токены в секунду
Один и тот же тест, обе сборки. A100 быстрее почти вдвое на каждом уровне нагрузки:
| Сценарий | 4× Tesla V100 | 4× Tesla A100 |
|---|---|---|
| 1 поток (Qwen 35B) | 70 ток/с | 95 ток/с |
| 64 параллельных запроса (Qwen 35B) | 841 ток/с | 1826 ток/с |
| Крупная модель 122B, 32 запроса | 433–500 ток/с | 742 ток/с |
Отдельно по сборке V100 на большой модели gpt-oss 120B: 45 ток/с в один поток, до 433 ток/с при 16 параллельных запросах, и скорость почти не падает на контексте 100 000 токенов (~42 ток/с). То есть даже «бюджетная» связка спокойно тянет очень крупные модели — вопрос лишь в скорости.
Почему A100 примерно вдвое быстрее
Скорость генерации токенов у LLM упирается не в количество вычислительных ядер, а в то, как быстро GPU читает веса модели из памяти. Это пропускная способность памяти. У A100 она почти вдвое выше, чем у V100 — отсюда и ~2× прирост в наших тестах. Архитектура Ampere (A100) к тому же новее Volta (V100) и эффективнее на современных форматах квантования.
А как же NVLink?
Здесь важный и честный момент. Наша сборка A100 соединена по PCIe — без NVLink, а сборка V100 — с NVLink. И всё равно A100 опережает. Почему так?
Потому что на инференсе (генерации ответов) межкарточный обмен данными невелик, и его пропускная способность редко становится узким местом — решает скорость памяти самих карт. NVLink даёт заметный выигрыш в другой задаче — обучении крупных моделей, где карты постоянно синхронизируют градиенты. Если ваша задача — запускать готовые модели (чат-боты, ассистенты, обработка документов), отсутствие NVLink у A100 на скорости почти не сказывается.
Сколько VRAM нужно под модель
Ориентир для квантованных (4-bit) моделей — у обеих сборок по 128 ГБ, так что запас большой:
| Модель | Нужно VRAM (≈4-bit) | Наши сборки (128 ГБ) |
|---|---|---|
| 7–8B | ~6–8 ГБ | с огромным запасом |
| 32–35B | ~20–24 ГБ | легко + место под контекст |
| 70B | ~40–48 ГБ | да, с запасом |
| 120–122B (MoE) | ~65–80 ГБ | да, обе сборки тянут |
Что выбрать: V100 или A100
- Берите 4× V100, если важен вход по цене (от 170 000 ₽), а задачи — личная работа с большой моделью, пилот, небольшая команда. 45–70 ток/с в поток и сотни токенов/с на нескольких пользователей — этого хватает большинству.
- Берите 4× A100, если нужен максимум скорости и онлайн-нагрузка — десятки одновременных пользователей, API под сервис, крупные модели в продакшене. 790 000 ₽, ~2× производительность и водяное охлаждение без троттлинга.
Частые вопросы
Нет, не критичен. Скорость генерации определяется пропускной способностью памяти карт. Наша A100-сборка работает по PCIe и опережает V100 с NVLink. NVLink важнее для обучения моделей.
Да. 128 ГБ памяти хватает для квантованных моделей до 120B+. На 120B сборка V100 выдаёт 45 ток/с в поток и до 433 ток/с при 16 запросах.
На лёгкой модели A100 масштабируется до 1826 ток/с при 64 параллельных запросах, V100 — до 841. Это десятки одновременных пользователей в чат-сценарии.