Коротко: объём памяти ≈ число параметров × байт на параметр. В 4-bit это ~0,5 байта на параметр, поэтому модель 70B весит ~40 ГБ, а 120B ~65–70 ГБ — плюс запас под контекст. На одной карте (даже 24 ГБ) большие модели не помещаются; нужна сборка с общим пулом памяти. Наши 4× V100 и 4× A100 несут 128 ГБ и тянут всё вплоть до 120B+.
Языковая модель при работе целиком загружается в видеопамять. Если она туда не влезает — вы получаете ошибку Out of Memory и запуск не происходит. Поэтому расчёт VRAM — это первое, что нужно сделать перед покупкой железа.
Как считается потребление VRAM
Простая прикидка: размер в памяти ≈ число параметров × байт на параметр. Сколько байт на параметр — зависит от квантования (сжатия весов):
- FP16 (без сжатия) — 2 байта на параметр. Точно, но в 4 раза тяжелее 4-bit.
- 8-bit — 1 байт. Половина памяти, качество почти не страдает.
- 4-bit — ~0,5 байта. Лучший баланс для инференса: модель влезает, качество приемлемое.
К весам добавляется память под контекст (KV-кэш) — она растёт с длиной диалога. Закладывайте запас 10–30% сверху.
Таблица: сколько VRAM под модель
Ориентировочно, только веса (без контекста), ГБ:
| Модель | FP16 | 8-bit | 4-bit |
|---|---|---|---|
| 7–8B | ~14 ГБ | ~7 ГБ | ~5 ГБ |
| 13B | ~26 ГБ | ~13 ГБ | ~8 ГБ |
| 32–35B | ~68 ГБ | ~34 ГБ | ~20 ГБ |
| 70B | ~140 ГБ | ~70 ГБ | ~40 ГБ |
| 120–122B | ~240 ГБ | ~120 ГБ | ~65 ГБ |
Значения округлены; реальная цифра зависит от архитектуры, метода квантования и длины контекста. Зелёным — 4-bit, самый практичный режим.
Почему одной видеокарты обычно не хватает
Топовая потребительская видеокарта несёт 24 ГБ — этого достаточно примерно до 32–34B в 4-bit. Но уже 70B в 4-bit требует ~40 ГБ, то есть в одну карту не помещается. Решение — несколько GPU с общим пулом памяти: четыре карты по 32 ГБ дают 128 ГБ, и в них спокойно входят и 70B, и 120B с запасом под контекст. Как это запустить технически — в статье как запустить LLM локально.
Сколько памяти у наших сборок
Обе наши готовые связки — 4 карты с общим пулом 128 ГБ HBM2:
- 4× Tesla V100 — 128 ГБ, запускает модели вплоть до 120B+. На реальном тесте gpt-oss 120B выдаёт 45 токенов/с в один поток.
- 4× Tesla A100 — 128 ГБ, та же ёмкость, но ~2× выше скорость за счёт пропускной способности памяти. Разница подробно — в сравнении V100 и A100.
Какой квант выбрать
Для запуска (инференса) в большинстве случаев оптимален 4-bit: модель влезает в разумную память, а потеря качества почти незаметна. 8-bit берут, когда памяти достаточно и хочется максимальной точности. FP16 для инференса нужен редко — он вчетверо тяжелее 4-bit при минимальной разнице в ответах.
Частые вопросы
В 4-bit — порядка 40 ГБ весов плюс запас под контекст, итого ~45–50 ГБ. В 8-bit — около 70 ГБ. Одной картой не обойтись, нужна сборка.
До 32–34B в 4-bit — да. Для 70B и крупнее одной карты на 24 ГБ мало.
Возьмите более сжатый квант, уменьшите контекст или добавьте видеопамяти (больше карт). Выгрузка части модели в ОЗУ возможна, но сильно замедляет генерацию.