Коротко. Tesla V100 — это архитектура Volta, вычислительная способность sm_70. Она умеет тензорные операции в FP16, но не умеет bfloat16 и не имеет аппаратных int4/FP8-блоков более новых поколений. Практический вывод: на V100 лучше всего идёт AWQ через vLLM, приемлемо — GGUF через llama.cpp, а часть свежих движков и форматов просто не запустится без сборки под sm_70.
Что именно умеет Volta
V100 вышла в 2017 году и была первой картой NVIDIA с тензорными ядрами. Они работают с FP16 — и это до сих пор её сильная сторона. Чего у Volta нет:
- bfloat16 — появился только начиная с Ampere (A100). Модели и движки, жёстко требующие bf16, на V100 не пойдут без правки конфигурации на fp16.
- Аппаратный FP8 — это уровень Hopper и новее.
- Родные int4-инструкции тензорных ядер в том виде, в каком их используют новейшие ядра квантования.
Отсюда и вся специфика: квантование на V100 работает, но за счёт того, что вычисление всё равно разворачивается в FP16, а квантование экономит в первую очередь память, а не такты.
AWQ — рабочий вариант по умолчанию
По нашим замерам на парке V100 AWQ через vLLM стабильно быстрее GGUF при сопоставимом качестве ответов. Причина простая: vLLM рассчитан на пакетную обработку и тензорный параллелизм, поэтому и одиночный поток обслуживает ровнее, и на нескольких одновременных запросах не проседает.
Ориентир по скорости с нашей сборки: Llama 3.3 70B в AWQ, раздача на четыре V100 тензорным параллелизмом — около 40 токенов в секунду на один поток, русский язык чистый.
Важная оговорка про запуск: свежие релизы vLLM отказались от поддержки sm_70. Чтобы AWQ поехал на V100, нужен либо форк с сохранённой поддержкой Volta, либо сборка из исходников под эту архитектуру. Это разовая настройка, но без неё вы получите ошибку вида «no kernel image is available for execution on the device».
GGUF — проще запустить, медленнее работает
Формат GGUF и движок llama.cpp (а также LM Studio и Ollama поверх него) — самый простой путь: скачали файл, запустили, работает. На V100 это тоже рабочий вариант, особенно для одного пользователя и для экспериментов.
Цена простоты — скорость: на одинаковых моделях GGUF на V100 у нас проигрывает AWQ. Плюс llama.cpp тоже нужно собирать с поддержкой архитектуры 7.0, иначе он либо не увидит карту, либо уйдёт считать на процессор — и вы будете долго удивляться, почему «видеокарта не помогает».
Сколько памяти занимает модель
Грубый, но рабочий ориентир для 4-битного квантования: примерно половина числа параметров в гигабайтах, плюс запас под контекст. То есть модель на 70 миллиардов параметров — это около 40 ГБ весов, модель на 122 миллиарда — около 80 ГБ.
Отсюда видно, зачем нужны четыре карты. Одна V100 на 32 ГБ вытянет модель уровня 27–35B, а вот 70B в неё уже не помещается — нужна раздача на несколько GPU. Сборка 4× V100 = 128 ГБ запускает и 70B с большим запасом под контекст, и модели за сотню миллиардов параметров в 4-битном квантовании.
Не пытайтесь запускать модель в неквантованном виде «чтобы качество не терять»: 70B в fp16 — это порядка 140 ГБ только весов, что уже не влезает и в четыре карты. Разница в качестве между fp16 и аккуратным 4-битным квантованием на практике куда меньше, чем разница между «работает» и «не запускается».
Практический выбор
- Одному пользователю, быстро попробовать — GGUF в LM Studio или Ollama. Минимум настройки.
- Команде, продакшен, несколько одновременных запросов — AWQ в vLLM с тензорным параллелизмом на все карты и OpenAI-совместимым API.
- Модель требует bf16 — переключайте на fp16 в конфигурации, Volta bf16 не поддерживает.
- Ошибка «no kernel image is available» — движок собран без поддержки sm_70. Пересобрать под архитектуру 7.0 или взять сборку с поддержкой Volta.
Стоит ли брать V100 в 2026 году
Если задача — держать локальную модель уровня 70B для себя или команды, V100 остаётся самым выгодным способом набрать много видеопамяти. Ограничения архитектуры обходятся настройкой один раз, а дальше карта просто работает: под прожигом мы стабильно снимаем с неё 13,9–14,5 ТФлопс FP32, то есть 89–92% от паспортного пика.
Если же нужна вдвое большая скорость, поддержка bf16 и более новых форматов — смотреть надо на A100. Разница в цене существенная, поэтому мы честно сравнили обе платформы в отдельном материале: Tesla V100 или A100 — что брать под локальный ИИ.
Наши сборки 4× Tesla V100 отдаются уже с настроенным движком под sm_70 — то есть без той самой недели возни, которая обычно уходит на «почему оно не запускается».
Частые вопросы
В каком квантованном формате можно запустить ИИ на Tesla V100?
Лучше всего работает AWQ через vLLM — по нашим замерам он стабильно быстрее GGUF при сопоставимом качестве. GGUF через llama.cpp, LM Studio или Ollama тоже работает и проще в запуске, но медленнее. Оба варианта требуют сборки движка с поддержкой архитектуры sm_70.
Поддерживает ли Tesla V100 bfloat16?
Нет. Volta умеет тензорные операции в FP16, а bfloat16 появился только начиная с Ampere. Если модель или движок требуют bf16, нужно переключить конфигурацию на fp16.
Почему на Tesla V100 выходит ошибка no kernel image is available?
Движок или утилита собраны без поддержки вычислительной способности 7.0. Нужно пересобрать под sm_70 либо взять сборку с сохранённой поддержкой Volta — свежие релизы vLLM поддержку sm_70 уже убрали.
Сколько видеопамяти занимает модель на 70B?
В 4-битном квантовании — около 40 ГБ весов плюс запас под контекст. В одну карту на 32 ГБ такая модель не помещается, нужна раздача на несколько GPU. Сборка 4× Tesla V100 даёт 128 ГБ и запускает 70B с большим запасом.
Какая скорость генерации у Tesla V100 на модели 70B?
На нашей сборке из четырёх Tesla V100 модель Llama 3.3 70B в квантовании AWQ с тензорным параллелизмом выдаёт около 40 токенов в секунду на один поток при чистом русском языке.