Коротко. Tesla V100 — это архитектура Volta, compute capability 7.0. Часть современных движков её уже не поддерживает, и это главная причина, по которой «карта не работает». Практический выбор такой: AWQ через vLLM с поддержкой sm_70 — если нужна скорость и много пользователей; GGUF в LM Studio или Ollama — если нужен быстрый старт для себя. Vulkan на NVIDIA брать не нужно.
Почему движок вообще приходится выбирать
Совместимость движка с видеокартой определяется вычислительной способностью — compute capability. У Tesla V100 это 7.0 (обозначается как sm_70). Современный инференс-стек по умолчанию рассчитан на 8.0 и выше, и разработчики постепенно убирают поддержку старых архитектур.
Отсюда типичная картина: карта исправна, драйвер стоит, а движок падает с сообщением no kernel image is available for execution on the device или Minimum capability: 75. Это не поломка, а отсутствие скомпилированного кода под вашу архитектуру.
vLLM: самый быстрый вариант, но нужен форк
vLLM работает так: он держит модель разложенной по нескольким видеокартам через тензорный параллелизм, объединяет входящие запросы в пакеты и отдаёт результат по OpenAI-совместимому API. Результатом становится ровная скорость и на одном потоке, и на десятках одновременных.
Проблема в том, что свежие релизы vLLM отказались от sm_70. Чтобы запустить квантование AWQ на V100, нужна сборка с сохранённой поддержкой Volta — форк или компиляция из исходников под эту архитектуру. Настройка разовая, но без неё движок просто не стартует.
Ориентир по скорости с нашей сборки 4× Tesla V100: модель на 70 миллиардов параметров в AWQ с раздачей на четыре карты даёт около 40 токенов в секунду в один поток при чистом русском языке.
llama.cpp, LM Studio и Ollama: проще запустить, медленнее работает
Формат GGUF и движок llama.cpp — самый короткий путь: скачали файл модели, запустили, работает. LM Studio и Ollama — это удобные оболочки поверх того же движка.
При выборе важно учитывать два условия. Первое: llama.cpp нужно собирать с поддержкой архитектуры 7.0, иначе он либо не увидит карту, либо уйдёт считать на процессор — и вы будете долго удивляться, почему видеокарта не помогает. Второе: следите, чтобы все слои модели выгружались на GPU, а сама модель помещалась в видеопамять целиком.
Отдельная ловушка Ollama — размер контекста. Значение по умолчанию мало, а при его увеличении без пересчёта остальных параметров скорость проседает в разы. Это не свойство железа, а конфигурация.
По нашим замерам на одинаковых моделях GGUF на V100 проигрывает AWQ при сопоставимом качестве ответов. Для одного пользователя разница терпима, для нескольких — уже нет.
Чего Volta не умеет
- bfloat16 — появился только начиная с Ampere. Модели и конфигурации, жёстко требующие bf16, надо переключать на fp16.
- FP8 — это уровень Hopper и новее.
- FlashAttention-2 — требует sm_80. На Volta используется свой бэкенд внимания.
При этом тензорные ядра у V100 есть и работают в FP16 — именно на них и держится вся скорость инференса.
Vulkan: на NVIDIA не нужен
Вопрос про Vulkan возникает регулярно, поэтому ответим прямо. Бэкенд Vulkan в llama.cpp действительно работает и на картах Tesla, но на оборудовании NVIDIA сборка под CUDA быстрее. Vulkan имеет смысл там, где CUDA недоступна — на видеокартах AMD и Intel.
ComfyUI на четырёх картах
ComfyUI на Tesla V100 запускается, мы это делали. Для работы нужен PyTorch, собранный под CUDA, и NCCL для обмена между картами.
Здесь есть развилка. Генерация изображений по умолчанию использует одну видеокарту, поэтому на четырёх картах есть два сценария: либо распределить одну тяжёлую задачу между GPU специальным модулем, либо поднять четыре независимых экземпляра, по одному на карту, и обрабатывать четыре задачи параллельно. Второй вариант проще и на практике даёт больше пропускной способности.
Под модели диффузии закладывайте не меньше 200 ГБ свободного места — веса там крупные, и одной моделью дело обычно не ограничивается.
Что выбрать под свою задачу
| Задача | Движок | Формат |
|---|---|---|
| Попробовать, один пользователь | LM Studio или Ollama | GGUF |
| Команда, много запросов, API | vLLM (сборка под sm_70) | AWQ |
| Генерация изображений | ComfyUI | — |
| Карты AMD или Intel | llama.cpp | GGUF + Vulkan |
Это означает, что «медленно работает» на Tesla V100 почти всегда решается не заменой железа, а сменой движка и формата. Разница между удачной и неудачной связкой на одной и той же карте измеряется разами, а не процентами.
Наши сборки 4× Tesla V100 отдаются с уже настроенным движком под sm_70 — то есть без той самой недели, которая обычно уходит на «почему оно не запускается». Что именно помещается в 128 ГБ, разобрано в статье про кванты на Tesla V100, а требования к самой машине — в материале о сборке сервера.
Частые вопросы
Какой движок выбрать для Tesla V100?
Для одного пользователя проще всего LM Studio или Ollama на формате GGUF — запуск в пару кликов. Для команды и нескольких одновременных запросов быстрее vLLM с квантованием AWQ, но его нужно брать в сборке с поддержкой sm_70.
Почему vLLM не запускается на Tesla V100?
Свежие релизы vLLM убрали поддержку архитектуры Volta, поэтому выдают ошибку вида «no kernel image is available for execution on the device» или «Minimum capability: 75». Нужен форк с сохранённой поддержкой sm_70 либо сборка из исходников под эту архитектуру.
Какие настройки LM Studio нужны для Tesla V100?
Ключевое — выставить выгрузку всех слоёв на GPU и следить, чтобы модель целиком помещалась в видеопамять. Также нужен формат FP16: Volta не поддерживает bfloat16, и модели, требующие bf16, придётся переключать на fp16 в конфигурации.
Работает ли ComfyUI на четырёх Tesla V100?
Да, мы запускали ComfyUI на четырёх картах. Для полноценной работы на нескольких GPU нужен модуль распределения нагрузки и собранный под CUDA PyTorch с NCCL, а под модели стоит заложить не меньше 200 ГБ свободного диска.
Умеет ли Tesla V100 работать с LLM на движке Vulkan?
Технически бэкенд Vulkan в llama.cpp работает и на Tesla, но смысла в нём нет: на картах NVIDIA сборка под CUDA заметно быстрее. Vulkan имеет смысл там, где CUDA недоступна — на видеокартах AMD и Intel.
Почему GGUF на Tesla V100 медленнее, чем AWQ?
AWQ через vLLM рассчитан на пакетную обработку и тензорный параллелизм, поэтому ровнее держит и одиночный поток, и несколько одновременных запросов. GGUF проще запустить, но на одинаковых моделях он у нас проигрывает по скорости.