Коротко. GigaChat можно запустить у себя: Сбер выложил веса в открытый доступ. Мы поставили GigaChat-20B-A3B на наш сервер с Tesla V100 и замерили — 153 токена в секунду в один поток и 341 токен в секунду при восьми одновременных запросах. Главный практический вывод: двух карт достаточно, четыре под эту модель не нужны.
Что такое локальный GigaChat
Локальный GigaChat — это языковая модель GigaChat, запущенная на собственном сервере компании вместо обращения к облачному API. Используется там, где данные не должны покидать контур организации: в работе с персональными данными, коммерческой тайной, медицинскими и юридическими документами. Оплаты за токены при этом нет, а работа не зависит от доступности внешнего сервиса.
Наши замеры
Тестировали GigaChat-20B-A3B-instruct в квантовании q8_0 — это 20,4 ГБ весов, 20,6 миллиарда параметров. Стенд: четыре Tesla V100-SXM2 по 16 ГБ, драйвер 580.173.02, движок llama.cpp. Все цифры ниже — наш собственный прогон, а не пересказ чужих.
| Конфигурация | Обработка промпта | Генерация |
|---|---|---|
| 4× Tesla V100 | 2068 ток/с | 153,3 ток/с |
| 2× Tesla V100 | 2063 ток/с | 150,2 ток/с |
Под нагрузкой из нескольких одновременных запросов картина такая:
| Одновременных запросов | Скорость генерации | Суммарная пропускная способность |
|---|---|---|
| 1 | 148,5 ток/с | 338,6 ток/с |
| 4 | 278,5 ток/с | 656,1 ток/с |
| 8 | 341,4 ток/с | 767,0 ток/с |
Это означает, что один такой сервер спокойно обслуживает отдел: при восьми параллельных запросах каждый пользователь получает поток быстрее, чем успевает читать.
Двух карт достаточно
Самый полезный результат замера — разница между двумя и четырьмя картами оказалась в пределах погрешности: 150,2 против 153,3 токена в секунду. Причина в том, что модель целиком помещается в две карты, и добавление ещё двух не ускоряет генерацию, а лишь оставляет место под другие задачи.
Практический вывод: если сервер берётся именно под GigaChat 20B, переплачивать за четыре карты не нужно. Четыре имеют смысл, когда параллельно планируется держать вторую модель или работать с существенно более крупными версиями.
Почему модель такого размера работает так быстро
GigaChat-20B-A3B построен по архитектуре MoE — «смесь экспертов». Из 20 миллиардов параметров при генерации каждого токена задействуются только около 3 миллиардов. Скорость инференса определяется тем, сколько весов приходится прочитать из памяти на каждый токен, поэтому такая модель работает заметно быстрее плотной модели сопоставимого объёма.
Любопытная деталь: движок определяет архитектуру модели как deepseek — GigaChat-20B-A3B построен на той же архитектурной схеме MoE.
Что нужно для запуска
- Видеопамять от 21 ГБ под квантование q8_0 плюс запас под контекст. Это две Tesla V100 по 16 ГБ. В более лёгких квантованиях модель поместится и в одну карту.
- Движок — llama.cpp для быстрого старта либо vLLM, если нужен OpenAI-совместимый API и пакетная обработка. На Tesla V100 движок должен быть собран под архитектуру sm_70, подробности в статье про движки на V100.
- Диск — веса в открытом доступе занимают от 12 до 21 ГБ в зависимости от квантования.
- Сервер целиком — требования к питанию, охлаждению и оперативной памяти разобраны в материале о сборке сервера на Tesla V100.
Какие версии GigaChat выложены
В открытом доступе несколько размеров — от компактной GigaChat3.1-10B-A1.8B до крупных GigaChat3.5-432B-A28B и GigaChat3.1-702B-A36B. Для сервера на четырёх Tesla V100 разумный выбор — версия на 20 миллиардов параметров: она и помещается с запасом, и даёт скорость, которой хватает для рабочих задач. Крупные версии требуют кратно больше видеопамяти и на такой сборке не поместятся.
Сколько это стоит
Готовый сервер, на котором сделаны эти замеры, — наша сборка 4× Tesla V100, от 170 000 ₽. Под GigaChat 20B, как показал замер, достаточно и конфигурации из двух карт — это дешевле, и мы собираем такие под задачу.
Для сравнения: облачный доступ к модели того же класса при постоянной нагрузке отдела окупает стоимость собственного сервера примерно за год, и это без учёта того, что данные остаются внутри компании.
Частые вопросы
Можно ли запустить GigaChat локально на своём сервере?
Да. Сбер выложил веса GigaChat в открытый доступ, и модель запускается на обычном сервере с видеокартами NVIDIA через llama.cpp или vLLM. Мы проверили это на своей сборке: GigaChat-20B-A3B работает на Tesla V100 и выдаёт 153 токена в секунду в один поток.
Сколько видеопамяти нужно для GigaChat 20B?
Версия GigaChat-20B-A3B в квантовании q8_0 занимает 20,4 ГБ, поэтому нужен минимум 21 ГБ видеопамяти плюс запас под контекст. На практике это две карты Tesla V100 по 16 ГБ. В более лёгких квантованиях модель поместится и в одну карту.
Сколько токенов в секунду выдаёт GigaChat на Tesla V100?
По нашим замерам на четырёх Tesla V100: 153,3 токена в секунду при генерации в один поток и 2068 токенов в секунду на обработке промпта. При восьми одновременных запросах суммарная скорость генерации достигает 341,4 токена в секунду.
Нужны ли четыре видеокарты для GigaChat 20B?
Нет. В нашем замере две карты дали 150,2 токена в секунду против 153,3 на четырёх — разница в пределах погрешности. Модель полностью помещается в две карты, поэтому переплачивать за четыре под эту задачу не нужно.
Почему GigaChat 20B работает быстрее, чем модели такого же размера?
GigaChat-20B-A3B — это модель архитектуры MoE: из 20 миллиардов параметров при генерации каждого токена используются только около 3 миллиардов. Скорость инференса определяется объёмом весов, которые читаются на каждый токен, поэтому такая модель работает заметно быстрее плотной модели того же размера.
Какие версии GigaChat доступны для локального запуска?
В открытом доступе выложено несколько размеров: от компактной GigaChat3.1-10B-A1.8B до крупных GigaChat3.5-432B-A28B и GigaChat3.1-702B-A36B. Для сервера на четырёх Tesla V100 оптимальный вариант — GigaChat-20B-A3B, крупные версии требуют существенно больше видеопамяти.