4× RTX 2080 Ti 22 ГБ: 88 ГБ VRAM за минимальные деньги
Карты с расширенной до 22 ГБ памятью, собранные в один сервер. Самый дешёвый способ запустить у себя модели на 100+ млрд параметров.
цена комплекта — по запросу · зависит от конфигурации базы
Карты с расширенной до 22 ГБ памятью, собранные в один сервер. Самый дешёвый способ запустить у себя модели на 100+ млрд параметров.
Сборка на 4× RTX 2080 Ti 22 ГБ — это конфигурация из четырёх видеокарт с расширенной до 22 ГБ памятью, дающая 88 ГБ видеопамяти суммарно. Используется как самый доступный способ запустить модель на 100+ миллиардов параметров локально: по нашим замерам связка выдаёт 52 токена в секунду на модели 122B в квантовании AWQ.
| Видеокарты | 4× NVIDIA RTX 2080 Ti, память расширена до 22 ГБ на карту |
|---|---|
| Видеопамять | 88 ГБ суммарно (4×22 ГБ GDDR6) |
| Архитектура | Turing, связка карт парами по NVLink |
| Софт | Настроенный vLLM под эти карты (спец-сборка), готовые профили запуска моделей |
| Состояние | Протестированы под нагрузкой, отдаём с протоколом замеров |
Сервер отдаём настроенным под запуск LLM: прошивки, драйверы и инференс-стек уже стоят. Включил — работает.
Замеряем на реальных моделях через vLLM. Вот что выдаёт эта сборка (токенов в секунду — скорость генерации ответа):
| Модель | Режим | Скорость |
|---|---|---|
| Qwen 3.5 122B (AWQ) | 4 карты, один поток | 52 ток/с |
| Qwen 3.6 27B (AWQ) — два инстанса | по NVLink-паре, спекулятивный декодинг | до 83 ток/с на инстанс, 152 ток/с суммарно |
| Llama 3.3 70B (AWQ) | 4 карты, один поток / параллельно | 30 ток/с / до 160 ток/с |
Для понимания: комфортная скорость чтения человека — 10–15 ток/с. 122-миллиардная модель здесь отвечает в 3–4 раза быстрее, чем вы читаете.
| Стартовый ИИ-сервер компании | Чат-ассистент, обработка документов, RAG по внутренней базе — 88 ГБ хватает на модели до 122B в квантовании |
|---|---|
| Разработчикам и энтузиастам | Полигон для экспериментов с большими моделями без аренды облака |
| Ограниченный бюджет | Это самый дешёвый вход в 100B+ модели среди наших сборок: дешевле, чем V100, при сравнимой скорости на MoE-моделях |
Замеряем скорость через vLLM и показываем цифры до покупки.
Не подошло — вернём деньги или обменяем.
Проверяем работоспособность при вас до оплаты.
По всей России, самовывоз в Москве. Оплата ИП или наличные.
Зависит от базы (корпус, БП, платформа). Позвоните — посчитаем конфигурацию под вашу задачу. Ежедневно 9:00–21:00.
Да. Сборка из 4 карт с расширенной до 22 ГБ памятью даёт 88 ГБ VRAM — этого хватает на модели до 122B в квантовании. Наш замер: 122B в AWQ — 52 токена/с через vLLM.
Цена по запросу — зависит от базовой платформы. Это самый доступный вход в модели 100B+ среди наших сборок. Звоните: +7 903 568-83-88.
Стандартная RTX 2080 Ti несёт 11 ГБ. Карты с расширенной до 22 ГБ памятью дают вдвое больше VRAM на карту, а четыре карты — 88 ГБ общего пула под большие модели.
На модели 122B в квантовании AWQ связка выдаёт 52 токена в секунду в один поток. На двух параллельных экземплярах модели 27B суммарная скорость достигает 152 токенов в секунду.
Наши замеры скорости и конфиги vLLM открыты на GitHub →
Разборы с замерами на том же железе, что идёт в сборках.