Практические статьи о запуске больших языковых моделей на своём сервере — с реальными замерами на наших сборках Tesla V100 и A100.
Поставили GigaChat-20B на свой сервер и замерили: 153 токена в секунду в один поток, 341 при восьми параллельных, и почему двух карт достаточно.
Читать → Софт · практикаПочему свежий vLLM не стартует на Volta, как настроить LM Studio и Ollama, ComfyUI на четырёх картах и зачем не нужен Vulkan.
Читать → Железо · разборРазлоченная майнинговая карта на кристалле A100 отдаёт 64 ГБ и sm_80. Наши замеры, чего она не даёт никогда, и таблица проверки при покупке.
Читать → Железо · практикаЗачем нужна мостовая плата, сколько линков должно быть исправно, как проверить меш одной командой и почему «мёртвый» линк чаще лечится отвёрткой.
Читать → Сборка · чек-листМостовая плата, 1200 Вт только на GPU, сквозной продув, объём ОЗУ и драйвер, который вообще увидит Volta. Плюс чек-лист приёмки кита.
Читать → Модели · замерыПочему AWQ быстрее GGUF, чего не умеет Volta (bf16, FP8), сколько памяти занимает 70B и какая реальная скорость на четырёх картах.
Читать → Сравнение · тестыПрогнали один и тот же тест на обеих сборках. Сколько токенов в секунду на самом деле, при чём тут NVLink и пропускная способность памяти, и что выбрать.
Читать → Руководство · практикаПошагово: сколько нужно видеопамяти, какой движок выбрать (LM Studio, Ollama, vLLM) и какую скорость реально ждать.
Читать → Для бизнеса · приватностьПочему юристы, медицина и финансы переходят на локальные модели, что на них можно делать и какое железо для этого нужно.
Читать → Требования · памятьКак считается потребление видеопамяти, таблица по моделям и квантованию (FP16/8-bit/4-bit) и почему одной карты обычно мало.
Читать → Железо · цены 2026Из чего состоит сервер для ИИ, на что смотреть при выборе и сколько стоят готовые сборки на Tesla V100 и A100.
Читать →