Кратко: Запрос «нужен GPU-сервер для ИИ» почти всегда смешивает обучение и инференс — две задачи с разными узкими местами и разной экономикой. Ниже — как развести их до выбора железа, что считать первым и где чаще всего ошибаются при сборке конфигурации.
- Обучение и инференс — разные задачи с разными узкими местами. Обучение упирается в память GPU и в interconnect, инференс — в задержку и стоимость одного запроса.
- Первым считается не число карт, а объём памяти под веса модели и KV-кэш. Всё остальное подбирается под это.
- В 2U-шасси реально живут либо 2 карты по 350 Вт, либо 4 двухслотовых ускорителя — и второе почти всегда требует отдельного разговора про питание и продув.
- Платформа важна не меньше карт: число линий PCIe, соотношение CPU:GPU, NVMe под датасет, сеть 100–400G, избыточность БП.
- Питание — самая частая причина, по которой собранная конфигурация не запускается в стойке. Считайте бюджет стойки, а не только сервера.
Обучение и инференс: где на самом деле разница
Когда приходит запрос «нужен GPU-сервер для ИИ», в нём почти всегда смешаны две разные задачи. Их стоит развести до выбора железа, потому что требования расходятся принципиально.
| Параметр | Обучение / дообучение | Инференс в проде |
|---|---|---|
| Что критично | Объём памяти GPU, пропускная способность памяти, interconnect между картами | Задержка ответа, стабильность, стоимость на 1000 запросов |
| Сколько карт нужно | Обычно 4–8 и больше, часто с NVLink-классом связи | Часто 1–2, реже 4; масштабирование идёт числом узлов |
| Загрузка | Пиковая, длительная, близкая к 100 % | Пульсирующая, зависит от трафика |
| Память хоста | Большая: датасеты, препроцессинг | Умеренная, важнее предсказуемость |
| Диски | Быстрый массив NVMe под датасет | Небольшой быстрый том под веса и логи |
| Охлаждение | Часто воздух на грани, иногда жидкость | Обычно воздух, если карты не top-tier |
| Что важнее цены | Время до результата эксперимента | Стоимость владения на горизонте 3 лет |
Практический вывод: под обучение берут одну плотную машину с максимумом памяти на карту, под инференс — несколько умеренных узлов, чтобы отказ одного не останавливал сервис. Смешивать эти роли в одном сервере можно, но тогда вы платите за оба сценария сразу и обычно переплачиваете.
Сначала память GPU, потом всё остальное
Объём памяти считается от размера модели и типа данных. Ниже — минимальный объём только под веса, без KV-кэша, активаций и буферов. На практике к этим числам добавляют запас 30–50 %, а для длинных контекстов — больше.
| Модель, параметров | FP16, ГБ | INT8 / FP8, ГБ | INT4, ГБ | С запасом ~40 %, ГБ |
|---|---|---|---|---|
| 7 млрд | 14 | 7 | 3,5 | ~20 |
| 13 млрд | 26 | 13 | 6,5 | ~36 |
| 32 млрд | 64 | 32 | 16 | ~90 |
| 70 млрд | 140 | 70 | 35 | ~196 |
| 120 млрд | 240 | 120 | 60 | ~336 |
| 400 млрд | 800 | 400 | 200 | ~1120 |
Из таблицы видно, где начинается «сколько карт»: модель на 70 млрд в FP16 требует около 140 ГБ под веса, то есть минимум две карты по 80 ГБ, а с KV-кэшем и запасом — уже четыре. Модель на 400 млрд в FP16 в одну машину не помещается вообще, и разговор переходит в плоскость шардирования по узлам и сети между ними.
Второй важный момент — контекст. Длинные контексты раздувают KV-кэш, и он растёт линейно от длины и числа одновременных сессий. Сервер, который «тянет модель», может не тянуть её же с 32 тысячами токенов контекста и десятком параллельных запросов. Поэтому в требованиях к поставке стоит указывать не только модель, но и профиль нагрузки: длина контекста, число одновременных пользователей, целевая задержка.
Сколько карт входит в шасси и что это меняет
Плотность ускорителей в 2U ограничена физикой: высота слота, продув и питание. Реальные конфигурации выглядят так.
| Платформа | Форм-фактор | Ускорители | Память | БП |
|---|---|---|---|---|
| Dell PowerEdge R760 | 2U | До 2 двухслотовых по 350 Вт плюс до 6 однослотовых по 75 Вт | 32 DDR5, до 8 ТБ RDIMM | До 3200 Вт Titanium (277 В AC / HVDC) |
| Dell PowerEdge R760xa | 2U | До 4 двухслотовых ускорителей (состав сверяется по конфигурации) | 32 DDR5, до 8 ТБ RDIMM | До 3200 Вт Titanium |
| xFusion 2288H V7 | 2U | До 4 двухслотовых или до 14 однослотовых (по тех. whitepaper) | 32 DDR5 5600 плюс 16 CXL | 900–3000 Вт |
| Dell PowerEdge R770 | 2U | До 2 по 450 Вт двухслотовых или до 6 по 75 Вт | 32 DDR5 6400, до 8 ТБ RDIMM | До 3200 Вт, опционально жидкостное охлаждение |
Арифметика питания простая и жёсткая. Четыре карты по 350 Вт — это 1400 Вт только на ускорители, плюс два процессора по 200–350 Вт, плюс память, диски и вентиляторы. Итого 2000–2400 Вт потребления, а значит блоки питания должны быть с запасом и, скорее всего, с разъёмами C19, а не C13. Если в стойке стоит PDU на 16 А с C13, конфигурация просто не запустится, и это выяснится на монтаже.
Для 8 карт нужна отдельная платформа с GPU-коммутатором и соответствующей продувкой — в обычное 2U столько двухслотовых ускорителей не помещается. Если задача требует 8 карт, это уже другой класс оборудования и другой бюджет, и обсуждать его надо отдельно от «просто добавим карт».
Что проверить в платформе, кроме карт
- Линии PCIe. Каждому современному ускорителю нужен x16 Gen5. Если слотов меньше, чем карт, часть встанет в x8 и потеряет производительность — это видно только в спецификации, не в описании «поддерживает GPU».
- Соотношение CPU:GPU. На 4 карты обычно нужны два процессора с достаточным числом ядер: иначе хост не успевает готовить батчи и карты простаивают.
- NVMe под датасет. Обучение читает данные постоянно. Один SATA-диск под датасет — гарантированное узкое место. Нужен массив NVMe, а в идеале — отдельный слой хранения.
- Сеть. Для одного узла достаточно 100G, для нескольких — 200–400G и, при шардировании обучения, отдельный высокоскоростной канал между узлами.
- Избыточность БП. 1+1 обязательно: длительное обучение не любит внезапных отключений, а блок на 3000 Вт выходит из строя так же, как любой другой.
- Продув. Плотная компоновка карт требует высокопроизводительных вентиляторов; в обычном 2U с 4 картами шум и температура становятся отдельной инженерной задачей.
Что уточнять у поставщика по ускорителям
Ускорители — та часть конфигурации, где формулировки особенно расплывчаты. Ниже — вопросы, которые стоит задать до подписания спецификации.
- Точная модель и объём памяти карты. «GPU 80 ГБ» без модели не говорит ничего: карты одного объёма могут отличаться по пропускной способности памяти в разы.
- Форм-фактор и высота. Двухслотовая карта занимает два слота по высоте, и в 2U это ограничивает число карт сильнее, чем кажется по числу PCIe-слотов.
- Питание карты. Разъёмы 8-pin, 12VHPWR и их количество должны соответствовать кабелям платформы. Переходники — источник отказов.
- Охлаждение. Карты бывают с пассивным охлаждением (рассчитаны на продув корпуса) и с активным (свои вентиляторы). В серверном шасси пассивные предпочтительнее, но требуют правильного воздуховода.
- Совместимость с платформой. Не каждая карта валидирована под конкретную модель сервера. Список поддержки — в документации платформы, а не в описании карты.
- Маршрут и срок поставки. По ускорителям сроки почти всегда длиннее, чем по серверам, и это влияет на планирование проекта сильнее, чем цена.
Отдельно про сам сервер: в спецификации должно быть указано, что платформа поставляется в GPU-конфигурации — с соответствующими райзерами, кабелями питания и комплектом вентиляторов. Обычный 2U «с добавленными картами» собирается, но работает не так, как рассчитано.
Охлаждение и питание в стойке
Воздушное охлаждение работает до определённой плотности. Пока речь о 2–4 картах по 300–350 Вт, воздуха обычно хватает, если в стойке нормальная холодная зона и нет перекоса по соседним устройствам. Как только появляются карты по 450–700 Вт или плотная упаковка, вариантов два: ограничивать плотность или переходить на жидкостное охлаждение.
Прямое жидкостное охлаждение (DLC) в современных платформах — это не «трубка на процессор», а решение уровня стойки: коллекторы, распределительный узел, теплообменник. Оно окупается на плотности и на электричестве, но требует проекта помещения. Если ЦОД не готов к DLC, честнее взять меньше карт на узел и добавить узлов, чем привезти оборудование, которое некуда подключить.
По питанию в стойке считайте три числа: суммарное потребление, запас на пики и запас на расширение. Пиковое потребление при старте выше рабочего, а обучение держит нагрузку часами — то есть стойка работает в режиме, близком к максимуму, а не «в среднем».
Инференс в проде: не только карта
Для инференса ключевые решения лежат вне железа, но железо должно им не мешать.
- Квантование. INT8 и INT4 снижают требования к памяти в 2 и 4 раза, но качество надо проверять на своём наборе данных, а не на бенчмарке.
- Батчинг. Небольшой батч снижает задержку, большой — стоимость запроса. Под каждый сервис выбирается своя точка.
- Несколько экземпляров модели на одной карте. Позволяет утилизировать память и держать параллельные сессии, но требует аккуратного управления памятью.
- Отказоустойчивость. Два узла по 2 карты обычно полезнее одного узла на 4 карты: сервис переживает отказ, а не встаёт.
Как выбрать за шесть шагов
- Зафиксируйте задачу: обучение, дообучение, инференс или смешанная нагрузка.
- Посчитайте память под веса и KV-кэш, определите минимальное число карт и их объём.
- Определите число узлов: один плотный или несколько умеренных.
- Проверьте, что платформа даёт нужное число линий PCIe Gen5 и соотношение CPU:GPU.
- Посчитайте питание и охлаждение на уровне стойки, а не сервера.
- Проверьте сеть и диски под реальный профиль нагрузки.
Пять ошибок при сборке GPU-сервера
- Считать только карты. Конфигурация «4 карты и один процессор» упирается в хост: он не успевает готовить данные, карты простаивают. Соотношение CPU:GPU считается до закупки.
- Игнорировать PCIe-линии. Четыре карты в слотах x8 теряют производительность, и это не видно в описании «поддерживает до 4 GPU». Проверяется по спецификации платформы.
- Забыть про PDU. Два блока по 2400 Вт с разъёмами C19 не включатся в стойку с C13. Замена PDU возможна, но это отдельные деньги и отдельный срок.
- Поставить SATA под датасет. Обучение читает данные постоянно, и медленный диск становится узким местом раньше, чем карты. Нужен NVMe.
- Собрать один плотный узел вместо двух умеренных. Для продакшн-инференса это прямой путь к остановке сервиса при отказе одной карты. Два узла по 2 карты переживают отказ, один узел на 4 карты — нет.
Гарантия и поставка
Новое оборудование поставляется с гарантией поставщика по договору поставки — 3 года, условия фиксируются в контракте, серийные номера проверяемы. Комплектующие и восстановленное оборудование — 1 год гарантии поставщика. Состав конфигурации (модель ускорителя, число карт, блоки питания, охлаждение) подтверждается по проекту отдельно: спецификация на GPU-сервер всегда собирается под задачу, а не берётся из каталога. Условия гарантии и порядок сервиса фиксируются в договоре поставки.
Частые вопросы
Сколько памяти GPU нужно для модели на 70 млрд параметров?
Около 140 ГБ только под веса в FP16, то есть минимум две карты по 80 ГБ. С KV-кэшем, активациями и запасом на длинный контекст расчёт обычно выходит на 4 карты. В INT8 требования вдвое ниже, но качество надо проверять на своём наборе данных.
Можно ли собрать сервер для обучения на 4 картах в 2U?
Да, такие конфигурации существуют, но они требуют проверки по питанию и продуву: суммарное потребление выходит на 2000–2400 Вт, нужны соответствующие блоки питания и PDU, а шум и температура становятся значимыми. Часто разумнее взять 2 карты в узел и добавить узлов.
Что важнее для инференса — число карт или их память?
Память: она определяет, помещается ли модель. Число карт важно для параллельных запросов и отказоустойчивости. Два узла по 2 карты обычно дают лучший практический результат, чем один узел на 4 карты, потому что сервис переживает отказ.
Нужно ли жидкостное охлаждение для GPU-сервера?
Не всегда. При 2–4 картах по 300–350 Вт обычно достаточно воздуха. Жидкость становится практичной при картах по 450–700 Вт и высокой плотности, но требует проекта уровня стойки — коллекторы и распределительный узел. Если ЦОД не готов, лучше снизить плотность на узел.
Какие диски ставить под датасет для обучения?
NVMe. Обучение постоянно читает данные, и SATA-диск под датасет становится узким местом раньше, чем карты. Обычная схема — массив NVMe в самом сервере под горячие данные плюс отдельный слой хранения под полный датасет.
Если вы собираете конфигурацию под конкретную модель и профиль нагрузки — пришлите размер модели, тип данных, длину контекста и число параллельных запросов. Подберём платформу и посчитаем питание, охлаждение и сеть. Запросить подбор конфигурации. Посмотрите также Dell PowerEdge R760xa под 4 двухслотовых ускорителя и xFusion 2288H V7 с поддержкой до 4 двухслотовых карт (состав конфигурации — по тех. whitepaper), раздел серверы по задачам и комплектующие xFusion под доукомплектацию; если закупка идёт через процедуру — подготовка серверов под тендер.

Добавить комментарий