Гарантия до 3 лет по договору Отгрузка за 1 рабочий день Закрывающие документы Доставка по РФ и СНГ

GPU-серверы для ИИ: как выбрать под инференс и обучение

Написано

в

Кратко: Запрос «нужен GPU-сервер для ИИ» почти всегда смешивает обучение и инференс — две задачи с разными узкими местами и разной экономикой. Ниже — как развести их до выбора железа, что считать первым и где чаще всего ошибаются при сборке конфигурации.

  • Обучение и инференс — разные задачи с разными узкими местами. Обучение упирается в память GPU и в interconnect, инференс — в задержку и стоимость одного запроса.
  • Первым считается не число карт, а объём памяти под веса модели и KV-кэш. Всё остальное подбирается под это.
  • В 2U-шасси реально живут либо 2 карты по 350 Вт, либо 4 двухслотовых ускорителя — и второе почти всегда требует отдельного разговора про питание и продув.
  • Платформа важна не меньше карт: число линий PCIe, соотношение CPU:GPU, NVMe под датасет, сеть 100–400G, избыточность БП.
  • Питание — самая частая причина, по которой собранная конфигурация не запускается в стойке. Считайте бюджет стойки, а не только сервера.

Обучение и инференс: где на самом деле разница

Когда приходит запрос «нужен GPU-сервер для ИИ», в нём почти всегда смешаны две разные задачи. Их стоит развести до выбора железа, потому что требования расходятся принципиально.

Параметр Обучение / дообучение Инференс в проде
Что критично Объём памяти GPU, пропускная способность памяти, interconnect между картами Задержка ответа, стабильность, стоимость на 1000 запросов
Сколько карт нужно Обычно 4–8 и больше, часто с NVLink-классом связи Часто 1–2, реже 4; масштабирование идёт числом узлов
Загрузка Пиковая, длительная, близкая к 100 % Пульсирующая, зависит от трафика
Память хоста Большая: датасеты, препроцессинг Умеренная, важнее предсказуемость
Диски Быстрый массив NVMe под датасет Небольшой быстрый том под веса и логи
Охлаждение Часто воздух на грани, иногда жидкость Обычно воздух, если карты не top-tier
Что важнее цены Время до результата эксперимента Стоимость владения на горизонте 3 лет

Практический вывод: под обучение берут одну плотную машину с максимумом памяти на карту, под инференс — несколько умеренных узлов, чтобы отказ одного не останавливал сервис. Смешивать эти роли в одном сервере можно, но тогда вы платите за оба сценария сразу и обычно переплачиваете.

Сначала память GPU, потом всё остальное

Объём памяти считается от размера модели и типа данных. Ниже — минимальный объём только под веса, без KV-кэша, активаций и буферов. На практике к этим числам добавляют запас 30–50 %, а для длинных контекстов — больше.

Модель, параметров FP16, ГБ INT8 / FP8, ГБ INT4, ГБ С запасом ~40 %, ГБ
7 млрд 14 7 3,5 ~20
13 млрд 26 13 6,5 ~36
32 млрд 64 32 16 ~90
70 млрд 140 70 35 ~196
120 млрд 240 120 60 ~336
400 млрд 800 400 200 ~1120

Из таблицы видно, где начинается «сколько карт»: модель на 70 млрд в FP16 требует около 140 ГБ под веса, то есть минимум две карты по 80 ГБ, а с KV-кэшем и запасом — уже четыре. Модель на 400 млрд в FP16 в одну машину не помещается вообще, и разговор переходит в плоскость шардирования по узлам и сети между ними.

Второй важный момент — контекст. Длинные контексты раздувают KV-кэш, и он растёт линейно от длины и числа одновременных сессий. Сервер, который «тянет модель», может не тянуть её же с 32 тысячами токенов контекста и десятком параллельных запросов. Поэтому в требованиях к поставке стоит указывать не только модель, но и профиль нагрузки: длина контекста, число одновременных пользователей, целевая задержка.

Сколько карт входит в шасси и что это меняет

Плотность ускорителей в 2U ограничена физикой: высота слота, продув и питание. Реальные конфигурации выглядят так.

Платформа Форм-фактор Ускорители Память БП
Dell PowerEdge R760 2U До 2 двухслотовых по 350 Вт плюс до 6 однослотовых по 75 Вт 32 DDR5, до 8 ТБ RDIMM До 3200 Вт Titanium (277 В AC / HVDC)
Dell PowerEdge R760xa 2U До 4 двухслотовых ускорителей (состав сверяется по конфигурации) 32 DDR5, до 8 ТБ RDIMM До 3200 Вт Titanium
xFusion 2288H V7 2U До 4 двухслотовых или до 14 однослотовых (по тех. whitepaper) 32 DDR5 5600 плюс 16 CXL 900–3000 Вт
Dell PowerEdge R770 2U До 2 по 450 Вт двухслотовых или до 6 по 75 Вт 32 DDR5 6400, до 8 ТБ RDIMM До 3200 Вт, опционально жидкостное охлаждение

Арифметика питания простая и жёсткая. Четыре карты по 350 Вт — это 1400 Вт только на ускорители, плюс два процессора по 200–350 Вт, плюс память, диски и вентиляторы. Итого 2000–2400 Вт потребления, а значит блоки питания должны быть с запасом и, скорее всего, с разъёмами C19, а не C13. Если в стойке стоит PDU на 16 А с C13, конфигурация просто не запустится, и это выяснится на монтаже.

Для 8 карт нужна отдельная платформа с GPU-коммутатором и соответствующей продувкой — в обычное 2U столько двухслотовых ускорителей не помещается. Если задача требует 8 карт, это уже другой класс оборудования и другой бюджет, и обсуждать его надо отдельно от «просто добавим карт».

Что проверить в платформе, кроме карт

  • Линии PCIe. Каждому современному ускорителю нужен x16 Gen5. Если слотов меньше, чем карт, часть встанет в x8 и потеряет производительность — это видно только в спецификации, не в описании «поддерживает GPU».
  • Соотношение CPU:GPU. На 4 карты обычно нужны два процессора с достаточным числом ядер: иначе хост не успевает готовить батчи и карты простаивают.
  • NVMe под датасет. Обучение читает данные постоянно. Один SATA-диск под датасет — гарантированное узкое место. Нужен массив NVMe, а в идеале — отдельный слой хранения.
  • Сеть. Для одного узла достаточно 100G, для нескольких — 200–400G и, при шардировании обучения, отдельный высокоскоростной канал между узлами.
  • Избыточность БП. 1+1 обязательно: длительное обучение не любит внезапных отключений, а блок на 3000 Вт выходит из строя так же, как любой другой.
  • Продув. Плотная компоновка карт требует высокопроизводительных вентиляторов; в обычном 2U с 4 картами шум и температура становятся отдельной инженерной задачей.

Что уточнять у поставщика по ускорителям

Ускорители — та часть конфигурации, где формулировки особенно расплывчаты. Ниже — вопросы, которые стоит задать до подписания спецификации.

  • Точная модель и объём памяти карты. «GPU 80 ГБ» без модели не говорит ничего: карты одного объёма могут отличаться по пропускной способности памяти в разы.
  • Форм-фактор и высота. Двухслотовая карта занимает два слота по высоте, и в 2U это ограничивает число карт сильнее, чем кажется по числу PCIe-слотов.
  • Питание карты. Разъёмы 8-pin, 12VHPWR и их количество должны соответствовать кабелям платформы. Переходники — источник отказов.
  • Охлаждение. Карты бывают с пассивным охлаждением (рассчитаны на продув корпуса) и с активным (свои вентиляторы). В серверном шасси пассивные предпочтительнее, но требуют правильного воздуховода.
  • Совместимость с платформой. Не каждая карта валидирована под конкретную модель сервера. Список поддержки — в документации платформы, а не в описании карты.
  • Маршрут и срок поставки. По ускорителям сроки почти всегда длиннее, чем по серверам, и это влияет на планирование проекта сильнее, чем цена.

Отдельно про сам сервер: в спецификации должно быть указано, что платформа поставляется в GPU-конфигурации — с соответствующими райзерами, кабелями питания и комплектом вентиляторов. Обычный 2U «с добавленными картами» собирается, но работает не так, как рассчитано.

Охлаждение и питание в стойке

Воздушное охлаждение работает до определённой плотности. Пока речь о 2–4 картах по 300–350 Вт, воздуха обычно хватает, если в стойке нормальная холодная зона и нет перекоса по соседним устройствам. Как только появляются карты по 450–700 Вт или плотная упаковка, вариантов два: ограничивать плотность или переходить на жидкостное охлаждение.

Прямое жидкостное охлаждение (DLC) в современных платформах — это не «трубка на процессор», а решение уровня стойки: коллекторы, распределительный узел, теплообменник. Оно окупается на плотности и на электричестве, но требует проекта помещения. Если ЦОД не готов к DLC, честнее взять меньше карт на узел и добавить узлов, чем привезти оборудование, которое некуда подключить.

По питанию в стойке считайте три числа: суммарное потребление, запас на пики и запас на расширение. Пиковое потребление при старте выше рабочего, а обучение держит нагрузку часами — то есть стойка работает в режиме, близком к максимуму, а не «в среднем».

Инференс в проде: не только карта

Для инференса ключевые решения лежат вне железа, но железо должно им не мешать.

  • Квантование. INT8 и INT4 снижают требования к памяти в 2 и 4 раза, но качество надо проверять на своём наборе данных, а не на бенчмарке.
  • Батчинг. Небольшой батч снижает задержку, большой — стоимость запроса. Под каждый сервис выбирается своя точка.
  • Несколько экземпляров модели на одной карте. Позволяет утилизировать память и держать параллельные сессии, но требует аккуратного управления памятью.
  • Отказоустойчивость. Два узла по 2 карты обычно полезнее одного узла на 4 карты: сервис переживает отказ, а не встаёт.

Как выбрать за шесть шагов

  1. Зафиксируйте задачу: обучение, дообучение, инференс или смешанная нагрузка.
  2. Посчитайте память под веса и KV-кэш, определите минимальное число карт и их объём.
  3. Определите число узлов: один плотный или несколько умеренных.
  4. Проверьте, что платформа даёт нужное число линий PCIe Gen5 и соотношение CPU:GPU.
  5. Посчитайте питание и охлаждение на уровне стойки, а не сервера.
  6. Проверьте сеть и диски под реальный профиль нагрузки.

Пять ошибок при сборке GPU-сервера

  1. Считать только карты. Конфигурация «4 карты и один процессор» упирается в хост: он не успевает готовить данные, карты простаивают. Соотношение CPU:GPU считается до закупки.
  2. Игнорировать PCIe-линии. Четыре карты в слотах x8 теряют производительность, и это не видно в описании «поддерживает до 4 GPU». Проверяется по спецификации платформы.
  3. Забыть про PDU. Два блока по 2400 Вт с разъёмами C19 не включатся в стойку с C13. Замена PDU возможна, но это отдельные деньги и отдельный срок.
  4. Поставить SATA под датасет. Обучение читает данные постоянно, и медленный диск становится узким местом раньше, чем карты. Нужен NVMe.
  5. Собрать один плотный узел вместо двух умеренных. Для продакшн-инференса это прямой путь к остановке сервиса при отказе одной карты. Два узла по 2 карты переживают отказ, один узел на 4 карты — нет.

Гарантия и поставка

Новое оборудование поставляется с гарантией поставщика по договору поставки — 3 года, условия фиксируются в контракте, серийные номера проверяемы. Комплектующие и восстановленное оборудование — 1 год гарантии поставщика. Состав конфигурации (модель ускорителя, число карт, блоки питания, охлаждение) подтверждается по проекту отдельно: спецификация на GPU-сервер всегда собирается под задачу, а не берётся из каталога. Условия гарантии и порядок сервиса фиксируются в договоре поставки.

Частые вопросы

Сколько памяти GPU нужно для модели на 70 млрд параметров?

Около 140 ГБ только под веса в FP16, то есть минимум две карты по 80 ГБ. С KV-кэшем, активациями и запасом на длинный контекст расчёт обычно выходит на 4 карты. В INT8 требования вдвое ниже, но качество надо проверять на своём наборе данных.

Можно ли собрать сервер для обучения на 4 картах в 2U?

Да, такие конфигурации существуют, но они требуют проверки по питанию и продуву: суммарное потребление выходит на 2000–2400 Вт, нужны соответствующие блоки питания и PDU, а шум и температура становятся значимыми. Часто разумнее взять 2 карты в узел и добавить узлов.

Что важнее для инференса — число карт или их память?

Память: она определяет, помещается ли модель. Число карт важно для параллельных запросов и отказоустойчивости. Два узла по 2 карты обычно дают лучший практический результат, чем один узел на 4 карты, потому что сервис переживает отказ.

Нужно ли жидкостное охлаждение для GPU-сервера?

Не всегда. При 2–4 картах по 300–350 Вт обычно достаточно воздуха. Жидкость становится практичной при картах по 450–700 Вт и высокой плотности, но требует проекта уровня стойки — коллекторы и распределительный узел. Если ЦОД не готов, лучше снизить плотность на узел.

Какие диски ставить под датасет для обучения?

NVMe. Обучение постоянно читает данные, и SATA-диск под датасет становится узким местом раньше, чем карты. Обычная схема — массив NVMe в самом сервере под горячие данные плюс отдельный слой хранения под полный датасет.

Если вы собираете конфигурацию под конкретную модель и профиль нагрузки — пришлите размер модели, тип данных, длину контекста и число параллельных запросов. Подберём платформу и посчитаем питание, охлаждение и сеть. Запросить подбор конфигурации. Посмотрите также Dell PowerEdge R760xa под 4 двухслотовых ускорителя и xFusion 2288H V7 с поддержкой до 4 двухслотовых карт (состав конфигурации — по тех. whitepaper), раздел серверы по задачам и комплектующие xFusion под доукомплектацию; если закупка идёт через процедуру — подготовка серверов под тендер.

Комментарии

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *