GPU-кластер для обучения и инференса
Многопользовательский кластер GPU для команд данных и ML: задачи планируются и распределяются между ускорителями, узлы связаны быстой сетью, а наборы данных и модели лежат на общем хранилище.
- GPU-узлы — серверы с ускорителями; число и тип карт выбирают под обучение крупных моделей или инференс.
- Оркестрация — Kubernetes с device-plugin и очередями задач или SLURM в научных кластерах; распределение GPU без ручного назначения.
- Сеть — при распределённом обучении нужны InfiniBand/RoCE с RDMA, чтобы узлы обменивались градиентами с низкой задержкой.
- Хранилище — параллельная файловая система (Lustre/GPFS/BeeGFS) или быстрый NVM-сторадж под датасеты и чекпойнты.
Ориентировочные требования
| Назначение | GPU | Память / диски узла | Сеть и управление |
|---|---|---|---|
| Инференс / сервисы | 1–2 ускорителя на узел | 128–256 ГБ, NVMe под кэш | 25 GbE, K8s, авто-масштаб |
| Обучение на команду | 4–8 ускорителей в сервере | 512 GБ–2 ТБ, NVMe scratch | 2 × 100 GbE/IB, очереди |
| Распределённое обучение | многоузловой кластер | NVMe на узел + общий стор | InfiniBand NDR, RDMA |
| Научный HPC+ML | CPU/GPU смешанные узлы | большая RAM, Lustre | SLURM, GRES GPU |
К GPU-узлам добавляют узлы входа и управления (login, планировщик, метаданные) и запас как минимум один узел, чтобы обслуживание не останавливало очередь; электропитание и охлаждение 8-картовых серверов рассчитывают заранее.
Пример расчёта: дообучение LLM на кластере
Задача — дообучение языковой модели порядка 70 млрд параметров на наборе около 5 млрд токенов. Считаем потребность в GPU, затем число узлов. Цифры ориентировочные: реальное время зависит от точности (BF16/FP8), длины контекста и эффективности параллелизма.
+ оптимизатор/градиенты/активации — ориентировочно ×3…4 ≈ 420–560 ГБ
Поэтому при полном дообучении модель разбивают на несколько карт (tensor/pipeline parallelism); при LoRA/QLoRA требования заметно ниже.
≈ 5·10⁹ ÷ 3000 ≈ 1,67·10⁶ GPU-секунд
Чтобы уложиться примерно в 14 дней (1,21·10⁶ секунд с учётом утилизации ~70%), нужно около 16–24 ускорителей, работающих параллельно, плюс сеть RDMA между узлами.
- 2 узла по 8 ускорителей (например, XE9680 или xFusion G8600 V7) = 16 карт — базовый вариант под ~2–3 недели.
- 3 узла по 8 = 24 карты — если срок жёстче или добавляют модели большего размера.
- Сеть — InfiniBand NDR спайн-лиф, не менее одной NIC на 4 GPU; общий стор — all-flash или BeeGFS/Lustre, NVMe на узлах под scratch.
Для инференса той же модели считают иначе: 1–2 карты на реплику, число реплик = пик запросов ÷ пропускную способность одной карты, добавляют балансировку и авто-масштаб.
Три типовых уровня решения
- 2–4 ускорителя в 2U
- 512 ГБ – 1 ТБ RAM, NVMe
- 25–100 GbE, K8s на узле
- Под сервисы ML, RAG, дообучение LoRA
- 8 ускорителей, высокоскоростная фабрика
- 1–2 ТБ RAM
- 100/200 GbE или IB
- Полное дообучение крупных моделей в одном шасси
- несколько узлов 4–10 карт
- InfiniBand/RoCE спайн-лиф
- BeeGFS/Lustre, общий стор
- K8s device-plugin или SLURM GRES
Готовые конфигурации
Как мы работаем
Поставка для B2B
Работаем с интеграторами AI-инфраструктуры, научными организациями, лабораториями и участниками тендеров. Договор, экспортные документы и доставка. Гарантия на новые серверы — до 3 лет по договору с Beijing Xinchuan Technology Co., Ltd.
Частые вопросы
Kubernetes или SLURM для GPU?
Kubernetes удобен, когда GPU предоставляются как сервис, вместе с контейнерами, API и авто-масштабированием. SLURM привычнее в научных и HPC-кластерах с пакетными заданиями и строгой очередью. Можно использовать оба слоя под разные команды.
Зачем нужен InfiniBand/RDMA?
При обучении на нескольких узлах они постоянно обмениваются данными; RDMA обходит лишнюю обработку и снижает задержку, из-за чего обучение масштабируется почти линейно. Для одного сервера и инференса достаточно 25–100 Gb Ethernet.
Как посчитать число GPU под LLM?
Сначала считают видеопамять под веса и состояние обучения, затем делят модель на карты; число узлов определяют по нужному времени обучения и суммарной производительности. В примере выше модели ~70B параметров хватает 16–24 ускорителей на 2–3 узлах для обучения за 2–3 недели.
Какое хранилище нужно?
Датасеты читаются многими узлами одновременно, поэтому используют параллельную файловую систему или all-flash хранилище, а NVMe на узлах отводят под локальный scratch и кэш; чекпойнты периодически пишут в общий стор.
Можно ли поставить отдельные GPU, адаптеры IB и кабели?
Да, в спецификации фиксируем ускорители, адаптеры, оптические трансиверы и кабели фабрики; для тендеров готовим экспортный комплект документов и согласовываем доступность конкретных моделей ускорителей.
Какая гарантия?
На новые серверы — до 3 лет по договору с Beijing Xinchuan Technology Co., Ltd.; GPU, адаптеры и кабели фабрики фиксируем в спецификации.