Сервер для Hadoop и Spark
Кластер больших данных: HDFS, распределённые вычисления, ETL и аналитика на множестве узлов
Hadoop и Spark — платформы для хранения и обработки больших объёмов данных на кластере обычных серверов. Hadoop (HDFS + YARN) распределяет данные и задачи по узлам, Spark выполняет обработку в памяти для скорости. Узлы делят на управляющие (NameNode/ResourceManager) и рабочие (DataNode/исполнители), несущие основную ёмкость и вычисления. Для кластера важны диски под HDFS, память под Spark-приложения и быстрая сеть; мы подбираем конфигурацию узлов под объём данных, типы задач и рост парка.
Что определяет работу кластера
- Диски — локальные диски рабочих узлов под блоки HDFS и временные данные, обычно без RAID.
- RAM — память под executor’ы Spark и кэш, heap JVM с запасом под off-heap.
- CPU — много ядер на рабочих узлах для параллельных задач и контейнеров YARN.
- Сеть — 10/25 GbE между узлами; shuffle передаёт большие объёмы данных.
Ориентировочные требования
| Роль / масштаб | CPU | RAM | Диски и сеть |
|---|---|---|---|
| Master-узлы (HA) | 8–16 ядер | 64–128 ГБ | SSD/RAID, 10/25 GbE |
| Worker, небольшой кластер | 16 ядер на узел | 128 ГБ на узел | 4–8 локальных дисков, 10 GbE |
| Worker, Spark в памяти | 24–32 ядра | 256–512 ГБ | NVMe + ёмкие диски, 25 GbE |
| Кластер 10–50+ узлов | одинаковые worker | по задачам на узел | 25 GbE, резервирование |
Репликацию HDFS обычно ставят в 3 копии на разных узлах и стойках; master-узлы для production выносят в отказоустойчивую пару.
Готовые конфигурации
Dell PowerEdge R450 / R470 (1U) — master
Dell PowerEdge R660 / R760 — worker
xFusion / Inspur worker-узлы
Как мы работаем
- Уточняем объём данных, типы задач (batch/Spark/интерактив), рост и требования к доступности.
- Считаем число worker-узлов, диски, память под executor’ы и схему master HA, готовим КП за день.
- Поставляем master-узлы и парк одинаковых worker’ов с быстрой сетью.
Поставка для B2B
Работаем с системными интеграторами, разработчиками дата-платформ и ПАК, дистрибьюторами и участниками тендеров. Договор, экспортные документы и доставка. Гарантия на новые серверы — до 3 лет по договору с Beijing Xinchuan Technology Co., Ltd.
Частые вопросы
Чем Spark отличается от классического Hadoop?
Spark обрабатывает данные преимущественно в памяти и быстрее на итеративных и интерактивных задачах, тогда как MapReduce в Hadoop пишет промежуточные результаты на диск. Часто их используют вместе: HDFS хранит данные, YARN распределяет ресурсы, а Spark выполняет вычисления.
Нужен ли RAID на рабочих узлах?
Обычно нет. HDFS сам хранит несколько реплик блоков на разных узлах, поэтому потеря отдельного диска не приводит к потере данных. RAID только снижал бы эффективность и усложнял замену.
Сколько нужно master-узлов?
Для production — как минимум пара master-узлов в режиме HA с защищёнными метаданными, чтобы выход одного из них не остановил кластер.
Какая гарантия?
На новые серверы — гарантия по договору с Beijing Xinchuan Technology Co., Ltd., срок до 3 лет; условия в договоре.
← Все сценарии подбора сервера