Сервер для Apache Kafka
Брокеры под потоковую передачу событий: шина данных, аналитика в реальном времени, кластер с репликами
Apache Kafka — распределённая платформа потоковой передачи событий: приложения публикуют и читают потоки сообщений через брокеры, а топики разделяются на разделы (partitions) и реплицируются для отказоустойчивости. Kafka используют как шину интеграции, для сбора метрик и событий, потоковой обработки и конвейеров данных. Производительность брокеров зависит от быстрых дисков, памяти и сети; мы подбираем серверы под число брокеров и профиль нагрузки.
Что определяет пропускную способность
- Диски — Kafka активно пишет на диск последовательно; нужны быстрые NVMe и достаточное место под хранение логов.
- Сеть — трафик между производителями/потребителями и репликация между брокерами требуют быстрой сети.
- Память — под буферы, кэш страниц и снижение чтения с диска.
- Число брокеров и реплик — кластер делит разделы и реплицирует их; несколько брокеров дают пропускную способность и устойчивость.
Ориентировочные требования
| Масштаб / сценарий | CPU | RAM | Диски и сеть |
|---|---|---|---|
| Один брокер, средний поток | 8–12 ядер | 64–128 ГБ | NVMe 2–4 ТБ, 10 GbE |
| Брокер активного кластера | 16–24 ядра | 128–256 ГБ | NVMe, retention, 10/25 GbE |
| Высокий трафик событий | 24–32 ядра, 2 CPU | 256 ГБ+ | Много NVMe, 25 GbE |
| Отказоустойчивый кластер | 3–5 брокеров | по нагрузке на узел | Реплики, replication factor ≥ 3 |
Срок хранения логов (retention), число разделов и коэффициент репликации напрямую влияют на объём дисков. Контроллер и ZooKeeper/KRaft также учитывают в кластере.
Готовые конфигурации
Dell PowerEdge R660 / R670 (1U)
Dell PowerEdge R760 / R770 (2U)
xFusion / Inspur узлы (2U)
Как мы работаем
- Уточняем число топиков и разделов, retention, коэффициент репликации и ожидаемый трафик.
- Считаем число брокеров, диски и сеть, готовим КП за 1 рабочий день.
- Поставляем серверы или весь кластер с быстрыми NVMe.
Поставка для B2B
Работаем с системными интеграторами, разработчиками платформ данных и ПАК, дистрибьюторами и участниками тендеров. Договор, экспортные документы и доставка. Гарантия на новые серверы — до 3 лет по договору с Beijing Xinchuan Technology Co., Ltd.
Частые вопросы
Сколько брокеров нужно в кластере?
Минимум три брокера обычно достаточно для отказоустойчивости с репликацией; чем больше разделов, трафик и требуемая устойчивость, тем больше брокеров добавляют. Factor репликации чаще держат на уровне трёх.
Почему Kafka важны именно диски?
Kafka оптимизирована под последовательную запись и хранит логи на диске; быстрые NVMe и достаточный объём под retention обеспечивают высокую пропускную способность и предсказуемую задержку, а память ускоряет чтение свежих данных через кэш страниц.
Что такое KRaft и нужен ли ZooKeeper?
В новых версиях Kafka метаданные кластера управляются встроенным режимом KRaft без отдельного ZooKeeper, что упрощает развёртывание. Версию и режим согласовывают с вашей архитектурой.
Какая гарантия?
На новые серверы — гарантия по договору с Beijing Xinchuan Technology Co., Ltd., срок до 3 лет; условия в договоре.