Привет, @ozon_tech👋
Я Юра, старший инженер инфраструктурных сервисов, и я мог бы снова и снова рассказывать вам, как готовить Kafka. Но большую роль играют также инструменты, которые позволяют ускорить процесс обслуживания кластеров. О них говорят гораздо реже, поэтому решил внести правки в это недоразумение.
Когда у вас тысячи топиков и десятки брокеров в нескольких дата-центрах, то вручную балансировать реплики партиций ещё возможно. Но при увеличении объёмов без автоматизации не обойтись. На таком этапе мы с командой задумались, какие инструменты могут в этом помочь.Помог Kafka Cruise Control от LinkedIn.
Делюсь историей нашего решения в хабрастатье.
Всем желающим автоматизировать рутинные операции по администрированию Kafka-кластеров, – welcome👀
#ozontech_habr
Я Юра, старший инженер инфраструктурных сервисов, и я мог бы снова и снова рассказывать вам, как готовить Kafka. Но большую роль играют также инструменты, которые позволяют ускорить процесс обслуживания кластеров. О них говорят гораздо реже, поэтому решил внести правки в это недоразумение.
Когда у вас тысячи топиков и десятки брокеров в нескольких дата-центрах, то вручную балансировать реплики партиций ещё возможно. Но при увеличении объёмов без автоматизации не обойтись. На таком этапе мы с командой задумались, какие инструменты могут в этом помочь.
Делюсь историей нашего решения в хабрастатье.
Всем желающим автоматизировать рутинные операции по администрированию Kafka-кластеров, – welcome👀
#ozontech_habr