IT-KB 🤖

📊Clickhouse, Grafana и 3000 графиков. Как построить систему быстрых дашбордов



В статье рассмотрена проблема производительности и стабильности системы дашбордов на основе связки Grafana + Clickhouse. Обозначим, каким требованиям система должна отвечать и как их достичь.



Какие инструменты обсудим в статье:

- Clickhouse — колоночная БД, храним данные распределённо в нескольких дата-центрах

- Grafana — система для визуализации данных в реальном времени

- Altiity Plugin — плагин для подключения Clickhouse к Grafana





Итоги:

Краткая выжимка по тем решениям, которые помогли решить проблему медленных и нестабильно работающих графиков. Очевидные и обобщенные советы, например, «храните данные оптимально, а неоптимально не храните», так и рекомендации по внедрению динамического семплирования, которые могут подойти не для всех ситуаций. А история с внешним мониторингом за дашбордами с использованием sitespeed может показаться вовсе перебором.



Нет единственного решения всех проблем для каждого случая, но собрать универсальные советы попробовать можно:

- Следите за стабильностью и скоростью загрузки графиков. Смотрите за системными таблицами.

- Делайте быстрые запросы, а при проектировании хранилища учитывайте специфичную нагрузку.

- При возможности кэшируйте результаты запросов.

- Ограничивайте запросы квотами и другими лимитами.

- Чем меньше различных источников данных, тем лучше.



P.S. Делайте дашборды не только красивыми, но и быстрыми



👀 Подробнее по ссылке...



#Linux #Clickhouse #Grafana #Monitoring