В сервисах Яндекса постоянно циркулирует и хранится огромное количество разных данных: сегодня это десятки тысяч именованных наборов сообщений. Все из них передаются по одной шине — при таком объёме информации становится сложно хоть как-то управлять правами доступа и организовывать распределённую работу нескольких команд. Apache Kafka®, который мы использовали ещё десять лет назад, просто не позволил бы сделать это.
Поэтому мы создали собственное решение на основе YDB — платформы, которая может надёжно хранить данные и в которой реализованы механизмы вроде распределённого консенсуса и failover.
Подписывайтесь: