Три года назад на Highload++ Александр Крашенинников рассказывал как в Badoo построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, выросли объёмы и решены задачи масштабирования и отказоустойчивости. В определённый момент в Badoo достигли точки, когда потребовались радикальные меры — смена технологического стека на связку Spark + Hadoop на ClickHouse, что в три раза сэкономило железо и увеличило нагрузку с 300 000 событий в секунду до 1 600 000 в пике. В ноябре на Highload++ Александр рассказал о этом в своем докладе, а Ник Волынкин описал кратко в своем конспекте.
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md
https://github.com/NickVolynkin/highload-2018/blob/master/1.6-accelerate-events.md