Инженеры из Confluent написали пару статей про работу с Kafka Streams (библиотеки для stream processing, способной в ряде случаев заменить Apache Spark, обзорный пост можно прочитать здесь: http://amp.gs/8xIg).
Масштабирование приложений на Kafka Streams: http://amp.gs/8xI4
Безопасность Kafka Streams: http://amp.gs/8xI9
Масштабирование приложений на Kafka Streams: http://amp.gs/8xI4
Безопасность Kafka Streams: http://amp.gs/8xI9