Чтобы по проблеме выше не изобретать свой наколеночный ETL, можно использовать:
- брокеры сообщений и стримов (типа Kafka), и инструменты поверх них (apache drill, apache ignite)
- готовые платформы витрин данных
Т.к. мы используем преимущественно опенсорсные продукты с перспективой покупки платной поддержки при необходимости, подходящая витрина для нас это http://teiid.jboss.org/
Выполненный как подсистема для Wildfly, Teiid позволяет объединить различные EIS в "виртуальную" базу данных, с которой можно работать при помощи SQL-подобных запросов. Может вам подойти
- брокеры сообщений и стримов (типа Kafka), и инструменты поверх них (apache drill, apache ignite)
- готовые платформы витрин данных
Т.к. мы используем преимущественно опенсорсные продукты с перспективой покупки платной поддержки при необходимости, подходящая витрина для нас это http://teiid.jboss.org/
Выполненный как подсистема для Wildfly, Teiid позволяет объединить различные EIS в "виртуальную" базу данных, с которой можно работать при помощи SQL-подобных запросов. Может вам подойти