Netflix выложил в открытый доступ собственную разработку для создания пайплайнов обработки данных - Metaflow. Идеологически основано на все тех же DAG (direct acyclic graph), подобная идеология построения пайплайнов используется и в Apache Airflow. Статья представляет собой вводный туториал с обзором основных возможностей.
https://towardsdatascience.com/learn-metaflow-in-10-mins-netflixs-python-r-framework-for-data-scientists-2ef124c716e4
https://towardsdatascience.com/learn-metaflow-in-10-mins-netflixs-python-r-framework-for-data-scientists-2ef124c716e4