Нашел прикольную штуку для создания дата-пайплайнов прямо из интерфейса JupyterLab - Elyra.
Причем интересно, что собирать их можно не только из готового кода, но еще и из самих ноутбуков, а также каких-то базовых действий над элементами (скачать, сгруппировать, разделить, соединить файлы и тому подобное).
А еще можно пробросить выполнение пайплайна в оркестраторы вроде Airflow или даже (прости, господи) Kubeflow.
Кажется перспективной штукой, буду подробнее изучать.
В статье ниже можно посмотреть как это выглядит в интерфейсе.
🔗Ссылка
#инструменты
Причем интересно, что собирать их можно не только из готового кода, но еще и из самих ноутбуков, а также каких-то базовых действий над элементами (скачать, сгруппировать, разделить, соединить файлы и тому подобное).
А еще можно пробросить выполнение пайплайна в оркестраторы вроде Airflow или даже (прости, господи) Kubeflow.
Кажется перспективной штукой, буду подробнее изучать.
В статье ниже можно посмотреть как это выглядит в интерфейсе.
🔗Ссылка
#инструменты