🧬 Яндекс выложил в open source исходный код YTsaurus — платформы для работы с #BigData
«Вайтизавр» развивали почти 10 лет — историю можно почитать на Хабре. Сегодня платформу использует большинство сервисов Яндекса. YTsaurus может многое: от аналитики до обучения сложных моделей с миллиардами параметров.
Например, заказы Еды, Такси и Лавки поступают в key-value хранилище YTsaurus в сыром виде — это сотни терабайт в месяц. Дальше они обрабатываются разными инструментами внутри платформы, и на выходе получаются аналитические витрины, поверх которых производится аналитика и строятся различные визуализации в DataLens.
Помимо MapReduce, пользователям предлагается прокаченный SQL-язык, который может запускать огромные операции для обработки петабайтов данных, богатый набор встроенных функций и гибкие возможности параметризации.
Github: https://github.com/YTsaurus/YTsaurus
🧩
«Вайтизавр» развивали почти 10 лет — историю можно почитать на Хабре. Сегодня платформу использует большинство сервисов Яндекса. YTsaurus может многое: от аналитики до обучения сложных моделей с миллиардами параметров.
Например, заказы Еды, Такси и Лавки поступают в key-value хранилище YTsaurus в сыром виде — это сотни терабайт в месяц. Дальше они обрабатываются разными инструментами внутри платформы, и на выходе получаются аналитические витрины, поверх которых производится аналитика и строятся различные визуализации в DataLens.
Помимо MapReduce, пользователям предлагается прокаченный SQL-язык, который может запускать огромные операции для обработки петабайтов данных, богатый набор встроенных функций и гибкие возможности параметризации.
Github: https://github.com/YTsaurus/YTsaurus
🧩