Всем привет!
Мы ищем Senior Data Engineer к себе в команду Dodo Engineering (Dodo Pizza, Doner42, Drinkit)
Чем мы занимаемся:
Создаём в компании self-service дата-платформу на основе концепции Data Mesh
Вилка: 300-350 т.р. на руки
Работаем на очень современном стеке:
- Python 3.8+
- Spark 3.3 (Batch и Structured Streaming на платформе Databricks)
- Databricks Delta Lake
- Облака (у нас Azure)
- СDC (Debezium)
- Azure EventHubs (Kafka API) + Kafka Connect
- Apache Superset
- DataHub в качестве Data Catalog
Что нужно знать?
- Python (либо Scala, Java)
- Spark, Spark Structured Streaming, опыт в оптимизации существующих пайплайнов.
- Брокеры сообщений (Kafka, RabbitMQ и т.п.)
- Как писать и оптимизировать сложные SQL запросы.
- Дизайн распределенных систем
- Дизайн DWH
- Хорошие навыки в моделировании данных (мы используем Data Vault)
Вот тут можно посмотреть выступление нашей команды совместно с Databricks с рассказом о нашем проекте
Здесь выступление на Databricks Data + AI Summit 2022 с рассказом об интеграции Superset в нашу b2b-платформу
Ссылка для отклика: https://spb.hh.ru/vacancy/79379928
@datascienceml_jobs
Мы ищем Senior Data Engineer к себе в команду Dodo Engineering (Dodo Pizza, Doner42, Drinkit)
Чем мы занимаемся:
Создаём в компании self-service дата-платформу на основе концепции Data Mesh
Вилка: 300-350 т.р. на руки
Работаем на очень современном стеке:
- Python 3.8+
- Spark 3.3 (Batch и Structured Streaming на платформе Databricks)
- Databricks Delta Lake
- Облака (у нас Azure)
- СDC (Debezium)
- Azure EventHubs (Kafka API) + Kafka Connect
- Apache Superset
- DataHub в качестве Data Catalog
Что нужно знать?
- Python (либо Scala, Java)
- Spark, Spark Structured Streaming, опыт в оптимизации существующих пайплайнов.
- Брокеры сообщений (Kafka, RabbitMQ и т.п.)
- Как писать и оптимизировать сложные SQL запросы.
- Дизайн распределенных систем
- Дизайн DWH
- Хорошие навыки в моделировании данных (мы используем Data Vault)
Вот тут можно посмотреть выступление нашей команды совместно с Databricks с рассказом о нашем проекте
Здесь выступление на Databricks Data + AI Summit 2022 с рассказом об интеграции Superset в нашу b2b-платформу
Ссылка для отклика: https://spb.hh.ru/vacancy/79379928
@datascienceml_jobs