All jobs

Senior Data Engineer

About the role

Sber Process Mining – система интеллектуального анализа бизнес-процессов от Сбера. Система позволяет на основе данных из информационных систем компаний делать автоматизированную аналитику с применением AI и BI инструментов. Process Mining позволяет обнаружить «узкие места» в бизнес-процессах, выявлять недобросовестные практики и потенциал к повышению эффективности процессов, росту прибыли компании и удовлетворенности клиентов.

Стек: python, clickhouse, postgres, spark, apache superset, apache airflow.

---

Задачи:
  • +участие в разработке ядра системы анализа процессов
  • +разработка переиспользуемых трансформаций данных и пайплайнов
  • +разработка self-service инструментов обработки данных для пользователей
  • +разработка и проектирование модели данных.

---

Мы ожидаем:
  • +опыт работы в качестве инженера данных от 3 лет
  • +опыт работы с Airflow, NiFi или др. оркестраторами ETL процессов
  • +владение SQL на уровне native speaker
  • +уверенное знание Python
  • +опыт работы с Big Data стеком, ClickHouse, Spark, Hive
  • +знание основ ООП, теории алгоритмов, структур данных
  • +знание теории построения хранилищ данных
  • +любознательность, широкий кругозор, желание изучать новые технологии, исследовательский склад ума

Будет плюсом:

  • +опыт в Unix shell: базовые команды для работы с файлами и процессами
  • +опыт работы с брокерами сообщений
  • +опыт работы с Docker, Kubernetes.
Stack & Tools