Data Engineer

Обязанности

• +Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности
• +Нормализация и обогащение событий безопасности
• +Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги)
• +Подготовка витрин данных под быстрые запросы и аналитику
• +Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование
• +Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill)
• +Участие в разборе инцидентов и оптимизации производительности data платформы

Требования

• +Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в production среде
• +Уверенный SQL, включая оптимизацию запросов и анализ производительности
• +Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги)
• +Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок)
• +Опыт проектирования и оптимизации витрин и схем хранения данных
• +Уверенные знания Kubernetes и опыт эксплуатации сервисов в production среде
• +Понимание принципов надежности, масштабирования и наблюдаемости data систем