Москва

Полный день, офис

Мы приглашаем в нашу команду опытного Python Data Engineer (ClickHouse) для работы над крупным проектом в банковской сфере.

Мы предлагаем:

Гибкое начало рабочего дня, офисный формат (возможность работать в современном бизнес-центре по адресу Кутузовский проспект, 32)
Официальное трудоустройство в аккредитованную ИТ-компанию в соответствии с ТК РФ
Конкурентный уровень заработной платы
Обучение, кураторство и поддержка коллег: как на начальном этапе, так и в дальнейшем
Корпоративное обучение: профильные курсы и обучение английскому языку
Забота о сотрудниках: корпоративные мероприятия, штатный психолог, программа развития внутренних стартапов

Задачи в работе:

Анализ существующих моделей данных источников, ETL процессов в GreenPlum
Проектирование оптимальных схем хранения данных в ClickHouse, исходя из структуры источников и требований BI – инструментов
Проектирование и реализация процессов ETL/ELT для переноса и трансформации данных
Написание оптимизированных SQL запросов для эффективного извлечения и предварительной агрегации данных из GreenPlum
Разработка, настройка и поддержка DAG-ов в AirFlow для оркестрации всего пайплайна данных
Реализация механизмов инкрементальной загрузки данных для минимизации нагрузки на источник
Мониторинг выполнения пайплайнов, трассировка ошибок, проверка целостности и согласованности данных между источником и приемником

Мы ожидаем от кандидата:

Глубокое знание принципов построения и проектирования DWH, знание подходов к моделированию данных (Звезда, Снежинка, DataVault)
Продвинутые навыки SQL, включая написание сложных запросов (оконные функции, CTE, сложные JOINs, агрегации) и оптимизацию запросов
Практический опыт работы с инструментом управления потоками данных Apache Airflow
Опыт проектирования, разработки и поддержки сложных DAG
Знание концепции операторов, хуков, сенсоров, Xcom
Настройка расписания, обработки ошибок и обеспечения отказоустойчивости ETL сценария
Владение Python на уровне, достаточном для реализации задач в Airflow
Продвинутое владение Git, обязательный опыт работы по GitFlow
Умение работать с бизнес требованиями

Напомним, что у нас уютный и комфортный офис, молодой коллектив со средним возрастом 27 лет, кухня с кофе, окна с террасами, корпоративный отдых и полный sustainable

Современный офис в бизнес-центре класса А или работа из дома

Индивидуальный подход к каждому сотруднику

Поддержка в сложный период

Комфортный график работы и отпусков

Корпоративный психолог

Программа внутренних стартапов

...и многое другое! >