Data Engineer в направление HR-аналитики

В нашу большую и дружную HR-команду мы ищем Data Engineer.

Технологический стек:

PostgreSQL, MySQL, REST API, Docker, Python, S3 MinIO, DBT, Airflow.

Задачи:

• интеграция с внешними источниками;
• проектирование хранилища данных;
• разработка витрин данных по бизнес-требованиям;
• разработка и оптимизация ETL/ELT процессов обработки данных;
• разработка процессов Data Quality.

Требования:

• опыт работы в качестве разработчика Python/ETL не менее 1 года;
• в области DWH не менее 3 лет;
• понимание теории построения DataLake, DWH, Data Mesh и т. д.;
• опыт создания ETL/ELT пайплайнов для получения данных из различных потоков и источников данных;
• опыт интеграции с разнородными источниками и форматами (CSV, XML, JSON, Avro, Parquet, SQL);
• опыт написания собственных компонентов Airflow (Hooks/Operators/Processors/Triggers);
• опыт разработки моделей DBT, использование инструмента для настройки DQ и в качестве построения Data Vault / Business Data Vault;
• опыт работы с S3 API, знания, как создать/удалить бакет, загрузить в него данные и выгрузить в другую систему.