Руководитель направления архитектуры DWH антифрод Вакансия партнера

Обязанности
Разрабатывать архитектуру ETL и интеграций аналитического хранилища данных (DWH);
Проектировать и обеспечивать реализацию потоков ETL в соответствии с выбранной методологией;
Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов;
Управлять физической моделью данных корпоративного хранилища;
Формировать архитектурные стандарты в области данных и контролировать их соблюдение. Обеспечивать историзацию и правила качества данных;
Руководить командой инженеров, взаимодействовать с владельцами данных, бизнес и системными аналитиками;
Проводить архитектурные ревью ETL/ELT;
Оптимизировать архитектуру хранилища и обеспечивать ее масштабируемость;
Готовить и согласовывать обязательную документацию.

Требования
Опыт работы архитектором или главным инженером DWH (ETL/ELT) от 5 лет;
Отличное понимание архитектуры корпоративных хранилищ данных;
Практический опыт проектирования хранилищ с использованием Greenplum (GPDB), Postgres, Hadoop;
Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных;
Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации;
Практический опыт работы с отечественными BI решениями;
Отличное знание SQL и принципов оптимизации запросов в MPP-системах;
Экспертиза и применение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа;
Опыт в проектировании и применение Spark, Impala, Trino, Airflow, Java/Python в промышленном ландшафте данных;
Понимание принципов CI/CD, работа с системами контроля версий;
Уверенное владение инструментами проектирования:- разработка физических моделей- управление репозиторием моделей- поддержка корпоративных стандартов моделирования Экспертиза в банковской предметной области. Вы должны хорошо ориентироваться в банковских данных и понимать структуру основных предметных областей.