Разработка и поддержка надежной data-инфраструктуры для аналитики и машинного обучения в крупнейшей e-commerce платформе. 1. Разрабатывал и поддерживал высоконагруженные ETL-процессы (пайплайны) для данных с помощью Python, Apache Spark и Apache Airflow. 2. Строил и оптимизировал слои данных для аналитики в ClickHouse и Vertica, чтобы бизнес мог быстро получать отчеты. 3. Настраивал обработку потоковых данных в реальном времени с использованием Apache Kafka. 4. Работал с данными в MS SQL: писал процедуры, функции и настраивал интеграции. 5. Создавал и обновлял дашборды для разных отделов (логистика, маркетинг, финансы) в Superset, Power BI и Grafana. 6. Отвечал за качество и доступность данных: настраивал мониторинг, проверки и алерты. 7. Сотрудничал с аналитиками и data-учеными, чтобы обеспечить их качественными данными для моделей и исследований. 8. Организовывал версионность кода и автоматизацию развертывания с помощью Git.

Разработка и поддержка ETL-процессов, участие в построении архитектуры DWH, автоматизация пайплайнов и контроль качества данных. Работа на стыке аналитики и инженерии данных. 1. Разработка и оптимизация ETL/ELT пайплайнов (Oracle SQL, Python, Airflow) 2. Настройка автоматического оркестратора задач через Apache Airflow 3. Формирование технических требований и архитектуры для data marts (ClickHouse) 4. Интеграция источников данных и обеспечение их трансформации для аналитических витрин 5. Контроль и мониторинг корректности данных, разработка проверок на data quality 6. Настройка процессов CI/CD и version control через Git 7. Постановка задач инженерам данных.

Реализация и координация работы над data-платформой. Построение процессов трансформации и консолидации данных, описание архитектурных решений, контроль разработки. 1. Проектирование архитектуры потоков данных и витрин (Oracle) 2. Разработка SQL/PLSQL-скриптов для обработки и агрегации данных 3. Консолидация данных из разнородных источников, настройка data ingestion 4. Участие в приемочном тестировании и валидации данных 5. Ведение технической документации, участие в релизах 6. Координация задач внутри команды, обеспечение соблюдения сроков

Участие в проекте построения BI-системы на QlikView. Реализация пайплайнов загрузки и подготовки данных, взаимодействие с SAP. 1. Интеграция данных из SAP в QlikView (экстракция и трансформация) 2. Разработка скриптов загрузки и предобработки данных 3. Создание макетов и логики построения витрин 4. Оптимизация и поддержка существующих решений