Разработка и поддержка ETL процессов Создание и оптимизация конвейеров данных с использованием Spark, Airflow, и Kafka для обеспечения высокопроизводительной обработки данных в реальном времени и пакетной обработки. Интеграция данных из различных источников Настройка потоковой передачи данных через Apache Kafka для интеграции с внешними и внутренними системами Разработка и поддержка пакетной загрузки данных Настройка и управление процессами пакетной обработки для регулярного импорта больших объёмов данных в хранилище, используя Spark для обработки и Airflow для оркестрации.

Разработка Scala/Spark задач для трансформации и агрегации данных. Интеграция Spark с различными источниками данных и использование Spark для обработки табличных данных, потоковых данных. Доработка внутренних ETL сервисов с использованием Scala, Spark и airflow. Оптимизация алгоритмов работы с данными и разработка алгоритмов оценки качества данных.

Разработка витрин данных в Hadoop и в реляционных БД во внутреннем проекте Билайна “Commission” Занимался подсчетом комиссий для бизнес партнеров, анализ источников данных, коими являются данные в экосистеме Hadoop, реляционные БД, и файлы, такие как excel, csv, json и тд, агрегация полученных данных с помощью ETL и автоматизация ETL процессов на Airflow Основной стэк технологий в проекте в части DE: Ядро: Scala + Spark Оркестратор: Airflow Стриминг: Kafka

Разработка витрин на Scala + Spark Автоматизация задач на SBT под Oozie Аудит и контроль данных в витринах данных