- Миграция центральной платформы данных с DWH (Greenplum) на Data Lakehouse (S3, Parquet, Iceberg, SparkSQL, Trino) - Внедрение PySpark - Оптимизация сверх-тяжелых Spark-процессов - Обучение сотен инженеров и тысяч аналитиков использованию нового стека платформы данных - Развитие профессии Data Engineer внутри компании

Ведение проекта по разработке ядра центральной платформы данных компании – Data Lakehouse – на основе Iceberg + Spark + Trino + Snowflake Ведение проекта по разработке внутренней платформы данных для аналитики в области биллинга клиентов компании: полный цикл ведения проекта, работа со стейкхолдерами, дизайн архитектуры, непосредственно разработка и поддержка, распределение задач и менторинг инженеров Технологии: Spark/Scala, Iceberg, Trino, Snowflake, dbt, Python, Luigi, Jupyter, Kubernetes, Terraform, GitLab, AWS S3, Google Cloud Storage, Azure Blob Storage Выступления: https://www.youtube.com/watch?v=FVppO5Pz2Eo

Ведение проекта по разработке внутренней платформы данных, используемой для аналитики и решений на основе машинного обучения, в области управления цепочками поставок Ведение проекта по интеграции сервиса Gurobi Optimization в инфраструктуру компании, для реализации решений в области алгоритмов оптимизации и исследования операций Технологии: AWS, Python, Spark, Delta Lake, Trino, Impala, Snowflake, Jupyter, Hive Metastore, Airflow, Kafka, Kubernetes, Vault, Concourse, Prometheus, Terraform

Разработка Feature Store для решений на основе машинного обучения в области рекомендации музыкальных продуктов Технологии: AWS, Java, Redis

Ведущая роль в дизайне и разработке центральной внутренней платформы данных компании (Data Lakehouse) используемой для аналитики, решений на основе машинного обучения, и любых решений требующих доступа к большим массивам данных - Создание регистра всех наборов данных компании - Создание системы удаления персональных данных из всех наборов данных компании Технологии: AWS, Databricks, Spark, Scala, Python Статьи: https://www.databricks.com/blog/2019/10/31/scalable-near-real-time-s3-access-logging-analytics-with-apache-spark-and-delta-lake.html https://aws.amazon.com/blogs/developer/serverless-data-engineering-at-zalando-with-the-aws-cdk/

Дизайн и разработка центральной внутренней платформы данных компании (Data Lakehouse) используемой для аналитики, решений на основе машинного обучения, и любых решений требующих доступа к большим массивам данных - Создание общей инфраструктуры хранения данных в объектном хранилище - Развертывание сервисов Databricks для работы с данным на уровне всей компании - Внедрение процесса сохранения всех потоковых данных проходящих через центральную систему передачи сообщений - Ведение проекта по внедрению процесса сохранения всех таблиц из DWH Технологии: AWS, Databricks, Spark, Scala, Python, Airflow, Postgres, Redis Выступления: https://www.youtube.com/watch?v=W0MUDAGuNrg&t=710s https://www.oreilly.com/videos/oreilly-software-architecture/9781492050728/9781492050728-video328548/ https://www.youtube.com/watch?v=PBEeVUO_5rw

Разработка внутренней платформы данных для таргетированной рекламы Технологии: AWS, Hadoop, HBase, Hive, Spark, Scala, Oozie, Hue

Разработка бэкенд сервисов для обработки заказов покупателей Технологии: AWS, Java 8, Spring

Разработка внутренних компонентов и сервисов интернет платформы для поиска и сравнения товаров в области моды и мебели - аналог Yandex-market. Технологии: Java 8, Spring, MySQL, HBase, ElasticSearch

Преподаватель практической части магистрского курса Information Retrieval. Технологии: Java, C++, Python, Lucene, Hadoop

C#

C#, Oracle, Firebird