Управляю командой аналитиков инженеров, ответственной за аналитическую часть A/B платформе (авторасчёт, библиотека экспериментов, интеграция с новыми командами/компаниями). Текущий размер команды - 3 человека. Используемый стек - Clickhouse, Trino Iceberg, S3, Polars, Airflow. Разработал ключевые фичи платформы, такие как: система срезов, система метрик и агрегатов. Оптимизировал скорость работы пайплайна по сбору данных для A/B тестов в 7 раз. Уменьшил долю экспериментов, непосчитанных по вине авторасчёта, до <1%. Покрыл проект автотестами 0% -> 70%. Укомплектовал команду новыми сотрудниками.

Разрабатываю аналитическую систему для мониторинга проектной деятельности МИЭМ НИУ ВШЭ. Основной стек - ClickHouse, Airflow, Pandas, Superset, Prometheus. Выполняю роль Team Lead, руковожу командой из 8 человек, работаем по Kanban. На текущий момент командой разработано: - Аналитическое хранилище на ClickHouse с моделью данных DataVault 2.0 - Airflow для оркестрации и мониторинга ETL процессов - Superset с дашбордами, содержащими агрегированную статистику по проектной деятельности - Ряд аналитических инструментов: Проектный рейтинг студента, ML-модели по рекомендации проектов и учебных курсов - Демо личного кабинета системы - DataLake на Minio S3 + Polars

Выполнения ad hoc отчетов. Сборка витрин с помощью SQL и/или Python (PySpark SQL). Работа с БД vertica и Big Data экосистемой Hadoop (Yarn, Spark, HDFS). Проведение A/B тестов и проверка гипотез. Работа с ДАГами в Airflow: отслеживание и поддержка уже написанных дагов, написание новых ДАГов для автоматизации скриптов. Полноценный цикл от создания алгоритма, до вывода его в прод и автоматизацию средствами Airflow. Применение моделей машинного обучения для решения бизнес задач различных клиентов. (В основном с помощью средств Spark и SparkML и Catboost/Xgboost, строю полноценные пайпланы от загрузки данных до итогового инференса). Также занимаюсь написанием пайпланов в гитлаб проектах своей команды с помощью средств ci/cd.

Анализ данных, работа в Jupyter Notebook и VS code, программирование Python. Виды задач: 1. Работа с текстом NLP: предобработка, поиск по ключевым словам, классификация и кластеризация. 2. Сбор данных: web parsing, работа с SOAP/REST API, работа с PostgreSQLxls, MongoDB. 3. Разработка сервисов для excel на Python (ООП). Основной стек: 1. Python NLP: pandas, numpy, fuzzywuzzy, sklearn, xgboost, matplotlib, nltk. 2. Python cбор данных: selenium/requests, bs4, psycopg2, pymongo, pandas. + power query excel 3. Python Excel разработка: xlsxwriter, numpy, pandas. 4. Визуализация данных: seaborn, matplotlib + PowerBI 4. Контроль версий: git + TFS 5. Среда разработки: anaconda (Jupyter Notebook + VS code) 6. Основные структуры данных: json, xml, csv, xlsx