Работаю в команде высоконагруженной платформы онлайн-кредитования в тесном взаимодействии с дата-инженерами и аналитиками. Cтек: Python, SQL, Apache Airflow, Spark, Greenplum, DBT, ClickHouse, Hadoop, PostgreSQL, S3, API, Git, VSCode, Jupyter Notebook Ключевые достижения: - Разработал комплексные ETL-пайплайны для загрузки, очистки и трансформации больших объемов данных из разнородных источников (RDBMS, Hadoop, плоские файлы) в корпоративное хранилище на базе GreenPlum и Hadoop, обеспечив бесперебойную поставку данных для аналитических задач. - Спроектировал и внедрил ETL-процесс в Apache Airflow для загрузки исторических данных по расписанию из API через S3 в ClickHouse. Использовал Spark для очистки и приведения типов данных, что позволило ускорить загрузку и повысить качество данных. - Оптимизировал хранение исторических данных в S3, осуществив миграцию с формата .csv на Parquet. Результат: сокращение объема занимаемых данных на 75% и ускорение последующих запросов. - Модернизировал ETL-пайплайн для витрины данных по продажам продуктов банка: перевел загрузку с еженедельной на ежедневную, реализовал возможность перезагрузки данных за прошлые периоды. Это позволило аналитикам получать актуальные метрики в режиме реального времени и ускорило подготовку отчетности. Должностные обязанности: - Администрирование и мониторинг пайплайнов: настройка расписаний DAG'ов в Airflow, ежедневный контроль выполнения, отладка и оптимизация производительности. - Обеспечение надежности данных: анализ сбоев, расследование инцидентов, настройка алертинга в корпоративную почту и Telegram для оперативного реагирования. - Взаимодействие с бизнес-пользователями: сбор и формализация требований, перевод бизнес-задач в технические спецификации для разработки пайплайнов и витрин данных. - Кросс-функциональная коммуникация: плотное взаимодействие с командами разработки и дата-аналитики по вопросам интеграции, обработки и хранения данных.

Ключевые достижения: - Развернул и настроил SQL Server с нуля под высоконагруженные проекты: оптимизировал конфигурации, настроил параметры памяти, дисковую подсистему и безопасность, обеспечив стабильную работу БД 24/7. - Внедрил индексацию и партиционирование данных для ускорения запросов: проанализировал узкие места, создал оптимальные индексы и настроил секционирование больших таблиц, что сократило время выполнения сложных запросов на 40%. - Настроил и поддерживал репликацию баз данных (транзакционную и merge-репликацию) для распределения нагрузки между серверами и обеспечения отказоустойчивости. Должностные обязанности: - Администрирование SQL Server: установка, настройка, мониторинг производительности, оптимизация SQL запросов, управление пользователями и правами доступа. - Поддержка баз данных: ежедневный мониторинг состояния, анализ медленных запросов, дефрагментация индексов, обновление статистики. - Работа с инцидентами: анализ сбоев, диагностика проблем производительности, восстановление данных после аварийных ситуаций. - Взаимодействие с разработчиками: помощь в оптимизации запросов, проектировании схем данных. Технологический стек: СУБД: Microsoft SQL Server (2016/2019), PostgreSQL Инструменты: Dbeaver, pg_dump, Python Репликация: Streaming Replication Мониторинг: Zabbix ОС: Windows Server, Linux