- Добавление/Правка эндпоинтов (Flask) - Написание/Доработка DAG-ов - …

Стек: - Python3.7+ - FastApi, SQLAlchemy, Alembic - Django, Celery, Redis - Pandas, Polars, openpyxl - PostgreSQL, SQLite, DuckDB, MongoDB, Clickhouse - Docker, docker-compose, Git Самостоятельно погрузился и значительно улучшил производительность сложной legacy ETL-системы без поддержки ментора. Провёл серию миграций и оптимизаций, которые привели к кратному (в 3-6 раз) ускорению критически важных бизнес-процессов. Занимался: 1) Поддержкой и оптимизацией ETL-системы: - Реализовал переезд Pandas на Polars (ускорение ключевых стадий в 6 раз), - Реализовал переезд SQLite -> DuckDB (ускорение в 3 раза), - Оптимизировал долгие SQL-запросы в PostgreSQL (запросы дольше 3 часов оптимизировал до нескольких минут) - Оптимизировал прочие стадии ETL-процессов - Делал правки в парсинге 2) Поддержкой и оптимизация работы FastAPI-микросервисов: - Профилировал и оптимизировал эндпоинты микросервисов - Настраивал логирование для запросов - Правил и добавлял CRUD эндпоинты 3) Поддержкой Django-сервиса: - Отрефакторил оркестрацию Celery-задач в Django-сервисе, повысив надёжность периодических выгрузок 4) Автоматизировал рутинные задачи: - shell-скрипты для деплоя ETL-сервиса сразу на все prod-сервера - реализовал генерацию ежедневного отчета в виде excel-файла - реализовал генераторы SQL-запросов для MATERIALIZED VIEW (на основе данных в БД и выгрузок заказчика) которые необходимо было часто менять

Стек: - Python 3.5 - Pylons Project стэк: Pyramid, Cornice, Colander - PostrgeSQL (version 9.6) - SQLAlchemy (version 1.4) Самой интересной задачей было разработать с нуля и поддерживать API (около 10 сущностей в БД), которая использовалась как модуль в 4 различных программных изделиях. Эту API я полностью довёл до готовности к сдаче заказчику: присутствовал на всех показах и исправлял все замечания аналитиков и главного конструктора. Передавал доработки frontender'у, при необходимости. Само собой, в случае возникновения каких-либо проблем старался максимально оперативно отвечать. Пожалуй, это было самым интересным опытом. Также сделал свой мини-аналог Cornice. Это нужно было для совмещения возможности автоматической генерации HTTP-метода OPTIONS для роута, в сочетании с ускоренной загрузкой приложения (путь до роутов указывается напрямую, а не ищется по всем файлам как в Cornice). Ускорение загрузки было нужно из-за того что, в целях безопасности, на каждый запрос создавался новый экземпляр приложения. В остальное время: дописывал функционал уже в 3-ёх давно существующих проектах (2-4 года каждый). Первый, был построен на архитектуре Multilayer в сочетании с DDD, остальные два - на MVC. А так же, используя jinja2, я делал генерацию справок для файлов по типу Excel и Word, а именно для расширений: "xlsx", "ods" и "odt". Также добавлял импорт записей из Excel-файла (с расширением xlsx) в базу данных. Научился работать с библиотеками, созданными командой для ускорения написания REST-API, а также с некоторыми другими, которые были необходимы для решения задач. В ci-gitlab.yml для всех проектов команды добавил проверку правильности импортов (с помощью isort) и написал конфигурационный файл, чтобы инструмент распознавал внутренние библиотеки компании. После этого все стали пользоваться автоматическим упорядочиванием импортов. Так же была задача, например, пропарсить страницу Википедии, чтобы выгрузить из неё данные для классификатора в БД.

Разрабатывал с нуля и поддерживал несколько продуктовых REST API сервисов внутри микро-сервисной архитектуры. Стэк технологий: - Python 3.8+ - FastAPI, Flask - Couchbase - PostgreSQL - Celery (брокеры: Redis, RabbitMQ) - Docker - Selenium Разворачивалось всё на Swarm через Jenkins.

Отладка технологического ПО написанного на языке C++ с использованием фреймворка Qt