Курс Компьютерное зрение на программе "Прикладная математика"

R&D: - LLM Parser Code Generation: Исследую и внедряю LLM-агентов для автоматической генерации парсеров сканов документов. Это новая разработка и полностью моя идея, которая позволяет обрабатывать новые типы документов без машинного обучения в продакшене. - Молниеносное прототипирование с помощью LLM: например, за 1 неделю сделал собственный Deep Research для патентных исследований с генерацией отчетов по ГОСТ в Docx. Тем самым сэкономил институту пару сотен человекочасов. Умею генерировать большие объемы кода так, чтобы он не разваливался. - Разработка архитектур: Реализовал трансформерную модель с нуля по научной статье на PyTorch. Создал пайплайн обучения и валидации для решения специфических задач извлечения данных из документов. - Синтез данных: Разработал инструмент DoGe (DocumentGenerator) для генерации фотореалистичных синтетических сканов документов. Это позволило провести pre-training моделей в условиях дефицита размеченных данных и улучшить эффективность обучения на русском языке. - Автор закрытых НИР по алгоритмам компьютерного зрения в видеопотоке (детекция deepfake, трекинг объектов, эмоциональный анализ). - Совместное с AIRI исследование про агентное изучение неструктированных данных (data observation). Engineering: - Лидерство: Курирую 2-х младших специалистов для решения возложенных задач. - Поддержка CV-сервисов: Архитектура и поддержка gRPC-микросервисов для обработки изображений и видео. Внедрил unit-тестирование и CI/CD пайплайны для ML-сервисов. - Классический CV: Улучшил пайплайны детекции и распознавания текста (OCR), включая этапы препроцессинга и постпроцессинга. Open Source и публикации: - Dedoc: Система автоматического извлечения структуры из документов. https://github.com/ispras/dedoc - DoGe - DocumentGenerator: Библиотека для генерации синтетических документов для обучения нейросетей. https://github.com/Travvy88/DocumentGenerator_DoGe - Статья на Habr про парсинг документов: https://habr.com/ru/companies/isp_ras/articles/779390/

Работа в проектной команде компьютерного зрения. Выполненные и принятые заказчиками проекты: 1) 3D computer vision: создание 3Д аватара человека по фотографии для крупной социальной сети. 2) Система распознавания лиц для сервиса онлайн конференций. Я занимался небольшим ресерчем, дообучением MobileFaceNet и улучшением пайплайна. По результатам написал статью в IEEE. 3) Распознавание оружия на видеопотоке для компании, занимающейся видеосистемами. Занимался моделями CLIP и OFA, обработкой и чисткой данных, созданием алгоритма разметки видео на основе предсказаний модели.