Разработал для умного Секретаря в звонке: - TTS (F5-TTS) для мужского и женского голосов - Voice cloning (Vall-e 2, Semantic F5-TTS) для пользователя в звонке - собрал датасет на 15к аудиочасов (Yodas 2): диаризация, двойная ASR-разметка, разметка таймстемпов предложений, фильтрация музыки и ревербераций Интеграция в сервис через связку Triton (ONNX) + Go. RTFx клонинг модели 0.5 (два раза быстрее реалтайма) на А100, TTS - 0.01 на А100

RnD больших ASR/TTS моделей - PyTorch/TorchDistributed/WandB/ONNX Автор RALLE-E и RALL-E 2(ru-версии моделей), ruBARK - разработал модель генерации речи на основе текстового промпта и короткого звукового промпта, переноса тембра/стиля спикера на произвольный текст с контролем скорости и питча спикера - обучал модели представления речи под задачи дообучения ASR/TTS моделей на русском языке (HuBERT, Wav2Vec 2.0, и т. д.) - использовал обученные эмбеддинги для улучшения качества других больших TTS моделей (VALL-E, VALL-E X, и т.д.) - использовал обученные эмбеддинги для улучшения ASR умных колонок - проводил разбор актуальных статей по TTS для команды RnD моделей-токенайзеров для речи: EnCodec, LanguageCodec, FACodec, WavTokenizer

- Промаркировал клиентов с инвалидностью на основе текстов-транскрибаций (ASR + ruRoBERTa-large) - улучшение особого обслуживания при обращении клиента с инвалидностью - Обогатил модели геохарактеристиками, признаками из текстов (отзывы клиентов) - улучшение качества базовых моделей склонности (+2.7 ROC-AUC) - Разработал модель определения степени токсичности обращения клиента в центр поддержки (ruBERT-large) - особое обслуживание токсичных клиентов - Разработал NER-модели на текстах клиентов с инвалидностью (BERT-like) - полезные признаки для других моделей - Менторил инженеров по машинному обучению младших позиций

Группа моделирования и баз данных геолого-геофизической службы. - Математическое упругое моделирование и обработка сейсмических сигналов по Восточной Сибири - Переобработка архивных данных по Восточной и Западной Сибири. Результаты помогли значительно улучшить качество сигналов

Группа моделирования и баз данных геолого-геофизической службы. - Математическое моделирование данных (сейсмических сигналов 2Д) по Восточной Сибири - Разработке CV-моделей на Python для сейсмических сигналов Восточной Сибири - Обработка сейсмических данных во временной/частотной области)

Сейсмический отряд №2. - Морской рейс по арктическому шельфу Российской Федерации - Количественный контроль базы морских данных (сейсмические сигналы) на борту судна, визуализация данных в Python