Проработка всего цикла жизни данных. - Поиск источников (Clickhouse, Kafka Topics, S3, CSV files). - Предобработка данных (SQL, PySpark, Polars). - Разработка хранилищ (Clickhouse, S3). - Разработка потока данных (Airflow, Kafka, PySpark). - Разработка аналитических запросов и оптимизация (SQL). - Построение BI Дашбордов с различными виджетами (SQL). - Тестирование различных подходов и решений задач по выгрузке данных из различных источников. В целом в команде занимаю роль сотрудника кто может из предоставленных сырых источников довести данных до понятного вида для анализа рынка и сбора статистики, а также отлавливания аномальных ситуаций для различных команд. Этого достигаю тем, что иду на контакт с заказчиками и грамотно анализирую бизнес требования и путем обратной связи вывожу результат на достойный уровень. Во всем это не забываю об экономии места и оптимизации запросов, который также должны быть читабельными, чтобы любой сотрудник мог разобраться, составляю документацию на специальных репозиториях.

Инженер данных портфельного риск менеджмента (потребительские кредиты). Поиск, обработка, актуализация и улучшение источников данных. - Анализ исходных данных из различных источниках и форматах для решения бизнес задач. - Составление и учет технических и бизнес требований в ТЗ. - Проектирование и разработка аналитических витрин. - Проектирование и разработка автоматизированных инструментов по Data-Quality (Контроль качества данных). - Разработка, поддержка и оптимизация инфраструктуры для работы с данными и процессами над ними. - Разработка, поддержка документации по разработанным витринам и инструментам. Основной стек: - БД: Greenplum + Hive(HDFS) - Big Data: Spark, Hadoop, Yarn и т. д. - Оркестратор: Airflow - CI/CD: bitbucket (git) - ETL+DQ: SQL+Python

Основное направление работы в отделе связано с подготовкой баз, обработкой и анализом ответов в сфере клиентского опыта из анкет клиентов. Задачи связанные с специальностью инженера данных, по подготовке баз для опросов и сбору ответов и подготовки для аналитики. Поиск источников данных и исследование данных на корректность перед загрузкой в ХД (API, Postgre, Oracle и т. д.) Настройка структуры по методологии моделирования 3NF. Настройка ETL процессов для выгрузки данных в ХД (Работа с серверами данных на MS SQL). Пакетная обработка данных с инкрементальной загрузкой в ХД. Подготовка витрин данных для аналитиков Автоматизация доступа к данным ХД/витрин (Подготовка витрин в виде отчетов Power BI, Excel, и web-сервис написанный на Flask, HTML, CSS, JS) Оркестрация ETL (разработка структуры обработки RAW, STG, DDS, CDM слоев). Качество данных (Data Quality). Работа с потоками данных. Решение Ad-hoc задач по аналитике, web-сервису, составление сложных SQL запросов с транзакциями и др. Разработка технической документации.

Работа с потоком данных сервера к серверу с соответствующими преобразованиями. Проектная занятость по разработке, оптимизации и поддержке процессов по сбору статистики и расчету эффективности работы сотрудников и отделов. Расчет премий и рейтинга. - Настраивание ETL процессов в оркестраторе Apache Airflow на базе локальной машины WSL (Ubuntu) и БД на базе Postgre sql с помощью Python. - Контроль версий с помощью git. - Оптимизация запросов (SQL: Индексы и планы запросов, Python: сериализация и десериализация данных) - Рефакторинг и оптимизация кода (Python). - Построение структуры Data Warehouse (Python, Airflow) - Сериализация данных на уровне запросов из источников (Python, Flask) - Настраивание корректной работы сбора данных из различных типов источников (API, WFM, FTP, HTTP) - Подготовка витрин данных для бизнес анализа (Python, Alembic)