Создание Приложения Корпоративной аналитической платформы (ПКАП) Hadoop SDP для промышленных витрин данных по качеству данных АС ЕПК РБ. Роль – тимлид, архитектор сервиса, разработчик витрин данных, сопровождение 3лс, delivery, аналитик данных Архитектор сервиса: - Выбор платформы и тех стека ПКАП - Внесение изменений в концептуальную архитектуру совместно с ДКА - Проработка детальной архитектуры в части интеграций ПКАП с другими АС - Описание Solution архитектуры - Подготовка инфраструктуры стендов DEV, ИФТ, ПСИ, ПРОМ, в т.ч. настройка DevOPS, подключение к ТС КАП (КАП.Мета, выгрузка в synapse, ТФС), планирование КТС - Коммуникация с коллегами по настройке параметров, установки обновлений сборки SDP - Подключение SDP Analytics для визуализации данных в витринах. Разработчик: - Подготовка прототипов витрин данных в ЛД 3.0 на spark - Подготовка дистрибутива для промышленной эксплуатации, написание кода в IDEA на Java, проверка кода по SonarQube и СheckMarks, загрузка дистрибутива в Nexus - Прохождение ПСИ - Вывод в ПРОМ - Мониторинг потоков в ПРОМе - Публикация дата продукта в СМД Прочее - Организовал работу команды в ЛД 3.0 для мониторинга качества АС ЕПК РБ, перевел ручные процессы на CTL ЛД до вывода в ПРОМ - Распределение задач по витринам между участниками команды, контроль выполнения - Коммуникации с сопровождением, Сбердата - Участие в выполнении ad-hoc запросов по данным реплик в КАП для контроля качества данных в АС - Выполнение роли Менеджера данных реплик и витрин ЕПК - Участие в проекте ЕСС по подключению сервиса суррогатных ключей

- Разработка скриптов загрузки данных через Python. Использование pandas в работе. Загрузка данных через Pentaho в Teradata, Oracle. - Разработка скриптов расчета витрин на Hive. Настройка загрузки данных из реляционных БД в hive через sqoop. - Разработка витрин данных на кластере Hadoop Cloudera 5. Создание таблиц, представлений. Настройка регулярного обновления данных в кластере. - Получение инкремента и обновление данных частично. Создание кода на scala и сборка дистрибутива средствами банка. (Pipeline DevOps банка). - Оптимизация запросов расчета витрин, подбор параметров для расчетов. Оптимизация скриптов загрузки и устранение перекосов данных. - Использование в работе bitbucket, confluence, jira. - Разработка визуализированной отчетности на Qlik Sense. Разработка скриптов загрузки данных в отчет из различных источников.

Работа с IBM DataStage. разработка собственных задач ETL из исходной базы данных (DB2) в отчетную (DB2). Разработка задач обновления отчетной витрины, различных выгрузок для исходных систем а так же задач по загрузке данных из исходных систем в целевую БД. Написание собственных компонентов для сложных преобразований данных. Работа с базой данных IBM DB2. Создание объектов БД, Оптимизация запросов, разработка модулей и хранимых процедур. Хорошее понимание SQL. Работа с Informatica BigDataManagement. Установка дистрибутива и настройка сервисов. Создание mapping, workflow для выгрузок данных и для наполнения отчетных витрин. Создание отчетов в SAP BO на основе данных hadoop. Создание таблиц в hive/impala. Заливка данных в таблицы через Informatica BDM. Использование партиционирования таблиц и кластеризация для ускорения работы отчетов. Cоединение с источником hive/impala. Роль руководителя и наставника для команды по разработке отчетов. Участие в разработке и архитектуре отчетной базы данных.

Разработка отчетов средствами SAP BO 4.1. Разрабтка view на Hana database. Настройка соединения с Hana database. Настройка визуализированной отчетности SAP Design Studio.

Создание соединений к Юниверсам . Создание новых Юниверсов: создание объектов, классов, фильтров, создание производных таблиц, настройка юниверса, разграничение прав доступа к соединениям и юниверсам. (BW, MsSQL, Oracle) Администрирование через Central Management Consol: создание и настройка уровней доступа, распределение отчетов, создание пользователей, настройка профилей, управление серверами, настройка прав доступа к юниверсам, соединениям, отчетам, папкам, настройка планировщика. Создание визуальных отчетов средствами Xcelsius: создание dashboard с использованием дополнительных подключений – WEB services, публикация отчетов в InfoView. Web Intelligence: создание отчетов, простых и комбинированных запросов, в том числе использование нескольких запросов в одном отчете, создание переменных, фильтров отчета. Создание алиасов. Использование разбиения в отчетах, использование разделов. Работа с Import Wizard. Создание BIAR файлов. Работа с IBM DataStage. разработка собственных задач ETL из исходной базы данных (DB2) в отчетную (DB2). Разработка задач обновления отчетной витрины, различных выгрузок для исходных систем а так же задач по загрузке данных из исходных систем в целевую БД. Написание собственных компонентов для сложных преобразований данных. Работа с базой данных IBM DB2. Создание объектов БД, Оптимизация запросов, разработка модулей и хранимых процедур. Хорошее понимание SQL. Работа с Informatica BigDataManagement. Установка дистрибутива и настройка сервисов. Создание mapping, workflow для выгрузок данных и для наполнения отчетных витрин. Создание отчетов в SAP BO на основе данных hadoop. Создание таблиц в hive/impala. Заливка данных в таблицы через Informatica BDM. Использование партиционирования таблиц и кластеризация для ускорения работы отчетов. Cоединение с источником hive/impala.

Создание соединений к Юниверсам (через ODBC конектор). Создание новых Юниверсов: создание объектов, классов, фильтров, создание производных таблиц, настройка юниверса, разграничение прав доступа к соединениям и юниверсам. (BW, MsSQL, Oracle) Администрирование через Central Management Consol: создание и настройка уровней доступа, распределение отчетов, создание пользователей, настройка профилей, управление серверами, настройка прав доступа к юниверсам, соединениям, отчетам, папкам, настройка планировщика. Создание визуальных отчетов средствами Xcelsius: создание dashboard с использованием дополнительных подключений – WEB services, публикация отчетов в InfoView. Web Intelligence: создание отчетов, простых и комбинированных запросов, в том числе использование нескольких запросов в одном отчете, создание переменных, фильтров отчета. Создание алиасов. Использование разбиения в отчетах, использование разделов. Создание отчетов средствами Crystal Reports. Работа с Import Wizard. Создание BIAR файлов. Xcelsius: создание dushbords с использованием различных подключений. BPC (базовые навыки на уровне разработки демо-системы): Создание демо системы. Версия для MS 7.5. Версия NW 10.0. -Создание и настройка приложений и наборов приложений. Создание и настройка измерений. Администрирование через Админ консоль. Создание BPF. Разграничение доступа. -BPC FOR EXCEL. Создание отчетов, графиков ввода. Data manager. оффлайн распределение. -BPC FOR web. Создание отчетов. Создание dashboards через xcelsius.

Разработка справок и регистров. 25 глава НКРФ Группы компаний ЛУКОЙЛ средствами Sap BW (Bex отчетность) и Crystal Reports (реализация налоговых справок и регистров). Сопровождение сценария контролинга, экономического планирования и бюджетирования Группы компаний ЛУКОЙЛ средствами SAP BW(изменение правил обновления, создание признаков и показателей, атрибутов. Изменение и создание инфо-кубов, BPS)