Консультации, ГПХ
Москва
DevOps / DBA / DWH
Консультирую и помогаю в ролях:
* DBA (PostgreSQL, ClickHouse, Greenplum, Oracle, MySQL/MariaDB)
* Инженер DevOps / SRE
* Системный разработчик (C/C++, Golang)
* Backend разработчик (Java, php, nodejs, Golang)
* Системный архитектор
* Архитектор решений
* Архитектор DWH / BI
Из последних проектов.
=========
Финтех, большие динамические объемы (10+ тб) в реляционных БД (PostgreSQL 14-17, MariaDB 10.x) и аналитические в ClickHouse 24/25
Роль в проекте
DevOps, DBA
- организация отказоустойчивой расширяемой системы (репликации, шардирование)
- организация бэкапирования полного, инкрементального, уровня PITR
- поиск узких мест, сбор статистики по запросам, транзакциям, блокировкам
- гибкий переезд из MariaDB в PostgreSQL
- обеспечение работы и отказоустойчивости кластеров Trino, ClickHouse
Стэк: CentOS/Oracle Linux, PostgreSQL 14-17, MariaDB 10.x, ClickHouse 24/25, Trino, VictoriaMetrics, VictoriaLogs, Grafana, FluentBit
=========
Система мониторинга, аудита, трейса, логирования
Роль в проекте
Системный архитектор, Архитектор DWH, DevOps, DBA
как Системный архитектор и DevOps:
- участие в исследованиях имеющихся инструментов, выбор соответствующих;
- взаимодействие с командами DevOps, системной разработки, системного администрирования;
- проработка и внедрение оптимальных CI/CD механизмов.
- замена Prometheus на VictoriaMetrics, т.к. первый не справлялся с нагрузкой на большом кластере;
- тюнинг Nginx через его lua-механизм для более оптимальной работы vmselect/vmstorage;
- замена хранилищ логов, трейсов и аудита с Solr/Elasticsearch на VLogs (компонент VictoriaMetrics);
- замена logstash, Grafana Loki на fluentd / fluentbit / vlogs;
- отладка и тюнинг Zabbix на старых подсистемах, интеграция с VictoriaMetrics, Grafana;
- разработка Ansible скриптов/ролей, системных сервисов на GoLang/Python/C++.
как Архитектор DWH и DBA:
- проработка хранилищ данных и слоев DWH (данные, ядро, витрины);
- внедрение необходимых процессов ETL / ELT;
- наладка, тюнинг, оптимизация данных кластера PostgreSQL 12-17, Patroni, логическая репликация;
- внедрение Apache Hadoop + Hive, ClickHouse в слой данных;
- интеграция кластера PostgreSQL с Apache Hive и ClickHouse.
Стек:
PostgreSQL, Docker, Java, Kubernetes, Goland, Prometheus, Hive, ClickHouse, Hadoop, Zabbix, Ansible, ELK, C/C++, Logstash, EFK, VictoriaMetrics, Fluentd, Grafana Loki, fluentbit, VMLogs
=========
Аудит, выявление узких мест СХД (NAS, SAN)
Роль в проекте
Системный архитектор / Системный разработчик
- проведен кодревью более 15 сервисов на C/C++;
- собраны стенды для ФТ и НТ;
- проработаны и разработаны сценарии тестирования;
- разработаны прототипы асинхронного взаимодействия между сервисами (MQ NATS и Redpanda (поддержка Kafka API))
Стек:
Linux, NATS, C/C++, LVM, SAN, redpanda (замена Apache Kafka), СХД, NAS, OpenZFS, multipath, iscsi