Чем предстоит заниматься:
Разработка и миграция Хранилища данных (ХД):
- Проектирование и реализация структур данных для корпоративного аналитического ХД.
- Разработка сложной логики и алгоритмов обработки данных, включая ETL-процессы (Extract, Transform, Load).Оптимизация производительности ХД:настройка индексов, партиционирование данных, повышение отказоустойчивости и масштабируемости.
- Миграция данных с Oracle Exadata на Greenplum: анализ текущей архитектуры, проектирование новой структуры, перенос данных и обеспечение ихцелостности.
- Построение и оптимизация ХД на базе Greenplum:
- Проектирование и реализация масштабируемого и отказоустойчивого хранилища данных на платформе Greenplum.
- Оптимизация производительности Greenplum: настройка кластера, распределение данных, оптимизация запросов и индексов.
- Обеспечение высокой доступности системы: настройка репликации и резервного копирования.
Реализация сложной логики и задач ядра ХД:
- Разработка и реализация бизнес-логики для обработки данных в хранилище.
- Оптимизация процессов загрузки, обработки и выгрузки данных.
- Решение задач, связанных с обработкой больших объемов данных, включая распределенные вычисления и параллельную обработку.
Проектирование и реализация структур данных:
- Проектирование моделей данных: схемы баз данных, таблицы, индексы, представления, хранимые процедуры.
- Разработка алгоритмов загрузки данных, включая ETL-процессы и интеграцию с внешними системами.
- Оптимизация структур данных для повышения производительности и уменьшения времени обработки запросов.
Документирование ХД:
- Создание архитектурных диаграмм и описаний структур баз данных.
- Документирование алгоритмов обработки данных, включая ETL-процессы и бизнес-логику.
- Формирование документов для процесса миграции и эксплуатации ХД на новой платформе (Greenplum).
Участие в процессе приемки-передачи ХД:
- Тестирование и приемка хранилища данных на новой платформе.
- Обеспечение корректной передачи ХД в промышленную эксплуатацию, включая обучение сотрудников и передачу знаний.
- Поддержка процесса перехода на новую платформу, устранение возможных проблем и ошибок.
Взаимодействие со смежными подразделениями:
- Тесное взаимодействие с командами разработки, аналитики, эксплуатации и бизнес-подразделениями.
- Участие в кросс-функциональных проектах, связанных с интеграцией хранилища данных с другими системами.
- Консультирование и поддержка других команд по вопросам, связанным с ХД и его эксплуатацией.
Мы ожидаем от вас:
- Оконченное высшее образование в технических специальностях (компьютерные науки, прикладная математика, информационные технологии и т.д.).
- Практический опыт построения отказоустойчивых и масштабируемых аналитических ХД на базе Greenplum — от 3 лет.
- Опыт построения промышленных ХД на базе PostgreSQL — от 3 лет.
- Знание подходов к разработке, документированию и тестированию ХД: создание архитектурных диаграмм, документации, тестирование производительности.
- Экспертное знание SQL и PL/pgSQL: написание сложных запросов, оптимизация их производительности, разработка хранимых процедур, триггеров и функций.
- Практический опыт реализации ETL/ELT процессов: разработка и оптимизация процессов извлечения, трансформации и загрузки данных.
- Опыт работы с Oracle DB: знание архитектуры Oracle, PL/SQL, оптимизация запросов, миграция данных и кода из Oracle в Greenplum (PostgreSQL).
- Опыт миграции данных: перенос структур данных, данных, SQL и PL/SQL кода из Oracle в Greenplum (PostgreSQL).
- Опыт работы с Big Data технологиями (желательно): Apache Hadoop, Apache Spark, ClickHouse.
- Опыт работы с инструментами разработки и управления проектами (желательно): Jira, Confluence, Git, Jenkins.
Мы предлагаем:
- Интересные задачи: Работа над масштабным проектом миграции данных с Oracle на Greenplum.
- Профессиональный рост: Возможность развиваться в области аналитики данных и управления сложными проектами.
- Комфортные условия: Удаленная работа.
- Достойная зарплата: условия оффера обсуждаем с финальным кандидатом.
Ключевые навыки
- Greenplum
- ORACLE
- ETL
- SQL
Задайте вопрос работодателю
Он получит его с откликом на вакансию
Вакансия опубликована 17 февраля 2025 в Москве