Senior Data Engineer / Разработчик хранилищ данных и эксперт по миграции

до 500 000 за месяц на руки

Опыт работы: 3–6 лет

Полная занятость

График: 5/2

Рабочие часы: по договорённости

Формат работы: удалённо

Риверстарт
IT-компания
У работодателя есть аккредитация

Напишите телефон, чтобы работодатель мог связаться с вами

Чтобы подтвердить, что вы не робот, введите текст с картинки:
captcha

Чем предстоит заниматься:

Разработка и миграция Хранилища данных (ХД):

  • Проектирование и реализация структур данных для корпоративного аналитического ХД.
  • Разработка сложной логики и алгоритмов обработки данных, включая ETL-процессы (Extract, Transform, Load).Оптимизация производительности ХД:настройка индексов, партиционирование данных, повышение отказоустойчивости и масштабируемости.
  • Миграция данных с Oracle Exadata на Greenplum: анализ текущей архитектуры, проектирование новой структуры, перенос данных и обеспечение ихцелостности.
  • Построение и оптимизация ХД на базе Greenplum:
  • Проектирование и реализация масштабируемого и отказоустойчивого хранилища данных на платформе Greenplum.
  • Оптимизация производительности Greenplum: настройка кластера, распределение данных, оптимизация запросов и индексов.
  • Обеспечение высокой доступности системы: настройка репликации и резервного копирования.

Реализация сложной логики и задач ядра ХД:

  • Разработка и реализация бизнес-логики для обработки данных в хранилище.
  • Оптимизация процессов загрузки, обработки и выгрузки данных.
  • Решение задач, связанных с обработкой больших объемов данных, включая распределенные вычисления и параллельную обработку.

Проектирование и реализация структур данных:

  • Проектирование моделей данных: схемы баз данных, таблицы, индексы, представления, хранимые процедуры.
  • Разработка алгоритмов загрузки данных, включая ETL-процессы и интеграцию с внешними системами.
  • Оптимизация структур данных для повышения производительности и уменьшения времени обработки запросов.

Документирование ХД:

  • Создание архитектурных диаграмм и описаний структур баз данных.
  • Документирование алгоритмов обработки данных, включая ETL-процессы и бизнес-логику.
  • Формирование документов для процесса миграции и эксплуатации ХД на новой платформе (Greenplum).

Участие в процессе приемки-передачи ХД:

  • Тестирование и приемка хранилища данных на новой платформе.
  • Обеспечение корректной передачи ХД в промышленную эксплуатацию, включая обучение сотрудников и передачу знаний.
  • Поддержка процесса перехода на новую платформу, устранение возможных проблем и ошибок.

Взаимодействие со смежными подразделениями:

  • Тесное взаимодействие с командами разработки, аналитики, эксплуатации и бизнес-подразделениями.
  • Участие в кросс-функциональных проектах, связанных с интеграцией хранилища данных с другими системами.
  • Консультирование и поддержка других команд по вопросам, связанным с ХД и его эксплуатацией.

Мы ожидаем от вас:

  • Оконченное высшее образование в технических специальностях (компьютерные науки, прикладная математика, информационные технологии и т.д.).
  • Практический опыт построения отказоустойчивых и масштабируемых аналитических ХД на базе Greenplum — от 3 лет.
  • Опыт построения промышленных ХД на базе PostgreSQL — от 3 лет.
  • Знание подходов к разработке, документированию и тестированию ХД: создание архитектурных диаграмм, документации, тестирование производительности.
  • Экспертное знание SQL и PL/pgSQL: написание сложных запросов, оптимизация их производительности, разработка хранимых процедур, триггеров и функций.
  • Практический опыт реализации ETL/ELT процессов: разработка и оптимизация процессов извлечения, трансформации и загрузки данных.
  • Опыт работы с Oracle DB: знание архитектуры Oracle, PL/SQL, оптимизация запросов, миграция данных и кода из Oracle в Greenplum (PostgreSQL).
  • Опыт миграции данных: перенос структур данных, данных, SQL и PL/SQL кода из Oracle в Greenplum (PostgreSQL).
  • Опыт работы с Big Data технологиями (желательно): Apache Hadoop, Apache Spark, ClickHouse.
  • Опыт работы с инструментами разработки и управления проектами (желательно): Jira, Confluence, Git, Jenkins.

Мы предлагаем:

  • Интересные задачи: Работа над масштабным проектом миграции данных с Oracle на Greenplum.
  • Профессиональный рост: Возможность развиваться в области аналитики данных и управления сложными проектами.
  • Комфортные условия: Удаленная работа.
  • Достойная зарплата: условия оффера обсуждаем с финальным кандидатом.

Ключевые навыки

  • Greenplum
  • ORACLE
  • ETL
  • SQL

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Вакансия опубликована 17 февраля 2025 в Москве

Похожие вакансии

Senior Data Engineer (построение Lakehouse с нуля)

от 200 000 ₽ за месяц, на руки
Опыт 3-6 лет
Можно удалённо
от 200 000 ₽ за месяц, на руки
Опыт 3-6 лет
Можно удалённо
Social Media Holding
Москва
Москва
Social Media Holding
Москва
Москва
Разработать архитектуру Lakehouse: Определять подходящие инструменты (Iceberg/Delta/Hudi). Проектировать схемы хранения и структуры таблиц под ACID-транзакционность.
Data Quality: Great Expectations/dbt или подобные инструменты. Опыт от 3–4 лет в Data Engineering или разработке высоконагруженных систем.

Senior SRE / Системный Администратор Linux

2 500 – 4 500 $ за месяц, на руки
Опыт более 6 лет
Можно удалённо
2 500 – 4 500 $ за месяц, на руки
Опыт более 6 лет
Можно удалённо
Rx2Go
Москва
Москва
Rx2Go
Москва
Москва
Документирование инфраструктурных изменение. – Мониторинг бекапов. – Мониторинг быстродействия. – Сопровождение web-сервисов и информационных систем компании. – Обеспечение бесперебойного функционирования корпоративных приложений. –
Уверенное понимание настроек MySQL. – Опыт репликации master-master, master-slave. Перманентные и инкрементальные бекапы в условиях кластерезации. – Уверенное понимание настроек...

Senior Golang разработчик нагруженной платформы сбора и анализа данных

Опыт более 6 лет
Можно удалённо
Опыт более 6 лет
Можно удалённо
CyberOK
Москва
Бутырская  и еще 1 
Москва
Бутырская  и еще 1 
CyberOK
Москва
Бутырская  и еще 1 
Москва
Бутырская  и еще 1 
Платформа CyberOK — комплексное решение для реализации проектов по модели. «безопасность как сервис»: наши продукты предотвращают, своевременно выявляют и эффективно снижают...
отлично знаете Go, опыт от 3 лет. — умеете работать с базами данных, хорошо знаете SQL. — умеете проектировать и разрабатывать API...

Python Scrapers Developer - Senior

от 3 000 $ за месяц, до вычета налогов
Опыт 3-6 лет
Можно удалённо
от 3 000 $ за месяц, до вычета налогов
Опыт 3-6 лет
Можно удалённо
ООО Серверные Технологии
Москва
Москва
Написание парсеров для эффективного сбора данных с основных социальных сетей. Автоматизация процесса сбора данных для повышения продуктивности. Разработка и оптимизация...
Глубокое понимание и практический опыт использования инструментов для скрапинга данных и веб-автоматизации. Опыт асинхронного программирования на Python.

Fullstack developer (Python)

300 000 – 350 000 ₽ за месяц, на руки
Опыт более 6 лет
Можно удалённо
300 000 – 350 000 ₽ за месяц, на руки
Опыт более 6 лет
Можно удалённо
Heroes
Москва
Москва
Heroes
Москва
Москва
Отличное владение каким-либо backend-стеком технологий (Python, Java, Go и т.п.). Достаточное :) владение react. Готовность освоить наш стек...

Руководитель группы разработки / Team Lead

Опыт 3-6 лет
Можно удалённо
Опыт 3-6 лет
Можно удалённо
Bioniq
Москва
Москва
Bioniq
Москва
Москва
разработка стратегии и внедрение новых технологий соответствующих бизнес-целям. - поддержка IT инфраструктуры с точки зрения стабильности, масштабируемости, безопасности. -
Наши пожелания к опыту: - Экспертиза в full-stack разработке (.net, c#, angular, postgre, linux bash, CI/CD и т.д...
Риверстарт
IT-компания
У работодателя есть аккредитация