Senior Data Engineer / Разработчик хранилищ данных и эксперт по миграции

до 500 000 за месяц на руки

Опыт работы: 3–6 лет

Полная занятость

График: 5/2

Рабочие часы: по договорённости

Формат работы: удалённо

Риверстарт
IT-компания
У работодателя есть аккредитация

Напишите телефон, чтобы работодатель мог связаться с вами

Чтобы подтвердить, что вы не робот, введите текст с картинки:
captcha

Чем предстоит заниматься:

Разработка и миграция Хранилища данных (ХД):

  • Проектирование и реализация структур данных для корпоративного аналитического ХД.
  • Разработка сложной логики и алгоритмов обработки данных, включая ETL-процессы (Extract, Transform, Load).Оптимизация производительности ХД:настройка индексов, партиционирование данных, повышение отказоустойчивости и масштабируемости.
  • Миграция данных с Oracle Exadata на Greenplum: анализ текущей архитектуры, проектирование новой структуры, перенос данных и обеспечение ихцелостности.
  • Построение и оптимизация ХД на базе Greenplum:
  • Проектирование и реализация масштабируемого и отказоустойчивого хранилища данных на платформе Greenplum.
  • Оптимизация производительности Greenplum: настройка кластера, распределение данных, оптимизация запросов и индексов.
  • Обеспечение высокой доступности системы: настройка репликации и резервного копирования.

Реализация сложной логики и задач ядра ХД:

  • Разработка и реализация бизнес-логики для обработки данных в хранилище.
  • Оптимизация процессов загрузки, обработки и выгрузки данных.
  • Решение задач, связанных с обработкой больших объемов данных, включая распределенные вычисления и параллельную обработку.

Проектирование и реализация структур данных:

  • Проектирование моделей данных: схемы баз данных, таблицы, индексы, представления, хранимые процедуры.
  • Разработка алгоритмов загрузки данных, включая ETL-процессы и интеграцию с внешними системами.
  • Оптимизация структур данных для повышения производительности и уменьшения времени обработки запросов.

Документирование ХД:

  • Создание архитектурных диаграмм и описаний структур баз данных.
  • Документирование алгоритмов обработки данных, включая ETL-процессы и бизнес-логику.
  • Формирование документов для процесса миграции и эксплуатации ХД на новой платформе (Greenplum).

Участие в процессе приемки-передачи ХД:

  • Тестирование и приемка хранилища данных на новой платформе.
  • Обеспечение корректной передачи ХД в промышленную эксплуатацию, включая обучение сотрудников и передачу знаний.
  • Поддержка процесса перехода на новую платформу, устранение возможных проблем и ошибок.

Взаимодействие со смежными подразделениями:

  • Тесное взаимодействие с командами разработки, аналитики, эксплуатации и бизнес-подразделениями.
  • Участие в кросс-функциональных проектах, связанных с интеграцией хранилища данных с другими системами.
  • Консультирование и поддержка других команд по вопросам, связанным с ХД и его эксплуатацией.

Мы ожидаем от вас:

  • Оконченное высшее образование в технических специальностях (компьютерные науки, прикладная математика, информационные технологии и т.д.).
  • Практический опыт построения отказоустойчивых и масштабируемых аналитических ХД на базе Greenplum — от 3 лет.
  • Опыт построения промышленных ХД на базе PostgreSQL — от 3 лет.
  • Знание подходов к разработке, документированию и тестированию ХД: создание архитектурных диаграмм, документации, тестирование производительности.
  • Экспертное знание SQL и PL/pgSQL: написание сложных запросов, оптимизация их производительности, разработка хранимых процедур, триггеров и функций.
  • Практический опыт реализации ETL/ELT процессов: разработка и оптимизация процессов извлечения, трансформации и загрузки данных.
  • Опыт работы с Oracle DB: знание архитектуры Oracle, PL/SQL, оптимизация запросов, миграция данных и кода из Oracle в Greenplum (PostgreSQL).
  • Опыт миграции данных: перенос структур данных, данных, SQL и PL/SQL кода из Oracle в Greenplum (PostgreSQL).
  • Опыт работы с Big Data технологиями (желательно): Apache Hadoop, Apache Spark, ClickHouse.
  • Опыт работы с инструментами разработки и управления проектами (желательно): Jira, Confluence, Git, Jenkins.

Мы предлагаем:

  • Интересные задачи: Работа над масштабным проектом миграции данных с Oracle на Greenplum.
  • Профессиональный рост: Возможность развиваться в области аналитики данных и управления сложными проектами.
  • Комфортные условия: Удаленная работа.
  • Достойная зарплата: условия оффера обсуждаем с финальным кандидатом.

Ключевые навыки

  • Greenplum
  • ORACLE
  • ETL
  • SQL

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Вакансия опубликована 20 февраля 2025 в Москве

Похожие вакансии

Data Engineer

Опыт 3-6 лет
Можно удалённо
Опыт 3-6 лет
Можно удалённо
ADLEADPRO PTE. LTD
Москва
Москва
ADLEADPRO PTE. LTD
Москва
Москва
Manage data in DWH ClickHouse: loading, cleaning, and deduplicating data. Optimize SQL queries to enhance performance and data processing speed.
Deep understanding of ClickHouse: partitioning, indexes, aggregated tables, replication, and SQL query optimization. Strong SQL skills (ClickHouse SQL, CTE, window...

Python Scrapers Developer - Senior

от 3 000 $ за месяц, до вычета налогов
Опыт 3-6 лет
Можно удалённо
от 3 000 $ за месяц, до вычета налогов
Опыт 3-6 лет
Можно удалённо
ООО Серверные Технологии
Москва
Москва
Написание скрэперов для эффективного сбора данных. Реверс-инжиниринг мобильных приложений и работа с API для парсинга данных. Автоматизация процесса регулярного...
Опыт реверс-инжиниринга мобильных приложений и работы с API для парсинга данных. Умение работать с Mitmproxy или Charles или HttpToolkit.

Fullstack developer (Python)

300 000 – 350 000 ₽ за месяц, на руки
Опыт более 6 лет
Можно удалённо
300 000 – 350 000 ₽ за месяц, на руки
Опыт более 6 лет
Можно удалённо
Heroes
Москва
Москва
Heroes
Москва
Москва
Отличное владение каким-либо backend-стеком технологий (Python, Java, Go и т.п.). Достаточное :) владение react. Готовность освоить наш стек...

Руководитель группы разработки / Team Lead

Опыт 3-6 лет
Можно удалённо
Опыт 3-6 лет
Можно удалённо
Bioniq
Москва
Москва
Bioniq
Москва
Москва
разработка стратегии и внедрение новых технологий соответствующих бизнес-целям. - поддержка IT инфраструктуры с точки зрения стабильности, масштабируемости, безопасности. -
Наши пожелания к опыту: - Экспертиза в full-stack разработке (.net, c#, angular, postgre, linux bash, CI/CD и т.д...

DevOps-инженер

от 220 000 ₽ за месяц, на руки
Опыт 3-6 лет
Можно удалённо
от 220 000 ₽ за месяц, на руки
Опыт 3-6 лет
Можно удалённо
ООО Тех Солюшен
Москва
Москва
ООО Тех Солюшен
Москва
Москва
Работая с нами, вы получаете возможность участвовать в осуществлении масштабной разработки сервисов, продуктов и платформ для наших клиентов в различных...
Наши предложения и преимущества: Опыт работы от 3+ лет. Docker - опыт от 2х лет. K8S - опыт...

DevOps Engineer

Опыт 3-6 лет
Можно удалённо
Опыт 3-6 лет
Можно удалённо
ADLEADPRO PTE. LTD
Москва
Москва
ADLEADPRO PTE. LTD
Москва
Москва
Deploy, maintain, and scale product infrastructure with a focus on process automation. Lead the migration of deployment processes to Kubernetes.
Experience with Kubernetes and Helm charts. Knowledge and hands-on experience with Apache Kafka and API Gateway (Kusk).
Риверстарт
IT-компания
У работодателя есть аккредитация