3556
Вакансии Data Engineer Размещение вакансий и рекламы - @hr_rus Стоимость размещения - t.me/it_rab/11 Каналы вакансий других IT профессий - @it_rab
Стажер Data Engineer в Заявки Телекома [Big Data, МТС Веб Сервисы]
#гибрид #intern
Локация: Москва
Компания: МТС
🔹Чем предстоит заниматься
-Заниматься выгрузками, обработкой телеком-данных (трафик, активации, блокировки абонентов);
-Разрабатывать простые ETL-процессы;
-Выполнять ADHOC-задачи на PySpark;
-Готовить отчетность, обрабатывать таблицы на PySpark
🔹Что мы ожидаем
Базовое знание SQL и Python
Контакты: https://job.mts.ru/vacancy/557105965099389887
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Senior Big Data Engineer
#офис #senior
Локация: Москва
Компания: Lamoda
☑️Задачи
-Разрабатывать и развивать платформу данных Lamoda для e-commerce нового поколения;
-Проектировать и разрабатывать инструменты для создания ETL пайплайнов на Airflow для Spark, Hive, Trino;
-Работать со стриминговыми процессами (Spark Streaming, Kafka);
-Оптимизировать существующие пайплайны и джобы на Spark - мониторить с помощью Graphana и Prometheus нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
-Взаимодействовать с продуктовыми аналитиками, помогать оптимизировать сложные SQL запросы, формировать культуру работы с данными;
-Анализировать и внедрять инструменты инжиниринга данных.
☑️Мы ожидаем:
-Опыт работы со Spark, включая Structured Streaming;
-Уверенное владение Python и Scala/Java;
-Опыт работы с S3-подобными хранилищами (например, Yandex Cloud);
-Опыт работы с Docker и Kubernetes;
-Опыт написания юнит/интеграционных тестов;
-Знание SQL и опыт оптимизации запросов;
-Опыт работы с Kafka.
Контакты: https://job.lamoda.ru/vacancies/moskva/senior-big-data-engineer--477
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Как найти работу ДЕ этой осенью? 🤔
Нужно понимать кого ищут компании
В этой richtor/6EmF5HS9bBC">статье ты найдешь актуальный стек и топ вопросов от Техлида, который активно нанимает дата инженеров 📊
Он простым и понятным языком ответил на вопросы:
- Что тебя ждет на собесах?
- Какие технологии актуальны сейчас?
- Как залутать оффер на 300к+? 💰
Как построить отказоустойчивую архитектуру баз данных и избежать простоев бизнес-критичных сервисов?
Разберемся на вебинаре 15 октября.
В программе
🔹 Отказоустойчивость баз данных как основа непрерывности бизнес-процессов.
🔹 Архитектура отказоустойчивости: ключевые принципы и подводные камни.
🔹 Сравнение подходов: самостоятельное развертывание и управляемый сервис.
🔹 Livedemo. Испытаем отказоустойчивость на прочность.
Мы в реальном времени увидим, как кластер переживает сбой зоны доступности и переполнение диска. Разберем, как автоматизировать реакцию на инциденты: сбой зоны доступности, переполнение диска и восстановление из резервной копии.
Регистрируйтесь на вебинар «Базы данных без рисков и простоев: тестируем кластер СУБД в прямом эфире», чтобы принять участие в эксперименте вместе с нами.
Зарегистрироваться
Data Engineer DWH
#гибрид
Компания: Яндекс
☑️Какие задачи вас ждут
-Доработка внутренней платформы
Вы будете развивать внутреннюю платформу управления данными: автоматизировать рутинные задачи, такие как деплой простых решений и мониторинг, а также улучшать инструменты самообслуживания для аналитиков. Вам предстоит работать с Kafka, ClickHouse, Spark Streaming и внутренними инструментами разработки.
-Разработка и поддержка витрин данных
Вы будете разрабатывать, оптимизировать и поддерживать витрины данных, исходя из требований бизнеса и аналитиков. Это включает проектирование структуры данных, реализацию ETL-пайплайнов с использованием Python, Spark, Greenplum и Airflow, а также обеспечение их эффективной работы. Вам предстоит решать задачи разного уровня сложности — от простых трансформаций до обработки больших объёмов данных с нетривиальной бизнес-логикой.
-Оптимизация ETL-процессов
Вам предстоит оптимизировать ETL-процессы, чтобы повысить производительность и снизить затраты. Нужно проанализировать и устранить проблемы, такие как перекос данных в Greenplum, долгие джобы и неэффективные партиции, а также настроить распределение ресурсов в кластере.
-Мониторинг качества данных
Вы будете разрабатывать и поддерживать систему мониторинга качества данных, включая DQ-проверки и алерты на аномалии. Также вам предстоит анализировать и устранять сбои в поставке данных, такие как пробелы, дубли и некорректные значения. Кроме того, вы будете взаимодействовать с аналитиками и бизнес-пользователями, чтобы повысить прозрачность поставки данных.
☑️Мы ждем, что вы
-Пишете код на Python
-Работали с базами данных SQL и NoSQL
-Знакомы с брокерами сообщений (Kafka, RabbitMQ или чем-то подобным)
-Работали с инструментами Hadoop
Контакты: https://yandex.ru/jobs/vacancies/data-engineer-dwh-35662
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer
#удаленка #офис #senior
Компания: SM Lab
🔹Ваши задачи:
-Реализация ETL в Hadoop (с помощью Airflow);
-Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы;
-Батч и стримы с помощью PySpark и Kafka;
-Подготовка витрин для анализа (Hive + Spark+ SQL).
🔹Мы ждем от будущих коллег:
-Уверенное владение Python;
-Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka, Spark;
-Знание SQL;
-Опыт работы с реляционными базами данных (Oracle).
Наш стек: Python, Pyspark, Hive/hdfs, Airflow, ClickHouse, Kafka, Tableau.
🔹Условия работы:
-Формат работы на выбор: офис/гибрид/удаленка;
-Гибкий график (с 8 до 17, с 9 до 18 или с 10 до 19);
-Участие в проекте кафетерия льгот (ДМС, спорт, мобильная связь, обучение);
-Полугодовые премии;
-Корпоративная скидка 30% на продукцию сети наших магазинов (Спортмастер, O`STIN, FUNDAY);
-Внутреннее и внешнее обучение, конференции;
-BestBenefits – сервис персонализированных скидок и привилегий;
-Технику предоставляем.
Контакты: it-hr@sportmasterlab.net
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data engineer
#гибрид #intern
Локация: Москва
Компания: Сбер
☑️Обязанности
Разработка фронт-енд части проекта:
-Декомпозиция и анализ задач бэклога
-оценка трудоемкости задач
проектирование фронт-енд части решения, в том числе разработка детальной внутренней архитектуры
-разработка unit-тестов
-выполнение code review
-анализ и исправление ошибок и инцидентов в рамках 3-й линии поддержки.
☑️Требования
-Опыт Front-разработки от 3х лет
-знания современного JavaScript
-опыт разработки на TypeScript
-знания React, Redux, rtk или других стейт менеджеров.
-понимание css (пре/пост)процессоров и отличие от css-in-js.
-знание протокола http; понимание принципов работы браузеров и веб-серверов, понимание принципов REST, опыт работы с RESTful API
-опыт работы с системами сборки, навыки покрытия кода unit-тестами.
Контакты:https://rabota.sber.ru/search/4382768/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Teamlead Data Engineer
#гибрид #lead
Локация: Москва
Компания: S7 TechLab
☑️Чем предстоит заниматься
-Управление командой разработки в продуктах систем класса DWH
-Распределение задач, ответственность за результат команды
-Формирование архитектурных решений для решения нестандартных задач
-Разработка, поддержка и оптимизация ETL процессов для формирования слоя модели данных и витрин данных, а так же загрузки данных систем источников из корпоративной шины данных (kafka, s3)
-Настройка инструментов и фреймворков для обработки и анализа данных
-Взаимодействие с командой аналитиков по постановке задач и выявлению приоритетов, с командой разработки по технической реализации, со смежными командами (DBA, devops)
-Миграция с легаси решений на новые целевые
☑️Что мы ждем от кандидатов
-Экспертное знание SQL
-Владение одним из языков программирования (Python, Scala, Java)
-Понимание способов моделирования систем класса DWH и компонентов платформы данных
-Опыт работы с MPP системами (Vertica, Greenplum, Trino), глубокое понимание особенностей работы распределенных вычислений
-Оркестраторы ETL процессов (Airflow, Dagster)
-Понимание принципов проведения A/B-тестов для оценки эффективности изменений
-Опыт управления командой разработки от 2-3 человек
Контакты: https://www.s7.ru/ru/vacancy/teamlead-data-engineer-moskva/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Middle Data Engineer в MWS Data Slon [Big Data, МТС Веб Сервисы]
#офис #middle
Локация: Москва
Компания: МТС
🔹ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ
-Консультировать пользователей по работе их приложений при взаимодействии с инструментами (Data платформы: Hadoop, Trino, Iceberg)
-Проводить анализ и оптимизацию пользовательских запросов, траблшутинг
-Составлять лучшие практики по использованию инструментов MWS Data
-Разрабатывать ETL-процессы для нужд MWS Data
-Проводить исследования с новыми технологиями и инструментами DE
🔹Кого мы ищем
-Опыт работы DE от 2х лет
-Уверенные знания SQL
-Знание Python
-Опыт работа со Spark (желательно понимание работы под капотом)
-Опыт работы с git
-Будет плюсом опыт Java разработки
Контакты: https://job.mts.ru/vacancy/580306783591993596
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
📘 На Stepik вышел курс — «Data Engineering Fast-Track: Kafka → Airflow → Spark»
Хотите, чтобы данные для моделей и отчётов приходили регулярно и без сюрпризов? Этот курс поможет собрать продовый пайплайн от Kafka до Lakehouse под управлением Airflow.
🔍 Что вы получите:
• Spark Streaming: окна, watermark, event-time, дедупликация
• Batch-пересчёты (backfill), SLA и алерты свежести
• Kafka: ingest/CDC, ключи/партиции, Schema Registry/Kafka Connect
• Lakehouse: Parquet/Delta/Iceberg, борьба со small files (компакции)
• 200+ практических задач с автопроверкой и проект в портфолио
🎓 Сертификат по завершении — добавьте его в резюме или профиль LinkedIn
🚀 Начните сегодня и получите скидку 25% в течение 48 часов
👉 Пройти курс на Stepik
Реклама. Малышкин А.А. ИНН: 402571325199. Erid: 2VtzqvRrCTW
Data Engineer Баланс Продавцов
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Разработка ETL/ELT процессов с использованием различных хранилищ и технологий (важно также умение подружить их между собой)
-Интеграция данных из различных источников в различных режимах (потоки, батчи) в различные хранилища (от классических СУБД до хранилищ класса BigData)
-Разработка фреймворков и решений для автоматизации рутинных и ad-hoc задач
-Доформирование и декомпозицией задач, полученных от бизнеса (превращение задачи с формулировкой «мне надо/я хочу…» в ТЗ для инженера)
-Документирование разработок и решений команды
-Обеспечение поддержки решений команды
🔹Какой опыт и знания нужны
-Практический опыт работы с BigData-хранилищами (Hadoop и/или S3, аналитические базы данных (Clickhouse, Greenplum, Vertica))
-Практический опыт работы с движками распределенных вычислений (Spark и/или Trino)
-Опыт разработки на Python (приветствуется опыт разработки фреймворков, приложений, а не только скриптование), знание SQL на продвинутом уровне (не только простой DML, но и расширенный DDL)
-Практический опыт в оптимизации структур данных для их более эффективного хранения и обработки
-Знание Linux на уровне пользователя и умение пользоваться терминалом
-Знание и опыт применения различных моделей данных
-Опыт разработки базового DQ, и понимание принципов его построения
-Наличие опыта базового системного и дата-анализа
-Опыт в разработке архитектурных схем и проектировании решений
-Обязателен опыт написания технической документации по решениям, которые вы разрабатывали
Контакты: https://career.wb.ru/vacancies/20397?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data engineer
We are looking for a data engineer to develop an ambitious modern dataset search engine Dateno (dateno.io). Fully remote
Today the technology stack includes FastAPI, Airflow, MongoDB, Elasticsearch. We use Github + Discord for management.
Our technology stack more https://stackshare.io/dateno/dateno
Responsibilities:
Development and maintaining of Dateno data infrastructure
Preparing, adjusting and monitoring data pipelines
Resolving data quality issues
Requirements:
Experience with Python data stack 1+ year with real product;
Experience with building data pipelines with open source data stack;
Understating data quality management and monitoring;
Knowledge of the data observability issues and frameworks
Experience with REST API;
Knowledge of English at the level of reading technical documentation and basic communication;
Strong technical problem solving skills
Responsibility, ability to work independently.
Pros are:
Data engineering education: MS degree or equivalent industry experience
Experience or willingness to work with NoSQL databases such as MongoDB and Elasticsearch;
Experience and willingness to use modern database engines stack as DuckDB, Clickhouse and e.t.c.
Portfolio - github link with example projects/modules/code/contributions to open source projects;
Love for open data and open source is a definite plus.
Conditions: Full-time, salary based on the results of the interview.
The main thing - compliance with deadlines and the desire to make the world a better place.
Company: Dateno
Contact: @LvovaOV
Data Engineer
#удаленка #офис #middle #200k
Компания: Selecty
ЗП: от 240 000 ₽
🔹Что для нас важно:
-Опыт работы Data Engineer от 3-х лет
-Уверенные знания Python для пайплайнов/утилит.
-Отличные знания SQL
-Опыт с Airflow
🔹Комфортные условия и полезные бонусы от Selecty:
-Удаленный формат работы(возможен офис/гибрид при согласовании)
-Оформление по ТК РФ
-График: 5/2
-Непрерывное обучение и повышение квалификации
-Посещение профильных конференций
-ДМС
-Интepeсныe и нeтpивиaльныe зaдaчи.
Контакты: job@selecty.ru
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data engineer F&R
#удаленка #офис
Компания: Магнит
🔹Чем ты будешь заниматься
-Разрабатывать и оптимизировать Spark-приложения, которые обрабатывают десятки терабайт данных
-Проектировать и поддерживать пайплайны и их оркестрации (Airflow, CI/CD)
-Встраивать и масштабировать ML-модели прогнозирования спроса — от классических ML до современных ансамблей.
-Поддерживать продакшен-цикл моделей: обучение, валидация, деплой, мониторинг качества
-Создавать микросервисы и унифицированные решения, которые реально влияют на бизнес.
🔹Мы ожидаем
-Отличное знание Apache Spark: разработка PySpark-приложений, оптимизация вычислений, опыт работы с big data
-Опыт оркестрации сервисов с использованием Airflow
-Опыт построения CI-пайплайнов.
Контакты: https://magnit.tech/vacancies/2420
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Вакансия: Senior Data инженер
Локация/Гражданство: РФ
Оформление: СЗ/ИП
Компания: DataDev
ЗП: от 300 000 до 400 000 р.
Занятость: Полная/Проектная
Основные задачи:
Проектирование и развитие интеграционных решений с использованием современных BigData-инструментов.
Разработка и оптимизация ETL/ELT-процессов, включая настройку загрузки и преобразования данных.
Проектирование структур хранения данных, разработка ER-диаграмм и API для интеграций.
Оптимизация запросов и процессов обработки данных в распределенных системах.
Внедрение и совершенствование инженерных практик (CI/CD, код-ревью, автоматизация).
Работа с технической документацией и согласование архитектурных решений.
Технический стек:
Языки: Java, SQL (включая PL/SQL, PL/pgSQL)
Базы данных: Oracle, PostgreSQL
BigData-инструменты: Hadoop, HDFS
ETL-системы: Apache NiFi, Apache Airflow
Профиль кандидата:
Опыт от 4 лет в разработке и оптимизации КХД.
Глубокое понимание принципов построения распределенных систем хранения данных.
Практический опыт проектирования хранилищ данных с нуля.
Навыки оптимизации сложных запросов и работы с исполняемыми планами.
Знание банковских бизнес-процессов будет преимуществом.
Способность работать с архитектурными схемами.
Условия:
Работа над проектами построения/оптимизации корпоративных хранилищ данных.
Возможность определять технологическую стратегию проекта.
Гибкий формат работы и профессиональное развитие.
Писать: @irina_it_rec
Привет! На связи команда Cloud․ru
Хотим поделиться двумя новостями:
1️⃣ Сейчас у нас открыто много интересных позиций, на которых мы были бы рады видеть тебя. Если давно хотел попасть в команду профессионалов с амбициозными задачами — переходи на наш карьерный портал 🙂
2️⃣ Мы участвуем в рейтинге работодателей от HH․ru и очень хотим, чтобы будущие коллеги заметили нас 🥺
Если ты поддерживаешь человекоцентричный подход в HR и хочешь, чтобы таких компаний становилось больше — проголосуй за нас на лендинге рейтинга.
Вот как это можно сделать:
1. Нажми «Проголосовать»
2. Зайди в свой аккаунт HH
3. Заполни короткую анкету
4. Найди Cloud․ru в поиске
5. Поставь сердечко
Data Engineer Баланс Продавцов
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Разработка ETL/ELT процессов с использованием различных хранилищ и технологий (важно также умение подружить их между собой)
-Интеграция данных из различных источников в различных режимах (потоки, батчи) в различные хранилища (от классических СУБД до хранилищ класса BigData)
-Разработка фреймворков и решений для автоматизации рутинных и ad-hoc задач
-Доформирование и декомпозицией задач, полученных от бизнеса (превращение задачи с формулировкой «мне надо/я хочу…» в ТЗ для инженера)
-Документирование разработок и решений команды
-Обеспечение поддержки решений команды
🔹Какой опыт и знания нужны
-Практический опыт работы с BigData-хранилищами (Hadoop и/или S3, аналитические базы данных (Clickhouse, Greenplum, Vertica))
-Практический опыт работы с движками распределенных вычислений (Spark и/или Trino)
-Опыт разработки на Python (приветствуется опыт разработки фреймворков, приложений, а не только скриптование), знание SQL на продвинутом уровне (не только простой DML, но и расширенный DDL)
-Практический опыт в оптимизации структур данных для их более эффективного хранения и обработки
-Знание Linux на уровне пользователя и умение пользоваться терминалом
-Знание и опыт применения различных моделей данных
-Опыт разработки базового DQ, и понимание принципов его построения
-Наличие опыта базового системного и дата-анализа
-Опыт в разработке архитектурных схем и проектировании решений
-Обязателен опыт написания технической документации по решениям, которые вы разрабатывали
Контакты: https://career.wb.ru/vacancies/20397?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer Баланс Продавцов
#удаленка
Компания: Wildberries
🔹Что нужно делать
-Разработка ETL/ELT процессов с использованием различных хранилищ и технологий (важно также умение подружить их между собой)
-Интеграция данных из различных источников в различных режимах (потоки, батчи) в различные хранилища (от классических СУБД до хранилищ класса BigData)
-Разработка фреймворков и решений для автоматизации рутинных и ad-hoc задач
-Доформирование и декомпозицией задач, полученных от бизнеса (превращение задачи с формулировкой «мне надо/я хочу…» в ТЗ для инженера)
-Документирование разработок и решений команды
-Обеспечение поддержки решений команды
🔹Какой опыт и знания нужны
-Практический опыт работы с BigData-хранилищами (Hadoop и/или S3, аналитические базы данных (Clickhouse, Greenplum, Vertica))
-Практический опыт работы с движками распределенных вычислений (Spark и/или Trino)
-Опыт разработки на Python (приветствуется опыт разработки фреймворков, приложений, а не только скриптование), знание SQL на продвинутом уровне (не только простой DML, но и расширенный DDL)
-Практический опыт в оптимизации структур данных для их более эффективного хранения и обработки
-Знание Linux на уровне пользователя и умение пользоваться терминалом
-Знание и опыт применения различных моделей данных
-Опыт разработки базового DQ, и понимание принципов его построения
-Наличие опыта базового системного и дата-анализа
-Опыт в разработке архитектурных схем и проектировании решений
-Обязателен опыт написания технической документации по решениям, которые вы разрабатывали
Контакты: https://career.wb.ru/vacancies/20397?
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data engineer F&R
#удаленка #офис
Компания: Магнит
🔹Чем ты будешь заниматься
-Разрабатывать и оптимизировать Spark-приложения, которые обрабатывают десятки терабайт данных
-Проектировать и поддерживать пайплайны и их оркестрации (Airflow, CI/CD)
-Встраивать и масштабировать ML-модели прогнозирования спроса — от классических ML до современных ансамблей.
-Поддерживать продакшен-цикл моделей: обучение, валидация, деплой, мониторинг качества
-Создавать микросервисы и унифицированные решения, которые реально влияют на бизнес.
🔹Мы ожидаем
-Отличное знание Apache Spark: разработка PySpark-приложений, оптимизация вычислений, опыт работы с big data
-Опыт оркестрации сервисов с использованием Airflow
-Опыт построения CI-пайплайнов.
Контакты: https://magnit.tech/vacancies/2420
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Senior Data Engineer
#офис #senior
Локация: Москва
Компания: Сбер
🔹Обязанности
-разработка ETL/ELT пайплайнов для сбора и предобработки web-scale данных (видео, аудио, текст, метаданные)
-создание инфраструктуры для генерации синтетических инструкций для редактирования изображений/видео и синтетических описаний для изображений/видео/аудио
-обучение и внедрение VLM - based фильтров (e.g., на основе Qwen VL и пр.) для автоматической оценки качества, релевантности и безопасности данных
-построение системы дедупликации, кластеризации и балансировки мультимодальных датасетов
-оптимизация хранения данных на удаленных хранилищах и потоковой передачи данных для ускорения обучения
-масштабирование пайплайнов на распределенных кластерах.
🔹Требования
-экспертиза в построении data pipelines (Python, SQL)
-опыт обработки мультимодальных данных (особенно видео/аудио), кодеки, фреймворки (FFmpeg, librosa)
-уверенное применение CV/VLM для фильтрации данных (PyTorch, Hugging Face Transformers)
-опыт работы с распределенными вычислениями (Spark/Ray/Dask) и облачными хранилищами (S3, GCS)
-знание практик data versioning (DVC) и управления метаданными
-навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.
Контакты: https://rabota.sber.ru/search/4460109/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Ищешь новую работу в IT?
Уже есть опыт и крутые проекты, но получаешь только отказы?
Теряешься при вопросах про зарплату и не получаешь оффер, который тебя устроит?
Мы сможем тебе помочь!
➡️ Составим резюме, которое продает
➡️ Дадим стратегию откликов, чтобы они приносили собесы
➡️ Научим рассказывать о себе и дадим ответы на 100 самых частых вопросов на собеседованиях
➡️ Расскажем, как вести переговоры об оффере
Наша команда помогла уже более 100 специалистам получить оффер мечты за счет нашего подхода и грамотной упаковки опыта
За 5 дней получишь первые собеседования: создадим тебе новое резюме, обучим стратегии и подготовим к собеседованиям
Записывайся на сайте 👉 kondrrrashov-career.ru
Реклама. Кондрашов Д.В. ИНН: 772461008841. Erid: 2VtzqvYDBsj
Как выделиться при отклике на вакансию?
📱Больше полезных видео о поиске работы смотри в канале "Как найти работу в IT | Советы от рекрутера"
Подписаться
#реклама 16+
О рекламодателе
Data Инженер, Ozon Fresh
#удаленка
Компания: OZON
☑️Вам предстоит:
-Писать алгоритмы обработки больших данных (несколько сотен миллионов строк в таблице).
-Исследовать и подготавливать данные.
-Оптимизировать текущие вычисления.
-Заниматься продуктивизацией алгоритмов и их сопровождением.
-Делать ревью кода и анализ инцидентов.
☑️Мы ожидаем:
-Наличие опыта в роли Data engineer или Data analyst от 2х лет.
-Высшее математическое или техническое образование.
-Отличное владение Python, PySpark, SQL
-Знание устройства Hadoop, HDFS, Hive.
-Опыт работы с системами контроля версий (Git).
Контакты: https://ozon.tech/vacancies/124383277/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data инженер (СБ1.Финансовые сервисы)
#офис
Локация: Москва
Компания: Сбер
🔹Чем предстоит заниматься:
-детализация и формализация дата-требований совместно с Бизнесом/DS; описание источников, атрибутов и data-contracts
-проектирование и поддержка хранилищ данных (DWH/Lake, SCD, DataMart, Feature Store)
-разработка и сопровождение ETL/ELT-процессов (batch, streaming)
-обеспечение качества данных и соблюдение SLA
-реализация расчетных скриптов, сервисов и интеграция, публикация витрин/фич для обмена данными с внутренними и внешними системами
-поддержка DS-цикла, реализация контура обратной связи
-подготовка регламентных и ad-hoc отчётов/выгрузок; дашборды по бизнес-метрикам
-документирование решений, контроль доступов .
🔹Мы ожидаем:
-опыт работы scala-разработчиком/дата-инженером от 3 лет
-знание SQL: понимание планов запроса, внутренней работы SQL-запросов
опыт работы с Hadoop, Apache Spark и Python
-понимание концепции хранилищ данных (DWH, Data Lake): слои, витрины, агрегаты, Data Quality, полная-инкрементальная загрузки
-знание типов медленно меняющихся измерений
-опыт написания тестов (unit, integration, acceptance)
-опыт работы с git и прочими системами контроля версий
-умение работать в команде
-готовность обучаться новым технологиям
-базовое знание JIRA, Confluence
-понимание основных принципов RESTful API
Контакты: https://rabota.sber.ru/search/4451793/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer
#удаленка
Компания: Билайн
🔹Из основных задач:
-Анализ требований к витринам данных.
-Поиск и исследование источников данных для последующей интеграции.
-Оценка пригодности, качества исходных данных.
-Разработка ETL процессов на Spark.
-Оркестрация ETL процессов в Airflow.
-Проектирование баз данных.
-Создание конвейеров данных NiFi.
-Вывод отчётности в Qlick Sense.
🔹Описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.
-Любит работать в команде и умеет это делать.
-Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции).
-Работал с Hive, PostgreSQL.
-Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество).
-Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron.
-Может что-то написать на Python – в объеме чтобы пользоваться AirFlow или еще круче.
-Умеет использовать Инструменты, которые позволяют создавать интерактивные отчеты, дашборды и визуализации на основе данных - Power BI, Qlik.
-Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink.
-Интересуется Flink, пробовал применять его в проектах.
-Понимает принципы работы реляционных СУБД и HDFS.
-Понимает подходы к работе с качеством данных.
-Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.
Контакты: https://job.beeline.ru/vacancies/968e3bfe-8a1c-4897-aca4-6d4ad7ec7b5c
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer DWH
#гибрид
Компания: Яндекс
☑️Какие задачи вас ждут
-Доработка внутренней платформы
Вы будете развивать внутреннюю платформу управления данными: автоматизировать рутинные задачи, такие как деплой простых решений и мониторинг, а также улучшать инструменты самообслуживания для аналитиков. Вам предстоит работать с Kafka, ClickHouse, Spark Streaming и внутренними инструментами разработки.
-Разработка и поддержка витрин данных
Вы будете разрабатывать, оптимизировать и поддерживать витрины данных, исходя из требований бизнеса и аналитиков. Это включает проектирование структуры данных, реализацию ETL-пайплайнов с использованием Python, Spark, Greenplum и Airflow, а также обеспечение их эффективной работы. Вам предстоит решать задачи разного уровня сложности — от простых трансформаций до обработки больших объёмов данных с нетривиальной бизнес-логикой.
-Оптимизация ETL-процессов
Вам предстоит оптимизировать ETL-процессы, чтобы повысить производительность и снизить затраты. Нужно проанализировать и устранить проблемы, такие как перекос данных в Greenplum, долгие джобы и неэффективные партиции, а также настроить распределение ресурсов в кластере.
-Мониторинг качества данных
Вы будете разрабатывать и поддерживать систему мониторинга качества данных, включая DQ-проверки и алерты на аномалии. Также вам предстоит анализировать и устранять сбои в поставке данных, такие как пробелы, дубли и некорректные значения. Кроме того, вы будете взаимодействовать с аналитиками и бизнес-пользователями, чтобы повысить прозрачность поставки данных.
☑️Мы ждем, что вы
-Пишете код на Python
-Работали с базами данных SQL и NoSQL
-Знакомы с брокерами сообщений (Kafka, RabbitMQ или чем-то подобным)
-Работали с инструментами Hadoop
Контакты: https://yandex.ru/jobs/vacancies/data-engineer-dwh-35662
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer в команду SMT
#удаленка
Компания: 2ГИС
🔹Что предстоит делать:
-Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
-Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse);
-Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
-Строить отказоустойчивые пайплайны обработки и доставки данных;
-Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных;
-Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP);
-Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI).
🔹Мы будем рады специалисту, который:
-Имеет 5+ лет опыта на позиции Data Engineer / Big Data Engineer;
-Отлично понимает, как работает Spark и умеет его готовить (RDD/DataFrames, Partitioning, Tuning);
-Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий, масштабируемость, latency);
-Работал с ClickHouse и знает, как «выжать» из него максимум;
-Знаком с построением дата-архитектуры (DWH, OLAP, ETL/ELT, чанки, шардирование, SLA);
-Умеет проектировать пайплайны под отказоустойчивость, traceability и продакшеновую эксплуатацию;
-Пишет на одном из языков программирования, например, Scala
-Знает SQL и может читать логику отчетов без боли;
-Понимает, как работать с облачными хранилищами и строить отказоустойчивую delivery (AWS S3 - плюс).
Контакты: https://job.2gis.ru/software/66514/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer
#офис
Локация: Москва
Компания: СБер
☑️Обязанности
-Развивать платформу как self-service для аналитиков — разрабатывать новые сервисы и фичи для удобства пользователей.
-Участвовать в проектировании и модернизации инфраструктуры.
-Поддерживать существующий функционал.
-Оптимизировать и автоматизировать процессы — мы не делаем массовое ручное клепание витрин и одинаковых ETL.
-Генерировать идеи и улучшать платформу — нам важно мнение каждого инженера.
☑️Требования
-практический опыт работы с Python от 2-х лет, базовый опыт с GoLang приветствуется
опыт оптимизации SQL-запросов, понимание внутреннего устройства БД
-опыт работы с большими языковыми моделями (LLM) приветствуется
-базовый опыт администрирования БД
-уверенное владение Unix-подобными системами и знание базовых команд
-базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform)
-опыт работы с облачными платформами управления данными (SberCloud / Huawei Cloud)
-знание стека Big Data, в частности Kafka и Spark
-опыт участия в проектах по созданию DWH, Data Lake, Data Management Platforms и построению высоконагруженных систем будет плюсом
Контакты: https://rabota.sber.ru/search/4428560/
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Инженер данных, senior
#удаленка #офис #senior
Компания: Контур
🔹Ваши задачи
-Разработка и поддержка ETL-процессов. Проработка интеграций с источниками данных: базы данных, API.
-Участие в разработке и проектировании хранилища данных, построение моделей данных.
-Построение витрин данных для аналитиков/бизнес-пользователей «под ключ» — от снятия ТЗ до проектирования и разработки готовой витрины.
-Разработка и доработка инструментов по работе с данными, написание библиотек, плагинов для фреймворков по работе с данными.
-Оптимизация производительности процессов по работе с данными.
-Обеспечение качества данных: проработка требований к качеству данных совместно с бизнес-заказчиками, разработка тестов и проверок для данных.
🔹Ожидания от кандидата
-Отличные знания SQL, опыт написания опыт оптимизации сложных запросов, умение работать с большими массивами данных. Понимание партиционирования и работы индексов.
-Уверенные знания Python, ООП, опыт написания плагинов\библиотек на Python.
-Практический опыт работы с API, понимание основ микросервисной архитектуры.
-Опыт работы с Clickhouse, Greenplum, понимание работы MPP-СУБД.
-Опыт разработки ETL-процессов, опыт работы с Airflow, Spark, NiFi.
-Понимание моделей хранения данных, знание основ проектирования DWH.
-Понимание основных структур данных и алгоритмов.
Контакты: https://kontur.ru/career/vacancies/5192
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Data Engineer (Риск модели МБ)
#удаленка
Компания: Т1
🔹Чем предстоит заниматься:
-Проектирование и разработка витрин данных, загрузка и обработка данных из различных источников с помощью Spark и вывод в ПРОД с помощью Airflow.
-Проектирование и разработка процесса загрузки данных.
-Оптимизация процессов сборки витрин.
🔹Что для нас важно:
-Профильное высшее образование (информатика // математика + информатика // математика)
-Опыт работы от трех лет
-Отличное знание SQL
-Хорошее знание Python
-Самостоятельность в работе
-Готовность и умение коммуницировать с заказчиками
-Самообучаемость, усвоение большого пласта новой информации в короткий срок.
Контакты: https://career.t1.ru/vacancies/vacancy-detail?id=125178693
🔥 Подписаться на наши каналы / @best_itjob / @it_rab