Инжиниринг Данных

09 April 2024 08:06

Больше конверсий для рекламодателей — больше доход издателей

В Yandex Mobile Ads SDK 7 появились новые возможности для монетизации приложений. Во-первых, тестируется новый рекламный формат «Лента» — это десятки объявлений в одном месте. Пока формат доступен в бета-режиме для приложений на Android.

Во-вторых, для полноэкранных форматов добавили новые механики:

🔸 AdPod — показ нескольких объявлений в одном рекламном месте.
🔸 EndCard — интерактивный экран-пэкшот в конце объявления.
🔸 SKOverlay (для iOS) — рекламируемое приложение можно установить прямо из объявления.

Для Android добавили дебаг панель, это будет полезно для отладки рекламы в приложении.

Инжиниринг Данных

08 April 2024 16:58

Yandex Cloud запустила программу сертификации для специалистов по облачным технологиям. Сертификат Yandex Cloud Certified Engineer Associate подтверждает знания и навыки в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг. Онлайн-тестирование состоит из 65 вопросов. Для получения сертификата нужно набрать 70% или более правильных ответов. Экзамен соответствует международным стандартам и проводится с применением ИИ для прокторинга.

Первый экзамен пройдет 11 апреля – записаться можно по ссылке.

Инжиниринг Данных

06 April 2024 07:02

Каждый год VC FirstMark публикует список инструментов для работы с данными из разных категорий.

Каждый год список растет.

Из интересного в отчете они написали, что хайп на Modern Data Stack (то есть решения для традиционной аналитики BigData, Data Engineering, BI и тп) прошел, и все сейчас делают AI. Что в общем-то очевидно.

Вопрос, что делать? Тема уже на раз обсуждалось, и как обычно ответ простой - надо быть ближе к “деньгами”, то есть приносить ценность организации, клиентам, коллегам, учиться (grow mindset) и особенно искать точки соприкосновения между BI/Data Engineering и GenAI и смотреть куда все движется.

На вопрос, что сейчас делают компании с GenAI у меня есть ответ, сам уже видел в нескольких больших S&P500 компаниях - фокус на эффективность, автоматизацию, повышения качества и безопасности. Пока еще на стадии PoC.

Конкретно для инженеров пока ограничивается использованием Co-Pilot как помошником и повышения эффективности.

Еще несколько лет мы точно будем не заменимы🚣 (не претендую на экспертное мнение, если чЕ🍟)

А как вам кажется?

https://mattturck.com/mad2024/

Инжиниринг Данных

05 April 2024 08:59

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее Fast Track мероприятия:

• 13–14 апреля — Fast Track для дата-аналитиков со знанием SQL и Python, офер за 2 дня в команду Фудтеха.

Зарегистрироваться

Инжиниринг Данных

04 April 2024 16:37

Оффер за 2 дня — легко!

🙂 Регистрируйся на Weekend Offer Лиги Ставок для продуктовых аналитиков.

20 и 21 апреля мы проведем технические собеседования и познакомимся с командами. Все этапы будут проходить в zoom. Основная часть — в субботу, а знакомство с продактами — в воскресенье. Если случится метч, ты получишь оффер до конца дня!

Как у нас все устроено? Переходи по ссылке 😍

Мы ждем тебя в команде!

Инжиниринг Данных

03 April 2024 16:19

Обновление платформы YTsaurus

В новой версии YTsaurus Server 23.2.0 оптимизировали подсистему обработки данных, добавили OAuth‑аутентификацию и расширили возможности языка запросов динамических таблиц. Плюсом — еще несколько обновлений других частей платформы.

Подробности — в блоге.

Инжиниринг Данных

02 April 2024 17:23

Что мы знаем про продуктовых аналитиков в Авито?

— Быстро растут и развиваются внутри компании;
— Многое автоматизируют, обучают модели и прогнозируют;
— Постоянно запускают эксперименты, строят фреймворки и математические модели;
— Каждый работает в своей продуктовой команде, но не теряет связь с аналитиками из других направлений.

Хочешь также?
Подавай заявку на Weekend Offer до 4 апреля, приходи интервью и получай оффер!

Инжиниринг Данных

28 March 2024 15:32

Яндекс выкатил YandexGPT 3 Pro, это первая языковая модель из большой линейки нейросетей третьего поколения.

Что известно: в дальнейшем моделей станет больше, каждая будет ориентирована на решение задач определённого типа.

Благодаря обновлению YandexGPT 3 Pro лучше понимает контекст беседы и более естественно ведёт диалог с пользователем. Теперь она допускает меньше стилистических и фактических ошибок, а еще умеет обрабатывать существенно больше запросов за единицу времени.

Для бизнеса стоимость использования нейросети снизилась почти в два раза. Заказчики смогут самостоятельно дообучить YandexGPT 3 Pro в сервисе ML-разработки Yandex DataSphere для того, чтобы она ещё лучше соответствовала потребностям конкретного бизнеса. А потом внедрить технологию в свои продукты через API.

Инжиниринг Данных

22 March 2024 23:18

Легким движением руки брюки превращаются хранилище данных превращается в GenAI платформу, с помощью который вы можете реализовать AI стратегию и заработать потратить много бабла🤦‍♂️

Инжиниринг Данных

22 March 2024 03:20

Я сейчас как раз смотрю его видосы по Airflow. Очень хорошо рассказывает, а тут он добавил новый курс про Airbyte.

Идеально для open-source и современного стека. Обязательно начну и добавлю идеи в проекты Surfalytics.

Airbyte это набор коннекторов, чтобы загрузить данные в хранилище данных и потом можно с dbt уже трансформировать данные.

Короче, это топ! Да еще бесплатно. Вот он афигеет, сколько народу сейчас придет на купон))

https://www.udemy.com/course/the-complete-hands-on-introduction-to-airbyte/?couponCode=EARLYBIRD

Инжиниринг Данных

21 March 2024 17:34

Попался такой курс - Data Engineering in R: How to Build Your First Data Pipeline with R, Mage, and Google Cloud Platform (in under 45 Minutes)

Вроде и Google Cloud, и Big Query, и новомодный орекстратор Mage (я его не использовал, надеюсь не придется).

В целом неплохая идея сделать проект, возможно можно и бесплатно его сделать без курса.

Но вот использовать R в data engineering мне кажется не ice.

Я лично сам работал в нескольких компаний, где главная боль была R pipelines.

Как у вас с R для data engineering? Кто-нибудь использует?

Инжиниринг Данных

19 March 2024 07:56

Осталось теперь VK Cloud вот такую штуку сделать, чтобы играть и учиться, или учиться играючи?

https://explore.skillbuilder.aws/

Кстати помню в одной компании работал, и там было 10-15 компаний клиентов из РФ, и когда стали санкции вводить, все те же компании поменяли свои юр лица на иностранные и дальше работали как ни в чем не бывало, даже имя такое же оставили, примерно так же как вы в AWS подключаетесь через Казахский банк, только там масштаб другой🤸

Инжиниринг Данных

17 March 2024 06:35

Road Map 6: Evangelist / Advocate - бонус, последний на сегодня.

Тут уже надо быть активным в сообществах. Например классные ребята у Snowflake, DuckDb, Astronomer и других продуктов.

Тоже прикольная вакансия, тоже много путешествий и выступлений. Но там уже сложней попасть, так как таких много не нужно.

Инжиниринг Данных

17 March 2024 06:24

Road Map 4: Support Engineer (Data Products) - бонус

Прикольная позиция. Любой продукт (Snowflake, Databricks, Redshift, Flue, BigQuery, Tableau и тп) предоставляет услуги поддержки. Оплата такая как и обычных инженеров и от 30% времени вы тратите на обучение. Нет ни deadline, ни проектов, только support tickets, можно работать не напрягаюсь.

Инжиниринг Данных

17 March 2024 06:15

Road Map 2: Analytics Engineer - вы уже имеете опыт работы аналитиком или просто готовы выучить бОльший объем

Легенда:
- фиолетовый - data analyst/bi developer скилы
- желтый - analytics engineer
- зеленый - дальнейшее развитие в data engineer

Инжиниринг Данных

08 April 2024 23:18

How Apache Spark performs a fast count using the parquet metadata - хорошая статья для дата инженера.

Ведь, не всегда нужно прочитать полностью весь датасет, что может быть дорого, но можно использовать метанные, как например, в этой статье.

Инжиниринг Данных

06 April 2024 17:11

Изучил вопрос вакансий и недвижимости в Швейцарии https://youtu.be/5pGVEnCLxLk.

Кто-то собирает ложки и рюмки из разных стран, а я теперь пробую сидр 🍺 и заодно изучаю рынок страны, откуда сидр привезли. Друзья привезли из Швейцарии сидр Moehl, и я изучил рынок. Еще оказалось, что товарищ оттуда написал мне и рассказал про свои доходы и расходы.

Вот как обычно мои заметки:

🏡По стране:
Весь движ в Женеве и Цюрихе, причем в Женеве на английском гораздо больше вакансий 🌍.
Судя по вакансиям и количеству заявлений, у них там голод по дата-инженерам 👨‍💻.
Работа в основном офисная или гибридная.
Мало вакансий на позиции Senior.
Ипотека 2,5%, но, похоже, там никто не покупает, и все предпочитают аренду 🏠.
Налоги ниже, чем в Канаде и США 💰.
Много контрактных вакансий 📄.

🛠По технологиям:
Очень много Microsoft и on-premise решений 💻.
Есть много современных вакансий с облачными технологиями, Databricks, BigQuery .
Обязательно знание DevOps для инженера данных .
Power BI доминирует.

🏦По зарплате:
Очень мало вакансий с указанием зарплатной вилки.
Из того, что есть - 120к-140к франков, и судя по местному калькулятору, это 7-8т на руки (но это не Senior позиции).

От товарища информация:
Контракт на 100+ франков в час.
13т франков в месяц, по калькулятору налогов это в год больше 230т франков, что считается высокой зарплатой.
Аренда 2500 франков.
Страховка 700 франков на человека.

PS как обычно любая иммиграция связана с двумя основными вещами.

Первая очень простая - это скилы, которые можно выучить и подтянуть.

Скилы важны трех типов (которые я закрываю в Surfalytics:
1. Технические - инструменты, подходы (hard skills)
2. Коммуникация и коллаборация с коллегами (soft skills)
3. Навык прохождения собеседования (story telling😃)

А вот второй момент уже не простой - получение рабочей визы и легализация. Тут все зависит от страны и надо общаться с теми, кто уже прошел процесс.

Инжиниринг Данных

05 April 2024 23:38

Хорошая статья про партиции - Iceberg Partitioning and Performance Optimizations in Trino. В данном случае на примере Trino. И заодно сравнение Hive (традиционный подход для Spark, Trino и других инструментов озера данных) и Iceberg (популярный формат данных для lakehouse).

Я сам в послденее время глубоко в оптимизации Trino, который живет на GCP Kubernetes. И пока набиваю шишки связанные с OUT OF MEMORY (OOM) ошибками. Вообще решение очень удобное, особенно для стартапов.

Инжиниринг Данных

04 April 2024 17:40

через 20 минут начинаем

Инжиниринг Данных

03 April 2024 23:15

Дашборд должен быть всегда простой, еще бы неплохо, чтобы был понятный.

Заметил интересный момент, пока BI люди трудятся над дашбордами, выбирают цвет, шрифт, толщину линии, ребята из devops, platform и тп используют инструменты для observation (мониторинга), чтобы быстро своять дашборд, который будет простой и понятный. Не изобретают велосипед с типом графика и цветовой палитрой в цвет того компании.

Как вообще обстоят дела с визуализацией? Тема как-то ушла на зданий план в последнее время. Ни новый промывных фич, ни супер-пупер best practices. Поделитесь в комментариях.

Инжиниринг Данных

02 April 2024 20:36

🚀
Анонс Вебинара: "Разработка data приложений на DuckDB"🚀

Давненько не было.... уверен ждали)))

📅 Дата вебинара 4 апреля в 7 вечера по мск

🎙Спикер - Роман Зыков.
Очень крутой спец, который уже дважды выступал у нас 🎙

🔗 Ссылка на вебинар:
https://youtube.com/live/biyPV-4glN4?feature=share

Мы всегда ищем способы сделать инженерию данных проще и удобнее. Роман Зыков создал полностью рабочую систему, которой хочет поделиться с вами!
При этом он отказался от использования знакомых инструментов.

🔍 Что мы обсудим на вебинаре:

🔸Почему выбрал DuckDB для разработки data приложений, отказавшись от привычных инструментов.
🔸Как построил полностью рабочую систему с базой данных, dbt, и оркестратором для ежедневного обновления данных без использования облачных сервисов.
🔸Живые примеры и исходные коды проекта.
🔸Управление данными с помощью DBT и Prefect.io.

👨‍💻 Приходите на вебинар, если вы хотите:
• Узнать, как использовать DuckDB для создания эффективных data приложений.
• Познакомиться с бесплатными инструментами для инжиниринга данных.
• Вдохновиться реальным проектом и увидеть, как можно управлять данными без облаков.


#datalearn #вебинар

Инжиниринг Данных

31 March 2024 23:04

Интересный анализ от Financial Times про возраст для первого ребенка. В возрасте 34 года у женщин 0 детей.

Когда в 2016 году мы переехали в Канаду я сразу обратил внимание на коллег за 30 у кого нет в планах детей, и коллеги за 35 планируют первого ребенка. Частые поездки в Сиэтл лишь подтвердили тренд, в которым отдают предпочтение собакам вместо детей. (Собак я тоже люблю, больше чем кошек, если что☺️), дискуссию лишь про детей. И это все было еще до лгбт+ маркетинга.

Причины были банальны. Чтобы иметь детей, один из родителей должен не работать и желательно уже иметь ипотеку. Но чтобы это позволить, нужно выплатить кредит за образование и найти хорошую работу. Родители как правило выгоняют детей после 18 и дети уже не ожидают помощи от родителей и сами решают свои финансовые проблемы и растят детей, если конечно к 40 годам созреют.

Это лишь мое наблюдение за 9 дет в Канаде и США. Как в России мне понятно, и я там уже отношусь к многодетной семье с 3мя детьми.

В Канаде и США все наоборот, дети это очень дорого, возможно поэтому многие ограничиваются собаками и кошками.

Как там дела в Европе, в Штатах, Канаде и других странах?

PS мой совет всегда простой - взять ипотеку, завести детей и дальше уже как-нибудь все сложится:)

Инжиниринг Данных

27 March 2024 19:49

https://www.layoffmemos.com/ решил собрать письма CEO про увольнения, чтобы не забывать своем место в корпорации. Точнее, я то знаю, но много еще наивных людей, и я всем в Surfalytics присылаю на ознакомление. Как и Surfalytics.com, сайт сделала Lala

PS есть еще компании и письма, кидайте в комментарии

Инжиниринг Данных

22 March 2024 16:50

💻 Yandex Cloud выпустила большое обновление платформы для работы с данными

Облачная платформа запустила сервис для управления метаданными Yandex MetaData Hub, повысила безопасность баз данных, а инструмент BI-аналитики Yandex DataLens получил новые возможности. Всё это позволит компаниям быстро и надёжно создавать дата-проекты в облаке — от корпоративных хранилищ данных до аналитических и рекомендательных систем.

💬 Больше об обновлениях платформы данных читайте в статье.

Инжиниринг Данных

21 March 2024 20:48

В продолжение про R. Пару мыслей:

1. Решение можно построить с помощью любой технологии. Качество решения будет зависеть от других факторов.

2. Рассчитывать, что вы работает на R и у вас будет всегда работа, так как это не популярное решение, слегка наивно. Но я бы тогда смотрел бы в сторону COBOL. Только сегодня видел кейс, где к Databricks кластеру добавляют jar для COBOL интеграции.

3. Самое ценное это ваш навык быстро учиться и адаптироваться. Сегодня, R, завтра Rust. Но это уже из разряда hard core.

4. Ваша оплата за уникальную технологию не будет сильно выше, если вы не AI researcher. Инженер данных с dbt и snowflake, получает как такой же инженер с Kafka и trino на kubernetes.

5. Наверно самый ценный навык сейчас это ходить по собеседования, чем чаще, тем лучше. А в свободное время делайте pet проекты. Сами или вместе с Surfalytics.

И бонус поинт, для понижения стресса и повышения качества жизни, попробуйте придумать себе занятие, которое в перспективе сможет генерировать дополнительных доход, может быть свой блог, канал, контракт и тп.

Есть еще варианты?👀

Инжиниринг Данных

21 March 2024 07:59

Приглашаем на бесплатную ML-тренировку Data Dojo!

Разберём решения победителей больших соревнований и сами подумаем над парочкой задач, а ещё проведём экскурсию по петербургскому офису. Пока мы только формируем программу, но уже известен первый доклад:

🔸 Артём Топоров, ex Lead ML в ROGII Inc. Расскажет о своём втором месте на соревновании Kaggle по распознаванию жестового языка.

Data Dojo пройдёт 30 марта в Санкт-Петербурге в онлайн- и офлайн-форматах. Если хотите прийти на офлайн — подавайте заявку, мы проведём отбор участников и отправим приглашение за три дня до тренировки.

Регистрируйтесь и приходите — будем вместе искать ML-просветления 🪬

Инжиниринг Данных

18 March 2024 15:02

Двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатная миграция при переходе на платформу VK Cloud

Microsoft и Amazon закрывают доступ к облачным сервисам в России с 20 марта. VK Cloud поддерживает российский бизнес в переходе на безопасную облачную платформу:

🔹 Грант, в два раза превышающий бюджет, который компания тратила на облачные сервисы Microsoft Azure, AWS или Google Cloud в феврале 2024-го.
🔹 Бесплатный перенос ИТ-системы (lift & shift) с зарубежного провайдера на облачную платформу VK Cloud.
🔹 Бесплатные лицензии на ПО для миграции, а также покрытие стоимости инфраструктуры, необходимой для работы агента ПО миграции.
🔹 Бесплатный консалтинг команды инженеров Professional Services для сложной миграции и любых ИТ-вопросов.

В течение 2 месяцев вы сможете оценить преимущества платформы VK Cloud бесплатно. Для этого оставьте заявку на миграцию до 10 апреля и отправьте чек об оплате сервисов Microsoft Azure, AWS или Google Cloud за февраль 2024 года. VK Cloud начислит на ваш бонусный счет в два раза больше средств для тестирования, а также поможет с бесплатной миграцией и быстрым запуском в облаке.

Оставить заявку

Инжиниринг Данных

17 March 2024 06:33

Road Map 5: Sales Engineer (Customer Engineer) - бонус

Кто-то должен делать демо продуктов и работать в паре с Sales? Вот это как раз sales engineer. И на конференциях выступать и на стенде стоять. Иногда еще роль называется Solution Architect, но для SA там уже может быть более глубокое погружение в проект на этапе внедрения)

Вы хорошо знаете продукт и понимаете как решение работает в аналитической экосистеме, можете быстро сделать демо продукта. Много встреч с клиентами и возможно поездок.

Однажды я получил офер от Microstrategy в Москве, но потом его отозвали и они закрыли офис. Еще я пытался в Канаде податься на это позицию, тоже получилось, но выбрал Амазон. И провалил собеседование в Канаде в Splunk на это позицию.

Вообще это была моя любимая позиция из всего спектра, но сейчас я стал уже ленивый для такого движа.

Инжиниринг Данных

17 March 2024 06:20

Road Map 3: Data Engineer - вы уже хорошо ориентируетесь в хранилище данных, моделирование данных, у вас есть уже скилы инженера и вы можете уже полноценно покрыть data потребности организации end-to-end

Легенда:
- желтый - analytics engineer, включает (фиолетовый - data analyst/bi developer скилы)
- зеленый - data engineer
- красный - опцианально изучать ML, но обычно я рекомендую изучать use cases, как DE может работать с ML, это не значит, что надо ML модели строить

Инжиниринг Данных

17 March 2024 06:13

Сейчас я расшарю Road Map для дата позиций (5).

В чем заключается идея? Максимально быстро овладеть навыками для поиска работы в новой стране, 20% знаний, которые дадут 80% результата. Я расшарю каждый Road Map отдельным сообщением, тогда у вас будет возможность оставить комментарии, написать что-нибудь, типа “да херня ваш road map”, “нихрена вы понимаете”, “шляпа какая-то”😇

Я не буду очень сильно вдаваться в подробности, но эти кореллируется с модулями Data Learn и это то, что я делаю в Surfalytics. Видео для 1го модуля я уже записал про MindMap и Road Maps. Когда будет полностью готов, то опубликую.

Road Map 1: Data Analyst (BI Developer) - вы знаете немножко Excel, и вам нужно найти быстро 1ю работу.

Легенда:
- фиолетовый - data analyst/bi developer
- желтый - дальнейшее развитие в analytics engineer/data engineer