Datalytics

09 Aug 2023 17:02

Планы на этот четверг: прокачать Pandas в Python!

10 августа в 18:00 по Мск Андрон Алексанян, CEO IT Resume & Simulative, проведет бесплатный интенсив по аналитике рекламных кампаний с помощью Pandas в Python.

Что вас ждет:
📌 1 живая обучающая лекция, теория и много-много практики — скучно не будет 🙂;
📌 Конспект лекции + домашнее задание по пройденному материалу;
📌 2 подарка от команды Simulative 🎁

Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python:
🔸 мы будем подробно объяснять каждый свой шаг;
🔸 мы будем много говорить про аналитику и продуктовую составляющую на примере реальной бизнес-задачи — такой опыт точно будет вам полезен 😊

Если вы готовы прокачать свои знания, то ждём вас на интенсиве 👉🏻 [Зарегистрироваться]

Datalytics

08 Aug 2023 15:26

Когда собирал данные по опросу, то одной из самых болючих тем оказалась история про синдром самозванца. И оно кажется логичным, так как анализ данных — это с одной стороны быстро меняющаяся сфера, а с другой стороны — ёмкая в плане экспертности мнения. Можно говорить, что в анализе данных есть какая-то предельная объективность, но на мой взгляд это не совсем так

Так что делюсь своими размышлениями про синдром самозванца, может кому-то будет полезно

Datalytics

07 Aug 2023 11:02

Скидка до 22% на ресурсы управляемых баз данных Greenplum и OpenSearch в Yandex Cloud

Теперь у вас есть возможность резервировать определенный объем ресурсов — Committed volume of services, CVoS — с фиксированной ценой в течение полугода или года. Это предложение доступно для всех пользователей и позволяет существенно сократить расходы при стабильном потреблении сервисов.

Условия CVoS распространяются на Yandex Managed Service for Greenplum и Yandex Managed Service for OpenSearch, работающие на платформах с процессорами Intel Ice Lake. Размер скидки: 15% при резервировании на пол года и 22% при резервировании на 1 год.

➡️ Подробнее по ссылке.

Datalytics

03 Aug 2023 14:33

💻 ИЩЕМ АНАЛИТИКОВ ДАННЫХ В ЯНДЕКС ПРАКТИКУМ! 💡

Яндекс Практикум — это ведущий сервис онлайн-образования в IT. И мы ищем аналитиков данных готовых стать частью нашей команды.

Команда аналитики помогает оптимизировать весь путь пользователя от идеи смены карьеры до трудоустройства. А занимает он больше года. Причем треть этого времени уходит на принятие решения о покупке курса. Поэтому в маркетинге нам нужны модели атрибуции сложнее, чем First/Last Click. А эффективность обучения зависит от качества работы тысяч сотрудников сопровождения. Управлять этим без метрик просто невозможно.

📌 Мы ищем амбициозных аналитиков, которые устали пилить однотипные дашборды и хотят заниматься задачами влияющими на бизнес-метрики.

При этом нам критически важны уверенные знания SQL, потому что мы только начинаем строить DWH. Кстати, если вы дата-инженер, тоже пишите 😉

Подробнее о задачах и требованиях можно прочитать в описаниях вакансий команд:
- команда маркетинговой аналитики: аналитик и тимлид
- команда финансовой аналитики
- продуктовая аналитика

🤝 Если вам интересно, непонятно или просто хочется пообщаться про аналитику в EdTech, пишите @ksuabr

Datalytics

01 Aug 2023 12:11

🟩Мои хорошие знакомые из SberMarket ищут к себе Дата-Саентиста 🟩

💰 Зарплата: 240 000 — 380 000 ₽/мес

🌐 Локация: Москва, Санкт-Петербург или полная удаленка

💻 Стек: Python, Jupyter, Airflow, Kubernetes, GRPC, Gitlab CI, Helm, Prometheus, Tableau, Metabase, Grafana.

💡 Саммари по задачам отдела:
Мы разрабатываем и внедряем ML-модели для оптимизации операционной эффективности компании. Это включает создание прототипов, тестирование гипотез, анализ данных и внедрение успешных моделей в продакшен.

🏢 О компании: Сбермаркет — онлайн-сервис, который помогает делать покупки, не выходя из дома. Ежемесячно сайтом и приложением пользуются более миллиона человек в 150 городах. Оборот компании в 2020 году составил 19,8 млрд рублей. Партнёры: METRO C&C, Лента, Ашан, Магнит, Командор и другие.

📩 Связаться с рекрутером этой позиции (телеграм)

🔗 Подробнее о вакансии и подать заявку можно здесь

Datalytics

25 Jul 2023 13:01

❗️Один из важнейших инструментов MLOps — это MLFlow.

▶️ 10 августа в 20:00 мск в рамках онлайн-курса MLOps от OTUS пройдёт открытый урок «MLflow версии 2. Рецепты и пайплайны в машинном обучении».

✅ На открытом уроке вы узнаете:

🔹 О развитии MLFlow и о том, какие усовершенствования вошли в новые релизы (2.x)
🔹 О роли пайплайнов в организации процессов машинного обучения
🔹 Что такое MLFlow recipes и как их использовать для повышения эффективности работы DS

🧑‍💻 Спикером выступит преподаватель OTUS Данила Слепов. Он проектирует AI-системы, разрабатывает архитектуру MLOps платформ.

👉 РЕГИСТРАЦИЯ
https://otus.pw/6z5s/

Нативная интеграция. Информация о продукте www.otus.ru

Datalytics

21 Jul 2023 14:09

🤔 Что круче: аналитика данных или бизнес-аналитика?

Хотите перейти в аналитику? Первый шаг к успешной карьере — правильно выбрать направление внутри профессии и узнать, какие навыки освоить на старте. Разобраться поможет открытый диалог «Бизнес-аналитик vs дата-аналитик: кто круче? Сравним зарплатную вилку, задачи и спрос на рынке труда» 25 июля в 19:00 Мск.

Спикеры:
— Василий Ключарев, продуктовый аналитик, банк Точка;
— Максим Третьяков, предприниматель, ранее бизнес-аналитик в «Росатом», SBS Consulting, Strategy Partners;
— Ольга Дремова, эксперт по разработке и развитию продуктов в стартапах.

На трансляции вы узнаете:
🔹 кому подойдет бизнес-аналитика, кому — консалтинг, а кому — аналитика данных;
🔹 какие специалисты наиболее востребованы на рынке труда;
🔹 какие навыки нужны разным аналитикам и какие задачи они решают;
🔹 сколько получают специалисты на разных этапах карьеры и на каких условиях работают.

🗣 Трансляция пройдет в формате открытого диалога — спикеры ответят на все ваши вопросы, которые вы сможете задать как перед, так и во время встречи. Лучше отправить вопросы заранее при регистрации, чтобы эксперты успели подготовиться и дали еще больше ценной информации!

💬 Переходите по ссылке, чтобы зарегистрироваться: https://u.to/cVzRHw

Datalytics

20 Jul 2023 11:30

Я завёл отдельный канал для того, чтобы писать в него про большие языковые модели типа ChatGPT, Claude, LLAMA, постараюсь акцентировать внимание на том как их использовать в профессиональной деятельности и в бизнесе. В том числе буду больше писать про интеграцию LLM в бизнес-процессы, возможности использования для роста бизнес-метрик и ценности

/channel/ai_forge

Datalytics

19 Jul 2023 12:49

@ozon_tech Intro Meetup в Алматы

27 июля | 18:00 (UTC +6)
офлайн | онлайн

ML, DS и Java-инженеры, для вас — особое приглашение, потому что на повестке:
🟢Рекламная платформа в Ozon, её архитектура и ML.
🟢Архитектура рантайма поиска в Ozon, поиск по индексу, сбор данных из различных источников, ранжирование документов с учётом пользовательских фичей.
🟢Архитектура рекомендаций, персонализация товарной выдачи и работа с десятками рекомендательных полок.
🟢Машинное обучение для рекомендаций товаров в Ozon и data science часть рекомендательной системы.
🟢Программы обучения, стажировки и жизнь сообщества Ozon Tech.

🔗РЕГИСТРАЦИЯ

Datalytics

18 Jul 2023 10:47

Научитесь строить отчёты самостоятельно в Yandex DataLens

🕙 10 модулей, 6 экспертов, больше 300 часов методологической проработки — и всё это для того, чтобы вы могли из первых рук узнать про все возможности работы с облачной BI-системой.

Курс будет полезен всем, кто работает с данными: менеджерам продукта, аналитикам, руководителям и тем, кто хочет упростить себе работу с данными.

📖 Для прохождения курса не нужны специальные знания. Модули построены так, что, начиная с базового функционала по работе с чартами и дашбордами, вы постепенно погружаетесь в более сложные темы. Недавно мы выпустили завершающий модуль курса про работу с продвинутыми функциями, чтобы вы могли делать самую глубокую аналитику.

Все модули курса доступны бесплатно. Начните уже сегодня!

➡️ Узнать подробнее

Datalytics

12 Jul 2023 13:44

Как научиться смотреть на задачи с точки зрения бизнеса и выйти на новый уровень в аналитике данных?

На курсе Hard аналитика вы разберётесь как сократить сроки проведения экспериментов и проверять нужные бизнесу гипотезы, научитесь делать удобные дашборды, быстро прогружать запросы в базе данных и использовать машинное обучение в аналитике.

Курс создан руками ведущих аналитиков из Райффайзен, Яндекс, ВКонтакте и других компаний, поэтому программа включает в себя только самые актуальные и нужные знания для углубления в продуктовую аналитику.

Присоединяйтесь!
Новый поток стартует 20 июля

Datalytics

03 Jul 2023 16:38

Научитесь строить отчёты самостоятельно в Yandex DataLens

🕙 10 модулей, 6 экспертов, больше 300 часов методологической проработки — и всё это для того, чтобы вы могли из первых рук узнать про все возможности работы с облачной BI-системой.

Курс будет полезен всем, кто работает с данными: менеджерам продукта, аналитикам, руководителям и тем, кто хочет упростить себе работу с данными.

📖 Для прохождения курса не нужны специальные знания. Модули построены так, что, начиная с базового функционала по работе с чартами и дашбордами, вы постепенно погружаетесь в более сложные темы. Недавно мы выпустили завершающий модуль курса про работу с продвинутыми функциями, чтобы вы могли делать самую глубокую аналитику.

Все модули курса доступны бесплатно. Начните уже сегодня!

➡️ Узнать подробнее

Datalytics

30 Jun 2023 12:31

⚡️Осилите ли вы тест для Data-инженеров?

Ответьте на 24 вопросов за 30 минут и проверьте, готовы ли вы к обучению на онлайн-курсе «Spark Developer» от OTUS.

Spark — важнейший фреймворк в Big Data c открытым исходным кодом. На курсе вы научитесь работать с большими данными и закрепите знания с помощью сложных домашних заданий и выпускного проекта.

Пройдете тест — получите демо-ролик о занятиях на курсе и доступ к открытому уроку:

— «Оптимизация параметров запуска приложения Spark», 11 июля в 20:00

📝Пройти тест: https://otus.pw/taja/

Нативная интеграция. Информация о продукте www.otus.ru

Datalytics

29 Jun 2023 09:00

Автоматизированный перенос DWH Microsoft на платформу Yandex Cloud с помощью BI.Qube
📆 06.07.2023 в 10:00-12:00 (МСК) на вебинаре команды BI.Qube, Yandex Cloud и Банка Финсервис расскажут о практическом опыте автоматизированной миграции DWH Microsoft на платформу Yandex Cloud.

За 2 часа вы:
👉 узнаете об актуальных кейсах, включая историю миграции DWH банка Финсервис
👉 увидите весь путь от извлечения данных из учётных систем до построения аналитики
👉 применение low-code/no-code инструментов из Реестра российского ПО
Пример анализа программы лояльности будет интересен как специалистам банковской сферы, так и крупному ритейлу, где необходимо анализировать эффективность на основе данных из разрозненных систем.

Вебинар рассчитан на экспертов по аналитике и работе с данными, архитекторов и инженеров данных, CIO, CDO.
Программа вебинара
Регистрация: @itprocompbot

Datalytics

28 Jun 2023 10:02

Как использовать многоруких бандитов на практике | Гайд для аналитиков, продуктовых менеджеров и ML-специалистов

Ведущая аналитическая система MyTracker разработала практическое руководство для использования многоруких бандитов в продуктах.

Вы узнаете, что такое многорукие бандиты и как они применяются в различных сферах, в том числе в рекомендательных системах. Подробнее остановимся на различных алгоритмах бандитов: жадный, алгоритм UCB, алгоритм сэмплирования Томпсона и контекстуальные многорукие бандиты.

Гайд пригодится аналитикам для определения оптимальных стратегий тестирования, продуктовым менеджерам - для тестирования новой функциональности, а ML-специалистам - для настройки моделей машинного обучения.

Руководство составлено командой предиктивной аналитики MyTracker, которая использует многоруких бандитов в своей работе.

Скачайте практическое руководство от команды предиктивной аналитики MyTracker и узнайте, как многорукие бандиты могут увеличить прибыль вашего продукта и улучшить продуктовые метрики.

Datalytics

09 Aug 2023 11:13

Я тут сделал краткую выжимку инсайтов, которые показались мне полезными из нового отчета Маккинзи про состояние дел с внедрением ИИ в организациях

https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08

Datalytics

08 Aug 2023 15:23

Говорили сегодня с подругой, которая не так давно переклафицировалась в QA-тестировщики о синдроме самозванца в IT-профессиях. И этот разговор навёл на некоторое количество любопытных мыслей

Синдром самозванца — это забавное и я бы даже сказал полезное расстройство, потому что оно заставляет успешных людей испытывать некоторую тревогу перед разоблачением. Что сейчас прибежит какой-нибудь Иван, который работает дольше тебя, и сорвет с тебя маску «гуру», а под маской... Кто же будет под маской... Тут без душераздирающих инсайтов — под маской будешь ты

Почему же синдром самозванца — полезный? Если научиться договариваться со своим внуренним самозванцем, то в определенный момент можно сделать его личным штурманом. Если обращать внимание на те моменты, когда у нас появляется мысль о том, что мы с чем-то не справимся и нас «разоблачат», то эту мысль можно попробовать перевернуть, что даст больше уверенности для того, чтобы идти вперед. Вот несколько примеров:

- Я не справляюсь с этой задачей и это будет конец моей карьеры → Я сейчас могу испытывать трудности, но результат этой задачи не определяет мою долгосрочную карьеру
- Я не сделаю это и все узнают, что я некомпетентен → Я имею право на ошибки, это позволяет мне учиться и совершенствоваться в своём деле
- Я не сделаю это на должном уровне и все поймут, что я бесполезен → Я приложу усилия, чтобы сделать это хорошо, но никто не выдаёт идеальный результат. Сделаю и посмотрю на обратную связь

И важная штука именно в этом переворачивании внутренних убеждений, чтобы сдвинуть себя из мертвой точки парализующей тревоги, убрать страх, ведь «страх убивает разум»

Со временем синдром самозванца становится спутником и вырабатывается привычка при первых его звоночках идти в какое-то начинание через смелость, говоря себе: «Пускай я сейчас в этом ничего не понимаю, выглядит сложно, и я не знаю что делать, но уверен, что по пути разберусь»

Лично у меня вряд ли будет такое состояние разума, что я перестану слышать внутри голос своего самозванца, это произойдёт только если я «успокоюсь» и буду ставить перед собой те задачи, которые уже когда-то решал, но с одинаковыми задачами мне скучно. И переживания в моем случае — это нормальная и нужная штука, потому что без переживаний я бы не кайфовал так в момент достижения результата. Эти легкие переживания приобретают флёр «несостоявшейся угрозы», когда оглядываясь назад понимаешь, что рисовал в своей голове больше преград, чем оказалось на самом деле

Без переживаний и сомнений можно, но как будто бы это возможно только в рамках очень узкой экспертной зоны. Иногда это хорошо, например, когда в команде есть сотрудник, глубоко погруженный в устройство определенной части системы, он становится таким «дедом-принципалом», к которому все ходят за советом. За рамки понимаемой системы он не выходит или выходит с неохотой

Бывает и другой типаж без сомнений в себе, но с кучей сомнений в других, такой «скучный профессионализм», без задора, но с большим количеством критики (надо признать, иногда конструктивной) такие люди черствеют в своей зоне экспертизы. Это не какая-то явная закономерность, но часто такие специалисты превращаются в тех, кто «лучше всех всё знает» и не признает своих ошибок. В общем, в классических душнил и токсиков, из-за которых команда часто испытывает демотивацию, потому что такие люди не оставляют другим места для ошибок

Мне кажется, с внутренним самозванцем нужно не бороться, а договариваться, научится лучше его понимать и конвертировать страхи в что-то более положительное, при этом оставляя себе пространство для переживаний. Я думаю, что «самозванцы» именно за счет своих сомнений и неуверенности, растут и развиваются быстрее, нежели те, кто никогда не сомневается. Ведь процесс осознания собственных ограничений и поиск путей для их преодоления — это то, что делает «самозванцев» более устойчивыми к изменениям и риску

Datalytics

04 Aug 2023 11:01

Почему ваши собеседования могут закончиться неудачей?

Рассказывают в №1 сообществе алгоритмистов в РуНете - @eda_academy

Исследования показывают, что около 70% кандидатов не уверены в своих знаниях алгоритмов, а 85% из них считают, что слабое владение этой темой является основной причиной отказов на собеседованиях. Это может быть разочаровывающим для многих амбициозных профессионалов, желающих продвинуться в карьере.

Прямо сейчас на канале @eda_academy можно найти:

🔥 Интервью с рекрутером из Google, как попасть в FAANG
🔥 Примеры задач по алгоритмам и их решения
🔥 Топовые советы, как изучать алгоритмы эффективнее

▶️Подписывайтесь, чтобы знать алгоритмы лучше всех - @eda_academy

Datalytics

03 Aug 2023 11:27

Присоединяйтесь к нашему сообществу Data Analyst REBRAIN и расширьте свои знания в области аналитики данных, управления проектами и маркетинга.

Мы предлагаем множество открытых онлайн-практикумов каждый месяц, которые проводят опытные профессионалы в области анализа данных. В рамках практикумов мы рассматриваем реальные кейсы анализа данных, используя самые современные инструменты, такие как Python, SQL, Tableau, бизнес-метрики, визуализация данных, статистика, теория вероятностей и многое другое.

Каждый практикум подобран с учетом разного уровня сложности и направления, чтобы каждый участник мог выбрать интересующие задачи и развиваться в соответствии с собственными навыками и опытом.

✔️ Присоединяйтесь уже сегодня и начните бесплатно развивать свои навыки в области анализа данных вместе с нами!

Datalytics

28 Jul 2023 15:58

Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию. Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.

Насчёт определений — в карточках собрали несколько ключевых, которые познакомят вас с профессией руководителя в IT поближе. А по поводу новой информации: в Практикуме появился курс по управлению командой разработки с воркшопами, личными консультациями и интерактивным учебником.

Пройдите первый бесплатный урок

Datalytics

25 Jul 2023 11:50

Ты системный аналитик и хочешь прокачать свои навыки и знания? Тогда присоединяйся к проекту IT_ONE CAREER! 💚
⠀
Компания IT_One открывает сезон онлайн-мероприятий для системных аналитиков! IT_One – разработчик программного обеспечения для крупных игроков российского бизнеса.
⠀
Первым мероприятием станет IT_ONE CAREER MEETUP 🚀
27 июля в 18:00 вы сможете больше узнать о компании и обсудить «горячие» темы системной аналитики.
⠀
В программе 2 актуальные темы и 2 топовых спикера!
⠀
👩🏻‍💻 Взаимодействие системного аналитика с Product Owner, бизнес-аналитиком и командой разработки
🗣Ольга Бондарева, старший системный аналитик IT_One
⠀
Обсудим:
— лучших друзей аналитика на разных этапах проекта;
— как выстоять натиск РО.
⠀
👩🏻‍💻 Подводные камни в работе аналитика. К чему готовиться?
🗣Екатерина Климова, старший системный аналитик IT_One
⠀
Разберем:
— плюсы работы аналитика;
— минусы, о которых все говорят;
— 7 грехов системных аналитиков.
⠀
🗓 Дата и время: 27 июля в 18:00
⠀
👉🏼 Регистрируйтесь здесь: https://clck.ru/34soBv

Datalytics

21 Jul 2023 10:11

Тут у Леши Никушина (@analysts_hunter) подсмотрел в комментариях много полезного про prompt engineering и любопытных ссылок, чтобы лучше понять как устроены LLMs и как их встраивать в приложения

➡️ Роман Нестер (@radionester) рекомендует курс «Generative AI with Large Language Models» на Coursera. И это не просто про то как писать промпты, но в целом про устройство генеративных моделей, fine-tuning, reward models, архитектуру приложений с использованием LLM. То есть это такой углубленный курс про то как языковые модели создаются, донастраиваются под задачи, внедряются внутрь приложений

➡️ Татьяна Гороховская (@producthr) поделилась ссылками аж на 2 курса про LLMs, которые ведет Andrew Ng: «Building Systems with the ChatGPT API» и «LangChain for LLM Application Development». Залогинтесь, чтобы посмотреть. Первый курс про создание end-to-end приложений с помощью API OpenAI, тут и про chaining prompts и про то как проверять результаты вывода, построение процесс оценки вывода, в общем, как не просто написать промпт, а как использовать вывод LLM для построения системы, выдающей предсказуемый результат. Второй курс про использование библиотеки LangChain, которая предоставляет широкий набор методов для построения LLM-приложений, например, с помощью неё можно реализовать систему AI-ответов поверх собственной базы знаний

➡️ Константин Савенков (CEO https://inten.to/) поделился полезным гайдом Prompt Engineering 101 в блоге Xavier Amatriain. Рекомендую обратить внимание на несколько ссылок на полезные пейперы в конце гайда

➡️ Влад Куклев (@prod1337) советует ознакомиться с набором лучших практик, которые рекомендует OpenAI для того, чтобы получить наиболее класнные результаты от GPT4
- Также Влад делится хорошей статьей про разницу между «слепым промптингом» и «промпт-инжинирингом» (если коротко: тыкание наугад vs научный подход, в принципе похожие выводы описаны и в статье Why Johnny Can't Prompt)
- Ну и в завершение Влад скидывает большой гайд про промпт-инжиниринг (внимание, локализованный на русский!)

➡️ Доцент Школы управления Сколково Петр Паршаков рекомендует ещё один курс про ChatGPT от Andrew Ng — «ChatGPT Prompt Engineering for Developers»

➡️ Кирилл Маркин (CEO https://ozma.io/) советует глубже почитать промпты, которые пишут разработчики сервисов, в качестве примера приводит промпт Github Copilot из канала Бобука и промпт Gippr AI из канала «эйай ньюз»

AI Forge

Datalytics

20 Jul 2023 11:01

Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Datalytics

19 Jul 2023 09:36

💡 Spark — мастхев для дата-инженера. Количество вакансий, где требуется опыт работы со Spark, постоянно растет, и шансы на получение высокооплачиваемой работы все больше коррелируют со знанием Spark. Статистика говорит сама за себя: сейчас в 30% вакансий он указан как обязательный.

💻 Освоить этот инструмент можно на онлайн-курсе «Spark Developer» от OTUS. Ведущие эксперты Big Data помогут вам начать писать распределенные приложения, работать с потоками данных, оптимизировать приложения и решать многие другие задачи обработки данных. Параллельно со Spark, вы освоите еще Hadoop и Hive.

Начинаем 27 июля.

👉 Успейте присоединиться к группе: https://otus.pw/E3OD/

Нативная интеграция. Информация о продукте www.otus.ru

Datalytics

14 Jul 2023 12:01

Тут рассказывают, как работает performance review в Авито — подробный гайд составил их директор по аналитике Илья Гуров. Для больших команд аналитиков, где спецов выше мидла может быть несколько, это просто золото. Грамотная система ревью позволяет руководителю понятно описать грейды и получить адекватное представление о росте сотрудников, компетенциях и карьерных ожиданиях.

Если коротко, то у Авито все устроено так:

1. Self-review. Сотрудник предъявляет собственные результаты.

2. Сбор отзывов от коллег, которые участвовали в тех же проектах или заинтересованы в результатах.

3. Оценка компетенций. Руководитель собирает артефакты и доказательства по всем компетенциям.

4. Калибровка оценок между руководителями. Это защита оценки перед другими менеджерами с презентацией и фасилитатором. Душно, но эффективно.

Все это проводят каждые полгода. Так отдел аналитики достигает сразу нескольких целей: у сотрудников есть прозрачный карьерный путь и мотивация, руководитель в курсе всех процессов, а еще у всех менеджеров синхронизируются ожидания.

Проводите у себя ревью? Поделитесь лайфхаками в комментах!

Datalytics

07 Jul 2023 12:45

💡Как оптимизировать параметры запуска приложения Spark? Поговорим об этом 11 июля в 20:00 мск на открытом уроке в OTUS.

Этот вебинар пройдет в рамках онлайн-курса «Spark Developer» в OTUS.

📝На занятии мы с экспертом разберем признаки ошибочной конфигурации, базовые настройки для повышения производительности и Ganglia как инструмент мониторинга кластера для определения узких мест работы приложения Spark.

✅ В результате урока вы получите:

⁃ Сформированное понимание качества базовой настройки приложения Spark
⁃ Понимание баланса использования ресурсов для приложения
⁃ Умение идентифицировать ошибки, связанные с неправильной настройкой приложения
⁃ Навык визуально анализировать параметры загрузки кластера в процессе работы приложения

Урок будет полезен начинающим и опытным специалистам в области аналитики данных, Data Engineering, а также руководителям и менеджерам команд разработки. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку.

👉Для участия зарегистрируйтесь: https://otus.pw/doFP/

Нативная интеграция. Информация о продукте www.otus.ru

Datalytics

30 Jun 2023 16:19

Объектно-ориентированный подход чаще всего применяют в крупных проектах, где над одним приложением работают много разработчиков. Так как каждый программист работает над своей отдельной частью программы, сокращается количество ошибок и ускоряется процесс.

На курсе Яндекс Практикума «Базовый UML» вы за 2 месяца пройдёте все этапы работы над моделированием системы: от описания пользовательских требований до структурного и поведенческого моделирования. А ещё:

• изучите основные диаграммы в нотации UML, описывающие бизнес-процессы;
• получите представление о применении UML для моделирования систем;
• научитесь работать в Draw.io, StarUML, Plant UML.

Все студенты получат реальные кейсы, сопровождение от специалистов и работающие проекты в портфолио. Карьерный центр поможет с поиском работы: 69% студентов уже работают по специальности.

Занимайтесь онлайн в любое время, в своём темпе.

Datalytics

30 Jun 2023 10:19

Интересная статья, которая рассматривает текущие ограничения языковых моделей с ограниченной поймой (LLM) и объясняет, почему они пока не могут быть полноценно использованы в self-service бизнес-аналитике (BI). Подробно анализируются сложности интеграции LLM в существующие BI-платформы и семантические слои. Несмотря на обещания и восторженные отзывы вендоров BI (например, Microsoft), реальность зачастую не так радужна и пока точность ответов далека от той, при которой это можно назвать масштабируемым и универсальным решением.

https://www.holistics.io/blog/large-language-model-self-service-analytics/

Datalytics

28 Jun 2023 17:05

Новые правила в математике: умножаем облачные ресурсы на три

⚡️Облачный провайдер Cloud.ru запустил классную акцию — кешбэк 200% за первые 30 дней использования сервисов Cloud․ru.

Если вы давно хотели мигрировать в облачную инфраструктуру, внедрить инструменты виртуализациии или попробовать IaaS/PaaS-сервисы, для вас есть хорошая новость — облака становятся еще ближе и доступнее для бизнеса любого масштаба.

Как получить
Пополняете баланс личного кабинета платформы Cloud․ru Advanced, пробуете новые облачные сервисы, а через месяц получаете бонусы на следующие два месяца в размере 200% от использованных ресурсов.

Результат
Получаете в три раза больше облачных ресурсов.

▶️ Переходите на сайт, чтобы узнать подробнее о преимуществах облаков для бизнеса и подробностях акции!

Datalytics

27 Jun 2023 14:27

Python meetup (Online)

1. Методы защиты кластера Hadoop в большой ML команде — Мария Изофатова / Мегафон (Мегатех)
Из этого доклада слушатели узнают способы борьбы с уязвимостями кластера hadoop: репартиционирование (проблема мелких файлов), автоочищение таблиц на кластере, настройка конфигурации pyspark, анализ запущенных spark application и внутреннего кода.

2. Feature engineering для пространственных данных — Александр Мещеряков / Сinimex
В этом видео мы обсудим как получить нужные данные и погрузимся в анализ формы объектов, взаимного отношения геометрий и паттернов их расположения.

3. Как мы предсказывали платежи в мобильных играх — Дмитрий Савостьянов / Artifactory
В рамках доклада я расскажу о дизайне системы предсказания платежей в мобильных играх. Акцент будет сделан на Data Engineering, MLOps и мониторинг

➖➖➖

🗓 28 июня, начало в 19:00 мск, Среда

🌐 ОНЛАЙН

✅ Регистрация на мероприятие