Снижение нагрузки на аналитиков через визуализацию результатов A/B-тестов
Роман Лунев, руководитель back-end разработки ВКонтакте, показывает, как можно снять нагрузку с аналитика команды, не теряя в качестве результатов. Рассматривает, как в крупной компании с десятками (а то и сотнями) параллельных А/Б тестов снять нагрузку с аналитика.
В рамках доклада можно оценить, как визуализация прохождения теста помогает повысить вовлеченность продукта, и разобраться, как на основе ретроспективного анализа А/Б-тестов можно своевременно выявлять аномалии в
Как сэкономить миллионы с помощью генетического алгоритма и чат-бота без ML
У вас есть хорошо работающая поддержка пользователей, но кажется, пора подсократить расходы. Как можно это сделать эффективно? Правда ли, что крутая автоматизация чатов возможна только с использованием ML и AI? Кажется, что нужна WFM система, но сильно тратится не хочется. Что делать и причем тут Генетические алгоритмы?
Все эти вопросы обсуждаются в рамках доклада Дмитрия Круглова, Lead аналитики контактного центра Оkko.
Хороший повод менеджерам задуматься - возможно необязательно везде пихать сложный ML и ChatGPT, специалисты увидят применение генетических алгоритмов в рабочих задачах, начинающие специалисты послушают интересный вдохновляющий доклад, а все остальные узнают, что задачи аналитики поддержки могут быть очень интересными и достаточно наукоёмкими.
Для аналитиков и менеджеров поддержки доклад Дмитрия интересен и полезен преимущественно в плане новых знаний и подходов
Как экономить рекламный бюджет с помощью LTV прогнозов и антифрод-систем
Артём Хапкин, старший программист исследователь myТracker рассказывает об основных способах анализа эффективности рекламной кампании на основе фактических и прогнозных данных.
На примере недавнего исследование myTracker посмотрите, сколько можно сэкономить, вовремя отключив рекламную кампанию, которая, согласно прогнозу LTV, обещает быть убыточной.
Узнаете, какую часть маркетингового бюджета можно сэкономить, если вовремя обнаружить рекламный фрод и отключить некачественные источники
Рropensity score matching или как оценивать маркетинговые кампании в условиях невозможности проведения А/В-тестов.
Вячеслав Назаров рассказывает, как в Сбермаркет делали первые подходы, как добавляли фичи и перевзвешивали вероятости, что делать дальше или как селф-сервисы позволяют внедрять дата культуру в компании.
Он также освещает нюансы и особенности разработки и внедрения методологии PSM для оценки для акций, в которых невозможно провести в A/B-тестирование
Возможности Яндекс Метрики для работы с большими данными
Метрика активно развивается в сторону потребностей крупного и среднего бизнеса, которому необходимы продвинутые возможности по сбору и обработке данных с веба.
Сергей Денисов, СРО Яндекс Метрики, рассказывает, как получить максимум пользы от аналитики при работе с большим объемом данных и эффективнее работать с маркетинговой и продуктовой аналитикой
Также анонсирована Метрика PRO!
Ура, Матемаркетинг–23 официально открыт! Начинаем сразу с масштабной новости, под стать конференции этого года:
У Матемаркетинга появилась платформа, которая поможет развиваться и обучаться как опытным, так и начинающим аналитикам, маркетологам и продактам, а также будет очень полезна devrel'ам.
Совершенно точно в данный момент открывается не только конференция, но и новая страница в истории проекта Матемаркетинг
В нашей индустрии много талантливых людей, которых не все знают. 😱
Когда я был комьюнити менеджером я вывел для себя формулу: приглашать на конференции не известных руководителей, а ребят из их команды, кто рядом с руководителем делает крутую работу своими руками. 🚀
Переодически, я отсматриваю презентации для программы конференции и помогаю выделить сильные выступления 🔥. Вот в чем история, многие зрители и участники конференции не обратят внимание на сильное выступление по узкой теме.
Возможно неудачное название или оформление слайдов или сложное слово — отпугнет читателя и он пропустит золото. 🏆 Это значит, что наш герой старался, делал крутой материал, но не получит достойного внимания. Будет ли он стараться в следующий раз обогатить комьюнити?
Выступление на конференции или даже идея алгоритма может вдохновить тех, кого на кривой Мура называют визионерами или инноваторами, сделать небольшую революцию в своей компании или продукте.
Несколько дней назад, просматривая сетку докладов на Матемаркетинг ’23, я понял, 💎 что стоит сделать.
Я хочу подсветить статьи, выступления, ютуб-видео и работу из комьюнити, на которых стоит обратить внимание, добавить в закладки, избранное или поделиться с коллегами.
I.
Итак, представляю вашему вниманию премию: лучшие выступления на Матемаркетинге 2023 по версии Ильи Красинского
1.
Премия: Неочевидные последствия.
Анна Хряпина. Разработка и Масштабирование IN-HOUSE платформы экспериментов.
2.
Премия: Алгоритмы рулят.
Виноградов Роман. Инженерная Магия: Революционный подход к атрибуции в мире B2B маркетинге
3.
Премия: Знай матчасть!
Александр Игнатенко. GTM Server Side на стероидах.
4.
Премия: Будущее уже наступило.
Владимир Борисов. Атрибуция более чем 100 млн товаров технологиями ML без обучения модели:
кейс крупнейшего китайского маркетплейса.
Попали в шорт-лист:
· Беликова Елизавета. A/B - тестирование сегодня.
· Кусакин Илья. Как построить сервис привлечения клиентов на маркетплейсе.
· Лилия Чвилева. Lead scoring в процессе lead management & автоматизации маркетинга.
Открывайте ссылку, чтобы увидеть тизеры слайдов выступления:
📹 https://rick.ai/q/iz0u4anf1kjviy
Это эксперимент на нашей новой платформе, пишите в комментарии к посту мысли и идеи.
II.
Конечно же, это субъективный анализ, но как и положено, он основан на критериях, которые хочется, чтобы были публичны и расширялись:
− капитанство.
− грубый пиар.
− вода.
− ошибки в математике, метриках или формулах.
− сложно говорит или написано.
+ интересно и понятно.
++ есть инсайты, неочевидные детали.
+ объясняется мат-часть, база.
+ actionable доклад, можно пойти и применить.
+ может оказать влияние на бизнес или продукт.
Я надеюсь, ребята увидят этот пост, вдохновятся и кроме выступления доделает метод или алгоритм или фреймворк и комьюнити станет сильнее и лучше. ❤️
P.S. Присылайте в комментарии к посту ссылки на видео, статьи и выступления, которые вы сохранили к себе в закладки и шерите друзьям и коллегам. Я хочу с вами собрать лучше выступления в комьюнити, которые достойны попасть в подборку «Комьюнити: Избранное» по разным темам.
Наша замечательная Ксюша ❤️ написала прекрасную статью о вероятностных вопросах на интервью на позицию аналитиков данных
https://towardsdatascience.com/probability-interview-questions-in-real-life-of-data-analysts-0c8b5953abd8
Обязательно в закладки
Рома Бунин - единственный спикер, который выступает на Матемаркетинге четвёртый (!) раз подряд.
Секрет в том, что Рома каждый год рассказывает новую серию своего собственного импровизированного сериала.
Пробегитесь по предыдущим докладам, послушайте приглашение Ромы и анонс новой серии, а также регистрируйтесь на сайте, чтобы завтра тоже послушать очередную серию - лекция Ромы будет в публичном доступе, нужно лишь оформить себе free-доступ на странице matemarketing.ru/tickets (купить билет тоже здорово 🙂)
— Процессы для построения BI-системы
— Сериал про систему дашбордов: мафия, ресторан
— Как совмещать разные инструменты и строить команду
⚡️ Кто будет от Яндекса выступать на большой конференции «Матемаркетинг-2023»
Ребята-аналитики и все, кому интересна маркетинговая и продуктовая аналитика, наконец-то подвезли контент для вас! Уже скоро пройдёт большая конференция «Матемаркетинг-2023», где эксперты Яндекса расскажут, как мы анализируем большие данные, какие технологии для этого применяем и зачем это всё вообще нужно.
В программе — доклады, которые можно послушать на «Матемаркетинге-2023» от Яндекса:
🟣 Сергей Денисов, CPO Яндекс Метрики. Расскажет, какие возможности Метрики можно применять при работе с большими данными и как это делается.
🔘 Надя Лепезина, руководитель группы клиентской аналитики в Яндексе. Немного о том, как использовать анализ данных для повышения эффективности рекламы с учётом индустриальной специфики.
🟣 Кристина Беликова, аналитик из Yandex Cloud. В своём докладе она покажет, сколько денег может принести бесплатный продукт.
🔘 Игорь Каргин, Head of Product and Marketing Analytics из Яндекс Go. Будет рассказывать, каким образом мы замеряем эффект незамеряемого: как мы оценили каннибализацию в перформансе и что это значит.
🟣 Олег Хомюк, CDO Яндекс Доставки, и Евгений Прохоров, Head of Analytics Доставки. Расскажут, как строить технологии эффективного управления supply в логистике.
🔘 Георгий Броницкий, руководитель группы аналитики e-grocery из Яндекс Еды. Будет рассказывать про эффективное распределение маркетингового бюджета и запуск «машины скидок».
🟣 Наталья Илюнькина, аналитик Яндекс Маркета. В своём докладе поделится честной оценкой эффекта пользовательских коммуникаций.
🔘 Константин Бабалян, руководитель группы ценообразования и платформы роста в Яндекс Еде. Будет рассказывать, как стоимость доставки в Еде меняет условия балансирования рынка.
Все эти классные ребята из Яндекса будут выступать 26 октября онлайн, а ещё 9 и 10 ноября в Москве. Все подробности — здесь. (а ещё у нас есть промокод by_yandex со скидкой 15% на онлайн-билеты и билеты уровня Senior, поэтому, если что, велком).
🔜 Ну и если вы собираетесь быть офлайн, то приходите знакомиться: мы на «Матемаркетинге-2023» будем стоять с большим стендом. А это значит, что будет много активностей, мерча и вот это вот всё!
Подписывайтесь 👉 @Yandex4Developers
#события_YFD
Раздобыть, изучить, сделать выводы, повторить — вот она, суперсила аналитика при работе с данными!
19 октября в 19:00 по Москве приглашаем аналитиков на офлайн-митап! Собрали для вас 4 хардовых доклада про данные в маркетинге, операциях и продукте от опытных спикеров.
В программе:
🔴 «Ориентированные графы, алгоритм Уивера, условная вероятность: как трижды построить прогноз и не потерять голову». Поделится Иван Дороганов, операционный аналитик СберМаркета.
🔴 «Поймай меня, если сможешь: в ролях A/B, репутация, антифрод, psm». Расскажет Анастасия Несмеянова, старший аналитик из Авито.
🔴 «Как построить сквозную аналитику и снизить стоимость привлечения клиентов». Объяснит Сергей Белянин, маркетинговый аналитик СберМаркета.
🔴 «Оценка потенциала партнеров или как не потратить год на разработку бесполезного сервиса». Раскроет завесу тайны Никита Резников, аналитик из Тинькофф.
Количество мест в офлайне ограничено. Регистрируйся по ссылке и зови друзей!
Хочешь поступить в ШАД? Или, может быть, в магистратуру по Data Science?
Ищешь материалы и советы по подготовке?
Тогда подпишись на канал "Поступашки ШАД"!
Канал ведут преподаватели МГУ, ВШЭ и ШАД. Там тебя ждут:
🔺Подборки материалов по математике, алгоритмам, ML/DL;
🔺Советы, как поступить в ШАД, Ai masters или в магистратуры по Data Science;
🔺Инсайды и анонсы об актуальных стажировках, образовательных проектах и олимпиадах.
...и еще много полезного =)
Подписывайся и поступай вместе с нами ⬇️
@postypashki_old
Сделать ремонт планируют 58% респондентов, по данным опроса. Яндекса. А за последний год был зафиксирован небывалый спрос на ипотеку — во втором квартале. Что это значит?
Это значит, что компаниям, особенно ритейлерам в сфере ремонта, нужно учитывать эти данные, особенно при выстраиванию маркетинговой стратегии на 4-ый квартал 2023. Следовать стоит примеру онлайн-гипермаркета ВсеИнструменты, который продает товары для дома, дачи, стройки и ремонта.
Компания хотела повысить знание о бренде среди своей целевой аудитории и увеличить доход от рекламы. Обратились они к инструментам медийного размещения Яндекс Рекламы: видеоформату и баннерам.
К запуску РК подошли комплексно: запустили три видеокреатива с учетом интересов аудитории, а затем настроили ретаргетинг баннерами на пользователей, которые досмотрели видео. Это позволило компании повысить:
— Доход от рекламы на 22%
— Знание о бренде на 12%
— Брендовых поисковые запросы на 65%
Вывод один: рекламный инструментарий Яндекса — супер комплексный, что позволило компании повысить узнаваемость бренда, привлечь новую аудиторию, а самое главное — увеличить доход.
https://bit.ly/48EOcei?erid=LdtCKEjZs
🔥 Планы на эту среду: прокачать Pandas в Python!
27 сентября в 19:00 по Мск Андрон Алексанян, CEO IT Resume & Simulative, проведет бесплатный вебинар по аналитике рекламных кампаний с помощью Pandas в Python.
Перед нами будет стоять задача — оптимизировать расходы на рекламу и улучшить эффективность рекламных кампаний.
Поэтому нам предстоит:
◾️ рассчитать основные маркетинговые метрики: CR1, CPL, CPQL, CR2, CAC, ARPU;
◾️ написать код на Python с помощью библиотеки Pandas и провести расчеты;
◾️ проанализировать результаты рекламных кампаний с помощью статистики и графиков;
◾️ и принять управленческие решения на основании расчетов.
Вебинар подойдет всем — от новичков до тех, кто уже знаком с Python:
◾️ Подробно объясним каждый свой шаг;
◾️ Будем много говорить про аналитику и продуктовую составляющую на примере реальной бизнес-задачи — такой опыт точно будет вам полезен 😊
🎁 А также каждый участник получит подарок — методичку с перечнем основных маркетинговых метрик.
🔗 Если вы готовы прокачать свои знания, то ждём вас на вебинаре — переходите.
Реклама. ООО Айти Резюме. ИНН 4025460134. Erid:LjN8Jx3Gc
erid: LjN8JwFXu
Яндекс Практикум ищет маркетинговых аналитиков для участия в интервью!
Всем привет! Мы - команда исследователей из Яндекс Практикума. Сейчас мы проводим исследование профессии маркетингового аналитика. Хотим узнать, какими знаниями и опытом обладают такие специалисты, какие задачи решают и с какими сложностями сталкиваются🌟
Приглашаем на интервью, если:
🔸Вы - начинающий маркетинговый аналитик (junior/junior+)
🔹Вы занимаетесь наймов начинающих маркетинговых аналитиков в команду
Интервью пройдет в зуме в удобное для вас время и займет около 45 минут. От нас - бонус в благодарность за помощь!
Чтобы принять участие, заполняйте форму по ссылке. Наши исследователи свяжутся и договорятся о встрече! Спасибо:)
Реклама АНО ДПО "Образовательные технологии Яндекса", ИНН:7704282033
Уже вовсю идут доклады второго дня Матемаркетинга! Вот один из них:
Система мониторинга, предназначенная для оценки, мониторинга и управления рисками, связанными с ml-моделями
В рамках доклада обсуждаются методы актуализации, информирования и внедрение централизованной системы управления для регистрации и отслеживания всех моделей в компании.
Александр Сахнов из X5 Tech делится кейсами, где контроль модельного риска помог предотвратить финансовые потери, и показывает, как опыт Х5 может быть адаптирован и применён в различных компаниях. Доклад нацелен на специалистов машинного обучения, Data Scientist, ML-инженеров, а также product- и project-менеджеров в сфере DS
Аналитика и технологии в логистике: подходы к повышению эффективности
Олег и Евгений из Яндекс Доставки в своём докладе освещают:
- Что такое эффективность применительно к логистике?
- С какими вызовами сталкиваются компании?
- Аналитические задачи в логистике
- Существующие неэффективности в разных разрезах
- Счастливая модель логистики будущего
- Incentives и управление supply по часам и географии
- Batching и увеличение емкости supply
Как улучшить перфом-каналы с умом и ML
Юля Зыкова, руководитель департамента пользовательского опыта Циан рассказывает, какое практическое применение в рекламе они видят за громкими cловами об AI-технологиями.
Юля разбирает кейсы оптимизации стоимости клика на объявление, увеличения качества контента и генерации текстов, который будет цеплять даже людей с баннерной слепотой
Интеграция GA4: сложности и решения
В середине 2023 года компания Google принудительно перевела всех клиентов с Universal Analytics на GA4, что вызывало массу вопросов о том, как корректно интегрировать GA4 с БД и другим аналитическим стеком, как получать 100% сырых данных при существующих лимитах в GA4, как сохранить структуру маркетинговой отчетности?
В своем докладе Анастасия Деткова как раз отвечает на эти вопросы и рассказывает обо всех этапах интеграции GA4: о подводных камнях и сложностях, с которыми столкнулась наша команда, и о решениях, которые мы уже применяем в работе.
На примере их кейса в сегменте e-com и продукта DataGo! GA4 Настя показывает, как их команда справлялась с вызовами, и какие инсайты они смогли сформировать. Прослушав доклад можно оценить все существующие риски и сложности в интеграции GA4 и понять, какими ресурсами необходимо обладать для успешной реализации подобного кейса.
Как измерять инкрементальность performance-кампаний? А если без А/В?
Ирина Гутман, маркетинговый аналитик Авито, рассказывает, почему инкрементальность важна на примере историй из жизни маркетингового аналитика Авито.
Она показывает, как в Авито на А/Б-тестах измеряют инкрементальность и с какими проблемами сталкиваются, а также почему из-за этих проблем не хотят делать тесты, а хотят измерять инкрементальность на данных.
Ирина также делится простым фреймворком, позволяющим оценить инкрементальный эффект от кампаний. Задача со звездочкой - в Авито попытались оценить long-term эффект на пользователей от performance канала
Буквально пара минут осталась до начала Матемаркетинга-23!
Сегодня будет масштабно: 1500 гостей, 20+ докладов и просто огненный нетворкинг
Всех, кто сегодня с нами, прямо сейчас ждём в Зале Альфа на официальное открытие конференции!
В прошлом году я выступал на конференции Матемаркетинг и говорил там про темные паттерны: редкий случай, когда меня можно послушать и увидеть вживую.
https://www.youtube.com/watch?v=eADQeoRuN6Q
В рамках лекции рассказываю:
1) Что такое темные паттерны
2) Как они влияют на бизнес-метрики продукта
3) Можно ли обойтись без использования темных паттернов
4) Краткосрочный и долгосрочный эффект от применения темных паттернов
5) Есть ли альтернатива?
Часть примеров в презентации взяты из этого канала, часть была подготовлена специально для выступления.
В этом году на конфе не выступаю, но вместе с записью лекции мне подогнали скидку 15% на любой тип билета — пользуйтесь промокодом SPEAKER на здоровье.
https://matemarketing.ru/
Фуууух... Середина октября. 3 недели до старта оффлайн-части Матемаркетинга и всего неделя до онлайн-эфира.
Вроде как все утряслось. Осталось сделать. На данный момент подтверждено более 1200 оффлайн участников и на следующей неделе ожидаем ещё порядка 150-200 участников. Так что, конференция действительно будет большой.
Программа сформирована. Партнёры укомплектованы. Мы строим Карфаген на главной сцене, написали свой модуль распознавания речи для GPT, запустили наконец-то мерч https://matemarketing.ru/mmerch (забрать можно будет на конференции 10 ноября во второй половине дня), интегрировали два десятка партнеров, полсотни инфопартнерств и устроили несколько уникальных проектов: начиная от ретрансляций, заканчивая отчётами и уникальными бейджами. Перед конференцией пройдёт пре-пати для спикеров, друзей конференции + продадим туда немного билетов для c-level участников. На самой конференции кроме площадки будут доступны близлежащий ресторан и кальянная для встреч и собеседований.
Взял билеты в Москву. На конференции я презентую нашу собственную платформу, над которой мы довольно долго работали и которая будет включать в себя контент по подписке, микрокурсы и много-много чего ещё, чего нет ни у кого из наших конкурентов, друзей и партнёров.
В общем, должно быть довольно насыщенно. Не пропускайте Матемаркетинг в этом году.
matemarketing.ru
Что у меня нового. Не могу держать в себе.
На данный момент количество оффлайн-участников ММ превысило 1000 человек (это только те, кому мы выставили счета). 1022 человека с учетом спикеров, модераторов и приглашенных мною гостей конференции. Без этих прекрасных людей - чуть более 800 участников. Сейчас это представители 113 компаний (фактически больше, так как крупные агентства приглашают суммарно более сотни своих клиентов). Онлайн-участников 328 (представители 62 компаний).
Очень надеюсь и уповаю на то, что в России и Москве будет относительно спокойно в течение ближайшего месяца. Взял билеты на самолет.
Тайминг ММ:
26 октября - онлайн-день
7 ноября - pre-party для спикеров, C-level участников и друзей конференции
9 ноября - маркетинговый день + презентация платформы
10 ноября - продуктовый день
16 ноября - дата публикации pdf-отчета о конференции
Работаем!
Приходите тоже: https://matemarketing.ru
Новость дня. По итогам Матемаркетинга выйдет большой pdf-отчет, содержащий в себе ключевые моменты всех выступлений, главные слайды презентаций, ссылки на записи, презентации, ресурсы и много-много чего интересного. Предполагаю порядка 80 разворотов, наполненных смыслом и при этом очень красивых. Этот отчёт будет приятно читать.
Отчет будет распространен среди участников конференции, всей подписочной базе Матемаркетинга (20000+), в телеграм-каналах (60 000), будет размещён на главной странице сайта, + ссылка на скачивание появится под всеми нашими видео на YouTube, а также отчёт уйдёт в партнерские СМИ, телеграм-каналы, ресурсы партнеров и тд и тп. Я предполагаю от 50 до 100 тысяч скачиваний. Отчет выйдет в свет 15-16 ноября (через неделю после конференции).
Это я к чему? У меня есть рекламные места внутри. Ваши сервисы, вакансии, услуги прекрасно впишутся в контент, даже если вы не являетесь докладчиком или партнером конференции. Более того, я вам предложу нативный формат, а также подсвечивание через наши рассылки и telegram-каналы. Грамотный целевой охват - то что нужно перед новым годом.
Полистайте карусель. Оцените какой это кайф!
Команда проекта. 2 фотографа, редактор, 3 дизайнера, координатор, LLM и ещё несколько человек (и не только человек). В общем, сделаем о**енно.
P.S. Слотов не очень много.
P.S.S. Фотографии на макетах взяты из нашей базы фотографии. Подписи и должности не соответствуют действительности, так же как и тексты. В итоговом отчёте все будет соответствовать.
Сегодня все пишут переговорах OpenAI и Джонни Айва о чем-то, что будет новым устройством уровня iPhone в свое время.
Позволю себе предположить, что это будет не телефон, а гарнитура, позволяющая поддерживать диалог (слышать и говорить) на любом языке. Уже сейчас реалтайм speech to text и дальнейший перевод любого контента - видео, аудио, речи - доступен на сотне языков. Уже сейчас нейронные сети, переводят вас на любой язык с и редактируют вашу мимику.
В общем, если это будет гарнитура, которая обладает всей мощью GPT v.X и позволит мне безбарьерно общаться с любом человеком на земле, я первый встану в очередь за ней, сколько бы оно ни стоило. И конечно же, я уверен, я буду оплачивать подписку на языки.
В удивительное время живём. Очень хочу такой девайс.
Программа и новые типы билетов на Матемаркетинг. Мы объединили актуальные, важные и значимые доклады в плотную насыщенную программу Посещение Матемаркетинга - must have для каждого перформанс-маркетолога, аналитика и BI-специалиста. Во-вторых, мы впервые вводим разные категории билетов. Junior+ c посещением одного из двух дней конференции (300 билетов), Senior - классический билет с полным доступом (1200 билетов) Head - c возможностью посещения закрытой встречи для C-level и уникальными доступами на площадке (150 билетов) Также, у нас как всегда есть полноценный Онлайн.
Мы добавили возможность оплаты билетов и доступов картами Visa и Mastercard.
Выкатили групповые пакеты от 3 билетов, скидки на которые достигают 24%. Все подробности на сайте и страничке https://matemarketing.ru/tickets
До конференции 2 месяца. Ждём вас