5587
Путь от ML-модели до Value для компании | RecSys, Search, LLM, Pricing и CLTV Ваня Максимов, @Ivan_maksimov Head of AI | Recsys, search, llm @Y.Market, ex-WB, ex-Delivery Club Консультирую компании, Веду курсы Публикую релевантную рекламу
Middle+ / Senior DL Engineer (RecSys, NLP) в Wildberries
250-350к/мес net для middle+
350-500к/мес net для senior
Ищу к себе в команду RecSys R&D Lab еще пару сильных людей 💪
Что за команда?
Новый отдел Recsys R&D Lab, направленный на тестирование необычных гипотез в рекомендациях и свежий взгляд на текущую систему. Фокус у нас на создании решения для продакшена, а не написание статей. Стремимся не только увеличить выручку в моменте, но и удовлетворенность пользоватеоей (читай, ретеншен и частотность)
Мы занимаемся полным циклом моделей: от идеи и данных, до самой модели и выкатки ее в продакшен. Нет, C++ знать не нужно, но airflow джобы писать придется)
Что ожидаю от кандидата
- Глубокое понимание блоков нейросетей: BatchNorm / LayerNorm, Dropout, Attention и тд
- Опыт работы с эмбеддингами товаров/пользователей: от простых (word2vec, ALS) до более сложных (BERT, Е5, CLIP)
- Готовность глубоко погружаться в бизнес-задачи (Как сделать рекомендации разнообразнее? Как повысить средний чек?) и переводить их в ML термины (loss, метрики, трюки в архитектуре)
- 2+ года опыта в обучении/файнтюне RecSys/NLP моделей, для Senior - 3+ года
Note: Если вы не из мира RecSys, но хорошо разбираетесь в NLP -- приходите пообщаться!) Обычно переход таких людей в RecSys достаточно прост
Не обязательно, но будет плюсом
- Понимание специфических моделей для рекомендаций: SASRec / BERT4Rec, EASE, LightGCN, RecVAE
- Опыт ускорения обучения и инференса нейросетей: DeepSpeed, multi-gpu обучение, mixed precision training, квантизация эмбеддингов
- Опыт обучения трансформеров с нуля, metric learning, графовых нейросетях, RL
Наш стек: GreenPlum / Hadoop, Python (pytorch, nltk, opencv), gitlab, airflow
Мощности: Для экспериментов используем рисерч кластер. На одну машину можно взять 384 gb RAM и до 4шт A100
Можно отправить резюме напрямую мне в личку @Ivan_maksimov 🧠
Митап по А/В платформам от СберМаркета
4 апреля в 18:00 по Москве СберМаркет проводит онлайн митап про А/В-платформы, тесты и процессы, с этим связанные
Обычно у ребят выходят прикольные статьи, да и в целом, у них довольно хорошо развита культура А/В. Приходите, будет интересно 🧐
Что будет на митапе:
🟡Система автоматического расчёта А/В тестов. Рамиль Чермантеев, руководитель команды аналитиков-инженеров платформы экспериментов СберМаркета, расскажет, что автоматический расчет из себя представляет и с какими трудностями мы столкнулись при его развитии.
🔴Как привести эффекты от A/B-экспериментов к масштабу всей компании? Артем Дронов, аналитик АВ-платформы, Авито, поделится методологией приведения и оценки результатов экспериментов к масштабу всей компании.
🔵Система офлайн-экспериментов. Полина Ревина, и.о. руководителя A/B-платформы в СберМаркете, расскажет о свитчбэк-тестах и тестах в магазинах, сплитование для которых делается офлайн.
🟡Open Talks: Как развивать и масштабировать платформы и процесс проведения экспериментов. Модератор дискуссии со спикерами – Искандер Мирмахмадов, co-founder EXPF.
Регистрируйтесь, чтобы получить ссылку на трансляцию 📬
Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8K57Ji
Это они еще tf-idf не пробовали..
Ну а вообще тема с бейзлайнами и сбором качественных данных за последие год-два отошла на десятый план
Очень жаль: надо как-нибудь собрать митап или конференцию а-ля "BaseConf", где все будут рассказывать свои кейсы, как бейзлайнами побеждают SOTA в индустрии 😁
начало поста про Тимлидство выше ⬆️
Развитием людей в команде
1-1, брейнштормы, курсы, код ревью, индивидуальные планы развития и все прочее вообще-то говоря при грамотном использовании помогает вам расти! А организовать рост даже 5 человек - ох, какая непростая задача
Bullshit-filter
Ну и напоследок, члены команды могут даже не знать про кучу странных задач, которые тимлид обсудил с маркетингом/продуктом/бабушкой CEO и убедил их, что такие задачи делать не нужно)
*Как стать тимлидом?*
Если вас не смутил список выше, то посмотрите на него повнимательнее - предлагаете вашему тимлиду помочь с одним любым пунктом - profit, через полгода вы тимлид) Без шуток, если ваш тимлид смог передать кому-то из команды даже часть этих вещей.. то обычно он становится тимлидом тимлидов!
Мамка-менеджер
Недавно общались с друзьями про управления командами, и почему иногда люди становятся чайка-менеджерами
Вот вам ответочка от собирательного «чайка-менеджера»
Сам он часто чувствует себя «мамка-менеджером»: как будто у него не команда, а маленькие дети. Оставил на 5 минут, и тут же они разбили вазу выкатили релиз с багами, поссорились с соседней командой и придумали новое SOTA решение, которое невозможно катнуть в прод. На разных грейдах дети выглядят чуть по-разному
Стажер
«Я все решил: сделаю бейзлайн прогноза продаж на GPT-4”
Джун
«Я сделал решение на трансформерах, которое лучше по оффлайн метрикам на 2%! Да кого парит RPS в проде и то, что я один в компании знаю JAX? Главное, что ml-метрики растут»
Оригинальный мемчик от @dealerAI на эту тему над постом)
Миддл
«Мы готовы катить в прод: ml-метрики топ, тесты пройдены, CI-CD настроен, используем DVC, mlflow, airflow и fastapi. В смысле никому не нужно понимать, какое слово в названии товара - существительное?? Да почему всех интересуют только польза конечному юзеру и деньги?
Синьор
*Рассказывает на общем демо, что конверсия выросла +5% от новой фичи*
CEO неделю спустя спрашивает, почему упала выручка
Синьор *наконец считает, что там было в АВ со средним чеком….*
Идеал для тимлида - самостоятельные сотрудники, которые могут решить 90% задач/проблем без тимлида и продумать последствия
В общем, у взрослых команд мамка-менеджеров почти не бывает 🙂
Есть конечно 1-5%, которые кроме как чайка-менеджерить не умеют - остальные делают это от безысходности 😥
P.S. Да, мне тоже пару раз приходилось мамка-менеджерить: ооочень неприятное это дело, напишу об этом пост когда перестанет так сильно подгорать когда-нибудь)
@ml4value
Вдогонку к прошлому посту про «стажерские» ошибки в статьях по RecSys - даже рисерч отдел Google немножко 🤏 ошибся с неймингом своих моделей
В итоге многие думали, что смотрят на Gemma-7B (7B параметров) как на похожего по размеру конкурента условного Mixtral-7B, но… у Gemma-7B около 8.5В (+21%) параметров - правильнее ее называть Gemma-9B
Соответственно «в лоб» такие модели сравнивать не очень корректно
3 всадника рекомендательного апокалипсиса
Сделать персональные рекомендации легко, но почти все системы настигают 3 проблемы
1. Оффлайн метрики, а не онлайн
Можно бесконечно долго оптимизировать ML-метрики типа recall@k, а в результате получить, например рекомендации очень релевантных пакетов или выдачу из одних утюгов
Далеко не всегда оффлайн метрики хорошо коррелируют с деньгами (онлайн): нужно очень хорошо постараться, чтобы найти связь
2. Каннибализация
Доля заказов из рекомендаций 60% - какие мы молодцы!
Нет)) Мы могли просто каннибализировать тот же поиск.
Могло стать даже хуже: каннибализировали поиск, где конверсия выше
На практике эффект ~1 к 10. То есть доля заказов из рек 60% - реальный прирост заказов vs без рек = 6%
Возможно для кликов/заказов из рек надо совершать меньше действий (скролл vs подумать над запросом, написать его, выставить фильтры). Но если юзер знает, что ищет (айфон 14 pro max), то он и без рек его найдет - поэтому в реках важно diversity, surprise
Вообще хорошо бы подумать, как сделать реки НЕ похожими на результаты поиска. YouTube например, убирает из данных для модели последний поисковой запрос даже!
3. Конверсия, а не деньги
Все мы любим оптимизировать конверсию: это понятно и не так сложно. Но реальный мир суров: можно вырастить конверсию и уронить средний чек - в итоге упадет выручка. А можно, например, рекомендовать супер релевантные товары, которые поедут из Южной Америки - и потерять деньги на логистике. В общем, деньги имеют значение 💰
@ml4value
Выводы про А/В-тестирование от Optimizely
Довольно известная плафторма АВ Optimizely выпустила репорт с анализом 127к экспов за последние 5 лет. И вот что они обнаружили
1. 88% экспериментов проваливаются
Да-да, лишь 1 из 10 ваших самых гениальных и продуманных идей в итоге растит метрики)
Эта цифра довольно хорошо согласуется и с репортами от крупнейших компаний (гугл, ютуб, амазон, airbnb)
2. Половина компаний проводит менее 34 экспериментов в год
Это очень МАЛО ~3 эксперимента в месяц. На моей практике в Delivery Club мы видели хороший суммарный эффект от АВ плафтормы на 10+ экспериментах в месяц. Ну и в конце концов разогнались до ~40-50 экспериментов в месяц (по данным optimizely это как у топ-3% компаний)
3. ~30% экспериментов используют метрику "Выручка". Но красится она в <1% случаев
В общем, думайте тщательно над выбором метрик - не берите просто самую верхнеуровневую! Как правило, почти всегда можно выбрать более узкую и специфичную для вашей фичи метрику (конверсию из действия Х в У, например). Для этого вам помогут деревья метрик и декомпозиция метрик
4. 10% экспов используют 4+ тестовые группы.. и несут х2 импакта - Тут есть вопросики 🤡
Среди 4+ вариантов без хороших поправок на множественное тестирование легко найти победителя, даже если его нет. Тогда конечно такие экспы будут *случайно* нести больше импакта. В общем, я бы покопался под капотом Optimizely - проверил, как они делают (и делают ли) поправку на множественное тестирование
Мое мнение - в 95% кейсов можно использовать 2 группы, в оставшихся 5% - 3 группы
5. Топ 5% АВ-тестов (всего 2 экспа из 34) приносят 50% импакта
Кажется, эпоха low-hanging fruits прошла. Нужно не бояться делать большие изменения и смотреть, что получится
Плюс, делать больше качественных экспериментов конечно!) Optimizely посчитали, что оптимально 1 разраб = не более 1 экспа в месяц
А какие выводы про АВ есть из вашего опыта?)
Пробую сделать персонализированную аватарку для канала
Решил поэкспериментировать со смешиванием своей фотки с чем-то еще в одном нехило известном GenAI приложении. Вчера фоткал мост в виде дракона, который изрыгает реальный огонь 🔥
Конечно захотел смешать свою фотку с этим чудом
Я ожидал все, что угодно: добавление кучи огня к моей фотке, перемещение меня в футуристический город, но получилось… ⬇️
Обычно не люблю считать стату канала за год, но tgstat тут все сделал за меня
>200К просмотров моих постов в 2023 - просто шок 🤯
Еще бОльший шок - 2.5К пересылок
Похоже, становлюсь инфлюенсером на минималках 😅
Задача персональных рекомендаций
Сегодня наткнулся на интересный пост про распространённую проблема в рекомендательных системах — недостаток персонализации, когда показываются в основном популярные и не очень релевантные пользователю товары. В ML-сообществе проблема известна как popularity bias
Я бы чуть расширил тему, подумав, а что и как вообще можно рекомендовать людям? Какие "стратегии" рекомендаций есть?
1. Те кто купил товар Х, также вероятно купят товар Y
Прям классика рек систем - решается обычно через разложение матрицы user-item, например через SVD / ALS
В идеале, если юзер посмотрел фильм "Железный человек", то ему может порекомендоваться другой фильм саги "Мстители"
2. Рекомендуй похожие товары на то, что юзер уже купил
Идея клевая, а с реализацией.. все сложно 😅
Наверняка после покупки кухонного стола вам еще месяц везде рекомендовались столы, да? Это те самые "похожие" рекомендации, которые плохо сварили.
При этом через месяц после покупки стирального порошка вполне валидно рекомендовать даже тот же порошок!
3. Повторные покупки
Какие-то товары можно покупать много раз (стиральный порошок, еду, и тп). Уметь вовремя рекомендовать то, что юзер уже покупал - очень прибыльная задача
4. Последовательные покупки
То, что может создавать wow-эффект, чуть ли не верх мастерства, но я практически нигде не видел годной реализации
Вы купили кухонный стол (вероятно, обустраиваете кухню) - рекомендуем стулья, затем скатерть, затем тарелки с кружками и тп
5. Рекомендации популярных и трендовых товаров
Быт ьможет пользователь новый и вы еще ничего о нем не знаете. Или пользователь сам не знает еще, чего он хочет: в таких кейсах круто рекомендовать популярные или трендовые товары
В начале хайпа селфи палок вряд ли много кто даже знал о них. Но показав, что у вас они есть - вы вполне могли привлечь пользователя к покупке
ML-щик в Телеграм на полставки
Телеграм выкатил рекомендации похожих каналов - ну наконец-то!) Многие уже ждут рекомендательную ленту, но давайте подумаем над менее очевидными реками
Судя по всему, сейчас главная метрика - доля premium пользователей, которые помогают телеге зарабатывать. Поэтому будем думать над рекомендациями, которые можно вставлять как доп фичи в премиум
Вторая по важности метрика на мой взгляд - это СAC подписчика для авторов. Сейчас это порядка 80-100 руб за 1 подписчика - ну жесть же! Крайне сложно стать популярным автором качественного контента, не продавая курсы или еще что: просто не будет 1 🍋, чтобы купить 10к подписчиков. А без качественных каналов где-то плачет ретеншен
Итого, идеальные рекомендации ведут на новый для пользователя канал + он готов сам за это платить. Интересно звучит, да?)
😱 При положительной реакции на пост 👍/🔥 показывать схожие посты в других каналах
Понравилась новость про GPT-4 - получаешь другие отборные новости по этой же теме. Актуально тем, кто хочет погрузиться внутрь темы. Ну или бесконечно смотреть смешные мемасы - сейчас для этого приходится залезать в инсту:)
Из плюсов такой фичи: очень ненавязчиво. Показывают реки только тогда, когда пользователь явно дал фидбек на пост + так легче рекомендовать что-то релевантное в данный момент
😱 Официальный бот-саммерайзер постов за день, присылает 3-5 саммери, сгруппированных по темам (мемасики, спорт, ML и тп)
Уже сейчас канал читают, если он попал в условные топ-10 у человека. А каналов на 1 человека уже >100. Накидывать юзеру еще больше каналов не всегда имеет смысл. А вот делать саммери каналов (можно даже и каналов из архива) - вот тут другое дело! В конце саммери можно писать топ каналов, из которых собрали эти самые саммери
В итоге, и ленту человеку миллиардом каналов не засоряем (можно вообще все в архив сложить), и время экономим. Ну и за такое не грех и купить premium подписку: Я вот с радостью бы читал саммери своих 50+ каналов про ML
А какие рекомендательные фичи сделали бы вы в телеге?)
GPT-4 захватывает мир, в то же время..
Поиск Гугла ломается при добавлении цвета “Rose”. Начинает выдавать вообще не ML-иконки:)
У меня такому феномену 4 объяснения-гипотезы:
- Поиск Гугла не учитывает контекст последних запросов (до этого гуглил “ml icon”)
- Поиск Гугла не учитывает персональный вектор пользователя (странно парню рекомендовать пусть в спорных кейсах косметику)
- Что-то ломается из-за поиска по специфичному домену ML
- Popularity bias во всей красе (домен косметики явно популярнее ML)
Знатоки NLP и поиска, что думаете? ⬇️
Розыгрыш подписки телеграмм-premium
Вместе с Ромой из канала Start career in DS проводим конкурс розыгрыш 🤡
Мы оба работаем в Яндекс Лавке и делаем прогноз спроса, ценообразование и оптимизацию ассортимента круче. У Ромы на канале можно прочитать много всего интересного)
Визуализация эмбеддингов из коробки 📦
Наконец появилась приятная библиотека spotlight для визуализации данных в ноутбуке без тысяч строк на matplotlib и seaborn
Самое приятное для меня: помимо классических визуализаций табличек, spotlight умеет в неструктурированные данные (картинки) и эмбеддинги!
В общем, буду активно тестить🤓
RecSys R&D Tеam Lead @ Wildberries - моя новая роль с февраля
Прошло уже 2 месяца, как я вышел на новую работу - пора рассказать, почему решил идти именно сюда
🚀 Масштаб
WB входит в топ-10 маркетплейсов мира... и растет ежегодно почти х2
Тут безумно много данных: 100М+ пользователей и еще больше товаров. И до кучи почти все модальности: ивенты пользователей (~таблички), текст, картинки, категории. Идеально, чтобы поработать с ними всеми:)
🦾 DL-ем жечь сердца людей улучшать уже довольно хорошие модели
Можно смеяться над бейзлайном из топ-популярных товаров ровно до 10 провала его побить. Ну а если серьезно, то в WB конечно же есть двухуровневый пайплайн из ALS/BERT4Rec/Другие кандидаты + Catboost. Кстати, про BERT4Rec в wb недавно вышла статья
В общем, настало время более хитрых нейронок, beyond accuracy метрик, дебаясинга и прочих ml-радостей!
И даже уже получается добиваться занятных результатов на оффлайне 🤫
🧠 Катить в прод без страданий на C++ / разработки прод инфры
Development в R&D не случайное слово: мы целимся в проверку рискованных гипотез, чтобы в итоге выкатить их в прод, и заработать доп деньги компании. Целимся не только в доп деньги в моменте, но и удовлетворенность пользователей (читай, ретеншен и частотность). Написание статей - не приоритет, но если очень уж захочется, то можно!
Пока большинство моделей работают offline раз в ночь - можно ставить почти любую по сложности модель на airflow job и предгенерить рекомендации для всех пользователей. Без регистрации и смс стремления попасть в 100мс -ный инференс. Идеально подходит для концепции SOTA ML4Value!)
🙌 С нуля собирать команду
Круто, что можно будет самому собрать команду. С другой стороны, если получится, то я молодец, а если нет.. 😅
Нас уже 4 человека, но еще пара вакансий скоро появится - думаю, напишу об этом в канале)
Увидел в ethan_mollick/post/C46AfItO8RS">Threads анекдот: Bloomberg потратил ~$10 миллионов (в AWS SageMaker) на тренировку BloombergGPT (50B параметров на 700B токенов), специально для финансовых задач. Иииии.... модель всухую проиграла на этих же финансовых тасках GPT-4, которая вышла за две недели до этого.
И тут всё было бы очевидно: "нужно сдаваться GPT-4". Если бы не одна маленькая деталь — GPT-4 в свою очередь либо проигрывала либо еле-еле перегоняла (используя Chain of Thoughts) специализированные файнтюны таких динозавров как BERT (2018, 110 лямов параметров) и RoBERTa Large (2019, ~700 млн параметров).
Мораль басни такова: если вы не лидер AI гонки, то не соревнуйтесь с OpenAI в общих задачах, это дорого и трудно. Но если есть прямые руки и конкретный таск — перегнать даже SOTA general purpose модель вполне возможно. А, и ещё: тренировать в AWS безумно дорого 😂
@ai_newz
Ускорение нейронок: квантизация и сжатие эмбеддингов
Нейронные сети становятся все больше, и многие компании задумываются про то, как хранить и инференсить их без GPU-кластера стоимостью 300кк/сек
Тут на помощь нам приходит постпроцессинг эмбеддингов. Стандартный float32 эмбед размерности 1024 можно превратить в int8 (квантизация) или в эмбед размерности, скажем, 128 (сжатие)
Классические способы
Настолько классические, что не знать их на собеседовании миддлу - уже тревожный звоночек
Сжатие делают через PCA / TSNE / UMAP - есть их ускоренные х500 (не преувеличиваю) версии на CUDA. А квантизацию (иногда неявную) и приближенный поиск через библиотеки вроде FAISS. Можно поподробнее про них почитать в недавней статье по сжатию эмбеддингов от wildberries 🍒
Если вы впервые слышите эти названия - очень рекомендую ознакомиться:)
Более современные способы
Можно превращать float32 эмбеддинги в int8 (-128, ..., +127) или даже binary (0, 1) с минорным падением качества
Ребята из Яндекс.Алисы и YaGPT написали годную обзорную статью про квантование в int8
Недавно рисерчеры пошли еще дальше и придумали способ квантования в binary (0, 1)
с ускорением х45 🚀
Для сжатия эмбеддингов придумали Matryoshka Representation Learning - можно «откидывать» части эмбеддинга! Красивое и быстрое решение)
В общем, даешь мир легких нейронок, которые можно запустить на 1 GPU ❤️🔥
Зачем нужен тимлид ...и как им стать?
После поста про мамка-менеджера случилось несколько холиваров (где я тоже поучаствовал 😅) на тему, а зачем самостоятельной команде в принципе нужен тимлид? При этом многие стремятся вырасти в тимлида. Давайте разбираться в этой дилемме:)
*Что вообще делает хороший тимлид?*
Решает 10% самых сложных проблем каждого члена команды
Да, чтобы при команде в 5 человек решать всего 5 * 10% = 50% человеко-проблем (самых сложных!) команда должна быть на 90% самостоятельной. Иногда при бОльшем проценте таких проблем тимлид в них тонет, и в общем-то на этом заканчивается его работа 🥲
Зачастую работает техлидом
Очень часто написать идеально отдельные кусочки кода легко, а вот продумать, как он ложится во всю архитектуру системы (ваши фреймворки, время расчета, RPS, масштабируемость) - та еще задачка
Помимо этого зачастую тимлид ревьюит код, да и сам его пишет
Переводит бизнес-проблемы в понятные тех задачи
Путь от "Кажется, наши промо-акции неэффективны" до "Давайте прогнозировать спрос в зависимсоти от скидки + делать оптимизацию поверх" не так прост, как кажется. Нужно не только это сформулировать, но и убедить бизнес, что так стоит делать. У некоторых стейкхолдеров бывают страхи насчет ML, возможно были неудачные прошлые попытки - надо все это разрулить
Часто бывает, что нужно за стейкхолдеров вообще сформулировать, в чем заключается их бизнес-проблема 😅
Представитель команды в компании
На ревью, демо, при обсуждении бюджетов и новых ставок, дополнительных плюшек - в общем, вы даже не представляете, насколько успех вашей команды и вас персонально зависит от этого скилла у тимлида. Как думаете, какая команда и конкретные люди будут расти быстрее: Про которую все понимают, что она делает, и результаты которой заметны всем или той, про которую вспоминают только на ревью?
продолжение ниже...
Точность в нейминге размера модели критически важна для LLM, поскольку это влияет на справедливость сравнения, воспроизводимость результатов и понимание компромиссов между размером модели и её производительностью.
Решил создать тред на HF. так что поддержать идею о переименовании модели Gemma7B в Gemma-9B можно тут:
👉 https://huggingface.co/google/gemma-7b/discussions/34
А то ресерч-маркетологи ведут себя как на рынке, ну и вообще, камон, округление все в начальной школе проходили.
ML4RecSys: что происходит? февраль 2024
Последнее время читаю про недавние прорывы в рекомендательных системах... и там все очень сомнительно
Даже не верится что в 2024 году в статьях с топовых конференций классические «стажерские» ошибки:
- неправильный train-test split
- сравнение с явно недо-тюнеными бейзлайнами
- выбор для сравнения только тех датасетов, где модель побеждает…
Поэтому выудить что-то явно работающее очень сложно 😕
Тем не менее, на мой взгляд, в адекватных статьях взлетели:
- Трансформеры для отбора кандидатов
- Разные стратегии поиска Hard negatives (покупка - позитивный таргет, но найти хороший негативный - занятная задача)
- Таргет более близкий к деньгам (не клики, а хотя бы клики дольше 10 сек)
Дальше уже разные топ компании репортят совсем разные вещи:
- У одних лучше encoder (BERT4Rec), у других - decoder модели (SASRec)
- Как будто огромное значение играет не архитектура, а выбор данных / как берут негативы / лосс
- В академии SOTA показывают модели с дополнительным contrastive loss, но в индустрии этого пока не видно
- Почти у всех проблемы метча оффлайн/онлайн метрик или рост конверсии + падения чека, но никто не говорит, как с этим справляется
- Многие внедряют разнообразие / novelty в рекомендации через постпроцесинг без всякого ML
- Как будто градиентый бустинг для ранжирования все еще на уровне с SOTA
В общем, пока инженерный подход в рекомендациях решает 🔥
Если вы знаете прикольные открытия / рабочие инженерные подходы в RecSys, делитесь в комментариях ⬇️
Зимовка в Азии: Вьетнам, Дананг 🇻🇳
Как и писал выше, в канале добавится немного постов про меня, номадство и другие social штуки)
Второй год провожу 1.5-2 месяца зимы в тепле и вообще об этом не жалею:) Был в прошлом году на Шри-Ланке, а в этом во Вьетнаме в Дананге - strongly recommended!
Дананг - Мекка digital nomad-ов во Вьетнаме
- Клевое и +- доступное жилье. Хорошая квартира на 2их будет стоить 600-1000$ в мес. Конечно можно и дешевле, но… не рекомендую:) В этом году это сильно дешевле, чем в Тае или Бали
- Куча хипстерских кафе (Puna и Bikini bottom ❤️🔥)
- Дананг - большой город с идеальным пляжем и инфраструктурой
- Тут можно заниматься теннисом (8/10) и серфингом (6/10) 🎾
- Много достопримечательностей в часе езды, мой топ-3: Древняя столица Хюэ, город ремесленников и фонариков Хойан, Мраморные горы 🏔️
Но есть пара моментов:
- Селиться нужно строго в розовой области на карте - 90% nomad-инфраструктуры именно там
- Без мопеда тяжело. Тут работает Grab такси, но тем не менее
- Это все же Азия. Поэтому можно встретить типикал караоке на всю улицу до 22, местные закусочные, рынки на каждом углу : кому-то заходит, а кому-то не очень 😅
В общем Дананг для зимовки - highly recommended
Позиционирование канала ML4Value
Последнее время думаю, о чем же мой канал? Ведь ML4Value очень широкое понятие
Решил, что буду писать в основном про 4 вещи:
1. АВ тесты
Пожалуй, моя любимая душная тема) Без нее никакой связи ML и бизнеса получить не выйдет
И наибольшую известность мне принесло видео на YouTube "13 способов ускорить АВ тест: не CUPED-ом единым"
2. Recommender Systems
Вторая моя страсть ❤️🔥
Также планирую связать свою дальнейшую карьеру именно с recsys - так что будет много занятного материала
3. Value для бизнеса
Конечно же изначальную суть канал не потеряет) Подумываю даже о том, чтобы делать мини-обзоры на статьи из индустрии - предполагать, как это реально могло повлиять на бизнес, и выглядит ли АВ в статье корректным (спойлер - почти всегда нет)
4. Social / Entertainment
Надеюсь, немножко информации и про мою жизнь будет интересно - путешествия, номадство, может немножко про тимлидство:)
В связи с этим намечается опрос - стоит ли обновить название канала?
Варианты имеются такие:
- ML4Value - оставить как есть
- ML4SAVR (мл-фо-ЗАВР!, как диноЗАВР 🦖 ) = ML for Sequences, Ab-testing, Value and Recommendations
- ML4EVER = ML for Entertainment, Value, Experiments and Recommendations
Мне важно ваше мнение, поэтому запускаю опросник:)
GPT-4 не особо впечатлил меня
Весь прошлый год хайповали LLM-ки и GenAI. Которые вроде крутые, но в массовое внедрение в бизнесы пока не вошли. Шок, но даже массовой замены поддержки на ChatGPT пока не случилось
В это же время мимо меня прошел релиз DINO-v2 🦕
И вот он уже очень меня очень удивил
Self Supervised Learning на картинках
Вдумайтесь: мы просто показали нейронке картинки без лейблов, аннотации текста и вообще чего-то еще, и получилось выучить SOTA фичи! Бьет даже OpenCLIP в zero-shot сетапе
Широта применения
Работает для классификации, сегментации, оценки карты глубины и кучи других задач
В общем, я бы ставил на подобные self-supervised encoder модели для применения в бизнесе, чем на gpt-like (вспомните бум BERT). Ну а пока можете потыкать демо DINO-v2
P.S. К посту прикреплены скрины оценки карты глубины, сегментации объектов и матчинга точек между 2умя картинками
Официально безработный ушел в саббатикал до февраля
В Яндекс.Лавке было много всего интересного, очень клевая команда, но впереди ждет еще бОльший челлендж! Подробности будут позже, ну а пока я очень радуюсь, что смогу отдохнуть целый месяц перед новой работой: ищите меня на побережье Вьетнама 🌴
Вокруг уже несколько людей взяли саббатикал не на 1 месяц, а на 3/6 или даже год! Причем пока все с очень положительными отзывами и довольно занятными карьерными переходами после него. Похоже он становится market normal
А вы брали / планируете саббатикал? И чем занимались в нем (особенно если 6 мес+)?
Саша из @datafeeling сделал прикольного бесплатного бота для генерации resume-style картинок по обычным фоткам - @avatar_resume_bot
Я потестил - зашло, поэтому рекомендую попробовать)
Из прикольного:
- Работает с фотками почти любого качества
- Убирает наушники, капюшон и прочие артефакты
- Можно стилизовать (выбирать цвет волос, например)
Но может несколько поменять ваше лицо - надо нагенерить 3-5 фоток, чтобы выбрать похожую на себя генерацию
Мои итоги года, 2023
Почему сейчас? Под новый год вы утоните под постами с итогами и будет не до моего, ну а еще мне как раз исполнилось 27, я ровно 1 год проработал в Яндексе и пришли результаты ревью:)
Работа
Было несколько стримов, где нужно было дойти от 0 к 1. В итоге где-то это удалось, где-то мы убежали уже дальше от 1 к 20-30 (например, в прогнозе спроса). Ну а в одном стриме не вышло дойти до 1, мы пивотнулись и идем снова от 0 к 1. Суммарно, выглядит, что все идет здорово - даже получил повышенную оценку на ревью. Но не все прошло идеально, и я долго думал, чем отличались успешные стримы от не очень успешных:
- В успешных стримах прям все-все на старте смогли засинкаться, что такое целевая картина / успех. Если этого не сделать, то придется делать "не совсем то", и хорошо если потом получится пивотнуться, а не просто закрыть стрим
- Чем больше возьмете на себе ответственности, тем быстрее пойдете - парадокс, но работает. Если ваша команда и модели пилит, и за бизнес-метрики отвечает, и роудмап составляет - вряд ли что-то может вас затормозить 🚀
Внезапно нашел себе хобби в ML - изучаю достижения 2022г+ в CV classification/segmentetion. При этом сколько раз уже пытался взяться за изучение GPT-3/4 и другие SOTA в NLP, но каждый раз это было фиаско: быстро становилось скучно. А когда нашел интересную мне область - сразу хочется самому читать SOTA статьи. А всплыл такой интерес к CV, когда я несколько месяцев не мог выбрать комод и думал: ну неужели никто не научился не то что auto-подбирать мебель в интерьер, но хотя бы нормально классифицировать все атрибуты? Ну в общем, мало кто научился) Если попробовать поискать на популярных маркетплейсах что-то сложное, а-ля комбинацию стиль-цвет-размер-детали, то даже с фильтрами... работает так себе. Вбейте "Низкий комод в стиле лофт с графитовыми ручками" в поисковики маркетплейсов, посмотрите, что выйдет 😄 Жду момента, когда психану, и сам запилю классификацию атрибутов мебели по фото, чтобы уже выбрать несчатный комод))
Личное
В этом году я женился - и это самое лучшее решение, прям серьезно всем рекомендую, если нашли подходящего человека!) Ну и подготовка к свадьбе + сам день на самом деле очень веселое мероприятие
Побывыл в 3 почти крайних точках Евразии - на востоке (Курилы), западе (Португалия) и юге (Шри-Ланка). А вообще, пожил как минимум по неделе в 14 странах! Исполнил 2 большие мечты - побывать в замке-острове Мон-Сен-Мишель и побродить по развалинам древнего Рима.
Как оказалось, исполнять мечты вполне посильная задача - главное этим основательно заняться) Условно, можно в разы снизить стоимость поездки, если купить билеты заранее и собрать компанию, чтобы пошерить большое жилье. Шок, но в некоторых странах даже с учетом перелета я тратил меньше чем в Москве
Спорт и здоровье
Тут все достаточно неоднозначно. С одной стороны попробовал серф и кайт-серф, и едва на вошел в топ-100 полупрофи в России по теннису. С другой - появились сразу 2 травмы, причем внезапно не от экстремальных видов спорта, а от относительно "безобидных": Серф и теннис. В общем, если пробуете новый вид спорта, то отнеситесь к этому серьезно: с первого взгляда надо просто ехать на волне под солнышком, а в реальности огромную часть времени эта самая волна месит тебя с песком (и хорошо если с ним, а не рифами). Так что следующий год видимо будет годом здоровья - пора, уже почти дед в 27 😅
Наконец вышел видос на ютубе!
Давненько уже мы встретились с Сашей - автором @datafeeling и записали живой разговор про карьеру в ML
Долго монтировали все это дело, и теперь вы можете посмотреть
➡️ Выпуск на ютубе
P.S. Качество звука так себе, потому что это наш первый опыт самостоятельной записи на камеру 🙃
Хорошо рабатаешь - хорошо отдыхай
Я вернулся из почти 3-ех недельного отпуска, и к его концу мне уже очень хотелось вновь начать работать)
За это время я не отвечал ни в каких чатах, не смотрел дэшборды и тп - все прекрасно работало надеюсь 😅
Чтобы все в команде могли спокойно уходить в отпуск и не уставать сильно без него, у меня есть 3 правила:
1. Не писать и не отвечать в чатах до 9 и после 19
Подождать 9 утра или следующего дня может практически любая проблема
Если у вас периодически падает сервис по ночам и нужно прям дежурить - только тогда явно выделяйте дежурных с доп окладами и регулярной сменой. И только до того времени, когда вы стабилизируете свой сервис - это должно стать фокусом, а не тех долгом в далеком беклоге
2. Хотя бы 1 выходной с нулевой терпимостью к анализу данных
Я имею в виду не только не работать (надеюсь, вы и так не работаете в сб-вс), но и не продумывать архитектуры, не проходить мощные курсы, не зарешивать кагл и тд
В начале карьеры или в течение месяца еще можно сделать исключение, но на долгосроке без полноценного отдыха ничего хорошего с вами не будет
Чтобы точно не работать в выходные:
- Не катите в прод в пятницу 😄
- Подкладывайте бэкапы на случай падения процессов / сервисов на выходных
- Работайте над стабильностью ваших сервисов
3. Ну прям совсем не работайте в отпуске
Я насильно кикаю с зум-встреч тех, кто пришел на них в свой отпуск. Пару раз кикал даже своих руководителей)
Нам кажется, что за неделю-две без нас компания никак не проживет, но в реальности - еще как проживет! И это довольно полезное наблюдения в том числе для делегирования
Рост в ML: Middle —> Senior
По просьбам из комментариев, кратко опишу, как я отличаю джунов-миддлов-синьеров
Джун - хорошо делает хорошо поставленные задачи. Запилить фичу, написать автотесты и тп
Миддл - может полноценно развивать ML-проект. Добавляет фичи, ускоряет инференс и тд
Синьор - сам найдет бизнес-проблему, сам придумает решение и сделает, подскажет как лучше
Для роста из миддла в синьера потребуется уже 1-3 года и сбор вот таких ачивок:
1. Стань лидером ML-проекта
Наверняка можно взять устоявшийся проект на развитие / придумать новый. Важно, чтобы все от общения с бизнесом до внедрения в прод мог лидить именно ты. Это покажет самостоятельность и подарит чувство “Да, этому чуваку можно доверить большое дело”
2. Работай в команде
Как правило, затаскивать большие штуки в одиночку - крайне сомнительная затея. Если ты работаешь в стартапе, может и получится. Но в любой крупной компании в одиночку шансы крайне малы. Бери себе в помощь джунов, найми стажера, делегируй часть работы соседней команде - будь креативен 👩🎨
3. Изучи лучше всех в компании конкретную область
Эта область может быть небольшой, но все в команде + многие руководители должны считать тебя лучшим экспертом в ней. Как правило, этого можно достичь либо долгой и усердной работой, либо перенятием лучшего опыта индустрии: читать статьи , ходить на конференции. А луше делат ьи то, и другое
P.S. Читать статьи (хабр и медиум тоже!) - это не 1-2 в неделю, а хотя бы 10-15. Большинство из них bullshit bingo, поэтому помогут развиваться процентов 5 статей
Как определить, что у тебя получился этот пункт: к тебе стали чаще ходить за советом и звать на встречи по принятию решений:)
4. Придется научиться общаться 😄
Да-да пресловутые soft skills. Большинство миддлов сыпятся именно на них. Можно прокачивать навыки общения, начав вести регулярные встречи с бизнесом (если их нет - поставь срочно!). Из неплохих лайфхаков - выбери 2-3 синьор/лид людей из бизнеса и поставь им 1-1 раз в пару недель. И общаться научишься, и свою visibility поднимешь)