11838
Канал Виктора Кантора про Data Science, образование и карьеру в сфере анализа данных. По вопросам сотрудничества: @mariekap РКН: 5140322136
Все собесы в Ozon за 5 дней
Проходить собеседования параллельно с работой - отдельная работа. Особенно когда все получается растянутым во времени и между этапами успеваешь забыть, что обсуждали на предыдущем. Поэтому коллегам из Ozon Tech персональный респект за ML&DS Fast Track: в нем все этапы интервью проходятся максимум за 5 дней.
Фаст трек уже можно потестить: сейчас ищут Senior и Senior+ DS с коммерческим опытом от 4 лет. Кандидатов смотрят в пять команд с довольно разными задачами:
1) Ранжирование: улучшать поисковую выдачу. Разбираться, как совместить релевантность товаров, конверсию и удобство для пользователя.
2) Формирование лент: работать над разнообразием рекомендаций, выбирать целевые метрики, настраивать формулы ранжирования и повышать точность прогнозов маржинальности рекламы.
3) Нейросетевые технологии: улучшать выразительность моделей персонализации, исследовать их масштабирование и развивать инструменты обучения и инференса.
4) Эффективность рекламы: работать с данными от анализа до автоматизации подготовки датасетов, улучшать алгоритмы ранжирования в рекламе.
5) Алгоритмический биддинг: заниматься долгосрочной оптимизацией рекламных метрик, оценкой стратегий и балансом exploration / exploitation в рекламных аукционах.
Для участия в Fast Track выбирайте команду по интересующим задачам и откликайтесь на вакансию.
Курс по современному NLP
Пост для тех кто работает DS / MLE. Бывало ли у вас в карьере такое, что есть какие-то новые темы, в которых вы глубоко пока не разбирались, все время откладывали, а потом уже начинаете чувствовать, что не знать стало стыдно? Я скажу честно, у меня так было не раз. Примерно со всеми подходами в DL за последние 15 лет я знакомился до уровня "понимаю почему работает именно так, могу сам все вывести и объяснить" (а не "общая идея ясна") с запозданием, потому что всегда хватало работы по тем вещам, которые я уже знал.
У нас в MLinside стартовал набор на курс по NLP с очень современной программой. Без долгих раскачек на дедовских методах в курсе довольно быстро приходим к GPT и связанным с ними вопросам, рассматриваем практические моменты вроде оптимизации, MLOps и System Design для LLM, и даже немного говорим об альтернативых традиционным трансформерным подходам. Если вы оттягивали момент глубокого погружения в современное состояние прикладного NLP, а теперь уже стало неловко не шарить, это ваш шанс прямо сейчас всё наверстать.
Посмотреть описание курса, стоимость и записаться в группу можно по ссылке: https://nlp.mlinside.ru
Старт курса 30 ноября
А выше пост про вебинар от автора курса Андрея Жогова (MLE в Сбере, выпускник МФТИ) - вебинар будет уже завтра в 19:00, кому интересно - приходите послушать
Насколько ИИ уже может ускорять обучение людей
В основном на слуху давний эксперимент почти с тысячей школьников, в котором еще GPT-4 помогал лучше решать тренировочные задачи. Но когда его отключали, результат самостоятельного экзамена оказывался на 17% хуже, чем у группы без ИИ. Но, разумеется, есть и другие эксперименты, не про применение нейросетей для решения задач при тестировании, а больше про обучение с ИИ.
Например, в эксперименте с 194 студентами Гарварда специально настроенный ИИ-репетитор дал более чем вдвое больший медианный прирост баллов в тесте, чем занятие с активным обсуждением задач. На первом графике в аттаче - баллы до и после занятия. На втором графике чуть более интересное явление - время, которое потребовалось для обучения с ИИ в основном было меньше, чем при традиционном подходе: медиана 49 минут против 60 минут.
В целом не очень удивительно, т.к. работая с ИИ мы взаимодействуем 1-на-1, а в классе есть много возможностей поотвлекаться и залипать. С другой стороны, даже несмотря на индивидуальный формат работы с ИИ, отвлечений за компьютером тоже может быть много, так что не сказал бы, что сравнение прям уж так очевидно и ожидаемо.
В эксперименте проверяли всего две темы по физике и тестировали сразу после занятия. Остались эти знания в голове или вышло как при подготовке к экзамену в последнюю ночь не выясняли. Обе статьи публиковали аж в 2025 году, если пост наберет 50 сердечек - расскажу что нового произошло в исследовании применений ИИ для образования.
В догонку к эксперименту из отчета MIT: https://muninn.austegard.com/blog/editing-monad-weights-to-stop-loops.html
Т.е. можно полечить зацикливание и без другой сетки, посмотрев на статистику активаций
Как нейросети учат нейросети: разбираемся в новости про прямое редактирование весов
Есть разница между тем, что ИИ нам что-то подказал, и тем, что у нас появились новые знания. Я бы даже сказал, что мы очень медленно (по сравнению с ИИ) учимся и это фундаментальная проблема продуктивного взаимодействия человека и ИИ.
Но тут стоит сделать оговорку, что с точки зрения количества практики, нужной нам для обучения, учимся мы конечно быстрее сеток. Там, где нам хватит нескольких примеров, сетке на стадии обучения нужны тысячи. Однако мы-то с вами учимся во-первых не с нуля, а во-вторых, у других людей, а не у данных, значит сравнение не в полной мере корректное. Оказалось (и об этом уже не написал только ленивый), что если ИИ будет учиться у ИИ, то обучение тоже может быть ОЧЕНЬ быстрым.
Представьте, что вы приходите к преподавателю, а он говорит: "Сейчас вам парочку нейронов поправлю и будете математические задачки щелкать как орешки". Дальше дает вам по голове тяжелым учебником или угощает чудодейственным напитком, это точечно влияет ровно на нужные нейроны, и вы идете сдавать экзамен. Какая-то дичь? А у сеток уже есть эксперименты с похожей прямой правкой весов ↓
Где у покупок подлежащее? FAQ про NLP в рекомендациях
В комментах к одному из прошлых постов подписчик задал несколько хороших вопросов про перенос методов из NLP в RecSys. Т.к. обещал ответить, отвечаю.
Что в RecSys вместо пробелов?
Пробелы не нужны, т.к. границы товаров уже известны: каждый ID - отдельный токен. Если товар кодируется несколькими токенами, границы задаются форматом: фиксированной длиной кода или разделителем. В NLP так-то мы тоже анализируем последовательность токенов только после токенизации, в RecSys аналогом токенизации можно считать выбор, кодируем мы товар его свойствами (и они токены) или id товара - это условно как n-граммы или слова в NLP.
В языке есть грамматика и обязательные последовательности. А в рекомендациях?
Правила языка все равно не обязывают автора текста их соблюдать неукоснительно, в NLP модели смотрят на статистику - как люди говорят, тому модель и научится. В рекомендациях также: после принтера необязательно покупать картридж, но тот факт, что он вам все равно скорее всего понадобится, влияет на статистику покупок и полезен для прогноза.
Насколько важен порядок?
Тут по-разному. "Посмотрел десять камер, купил одну" и "купил камеру, посмотрел десять других" - одинаковый набор действий, но потенциально разные ситуации. А вот порядок добавления хлеба и молока в корзину может ничего не значить (а может и значить, что после одного товара вспомнил о другом, и это может быть важно для RecSys). Но строго говоря, пользу порядка надо проверять на конкретных данных. Те же позиционные эмбеддинги в рекомендациях вам использовать не обязательно и вообще те модели, где порядок сильно влияет на прогноз.
Что такое attention в рекомендациях? Купил плавки два года назад - предложат сланцы?
Attention обучается сам на исторических данных, а уж что он там выучит вопрос статистики: если в тексте он выхватывает синтаксическую и смысловую связь между словами (и то, это всего лишь наша человеческая интерпретация), то в просмотрах или покупках он будет учиться понимать, на какой именно товар из логов смотреть, когда оцениваешь вероятность покупки картриджа или чехла для айфона. Т.е. это не просто тапки к плавкам и шоколадка к минералке, а в том числе "всегда покупал андроиды, чехол на айфон маловероятно заинтересует" и прочая "бизнес-логика", которую можно перечислять вручную, а можно просто усвоить при обучении на данных.
Если история состоит из покупок одного и того же товара, что предсказывать дальше?
Возможно, снова его же. Для кошачьего корма, например, прекрасный прогноз. Если других сигналов нет, информации о новых интересах мало, а "обязательно покажи что-нибудь новое" - отдельная цель, которая может конфликтовать с точностью предсказания. Но если таковая цель есть, то к логам с одним только кошачьим кормом показать красивую игрушку для кошки или автоматический кошачий туалет или поилку с фонтанчиком - все равно намного лучше, чем рандом. LLM для этого, разумеется, не нужна, то в целом любые методы из NLP справятся. Те же совместные встречаемости слов по PMI (pointwise mutual information), десятилетиями использовавшиеся для выделения в текстах коллокаций, прекрасно применялись и для бейзлайна в рекомендациях или отбора кандидатов в рекомендации. И прекрасно справятся с кошачьими игрушками к кошачьему корму.
Куда при генерации Semantic ID делась проблема полноты кандидатов?
Принципиально - никуда. Semantic ID - способ кодирования айтема, а не гарантия полноты поиска. Но как только у вас вместо ID айтема появляется эмбеддинг, вы всегда можете найти ближайшие к нему в пространстве эмбеддингов. Даже если они будут не очень похожи на запрос, это уже в любом случае что-то. В случае Semantic ID вида "несколько дискретных кодов" (ну как город, улица, дом в обычном адресе) становится еще проще - вы просто берете в кандидаты ближайшие "дома" с той же "улицы". В целом все то же самое можно делать и без умных сложных методов, а просто с хорошим деревом категорий в каталоге, но такое удовольствие есть у нас не всегда, особенно для новых товаров/фильмов/треков/видосов (особенно на UGC платформах).
Про перетаскивание методов из NLP в RecSys и обратно: часть 1
Я как-то один или два раза уже писал здесь, что NLP и RecSys как области применения ML часто оказывались полезными друг-другу, в этом посте раскрою чуть подробнее эту историю.
Началось это еще с матричных разложений - в рекомендательных системах еще в доисторическую эпоху во времена Netflix Prize начали обучать для юзеров и рекомендуемых объектов числовые векторы, скалярное произведение которых хорошо приближает оценку объекта пользователем. Метод использовался и в текстах - в частности в виде LSA (Latent Semantic Analysis), NMF (Non-negative Matrix Factorization), а зачем и в вероятностной постановке - PLSA (Probabilistic LSA), который позже, упакованный в байесовский вывод, выродился в LDA (Latent Dirichlet Allocation). Что общего было у рекомендаций и текстов, что привело к использованию похожего семейства методов? Матрица user-item и матрица term-document обе были разреженные и в некотором смысле с пропусками: как фильм человек мог не видеть, но это не значит, что он нравится или не нравится, так и слово могло не войти в документ просто потому, что сформулирована мысль была немного иначе (или просто использован синоним).
Дальше, когда в NLP появились эмбеддинги из word2vec, сразу начали появляться разные способы приспособить word2vec к рекомендациям. Почему так? Word2vec оказался тоже матричным разложением, но уже не матрицы term-document, а матрицы word-context. В рекомендациях это тоже имело смысл: какой товар вы ожидаете увидеть в известном контексте, тот товар и логично "докинуть" в рекомендации. В экспериментах выяснялось ужасное: каким-нибудь doc2vec порой удавалось побить в рекомендациях переранжирование кандидатов каким-нибудь градиентным бустингом. Плюсом для применения word embedding'ов в рекомендациях было то, что последовательность просмотров и покупок товаров, даже если ее развернуть из набора id-шников в набор параметров просмотренных товаров все равно была очень простым и искусственным языком. Те методы, которые работали даже на естественном языке, на логах рекомендаций обучались достаточно быстро.
Кстати, в матричных разложениях применительно к рекомендациям была еще одна фишка - baseline predictors, когда прогноз оценки от пользователя фильму считался не просто по скалярному произведению их векторов, а с добавлением базовой оценки пользователя ("строгость пользователя"), фильма ("качество фильма в целом") и некого "среднего" ("к какой оценке в среднем склоняются пользователи"). Если погружаться в детали, это интуитивное объяснение бейзлайн предикторов немного искаженное - т.к. к "среднему" все равно еще будет большая добавка, то это уже не "среднее", а просто поправка на среднюю температуру по больнице, но не будем тут еще больше занудствовать. Так вот в какой-то момент была еще одна вариация word2vec для текстов - GloVe, и там эту идею притащили еще и в тексты.
Записываем новый подкаст для канала MLinside, на этот раз в гостях у гостя :)
Читать полностью…
Итак, про экскурсию в Летово
После того как я взял интервью у Саши Поварова, с MLinside связался PR отдел Летово и предложил посотрудничать. В итоге мы записали интервью с двумя потрясающими гостями, преподающими в Летово (скоро выйдет у нас в каналах), а перед этим я, вместе с женой, ребенком и коллегой, попал на экскурсию в рамках пресс-дня (это не когда прессуют, а когда прессу, коей я видимо теперь тоже являюсь, зовут в гости).
На экскурсии нам рассказали, что в Летово все разбито по кафедрам, среди которых точно есть Science (естественные науки), Математика, Информатика, Спорт и Искусство, но возможно есть что-то еще. Мне больше всего понравились рассказы двух физиков - одного про исследования с крутым электронным микроскопом, другого про задачку с практического этапа всеросса и как они со студентами ее разбирали, дорабатывали и вообще готовятся к экспериментальному туру. Кабинеты и лаборатории тоже выглядели очень здорово. Также приятно, что в помещениях кафедры естественных наук есть всякая живность - рыбки в аквариуме и хамелеон в террариуме, мелочь, а добавляет уюта.
Не покидало ощущение, что рассказывают нам про научную работу школьников немного по верхам, но потом я вспомнил, что я сегодня пресса, а не обладатель двух красных дипломов МФТИ, и перестал придираться у себя в голове к глубине рассказа. Кроме того, даже в экспресс-режиме одна только экскурсия по кафедре Science заняла больше часа и мне все равно пришлось уехать до конца всего мероприятия. Так что в итоге, наверное, все было как надо.
Самих учащихся мы тоже увидели: это были и те, кто заранее готовился вести экскурсию, и случайно идущие мимо, иногда привлекаемые к рассказу. Кстати, понравилось отсутствие школьной формы и вообще свободное отношение к одежде - у одной девочки был очень крутой готический лук, прям поностальгировал по школьным годам (у нас тоже было можно носить все и не было формы, но не по причине заботы о наших свободах, а по причине отсутствия у всех денег и желания на школьную форму))).
Вообще кампус и вся территория школы выглядят очень солидно, сначала прям дух захватывает от монументальности, да еще и лес свой есть. Но опять же, если задуматься, многое хотелось бы видеть в каждой школе страны и вообще мира, вот в каждом даже небольшом городке. Откуда взять на это денег история умалчивает, так что пока остается грезить обучением в Летово.
Отдельная интересная тема - стоимость обучения. Формально она огромная, хотя на самом деле находится в рынке (если смотреть на частные московские школы). Однако 80% учеников покрывают часть стоимости обучения грантом от Летово, причем гранты основаны не на качестве прохождения вступительных испытаний, а на финансовом положении родителей (используют скоринг от Сбера, чтобы определить процент, покрываемый грантом). Если у вас денег не очень много, это крутой момент, если же денег у вас дофига, но хочется максимальную скидку для самых умных, то вам такая система, конечно, не подойдет.
В общем и целом - солидное заведение, тем, кому актуально (поступление с 7 класса) рекомендую рассмотреть. Ждите интервью с преподами :)
Мой любимый ответ, что если пи это отношение длины окружности к ее диаметру, то в норме L_1 или в L_бесконечность число пи получится равным 4. Кстати говоря, привычное нам пи - это наименьшее из возможных в L_p нормах на плоскости (общая формула для пи в L_p норме - в аттаче к посту), хотя если круг задается центрально-симметричным выпуклым множеством, то число пи может варьироваться в диапазоне от 3 до 4, причем обе границы достижимы.
Что интересно, добиться непривычного нам значения пи, просто рассмотрев евклидово пространство с неединичной матрицей Грама, не получится. Казалось бы, неединичная матрица Грама может запросто сделать из окружности эллипс, а там уж число пи точно должно получиться другим. Но увы, длину окружности ведь тоже надо мерять с той же неединичной матрицей Грама, поэтому получится все равно 3.14... По той же причине пи в норме L_1 будет равно 4, а не 2 корня из 2, например.
А вот люди, ностальгирующие по теоретической физике, могут вспомнить про планковские единицы, где 8*pi*G, скорость света и редуцированную постоянную планка полагают равными единице для удобства записи формул, хоть это уже и совсем другая история :)
#ML
Последователи Decision Models, Jev и иже с ними уже обретают черты религиозного культа 😵💫
Особо продвинутые самопровозглашённые пророки уже требуют упразднить скоринговые и NBO/NBA модели — всё же «заменят Decision Models».
Тем, кто изучает ML исключительно по Telegram-каналам и верит в «калиброванные вероятности из коробки», посвящается.
Что такое калиброванная вероятность?
От бинарного классификатора часто хочется получить не метку, а скор от 0 до 1, соответствующий вероятности события. Например, из 1000 заёмщиков со скором 0.6 примерно 600 должны выйти в дефолт, а со скором 0.05 — примерно 50. Если это свойство выполняется на всём диапазоне скоров, модель идеально откалибрована.
На практике скоры разбивают на бины (например, 0–0.05, 0.05–0.1), сравнивая среднюю вероятность дефолта (PD) с фактической долей дефолтов (DR). Так строят калибровочную кривую.
Взвешенное по доле наблюдений в бинах среднее абсолютных разностей PD и DR называется ECE (Expected Calibration Error). Преобразование выходов модели для улучшения соответствия предсказанных вероятностей фактическим частотам называют калибровкой.
Для других задач вместо DR используют ER (Event Rate). Есть и более слабое условие — calibration-in-the-large, когда средний скор совпадает с ER всей выборки.
ER может меняться со временем. В кредитном скоринге различают PIT (Point-in-Time), учитывающий текущие экономические условия, и TTC (Through-the-Cycle), отражающий долгосрочный риск на протяжении экономического цикла.
Но скоры распределены неравномерно, поэтому в разных бинах разное количество наблюдений и разная точность оценки DR. Следовательно, у калибровочных кривых есть доверительные интервалы.
Все еще сложнее
Aleatoric uncertainty — неопределённость самого исхода. Даже зная, что вероятность дефолта 50%, мы не можем уверенно предсказать исход для конкретного заёмщика.
Epistemic uncertainty (EU) — недостаток знаний модели. Например, когда похожих заёмщиков почти не было в обучающей выборке. Два клиента могут получить одинаковый скор 0.5, хотя для одного у нас сотни тысяч похожих наблюдений, а для другого — практически ни одного. EU приближённо оценивают через ансамбли и бутстрап. В CatBoost для этого есть Virtual Ensembles, позволяющие оценивать Data и Knowledge Uncertainty.
Если все модели ансамбля предсказывают около 0.5, это может указывать на высокую неопределённость исхода. Если половина предсказывает 0.1, а половина 0.9 — скорее на недостаток знаний. Хотя ансамбли тоже умеют дружно ошибаться.
Калибровка, Aleatoric и Epistemic uncertainty — разные вещи.
Даже идеально откалиброванная модель может систематически ошибаться на отдельных сегментах или при изменении распределения данных.
Для серьёзных бизнес-кейсов одного калиброванного скора недостаточно. Нужны независимая валидация, проверка калибровки с доверительными интервалами, устойчивости во времени и по сегментам, иногда — отдельная оценка Epistemic uncertainty.
А для NBO/NBA вероятность события вообще не равна полезности действия. Нужны стоимости ошибок, ограничения и оценка влияния действий на результат.
Вернёмся к Jev
Когда заявляют о «калиброванных вероятностях из коробки», хочется спросить:
• На чем калибровали и проверяли?
• Что происходит при смещении данных и на новых доменах?
• Как оценивается Epistemic uncertainty?
Пока ответов нет, число 0.97 на выходе Decision Model — просто выход модели, вероятностную интерпретацию которого ещё нужно подтвердить.
И тут бы мне продемонстрировать калибровку Jev на каком-нибудь датасете, но мне лень, поскольку это сделали вскоре после её выхода на двух задачах классификации текстов.
А чуть позже — на задаче обнаружения prompt injection.
Результаты ожидаемо показали, что калибровки на произвольной новой задаче из коробки нет.
Итого: чтобы использовать Jev в проде, её придётся долго и упорно тестировать на вашем рейсе — с выдумкой и смекалкой.
А если нужно классифицировать тексты и есть разметка, разумнее взять предобученный BERT, дообучить классификационную голову (при необходимости — и энкодер), откалибровать и провалидировать.
Нейрояз продолжает захват интернета
То и дело люди с серьезным лицом в своих шортсах и рилсах вещают: "и вот тут начинается самое интересное". Плохо ли, что они используют ИИ для подготовки? Нет. А что же тогда не так? Да то, что одни и те же штапмы очень быстро начинают бесить. Вообще не важно, кто там текст написал, хочется, чтобы от него не горело так сильно 🤬
Базовая стратегия - системный промпт про то, как избегать нейрояза, с подробным перечислением, что такое хорошо и что такое плохо. Другая базовая стратегия - использование всяких скиллов про хьюманизацию текста.
Мой лучший метод делать текст более человеческим, это не делегировать нейронке само сочинение текста, а хотя бы уж надиктовать (лучше написать) фактуру самостоятельно сплошным потоком мыслей, а сетку использовать уже для структурирования получившегося текста, сбора дополнительной фактуры, проверки логики и анализа противоречий в своих рассуждениях. В итоге сгенерированный нейросетью текст почти полностью опирается на мои же слова, но экономит часть времени на переписывании и приведении в какую-то структуру, а также позволяет за счет дополнительного анализа выдать более качественный материал.
А как спасаетесь от нейрояза вы? 🤔
Причем из-за того что картинка была обрезанная в оригинальной статье, во все презентации в мире она попала в таком же обрезанном виде :) Так что если хотите прославиться в AI - дорисуйте картинку и запостите на реддит 😁😁😁 Кстати, дорисованные версии в интернете иногда и правда встречаются
Читать полностью…
А посоветуйте хороший курс по чему-то про саморазвитие (ну там тайм-менеджмент, масштабирование бизнеса, управление стрессом и тревожностью, что угодно подойдет), который ведут люди, которые чего-то в жизни и карьере достигли. Интересно посмотреть, как такое выстраивается методически, когда лектор вроде не воздухан, но и предмет не наука.
Читать полностью…
Каждый раз, когда человек из службы поддержки, доставки, такси или чего бы то ни было еще из сферы услуг говорит мне "хорошего вечера", а отвечаю "и вам тоже". Сначала я немного смущался, что это как официанту сказать "и вам тоже" в ответ на "приятного аппетита". Ну серьезно, люди на смене, какой еще нафиг хороший вечер. Но со временем я понял: всегда может быть хуже. Поэтому теперь желаю всем хорошего вечера :)
Читать полностью…
Вот мы и дожили до момента, когда вместо самостоятельной генерации гипотез и написания запросов к данным мы можем просто поручить ИИ разобраться, почему упала конверсия 🙂
Однако для этого нужно обеспечить нейросетке доступ к необходимым данным, а аналитику нужно еще и понимать, как проверить работу сеток. Если модель возмет не те данные, не то определение пользователя, не ту метрику, перепутает корреляцию с причинно-следственной связью и уверенно предложит бесполезное решение, рад такой аналитике никто не будет.
Тому, а как же предусмотреть все эти нюансы, и посвящён AI Analytics Week — бесплатный онлайн-интенсив Школы анализа данных Яндекса, который пройдёт с 23 по 27 ноября. На кейсах Яндекса разберут:
— архитектуру агентных систем: ReAct и Tool Calling
— доступ к данным через MCP и подход Human-in-the-loop
— применение LLM в экспериментах, от расчёта выборки до синтетического контроля
Формат — видеозанятия в предзаписи на YouTube и в VK с возможностью задать вопросы. Очень рекомендую продуктовым и data-аналитикам, ML-инженерам и студентам старших курсов технических вузов, у которых уже есть база в SQL, Python, статистике и ML.
Программа, спикеры и заявка — по ссылке. Подать её можно до 22 ноября включительно.
Как научить AI-ассистента помнить предыдущие разговоры?
Почему AI-ассистенты иногда забывают контекст прошлых диалогов и как устроить их память так, чтобы каждый новый разговор не начинался с нуля?
Уже завтра, 12 ноября в 19:00 МСК проведём открытый вебинар об устройстве памяти AI-ассистентов.
Спикер – Андрей Жогов, ML-инженер в Сбере, преподаватель МФТИ, соучредитель направления ‘Машинное Обучение’ в Летних Олимпиадных Школах МФТИ и преподаватель MLinside.
О чем поговорим на вебинаре:
• Зачем AI-ассистентам нужна память и как она помогает учитывать контекст прошлых разговоров.
• Как устроены механизмы хранения и использования информации из предыдущих диалогов.
• Как самостоятельно реализовать подобный механизм — на простых схемах и, если останется время, примере кода.
Зарегистрируйтесь в боте, чтобы получить напоминание о вебинаре. После встречи там же появится запись — её можно будет посмотреть, даже если не получится присоединиться онлайн.
Как устроено образование в одной из самых известных частных школ России? Чем российская информатика отличается от Computer Science? И как получается, что семиклассники создают роботов для научных исследований, а школьные проекты перерастают в настоящие стартапы?
Ответ на эти и многие другие вопросы ждут вас в подкасте с преподаватели школы «Летово», Олегом Голубевым, заведующим кафедрой IT и дизайна, и Артёмом Суховым, преподавателем физики и Computer Science.
Смотреть на YouTube: https://youtu.be/TizbwiV3cRc
Смотреть в ВК: https://vkvideo.ru/video-228219607_456239349
Смотреть на дзен: https://dzen.ru/video/watch/6aeddc12ea0d510c3b07ef80?share_to=link
В отчете MIT от 2 ноября GPT-6 Astra дали доступ к весам Qwen3.5-0.8B через Python и разрешили пробные запуски, но запретили "в лоб" использовать градиентный спуск. В лучшем варианте она поправила 0,016% весов. Бенчмарк MATH-500 вырос с 7,9% до 48,1%, GSM8K - с 13,8% до 67,1%. MATH-500 это 500 задач по алгебре, геометрии, теории чисел, комбинаторике и другим темам, включая задачи олимпиадного уровня, а GSM8K - школьные текстовые задачи: покупки, расстояния, количества и т.п. На первом графике в аттаче к посту сравниваются отдельные запуски с разными бюджетами пробных прогонов.
Существенная деталь: Qwen до редактирования весов постоянно зацикливался в рассуждениях. После правки доля ответов, упиравшихся в лимит токенов, упала с 93% до 33%. Авторы объясняют выигрыш починкой именно этого поведения. Так что радоваться, что модель научили именно математике пока рановато: на другой модели, которая почти не зацикливалась, убедительного роста не получилось. Так что исследование получилось скорее про про адресный ремонт уже обученной сети.
А вот в Text-to-LoRA, ICML 2025, Sakana AI заранее обучили сеть генерировать небольшую добавку к весам по текстовому описанию задачи. Один из ее вариантов поднял GSM8K у Mistral-7B с 40,9% до 47,3% без отдельного дообучения под эту задачу при применении. Но обычный специально обученный LoRA все еще был лучше - 53,5%.
В Doc-to-LoRA, ICML 2026, на вход подают документ, а сеть записывает его информацию в такой адаптер. Т.е. концептуально проверяют возможность добавить новый документ в контекст напрямую через обновление весов модели: после добавления адаптера модель отвечает уже без явного включения документа в контекст. На 2WikiMultihopQA (бенчмарк, где для ответа нужно связать сведения из нескольких статей Википедии) обновление занимало около 0,2 секунды против 40 секунд у обычной дистилляции с заранее известными тестовыми вопросами. На втором графике со SQuAD (бенчмарк на понимание текста: модели дают фрагмент статьи Википедии и вопрос, ответ на который содержится в этом фрагменте) звездочки - два варианта метода из статьи. В итоге требовалось меньше секунды на обновление, при этом сохранялось около 82,5% качества ответов модели с полным документом (это, если что, отношение метрик ROUGE-L F1 с адаптером и с самим документом, а не 82,5% правильных ответов).
Бесплатного образования, увы, снова не получилось: сеть Doc-to-LoRA сначала обучали примерно пять дней на восьми H200, да и ученик уже был предобучен. Быстрым стал только следующий конкретный апдейт.
Так что осадочек после свежих новостей и после Doc-2-LoRA остается двойственный. Чудес с тем, что "нейросети научились напрямую править веса другой нейросети и учить решать задачки бенчмарка" не случилось. Но сама возможность передавать знания и менять поведение сети через прямую запись в веса у моделей в каком-то виде уже есть. Нам же с вами пока придется продолжать читать учебник, а получить им по голове, к сожалению, пока всё еще недостаточно. В следующий раз поговорим о том, что можно делать, чтобы ускорять обучение уже не сетки, а наше с вами.
Что будет, если дать взрослым поступающим в школу аналитиков задачки из 6 класса и разрешить пользоваться ИИ? Оказывается, ничего хорошего 😂
В этом году у коллег из МТС в их школе аналитиков на вступительных случилось прекрасное: поступающим на отборе в качестве одного из этапов дали задачки по информатике из 6 класса.
Школьники в условные 11-12 лет решают десяток таких за урок, но к поступающим отнеслись гуманно и дали 4 задачки на 240 минут и официально разрешили пользоваться ИИ.
Итог: больше 200 писем с жалобами от писавших отбор, что они-то всё знают, а задачки из шестого класса еще и с помощью ИИ не решили потому что <и дальше кто угодно виноват кроме самого сдающего>. Ну мёд же 🍯🍯🍯
Подробнее о том, зачем было давать задания из шестого класса и как это было - читайте в канале Никиты Зелинского: /channel/datarascals/669
Про перетаскивание методов из NLP в RecSys и обратно: часть 2
Далее идея матричных разложений развилась в то, что векторы можно так-то не просто втупую перемножать, а сначала каждый пропустить через несколько слоев нейронки, и так получилась двухбашенная архитектура DSSM (Deep Structured Semantic Model - название хорошо отражает идею). Модель сначала использовали для ранжирования документов под запрос, т.е. в довольно текстовой задачке, но опять же вскоре приспособили к рекомендациям, вместо вектора запроса взяв вектор пользователя, а вместо векторов документов - векторы рекоменуемых объектов. В итоге опять случился дуализм текстов и рекомендаций.
Когда же word2vec стал уже не модным, потому что у нас появились эмбеддинги из Transformer-Encoder в виде кучи разных вариаций BERT, ту же идею, что была с рекомендациями на word2vec реализовали в BERT4Rec. Если BERT строил эмбеддинги, учась восстанавливать пропущенные слова, то BERT4Rec восстанавливал недостающий судя по контексту айтем. Другой вариант рекомендаций на трансформерах - SASRec, который уже предсказывал следующие айтемы по предыдущим.
Сейчас мы кто во что горазд прикручиваем к рекомендациям LLM. И здесь какого-то одного общего метода, кстати, нет. Самое очевидное - также прогнозировать следующие айтемы по предыдущим, а на логи действий пользователя смотреть как на текст (просто на искусственном "языке"). Но ничто не мешает использовать LLM и для получения векторов по описаниям и отзывам, а дальше уже искать похожести плюс-минус по любой схеме. Еще один вариант (наиболее "в лоб") это просто формулировать задачу порекомендовать что-то как промты определенного формата для LLM, добавляя историю и описание вариантов в контекст. Несмотря на некоторую комичность такого подхода (ну вроде бы из пушки по воробьям стреляем), в нем можно добавить в контекст любые пожелания по рекомендациям, так что просто списывать со счетов такой подход не стоит, хоть и очевидно, что при достаточном количестве данных узкоспециализированные модели для задачи рекомендаций будут точнее.
В итоге уже очень долгая история развития методов в рекомендациях идет бок о бок с развитием методов в NLP и, скорее всего, дальше это будет продолжаться. Например, если мы посмотрим на альтернативы трансформерных моделям в NLP - те же SSM, например, то сразу же легко найдем публикации про рекомендации с помощью SSM.
Мои любимые мемы про ИИ. Скидывайте в комментах свои :)
Читать полностью…
Кто будет растить сеньоров
Для выступления в Сколково про перспективы развития ИИ разбирал исследование "Канарейки в угольной шахте" экономистов Бриньольфссона, Чандара и Чэнь. Авторы проанализировали данные ADP о занятости миллионов американцев. ADP (Automatic Data Processing) - американская компания, которая помогает работодателям рассчитывать и выплачивать зарплаты, учитывать налоги и вести кадровые процессы, поэтому у неё есть данные о реальной занятости: сколько людей работает в компаниях, сколько получает, кого наняли и кто ушёл.
Общей катастрофы на рынке труда в исследовании не обнаружили, но вот у начинающих картина неприятная. Собственно отсюда и название статьи - канарейку в угольные шахты брали потому что она первой погибала от газа и своей смертью предупреждала шахтеров. Авторы увидели здесь некоторую аналогию с начинающими специалистами, которые первые приняли на себя удар ИИ.
На первом графике в аттаче к посту занятость разделена по возрасту и подверженности профессии влиянию ИИ (в оригинале AI-exposed). Самыми подверженными считали разработчиков, сотрудников техподдержки и других обладателей сильно автоматизируемых с помощью ИИ ролей. Наименее подверженными считали тех, чья работа связана с оффлайном. У мужчин это была работа руками, у женщин в основном уход - няни и сиделки. Кстати, самой неэйджистской профессией оказались складские рабочие - там рады людям всех возрастов. Полный же список из более двух сотен профессий можно посмотреть уже в материалах исследования.
Чем темнее линия, тем выше подверженность влиянию ИИ показанной на графике группы. У 22–25-летних линии расходятся: с ноября 2022 по июнь 2026 занятость в двух наиболее подверженных группах упала примерно на 11%, в трёх остальных выросла на 10%. У старших такого расхождения нет. Возраст здесь, конечно, только приближение к началу карьеры: особенно комично смотреть на группу 50+ с подписью "Senior" в контексте IT. Но что поделать, когда спектр исследуемых профессий такой широкий, приходится и под senior иметь ввиду людей в возрасте, а не senior в плане карьеры.
На второй картинке отдельно показаны самые уязвимые - разработчики и клиентская поддержка. Синяя линия, сотрудники 22–25 лет, в обоих случаях резко идёт вниз, а у большинства старших групп занятость выросла. То есть внутри этих профессий прям сильно заметно падение спроса на новичков.
Остается вполне практический вопрос к руководителям: на каких задачах теперь будут учиться наши будущие сеньоры? Если простые задачи забрал ИИ, первую ступень мы вынуждены придумывать заново: давать новичку уже более сложные задачи, учить проверять результат и получать с помощью сеток не только сомнительный нейрослоп, тратить время наставников на развитие новичков, когда сами наставники с сетками сделали бы задачи быстрее.
Мне все это жутко напоминает старый холивар: учить себе новых сотрудников или нанимать с рынка уже опытных. Так что в каком-то смысле ничего нового, просто декорации поменялись, а дилеммы у нас все те же.
На всякий случай, чтобы уж точно не отвертеться, решил вывесить на всеобщее обозрение список своих долгов в канале:
1) Рассказ про экскурсию в Летово
2) Панель про образование на YaC/e - что интересного там было
3) В чем суть аналогии между рекомендательными системами и задачами анализа текстов (был вопрос в комментариях и мое обещание написать)
Если кто-то вспомнит еще какие-то - дописывайте (по ощущениям долгов в 10 раз больше, но я уже успел их себе простить). Также можете просто накидывать в комментах, про что еще написать.
Если бы вас спросили, может ли число пи равняться не 3.1415926..., как бы вы объяснили, что да?
Читать полностью…
Сидел общался с другом, по профессии искушенным в сфере отношений с широкой публикой. Спрашиваю его: «дай совет, как мне дальше канал растить?». А он, имея некоторую предысторию диалога за вечер, и говорит: «вот ты почему Jev в своем канале не обосрал?». Я честно ответил, что стараюсь никого не обсирать, потому что не хочу устраивать никаким своим подписчикам инсульт жопы, и вообще самый оскорбительный и вызывавший хейт пост в истории моего канала - это поздравление с 8 марта (кто помнит, тот помнит)). А вот Никита @datarascals не стал скромничать и прошелся по адептам трансформерных decision models, за что ему большое человеческое спасибо. Причем написал без демагогии и эмоций, а четко и по делу. Рекомендую во-первых к прочтению, а во-вторых, тем кто не сможет дочитать до конца, даже не пытаться интерпретировать вероятности от decision models: будет только хуже.
Читать полностью…
Фан-факт: в статье про AlexNet есть обрезанное изображение сети AlexNet. По одной из версий, Алекс Крижевский обрезал изображение, чтобы итоговая статья уместилась в жесткое ограничение NIPS на длину статьи в 8 страниц.
Читать полностью…
Есть кстати один человек, сильно преуспевший в работе в IT, который говорил: «я не читаю бизнес-литературу, потому что все знания человечества есть в художественной». Продолжая тему предыдущего поста: какие художественные книги вы бы советовали прочитать вместо чтения бизнес-литературы и книжек по саморазвитию? :)
Читать полностью…
У нас в MLinside завтра небольшой дебют: первый открытый вебинар нашего первого курса для продактов. До этого мы учили инженеров, и я ждал, что продакты будут спрашивать про промпты и инструменты. Но пока собирал программу, самый частый вопрос был про деньги: «А агенты вообще окупаются? Может выйти, что руками дешевле?»
Вопрос настолько хороший, что мы вынесли его в отдельный вебинар.
15 октября в 19:30 по МСК - «Когда AI-агент окупается: считаем экономику на живом кейсе». Ведет Максим Шаланкин, ML Team Lead в Big Data МТС Web Services и один из авторов курса. Берет реальную задачу и раскладывает по цифрам: во что обходится агент, с какого момента отбивается и когда проще заплатить человеку.
Зарегистрироваться на вебинар: https://live.mlinside.ru/
Приходите. Пропаганды «AI изменит всё» не будет, задолбавших лозунгов в духе "AI убил ютьюб/маркетинговые агенства/дизайнеров/разработчиков" - тоже. Трезво, взвешенно, без буллшита - все, что мы ценим в MLinside.
Составляю сейчас план лекции, которую очень давно хотел сделать: про то как математика проложила нам путь к искусственному интеллекту, который мы знаем сейчас, какие рубежи мы начали преодолевать только что, и чего ожидать дальше. В процессе выясняется много интересного, поэтому запилю несколько опросов по теме :)
Читать полностью…