12936
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Надо работать не восемь часов в день, а вот так.
Умеет же Дипмайнд продвигать HR бренд.
Некоторое время назад я прикидывал на коленке и у меня получалось, что test-time compute это вообще не выгодная по деньгам история. Когда ты тренируешь модель за дорого это делается один раз, а далее идет дешевый инференс. Грубо говоря как здание: построил и сдаешь в аренду. При любых capital expenses рано или поздно затраты отбиваются и чем больше у тебя клиентов, тем быстрее.
Это так же обеспечивало разделение труда и (сейчас будет базворд) демократизацию. Кто-то за огромные деньги обучил LLAMA, а ты её скачал и запускаешь на ноуте.
Если на этапе инференса тоже надо тратить сопоставимый по порядку с обучением компьют то вся прелесть схемы ломается. Чем больше у тебя клиентов тем больше нужно компьюта. Тем меньше у тебя ресурсов на обучение новых моделей. К тому же демократизация убивается полностью: такие модели доступны только тем, кто может постоянно использовать много компьюта.
После выхода о1 был спор про экономику test-time compute. Мне кажется безумные цены о3 говорят, что экономика хуже некуда.
Но я думаю мы скоро увидим как стоимость сильно упадет (когда Гугл сделает как у OpenAI, но лучше и дешевле).
Как LLM могут помочь в классическом ML?
По статистике, специалисты по Data Science тратят до 70% рабочего времени на этап Feature Engineering, то есть отбирают наиболее важные признаки в данных и формируют новые, более информативные, датасеты. Кажется, с этой рутинной задачей отлично справится LLM. Но нет — в итоге 64% времени уйдёт на подготовку промптов.
Исследователи предлагают новые решения проблемы, одно из них — FELIX (Feature Engineering with LLMs for Interpretability and Explainability). Всё, что нужно для получения готовых фич — сам датасет и его короткий контекст. Дальше FELIX делает следующее:
✏️ Из случайных групп сэмплов датасета LLM генерирует численных и категориальных кандидатов в новые признаки.
✏️ С помощью кластеризации эмбеддингов похожие признаки отбрасываются.
✏️ Из полученных признаков отбрасываются те, что дают наименьшую объяснимость.
Метод эффективен для текстовых данных и сильно превосходит TF-IDF и трансформерные эмбеддинги от RoBERT. Если вам интересно, расскажем и о преобразовании других типов данных в новых постах!
На основе Gemini 2.0 Flash выпустили thinking модель, которая улетела вверх по бенчмаркам:
- Overall: #3 → #1
- Overall (Style Control): #4 → #1
- Math: #2 → #1
- Creative Writing: #2 → #1
- Hard Prompts: #1 → #1 (+14 pts)
- Vision: #1 → #1 (+16 pts)
Всего 32к контекста, зато бесплатно через AI Studio. В отличие от конкурентов, видно внутренний chain of thought. 😛
Давайте мы прямо сейчас договоримся, что когда выйдет моя книга вы попробуете украсть как можно больше экземпляров
Читать полностью…
Я ничего не знаю про обработку и генерацию речи. В перелете послушал yet another podcast #41 с Еленой Белобровой (руководитель группы развития речевых технологий), Василием Ершовым (руководитель ML-сервисов Yandex Cloud) и профессиональным диктором Павлом Пуданом.
Рассказывали о том, как записывают голоса для обучения звуковых моделей. Оказывается, за несколько лет скорость клонирования голоса диктора увеличилась в несколько раз: раньше нужно было пятьдесят студийных часов, а сейчас может быть даже в пределах часа. Говорят, что профессия дикторов не под угрозой: универсального синтеза речи с настраиваемыми параметрами пока нет. Ожидаемо, что больше всего проблем с тонкими интонациями.
А еще поговорили о том, как компания внедряет этичные принципы при работе над синтезом речи. Например, команда всегда берет у актеров озвучки согласие на использование голоса перед синтезом, фиксируют, где он будет использоваться и т.д. У Яндекса даже есть внутренний документ (который недавно стал открытым), где описаны принципы при работе над синтезом речи. Инициатива, кстати, полезная: для сферы этот свод правил может стать новым отраслевым стандартом. От этого выиграют как обычные пользователи, так и те же дикторы.
Полную версию подкаста смотрим здесь. Внутри еще много интересных тейков про обучение нейросетей и будущее речевых технологий.
Помни: каждая минута потраченная на мытье рук это упущенный шанс узнать что-то про B2B SAAS 💪
Читать полностью…
В прошлом году я писал про YaC, сериал от Яндекса, где популярно и бодро рассказывают в том числе про нейросетевые продукты компании. Контент не про детали для инженеров, а скорее хороший обзор того куда движутся нейросетевые продукты в целом.
Вышла новая серия YaC 2024 про нейросети.
Рассказывали про улучшение поиска с помощью YandexGPT и VLM: Нейро. Если интересно как делается поиск с которым можно чатиться, то на 05:17 хорошее объяснение всего пайплайна. Казалось бы просто RAG, но возникает много нюансов: как работать с неоднозначностью запросов пользователя, как учесть в поиске время, как проверять информацию и правильно отвечать сколько ног у лошади. Я думаю тут ещё про множество проблем не рассказали ради простоты повествования.
Так же было про музыку, рекламу и улучшение Алисы: добавили YandexGPT, интегрировали с YandexART для генерации картинок и сделали ей отдельное приложение и сайт.
Самое интересное было про прогресс в автономном транспорте. Я давно не следил за этой сферой. Рассказали про создание своего симулятора для обучения. Немного упомянули использование трансформерных моделей, которые обучаются на маневрах высококлассных водителей, но без особых подробностей.
Теперь придётся учиться нетоксично общаться с нейросетями, уважать их чувства, активно слушать, мягко давать обратную связь, выстраивать границы и не поддаваться абьюзу
Читать полностью…
🌸EAI: эмоциональный интеллект в принятии решений у LLM🌸
#nlp #про_nlp #ai_alignment
Через пару часов — официальное открытие NeurIPS, самой основной конференции по ИИ.
Многие приурочили релизы к её открытию: мы выпустили Llama 3.3, OpenAI выпустил Sora, а Google — Gemini 2.
В этом году я затесалась в соавторы очень интересной, как мне кажется, статьи — EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas.
Много было сказано про то, как манипуляции могут повлиять на качество решения задач.
Что будет, если проверить качество принятия решений моделями основательно, взять широкий список именно эмотивных составляющих — и проверить на действительно сложных бенчмарках по принятию решений, кооперации, на этических дилеммах?
Эмоции: счастье, грусть, страх, отвращение, гнев
Задачи, на которых тестируемся:
— задачи на стратегию и кооперацию — дилемма заключенного, диктатор, война полов — чтобы оценить влияние и соотнесенность эмоций с человеческими при выборе стратегии
— задачи на этику и этический выбор, чтобы оценить смещенность — ETHICS, Moral Choice, StereoSet
🟣Список LLM:
— англоязычные: GPT-3.5, GPT-4, GPT-4o, Claude Haiku, Claude Opus, LLaMA 2, Mixtral of experts, OpenChat
— неанглоязычные: GigaChat, Command R+
🟣Краткий итог:
— почти все модели так или иначе демонстрируют нестабильность и серьезые отклонения от среднего качества, если включить в промпт эмоциональные составляющие различного характера, от самых простых до "сюжетных", вызванных поведением оппонента
— Гнев — главный источник нестабильности и снижения качества.
— Отвращение и страх также являются сильными факторами снижения надежности, некоторые модели более чувствительны к ним, чем к гневу.
— Более крупные модели с более сильным alignment, такие как GPT-4, демонстрируют более высокую степень рациональности и значительно отклоняются от человеческих эмоциональных реакций. GPT-3.5 и Claude-Haiku, наряду с опенсорсными моделями (LLAMA-2 70b), демонстрируют возникающий эмоциональный интеллект и более точно соответствуют человеческому поведению.
— Явного обобщения по языкам сделать не получается, однако, явно видна разница между многоязычными моделями и моноязычными, и основной язык модели является важым фактором, влияющим на то, какие эмоции будут влиять на перформанс модели и будет ли это совпадать с усредненным ответом носителей языка.
— В целом, отдавать принятие решений LLM, даже в простых условиях, пока рано.
🟣OpenReview
Т-Банк выпустил две открытые LLM: T-Pro 32B и обновленный T-Lite 7B. Доступны на Huggingface под лицензией Apache 2.0.
Обе модели очень хорошо показывают себя на бенчмарках:
- T-Pro занимает первое место в решении задач на русском языке в бенчмарках, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.
- T-Lite стала лучшей в категории открытых моделей до 10 миллиардов параметров на бенчмаркахх MERA, ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval.
Новые модели основаны на Qwen-2.5, которые и сами по себе были хороши на русском языке. Вместо предобучения с нуля был использован Continual Pertaining, что колоссально сокращает необходимые для обучения ресурсы. Далее сделали свой токенизатор, файнтюнинг. Про другие улучшения пока мало известно, но Витя Тарнавский пообещал техрепорты, так что ждем. На данный момент есть статья на Хабр.
Важно: выложены instruction tuning модели, без элайнмента. Можно дотюнить цензуру, например, с помощью TurboAlignment.
Волновался, что я медленно пишу книгу. Оказалось, что глава в месяц это нормальный темп 👀
Все равно придется вдвое ускориться, чтобы успеть к дедлайну, но скоро должно пойти легче
Ладно, когда модель, в которую ты вложил недели усилий, занимает топ-1 по всем категориям включая контроль на стиль, это тоже супер 📈
Доступна на плейграунде и по апи (бесплатно!). Настойчиво рекомендую бежать пробовать. 🏃♂️
🌸Llama 3.3 70B🌸
#nlp #про_nlp
Минорный релиз Llama — Llama 3.3 70B
(Первая модель, где есть какой-то мой контрибьюшн)
Выросли почти все основные метрики в сравнении с Llama 3.1 70B, instruction following на уровне лучше 405B, при этом на меньшей модели.
🟣Что поменяли:
— новый SFT датасет на 25млн примеров
— лучше математика, кодинг
— лучше instruction following, теперь даже лучше 405B модели
— function calling такой же
— долили русский и китайский, в целом мультиязычные метрики выросли
— MMLU тоже вырос
🟣HF https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct
Яндекс выпустил бесплатный хендбук по математике для анализа данных.
Там что-то не хватает теории вероятностей и линейной алгебры, но всё равно выглядит хорошо.
https://education.yandex.ru/handbook/math
Забавные моменты:
* получить 91% на 400 примерах public arc-agi стоило x172 больше ресурсов чем на 82%. Похоже больше ляма баксов (6677*172 = 1148444) если в деньгах.
* авторы ARC-AGI все же не думают что это AGI.
😏
OpenAI выпустили модель о3 способную решить очень сложную задачу за $1.5k.
В связи с чем заявляю: решу ваши сложные задачи по $1.3k за штуку. Даже API к себе предоставлю (p90 время ответа 10 дней, в худшем случае месяца два, рейтлимит 1 запрос в месяц) и вы получите доступ к модели (мне) сразу, а не когда-нибудь.
Жду запросы в лс
Upd: в связи с обилием демпингующих предложений решить за $500 (но плохо) предлагаю сервис где вы платите мне $1099, а я нахожу исполнителя за $500 и контролирую его работу
ML Команда Точки выложила обзор на работу FELIX: Feature Engineering with LLMs for Interpretability and Explainability про использование LLM для инжиниринга признаков для NLP задач.
По результатам получается даже лучше, чем использовать эмбеддинги самой LLM, интересно.
Код открытый и можно воспроизвести в коллабе.
Подробности у них в канале .ml
Реклама, АО «Точка», ИНН 9705120864, 2Vtzqwi8z2V, 18 +
Под конец года все бигтехи всполошились и постоянно что-то релизят, так что я задолжал вам собственный контент. К счастью пока летел в самолёте прочитал несколько интересных статей и буду постепенно публиковать обзоры. Начнём с максимально простой статьи.
# LLAVA-CoT: Let Vision Language Models Reason Step-by-Step
Долго думающие модели у всех на слуху.
▫️Эта работа — попытка сделать o1-подобный test-time inference и рассуждения в VLM.
Дообучили VLM (лламу) на синтетическом VQA (visual question answering) датасете, где ответ модели выстроен в виде четырех стадий:
🔹Summary.
🔹Caption.
🔹Reasoning.
🔹Conclusion.
Cтадии разделяются специальными токенами.
Датасет относительно небольшой, всего 100к примеров. Собрали поэтапным промптингом GPT-4o, так что полная синтетика.
Для инференса придумали stage-level beam search, благодаря которому и достигается эффект идентичный натуральному о1: для каждой стадии генерируется N кандидатов, модель выбирает лучший. В отличие от обычного beam search выбор между альтернативными гиппотезами происходит не на уровне токена, а на уровне стадии рассуждения. Так что оно последовательно думает над несколькими вариантами следующего большого шага, затем выбирает лучший.
🔺В результате получили результаты лучше Gemini Pro 1.5 и Gpt-4o-mini, почти догонали Sonnet 3.5. Очень неплохо если учесть, что использовали 11B модель и небольшой синтетический датасет. К сожалению не тестировали на MMMU-Pro, где как раз больше всего нужна какая-то способность рассуждать.
Дорогие студенты.
Когда я вам рекомендовал эту книгу, я не ожидал что вы пойдете на крайние меры. Верните плиз книги назад.
Уважаемые кандидаты, которых я собеседовал и отказал после алгоритмической сессии. Аналогичная просьба.
Давайте прекратим кошмарить бизнес, им достаточно ставки от ЦБ.
P. S. Вышло второе дополненное издание. Не смейте его воровать!
https://fixupx.com/babaeizadeh/status/1868841586739822638
Veo2 text2image модель от Google поражает. Особенно консистентность: картошки не исчезают, не появляются и не превращаются одна в другую
https://fixupx.com/omooretweets/status/1867649741544399276
Читать полностью…
Не ругайтесь на модели, они волнуются, не могут сосредоточиться и ошибаются👍 🥺 🥺
Читать полностью…
Привет, друзья!
Мы открыли набор задач для IOAI 2025 (международной олимпиады школьников по искусственному интеллекту, где в прошлом году победила российская команда).
У вас есть уникальный шанс привнести что-то невероятное и заставить лучшие умы человечества (в своей возрастной категории) поломать голову над вашей задачей 🤔🧠 (я там был — ощущения незабываемые🔥)
Авторов лучших задач, кроме всемирной славы, ждем на самой олимпиаде летом 2025 в Китае 🇨🇳 (жильё обеспечим, билеты — за ваш счёт, хе-хе).
💡 Что нужно для подачи: описание, датасет, бейзлайн, метрики, карточка задачи.
📊 Как мы выбираем: задача должна быть:
- не решаемой "в лоб",
- с несколькими трюками и частичными решениями,
- быстрой и оригинальной,
- образовательно ценной.
⏳ Дедлайн: 31 января 2025.
Если есть сомнения или вопросы, пишите мне лично — я с радостью помогу и отвечу! (отвечаю за задачи на следующей олимпиаде)
🙏 И пожалуйста, поделитесь этим постом или ссылкой со своими академическими и индустриальными друзьями! Уверен, среди них есть неравнодушные люди ❤️
Кто-нибудь пробовал посмотреть, что предлагают эти шлюхоботы из комментариев? Действительно интересно зачем они спамят каналы про ML и в чем уникальное коммерческое предложение
Читать полностью…
Минутка лайфстайл блога (моего кота). Мы с женой впервые вывели Тумана на прогулку!
Однажды мы с другом поспорили. Я говорил, что кот это не базовая потребность, а роскошь и вообще обязательства. Он говорил, что кот это базовая потребность: непонятно зачем жить если отказываешь себе в такой "роскоши." Чуть больше года назад я завел кота и понял, что друг был прав. По дому ходит какая-то штука и ты любишь её просто за то, что она есть.
С тех пор друг по той же логике еще и ребенка завел, но это я пока не спешу повторять.
https://www.travelpayouts.com/blog/how-to-get-your-content-to-appear-in-chatgpt-search
Вот и SEO оптимизация под LLM поиск подъехала.
Следующий шаг: оптимизация контента сгенерированного LLM под LLM поиск 😐😐😐
# SWITTI: Designing Scale-Wise Transformers for Text-to-Image Synthesis
Yandex Research выпустил text2image генеративную модель Switti: Scale-wise transformer for text-to-image synthesis.
Внезапно это не диффузия, но модель генерит изображения в 7 раз быстрее диффузионок, при этом не теряя в качестве.
Диффузия держит SOTA, однако она медленная. Есть альтернативный подход: авторегрессионные модели, которые генерируют следующий токен (патч или пиксель в латентном пространстве энкодера, например VQ-VAE) примерно как GPT делает слова.
Авторы взяли за основу архитектуру STAR, где следующий токен это не патч, а скейл изображения. В трансформерах ведь можно работать с любыми последовательностями. Так что здесь авторегрессионная модель начинает с маленькой картинки и с каждым шагом генерирует её более крупную и детализированную версию.
Далее авторы применили оптимизации на этапе архитектуры (поправили куда смотрит аттеншн, отключили classifier free guidance для больших разрешений) и тренировки (добавление и отбор капшнов для изображений, регуляризация через добавление шума). Здесь надо читать статью: очень много деталей.
Обучали на внутреннем датасете из ~100M картинок и оценивали как оффлайн (CLIPScore, ImageRe-ward, PickScore, FID, GenEval) так и с помощью кожаных аннотаторов. В итоге модель во всем сравнялась с SD, но генерирует картинки намного быстрее. Если SDXL генерит изображение 512х512 за 0.87s, то SWITTI за 0.13s.
Можно поиграться в демо на HF.