15113
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Qwen3-VL
Наконец вышли завершающие размеры в серии Qwen3-VL — 4B и 8B.
В двух форматах: instruct и thinking
И в двух точностях: bf16 и fp8
До этого вышли MoE версии: 235B-A22B, 30B-A3B
Qwen-VL это моя любимая модель ♥️, мне понравилось с ней работать в поколении Qwen2.5-VL. На моей задачи многоклассовой классификации удалось выбить ~0.95 F1
Я пробовал gemma-3(n), SmolVLM(2), Phi-4, Phi-3.5 — все они так себе. Только Kimi-VL хорошо работала, но была существенно тяжелее.
В планах попробовать Qwen3-VL для text-only задач. Кажется, должна работать прям хорошо
⛓️ Коллекция на хагинфейсе
LLM Steering 2025: Дружеский хакатон по промпт-инжинирингу
📅 Когда: 24-26 октября
📍 Где: Онлайн + Москва, ЦДО «Моноид»
💰 Стоимость: бесплатно
LLM Steering (направленное управление моделью) — это базовый навык для оценки моделей (evals) и, главное, для решения реальных задач с LLM. Мы считаем, что навыки развиваются практикой, поэтому делаем хакатон с фокусом на обучение и кооперацию.
Про что кейсы?
Хакатон предполагает несколько направлений, из которых участники смогут выбрать кейс подходящей тематики и уровня сложности. Будут охвачены:
🔘базовые методы промпт-инжиниринга,
🔘стилистическое управление генерацией контента,
🔘генерация и проверка кода,
🔘извлечение, структурирование и верификация данных,
🔘поиск уязвимостей, ограничений и нетипичных поведенческих сценариев моделей.
Образовательная программа:
Предварительно к хакатону будут проведены опциональные лекции и воркшопы по темам:
🔘методы промпт-инжиниринга,
🔘основы jailbreak-техник и AI Safety,
🔘оформление pitch-презентаций для проектов.
Что значит дружеский хакатон?
Все, кто сдаст рабочее решение по критериям, попадают в список победителей и получают призы.
Нет крупных денежных призов, только полезные ресурсы и сувениры от ЦДО «Моноид».
Зачем участвовать:
Этот опыт полезен для тех, кто хочет построить карьеру в этой области, а также для:
🔘освоения прикладных методов работы с LLM на реальных задачах,
🔘понимания ограничений и сильных сторон моделей,
🔘формирования портфолио и исследовательских идей.
Спец-номинации:
🔘«AI Safety релевантный проект»
🔘«Проект на сопровождение»
Подробнее: тут
Регистрация: тут
📍Адрес: Ломоносовский проспект, 25к3, по вопросам прохода на территорию пишите @MonoidAdmin
# "Anything" is boooring
Я недавно спорил с одной девушкой и, как часто бывает, в моменте не придумал как умно ответить. Зато придумал позже и, как всегда, читать вам.
Вкратце, спор был про эзотерику в картине мира. Девушка сказала, что я, не допуская переселения душ и того, что вселенная живет по некой программе, менее любопытен к другим теориям. Что заставило меня задуматься о дихотомии между унылыми ограниченными материалистами и творческими любопытными эзотериками.
Мне кажется это сравнение ложным. Я не ощущаю себя менее любопытным. Допустим я говорю, что раз у меня нет причин верить в переселение душ, то я буду считать, что его нет. В этот момент я не ощущаю стабильности, безопасности или определённости. Я не чувствую будто закрываюсь. Когда я говорю, что кто-то из нас двоих не прав, мир не становится для меня менее загадочным.
Мне кажется человеку с позицией "все возможно" любопытно как мир может быть расширен. Вопрос ставится так: "Как ещё может быть?" Мне любопытно как мир может быть редуцирован. То есть познание это сужение вариантов до истины. Например, откуда взялись люди. Мне интересно не сколько разных объяснений я могу придумать, а как именно это произошло, почему именно так и как это можно проверить.
То есть познание для меня это скорее паззл чем свободное рисование: прикольно находить как все встает на свои места. Некоторые люди в этом видят страшное ограничение. Если признать, что головоломку можно собрать только одним способом, то вся поэзия мира будет заменена на эксель таблички с числами.
Однако для меня наличие объективного мира не делает познание каким-то механическим или определённым. Вы видели реальные научные вопросы? Только про самые простые вещи мы можем сказать что-то скучно-опреденное. И то, пусть всем очевидно, что дважды два равно четыре, но вы попробуйте ответить почему так.
В общем, мне даже кажется, что всё наоборот. Вера в волшебство и что всё возможно выглядит для меня гораздо более ограниченной. Если всё возможно, кто угодно может быть прав или все по-своему правы, то всё уже понятно и ты уже все знаешь. Какой смысл что-то обсуждать и выяснять? Может быть мир возник из Большого Взрыва, может быть это все симуляция, может быть это все сон бабочки. Если все это равнозначно и равновероятно, то какая вообще разница?
"Всё, что угодно" звучит для меня очень скучно. Если нет критерия отбора идей и все по-своему правы, то как будто сложно быть заинтересованным в обсуждении. Мы уже знаем как оно закончится: все останутся при своём. Нет перчинки.
Для меня правота это своего рода ставка. Я могу оказаться неправ и мне будет неприятно. Такова цена интересного спора. Он отличается как игра в покер на реальные деньги меняет игру относительно игры на фантики.
Скорее всего конфликт происходит не только на уровне мировоззрения. Копая глубже, я думаю дело в том, что когда люди с эзотерическим мышлением обсуждают такие вещи, они не воспринимают это как ставки, спор и всё такое. Меня всегда удивляло: если один верит в прану, другой в кристаллы, а третий в астрологию, то как они не ругаются друг с другом? Однако если представить, что их цель не выяснить кто прав и что правда, а они просто делятся, всё становится на свои места. У тебя кристаллы, да? Очень интересно, а у меня чакры. Поделились своими фантазиями и установили контакт.
Это похоже на защиту. Если все возможно, то тебе никогда не придётся чувствовать себя глупым. Ты всегда по-своему прав и никто не имеет оснований сказать, что твой фентезийный мир хуже другого.
Признавать, что волшебства нет, страшно. Может оказаться, что мир какой он есть тебе не понравится. Мир в котором ты умираешь и просто исчезаешь страшнее надежды, что ты зареспаунишься кошкой или отправишься в вечный рай. Мир в котором рак просто случается с людьми гораздо страшнее мира где рак можно вылечить разрешив эмоциональные травмы. Мир, где приходится зарабатывать деньги, а не манифестировать их, это вообще хрень какая-то.
Может быть жить в своем мире лучше, не знаю. Но я точно не вижу в этом никакого любопытства, а без любопытства я жить не могу.
Через 20 минут буду у ребят на митапе, расспрашивать про поиск
Читать полностью…
Вышел State of AI 2025!
🟣https://www.stateof.ai/
В этом году в него вошла наша работа — MLGym!
И в целом большое внимание агентам для науки
https://www.strangeloopcanon.com/p/can-we-get-an-ai-to-write-better
Читать полностью…
Запрос от подписчицы
Меня зовут Анна, я аспирантка в University of Notre Dame. Вместе с IBM Research мы проводим исследование о том, как специалисты выбирают бенчмарки для больших языковых моделей.
Если вы работаете с LLM и сталкивались с выбором бенчмарков для оценки, тестирования или исследований, нам будет очень важно услышать ваш опыт.
О компенсации: к сожалению, мы не можем вознаградить участников из России, СНГ, Китая и из других стран. Компенсация возможна только для тех, кто живет в США, потому что подарочные карты работают лишь там
Если бы мне нужно было приложение с бесконечным потоком дегенеративного слопа, я бы открыл Youtube
Читать полностью…
В процессе поиска для книги нашел заметку из 2020 где автор объясняет, почему стоит обратить внимание на GPT-3. Тогда ещё не было InstructGPT, ChatGPT и агентов, а OpenAI говорили, что публично доступная GPT-3 уничтожит демократию. Прикольный взгляд из прошлого
https://raohacker.com/why-the-new-ai-nlp-language-model-gpt-3-is-a-big-deal/
SIM-CoT: впервые латентный ризонинг догнал явный CoT
Помните COCONUT от Meta? Там LLM учили рассуждать не словами, а эмбеддингами. Звучит круто, но была одна гадкая проблема — при увеличении количества неявных токенов модель начинала нестабильно обучаться и иногда полностью коллапсировала. Представьте: добавили пятый латентный токен, а точность упала с 89% до 12%! Да и нормальные результаты были только на игрушечных моделях вроде GPT-2.
Авторы SIM-CoT разобрались, в чём дело. Оказалось, что неявные токены теряют семантическое разнообразие и становятся слишком похожими друг на друга, постепенно все латенты начинают кодировать одно и то же. Классический коллапс пространства эмбеддингов.
Решение — добавить step-level supervision. Во время обучения каждый неявный токен выравнивается со своим конкретным шагом рассуждения. Отдельная модель-декодер (архитектурно идентичная основной LLM), учится превращать каждый латентный токен обратно в текстовый шаг через кросс-энтропию. Этот декодер работает только при обучении, а на инференсе выкидывается — благодаря этому никаких потерь в скорости.
И это работает! На GPT-2 SIM-CoT впервые обошел явный CoT при скорости в 2.3 раза выше. На больших моделях (LLaMA-3.1 8B) метод догоняет явный CoT, сохраняя преимущество в эффективности. Плюс бонус — auxiliary decoder позволяет "подсматривать" во внутренние размышления модели для дебага.
Но на больших моделях SIM-CoT скорее закрывает разрыв с явным рассуждением, чем кардинально его превосходит. Но сам подход решения нестабильности неявного CoT через пошаговый supervision выглядит очень разумно. В целом я очень верю в это направление COCONUT-like архитектур.
Статья, GitHub
Если наплыв шлюхоботов неизбежен
Продавать нюдсы нужно первым 👆
Посмотрите, что Qwen3-VL умеет из коробки — предсказать JSON со списком bounding box для произвольной задачи 🐱
Читать полностью…
https://www.existentialhope.com/existential-hope-meme-prize
Конкурс мемов за $10 000 - вызов достойный лучших хьюман мемеров
Вся ваша жизнь готовила вас к этому моменту
В 2024 году OpenAI потратили около 5 млрд долларов только на RnD вычисления (спасибо Игорю за ссылку), всего 7 млрд.
В 2022 году весь российский Яндекс был выкуплен за 5.2 млрд долларов.
Можно сказать, что OpenAI потратили на GPU больше одного Яндекса за год!
Хотя конечно это была распродажная цена. Perplexity подсказывает, что сейчас рыночная оценка Яндекс 33.3 млрд долларов
Какая же AI индустрия в РФ smol 👀
Послушал про то, что там происходит в LLM поиске со стороны бизнесов. Если честно, мне было больше всего интересно насколько его уже взломали. К моему удивлению как будто совсем нет. Более того, оказывается LLM могут сделать интернет лучше!
Утверждается, что LLM гораздо сложнее обмануть какими-то техническими приколами типа ссылок или потока воды. Недавно выходила статья про то, как агентство по продвижению пыталось сделать своего CEO самым секси лысым мужиком по мнению LLM через создание множества сайтов с фейковыми рейтингами. У них отчасти получилось, но даже со всеми усилиями они повлияли лишь на выдачу ChatGPT и Perplexity, а на остальных провайдеров не смогли. И даже там модель не всегда отвечала так, как им хотелось.
Возможно, кстати, дело в том, что для LLM поиска пока нельзя делать A/B тесты. Поэтому коллективный разум вебмастеров не может всё сломать.
На текущий момент гораздо проще влиять на LLM поиск адекватным контентом. Все советы по продвижению звучат для меня как советы по созданию нормальных сайтов. Ещё интересный факт, что LLM чаще обычного поиска обращают внимание на личные сайты и блоги. То есть внезапно это может привести к откату от больших площадок-аггрегаторов к ламповому интернету маленьких собственных сайтов.
В общем, и хорошие новости бывают, а не только enshittification!
Через 30 минут начинаем.
Если вам не пришла ссылка на почту или в личные сообщения - присоединяйтесь здесь
Не помню рассказывал я вам или нет, но я пишу научпоп книгу про ML/ИИ. И тестирую неотредактированные рукописи на нескольких несчастных друзьях.
Один из бета-тестеров книги, не ML-щик, прочитал главу про Word2Vec и спонтанно изобрел The Platonic Representation Hypothesis
Ради такого эффекта хочется продолжать писать! Но ещё больше, конечно, хочется закончить. Закончил восьмую главу, впереди ещё две (почему их становится больше?)
В пятницу буду приглашенным гостем на седьмом митапе Practical AI: Expert Talks. В этот раз в роли задающего вопросы предпринимателям.
Тема: как попасть в выдачу AI поиска.
Будет шанс послушать как бизнес адаптируется к тому, что AI поиск приходит на смену традиционным поисковикам, а вместо SEO теперь GEO.
На этой встрече будем обсуждать:
- Как работают AI-модели с т.з. поиска информации.
- Как они видят интернет.
- Что можно сделать для попадания в поисковую выдачу моделей.
- Что делать, чтобы удержать пользователея который пришел из GEO поиска.
Спикеры:
Михайлов Павел, серийный предприниматель
основатель SEO-агентства PMD
соучредитель в агрегаторе Allcourses.io
Светлана Галахова, основательница AIHUB.WORKS. AI-продакт с фокусом на решениях для бизнеса. Запустила 30+ AI-проектов для международных компаний:
NLP-боты, RAG-ассистенты, аналитические инструменты.
Модератор митапа:
Данил Усик, серийный предприниматель. CEO & Founder корпоративной образовательной платформы Practical AI, 10+ лет в B2B-продажах и Biz.Dev, экс-основатель дизайн-бюро, реализовавшего проекты для частных школ Москвы, в т.ч. на кампусе МГУ
🗓 Дата и время: 10 октября,
16:00 по Москве
17:00 по Берлину
10:00 по Буэнос-Айресу
📍 Место: Онлайн, в Zoom.
✅ Участие бесплатное.
Запись опубликуют на канале Practical AI
➡️ Зарегистрироваться
OpenAI недавно выпустили prompt packs: наборы промптов для разных задач.
И это очень смешно (только для меня, но всё равно), потому что там всё такого вида: чтобы ChatGPT сделала вам саммари документа попросите её сделать саммари документа. И не забудьте вставить текст документа!
Вот они какие оказывается лайфхаки для промптинга. Попробуйте просить то, что хотите получить, и не просить того, чего не хотите.
https://www.astralcodexten.com/p/your-review-dating-men-in-the-bay
Читать полностью…
- Открылся набор задач: в ближайшую пару месяцев (или больше при желании) можно засабмитить идею или полноценную задачу тут. Лучшие поедут в Абу-Даби в следующем году и смогут посмотреть на страдания студентов воочию!✨
- Мы начинаем квн расширяем комитет! Если вы знаете кого-то классного (или себя) — подавайтесь в ближайший месяц для благого дела! В этом году мы выгнали лентяев и набрали крутых специалистов типа Александра Дьяконова, присоединяйтесь! Предстоит много работы по задачам, регулированию и прочему. В Абу-Даби тоже попадете, кстати.
Ну и, конечно, расскажите своим друзьям❤️
OpenAI в 2024: встречайте SORA. Первая настоящая модель мира. Симулятор реальности. Мир никогда не будет прежним.
OpenAI в 2025: в общем мы сделали из неё тикток
Писал книгу, чтобы дойти до такого заголовка
Это черновик. Я планирую адаптировать мем под наши славянские контексты и затем уже объяснять его. Какой в русских сказках есть аналог Шоггота?
Сегодня ночью я лежал в простудной горячке и думал о том как удивительно все, что с нами происходит.
Люди сформировались в текущем виде примерно 200 тысяч лет назад. Но земледелие появилось примерно 12 тысяч лет назад, а письменность всего 5 тысяч лет назад.
Значит большую часть из 200 тысяч лет люди были охотниками и собирателями. В таком режиме ты каждый день пытаешься дожить до следующего. Все глобальные феномены вроде ледниковых периодов тоже занимали десятки тысяч лет, так что на протяжении сотен поколений люди могли жить по сути один и тот же день.
Я пытаюсь представить каково это и не могу. Твоя жизнь такая же как жизнь твоего отца, деда, прадеда, сто раз прадеда. А так же сына, внука, сто раз правнука. Ты как точка на идеальной математической прямой. Ни начала, ни конца. С твоей точки зрения все всегда было как сейчас и всегда будет как сейчас.
Неудивительно, что можно было поверить в реинкарнацию и переселение душ. Поколений так много, что всё, что с тобой происходило, наверняка происходило с кем-то ещё. Как сцена где актёры меняются, а пьеса остаётся той же.
Для большей части людей не существовало времени и истории в нашем понимании. Государства, университеты, электричество, интернет, думающие машины. Для нас кажется, будто это было давно, а на самом деле это всё новшества в историческом смысле.
Глобально, относительно истории человечества вся наша жизнь умещается в мгновение когда спичку уже чиркнули о коробок и она начала искрить, но огонь ещё не загорелся. Каковы были шансы родиться в этот момент?
Этот исключительный для человечества миг достался именно тебе. И ты снова тратишь его на то, что пытаешься обновить CUDA драйвер
Админ перегрелся
4-5 октября мой друг организует хакатон в Москве в офисе 2ГИС — hackathon.2gis.ru
Что можно ожидать:
1️⃣ Игрушки
В треке Девайсы можно потыкать: Apple Vision Pro, Meta Quest, Алиса/Сбербум + приблуды для умного дома, немного носимых девайсов.
2️⃣Умные люди
Будут менторить на разные темы. Технари/продакты из 2ГИС и внешние эксперты.
3️⃣ Что-то социально значимое
В треке Инклюзия можно обсудить полезные идеи с Антон тут рядом, Продвижение, Лиза Алерт.
4️⃣ Данные города
Дадут доступ к API/SDK 2ГИС и можно будет обсудить идеи для города вместе с 2ГИС и ЦОДД Москвы
5️⃣ Деньги!
Лям (1 000 000 ₽) призовых
Залетайте hackathon.2gis.ru
💚 Регистрация открыта еще 3 дня