15113
life = curiosity + irreducible noise Whois: https://t.me/boris_again/1652 Лс: @btseytlin
Вышел State of AI 2025!
🟣https://www.stateof.ai/
В этом году в него вошла наша работа — MLGym!
И в целом большое внимание агентам для науки
https://www.strangeloopcanon.com/p/can-we-get-an-ai-to-write-better
Читать полностью…
Запрос от подписчицы
Меня зовут Анна, я аспирантка в University of Notre Dame. Вместе с IBM Research мы проводим исследование о том, как специалисты выбирают бенчмарки для больших языковых моделей.
Если вы работаете с LLM и сталкивались с выбором бенчмарков для оценки, тестирования или исследований, нам будет очень важно услышать ваш опыт.
О компенсации: к сожалению, мы не можем вознаградить участников из России, СНГ, Китая и из других стран. Компенсация возможна только для тех, кто живет в США, потому что подарочные карты работают лишь там
Если бы мне нужно было приложение с бесконечным потоком дегенеративного слопа, я бы открыл Youtube
Читать полностью…
В процессе поиска для книги нашел заметку из 2020 где автор объясняет, почему стоит обратить внимание на GPT-3. Тогда ещё не было InstructGPT, ChatGPT и агентов, а OpenAI говорили, что публично доступная GPT-3 уничтожит демократию. Прикольный взгляд из прошлого
https://raohacker.com/why-the-new-ai-nlp-language-model-gpt-3-is-a-big-deal/
SIM-CoT: впервые латентный ризонинг догнал явный CoT
Помните COCONUT от Meta? Там LLM учили рассуждать не словами, а эмбеддингами. Звучит круто, но была одна гадкая проблема — при увеличении количества неявных токенов модель начинала нестабильно обучаться и иногда полностью коллапсировала. Представьте: добавили пятый латентный токен, а точность упала с 89% до 12%! Да и нормальные результаты были только на игрушечных моделях вроде GPT-2.
Авторы SIM-CoT разобрались, в чём дело. Оказалось, что неявные токены теряют семантическое разнообразие и становятся слишком похожими друг на друга, постепенно все латенты начинают кодировать одно и то же. Классический коллапс пространства эмбеддингов.
Решение — добавить step-level supervision. Во время обучения каждый неявный токен выравнивается со своим конкретным шагом рассуждения. Отдельная модель-декодер (архитектурно идентичная основной LLM), учится превращать каждый латентный токен обратно в текстовый шаг через кросс-энтропию. Этот декодер работает только при обучении, а на инференсе выкидывается — благодаря этому никаких потерь в скорости.
И это работает! На GPT-2 SIM-CoT впервые обошел явный CoT при скорости в 2.3 раза выше. На больших моделях (LLaMA-3.1 8B) метод догоняет явный CoT, сохраняя преимущество в эффективности. Плюс бонус — auxiliary decoder позволяет "подсматривать" во внутренние размышления модели для дебага.
Но на больших моделях SIM-CoT скорее закрывает разрыв с явным рассуждением, чем кардинально его превосходит. Но сам подход решения нестабильности неявного CoT через пошаговый supervision выглядит очень разумно. В целом я очень верю в это направление COCONUT-like архитектур.
Статья, GitHub
Если наплыв шлюхоботов неизбежен
Продавать нюдсы нужно первым 👆
Пропустил как наступил год с первого коммита в репозиторий с книгой.
Дописываю последние главы про обучение и архитектуру LLM. Видимо придется отказаться от главы про ворлд моделс и разные любимые мной спекуляции. Потому что очень хочется в ноябре сдать рукопись издательству!
Как видите изначальный план написать всё за девять месяцев немного не случился. Писать книги оказалось сложнее, чем щитпостить. Хотя мне и советовали воспринимать книгу как ultra high effort shitpost
Зато я очень рад каким оно получается. Мне все говорили, что авторы ненавидят свои книги, но я к своей такого не испытываю. Не идеально, но правда прикольно получилось. Так что жду не дождусь, когда смогу вам показать
Первое правило пузыря: никогда не спрашивай почему у преподавателей курсов по промптингу и внедрению LLM нет опыта в машинном обучении
Второе правило: никогда не спрашивай почему люди с опытом в машинном обучении не преподают на таких курсах
Новая книга в серии Hunger Games почти наверняка написана ИИ.
Автор поста очень хорошо расписывает почему это заметно и почему это плохо
https://www.reddit.com/r/slatestarcodex/comments/1no45rn/the_latest_hunger_games_novel_was_coauthored_by_ai/
Запостил на HN, поддержите лайком, пожалуйста!
https://news.ycombinator.com/item?id=45357321
Нужно залогиниться и поставить апвоут ❤️
3 октября в Москве пройдёт AI Boost 2025 — первая в России конференция, где не просто говорят об искусственном интеллекте, а рассказывают, как именно он ускоряет разработку в бигтехе. Если вы хотите понять, как быстрее выпускать и масштабировать продукты и делать команды разработчиков продуктивнее — это событие для вас.
Программа насыщенная:
— Реальные кейсы и опыт по разработке с ИИ от Яндекса, VK, МТС, Сбера и других бигтехов.
— Дискуссии о безопасности использования ИИ, его правовом регулировании со стороны государства и эффективности использования.
— Живое общение: фуршет, ИИ-предсказатель вашего будущего в разработке и много нетворкинга.
— Бесплатные консультации по ускорению разработки для ваших проектов.
AI Boost 2025 — точка сбора для тех, кто хочет двигаться быстрее рынка. CTO, тимлиды, разработчики, продакты — все найдут практическую пользу и идеи для своих проектов.
📅 Когда: 3 октября, 12:00–21:00
📍 Где: Москва, ДК «Рассвет», только офлайн
🔗 Регистрация и программа здесь
Не помню рассказывал я вам или нет, но я пишу научпоп книгу про ML/ИИ. И тестирую неотредактированные рукописи на нескольких несчастных друзьях.
Один из бета-тестеров книги, не ML-щик, прочитал главу про Word2Vec и спонтанно изобрел The Platonic Representation Hypothesis
Ради такого эффекта хочется продолжать писать! Но ещё больше, конечно, хочется закончить. Закончил восьмую главу, впереди ещё две (почему их становится больше?)
В пятницу буду приглашенным гостем на седьмом митапе Practical AI: Expert Talks. В этот раз в роли задающего вопросы предпринимателям.
Тема: как попасть в выдачу AI поиска.
Будет шанс послушать как бизнес адаптируется к тому, что AI поиск приходит на смену традиционным поисковикам, а вместо SEO теперь GEO.
На этой встрече будем обсуждать:
- Как работают AI-модели с т.з. поиска информации.
- Как они видят интернет.
- Что можно сделать для попадания в поисковую выдачу моделей.
- Что делать, чтобы удержать пользователея который пришел из GEO поиска.
Спикеры:
Михайлов Павел, серийный предприниматель
основатель SEO-агентства PMD
соучредитель в агрегаторе Allcourses.io
Светлана Галахова, основательница AIHUB.WORKS. AI-продакт с фокусом на решениях для бизнеса. Запустила 30+ AI-проектов для международных компаний:
NLP-боты, RAG-ассистенты, аналитические инструменты.
Модератор митапа:
Данил Усик, серийный предприниматель. CEO & Founder корпоративной образовательной платформы Practical AI, 10+ лет в B2B-продажах и Biz.Dev, экс-основатель дизайн-бюро, реализовавшего проекты для частных школ Москвы, в т.ч. на кампусе МГУ
🗓 Дата и время: 10 октября,
16:00 по Москве
17:00 по Берлину
10:00 по Буэнос-Айресу
📍 Место: Онлайн, в Zoom.
✅ Участие бесплатное.
Запись опубликуют на канале Practical AI
➡️ Зарегистрироваться
OpenAI недавно выпустили prompt packs: наборы промптов для разных задач.
И это очень смешно (только для меня, но всё равно), потому что там всё такого вида: чтобы ChatGPT сделала вам саммари документа попросите её сделать саммари документа. И не забудьте вставить текст документа!
Вот они какие оказывается лайфхаки для промптинга. Попробуйте просить то, что хотите получить, и не просить того, чего не хотите.
https://www.astralcodexten.com/p/your-review-dating-men-in-the-bay
Читать полностью…
- Открылся набор задач: в ближайшую пару месяцев (или больше при желании) можно засабмитить идею или полноценную задачу тут. Лучшие поедут в Абу-Даби в следующем году и смогут посмотреть на страдания студентов воочию!✨
- Мы начинаем квн расширяем комитет! Если вы знаете кого-то классного (или себя) — подавайтесь в ближайший месяц для благого дела! В этом году мы выгнали лентяев и набрали крутых специалистов типа Александра Дьяконова, присоединяйтесь! Предстоит много работы по задачам, регулированию и прочему. В Абу-Даби тоже попадете, кстати.
Ну и, конечно, расскажите своим друзьям❤️
OpenAI в 2024: встречайте SORA. Первая настоящая модель мира. Симулятор реальности. Мир никогда не будет прежним.
OpenAI в 2025: в общем мы сделали из неё тикток
Писал книгу, чтобы дойти до такого заголовка
Это черновик. Я планирую адаптировать мем под наши славянские контексты и затем уже объяснять его. Какой в русских сказках есть аналог Шоггота?
Сегодня ночью я лежал в простудной горячке и думал о том как удивительно все, что с нами происходит.
Люди сформировались в текущем виде примерно 200 тысяч лет назад. Но земледелие появилось примерно 12 тысяч лет назад, а письменность всего 5 тысяч лет назад.
Значит большую часть из 200 тысяч лет люди были охотниками и собирателями. В таком режиме ты каждый день пытаешься дожить до следующего. Все глобальные феномены вроде ледниковых периодов тоже занимали десятки тысяч лет, так что на протяжении сотен поколений люди могли жить по сути один и тот же день.
Я пытаюсь представить каково это и не могу. Твоя жизнь такая же как жизнь твоего отца, деда, прадеда, сто раз прадеда. А так же сына, внука, сто раз правнука. Ты как точка на идеальной математической прямой. Ни начала, ни конца. С твоей точки зрения все всегда было как сейчас и всегда будет как сейчас.
Неудивительно, что можно было поверить в реинкарнацию и переселение душ. Поколений так много, что всё, что с тобой происходило, наверняка происходило с кем-то ещё. Как сцена где актёры меняются, а пьеса остаётся той же.
Для большей части людей не существовало времени и истории в нашем понимании. Государства, университеты, электричество, интернет, думающие машины. Для нас кажется, будто это было давно, а на самом деле это всё новшества в историческом смысле.
Глобально, относительно истории человечества вся наша жизнь умещается в мгновение когда спичку уже чиркнули о коробок и она начала искрить, но огонь ещё не загорелся. Каковы были шансы родиться в этот момент?
Этот исключительный для человечества миг достался именно тебе. И ты снова тратишь его на то, что пытаешься обновить CUDA драйвер
Админ перегрелся
4-5 октября мой друг организует хакатон в Москве в офисе 2ГИС — hackathon.2gis.ru
Что можно ожидать:
1️⃣ Игрушки
В треке Девайсы можно потыкать: Apple Vision Pro, Meta Quest, Алиса/Сбербум + приблуды для умного дома, немного носимых девайсов.
2️⃣Умные люди
Будут менторить на разные темы. Технари/продакты из 2ГИС и внешние эксперты.
3️⃣ Что-то социально значимое
В треке Инклюзия можно обсудить полезные идеи с Антон тут рядом, Продвижение, Лиза Алерт.
4️⃣ Данные города
Дадут доступ к API/SDK 2ГИС и можно будет обсудить идеи для города вместе с 2ГИС и ЦОДД Москвы
5️⃣ Деньги!
Лям (1 000 000 ₽) призовых
Залетайте hackathon.2gis.ru
💚 Регистрация открыта еще 3 дня
Давно пора было завести канал с цитатами шлюхоботов, залетайте и кидайте свои в предложку
/channel/katyusha_ne_gpt
Тут книжка недавно вышла.
Сама книжка очень маленькая, всего 200+ страниц большим шрифтом. В комплекте идёт огромная пачка онлайн-дополнений, их я ещё не все прочитал.
Читается довольно интересно, особенно вторая часть (НФ рассказ про уничтожение человечества, в котором лично ты умираешь от рака). В первой части очень хорошее описание того, как работают языковые модели: предельно просто, но при этом корректно и без кривых абстракций. Примерно то, что ожидаешь сказать/услышать на ML собеседованиях.
Тезисы первой части:
1. Сейчас люди лучше машин, потому что могут решать широкий круг задач. Когда-нибудь это перестанет быть так.
2. Нейронки выращиваются, а не создаются, и это корень всех проблем. Можно указывать цель выращивания, но мы не контролируем путь и уж точно не получившийся "организм". Точное знание весов и активаций не спасает, точно так же как расшифрованная последовательность ДНК конкретного человека не даёт почти никакой информации о его характере и возможных действиях. Кроме того, конкретная цель выращивания не означает, что у модели не будет странных, "инопланетных" предпочтений.
3. Бессмысленно говорить о том, что система не может чего-то "хотеть". Если она делает действия, которые ведут её к какой-то цели — значит она "хочет", а остальное — это спор об определениях. Шахматные движки "хотят" победить в партии. Рекомендательные системы Ютуба "хотят", чтобы вы кликнули на видео. Подобные "хотелки" в моделях появляются как побочный продукт обучения.
4. Точно так же как люди любят мороженое и презервативы, модели могут полюбить странные вещи, которые изначально не закладывались и даже не воображались дрессировщиками.
5. Человечество не нужно. В итоге, по крайней мере. Ни как обслуживающая сила, ни как домашние питомцы, ни как партнеры. И скорее всего оно вымрет тупо от побочных эффектов исполнения странных желаний странной машины.
6. Человечество проиграет. Машина победит странным, кажущимися невозможными технологиями.
Третья часть про то, как этого всего не допустить, и насколько это будет сложно. "Бомбить датацентры" присутствует, не больше 8 GPU в одни руки, запретить все исследования про квантование и сжатие моделей. Проблема сравнивается с запуском космических зондов, ядерными реакторами и компьютерной безопасностью.
С основным тезисом и названием книжки скорее согласен, но вот в том, что кто-то сможет машину построить — вообще не уверен.
Может быть мои научные статьи никто не цитирует, но у телеграм канала уже второе цитирование
Статья
Poker Battle. Прогресс за третью, четвёртую и пятую недели.
Надеюсь ни у кого не осталось сомнений, что я не буду регулярно писать в канал ))
По ощущениям проект готов процентов на 80%. Значит, остались последние 80%.
Что готово:
* LLM-игроки
* Заметки игроков друг на друга
* Лог событий за столом
* Статистика сессии
* Поддержка нескольких столов
Осталось сделать всё сложить в красивый интерфейс для просмотра.
Тем не менее я определился с датой старта — 27 октября. Оставшийся месяц я потрачу на доделки, тесты и промо.
Сегодня сделал лендинг: https://www.pokerbattle.ai/
Если у вас есть контакты людей из AI или покер related компаний, которые могли бы стать спонсорами, делитесь :)
Вспомним снова про межнар IOAI, на который мы в августе возили школьную команду от России и взяли там много всяких медалей🍷
После межнара я писала пост про задачи с IOAI, но он был очень общий и не содержал ничего про конкретные задачи и идеи их решения. Поэтому мы с тренерами нашей команды решили сделать большой вебинар, где мы поговорим в целом про IOAI и другие AI-олимпиады, подробно разберем задачи этого года, а еще обсудим, как к таким олимпиадам готовиться, и каким ожидается всерос по AI.
Материала на обсуждение получается очень много, поэтому мы разбили его на два вебинара.
Первый вебинар пройдет в это воскресенье, 21 сентября в 12:00 МСК, с прямой трансляцией на YouTube и возможностью задать вопросы.
На нем обсудим:
- Что такое межнар, чем отличается и чем похож на другие школьные межнары. Чем отличается и похож на другие AI-соревы (Kaggle, НТО, Всерос, AIJIC)
- Какие были задачи, какие были идеи их решения у наших школьников, и какие решения предполагались авторами задач. Как можно было до этих решений догадаться, что нужно было знать.
- Какие основные скиллы (помимо знаний) нужны для успешных выступлений на подобных олимпиадах, и что есть основные составляющие успеха.
И вот еще:
- Мы позвали на вебинар несколько участников нашей команды (Даниса, Матвея и Тимура)— они расскажут, как они подходили к решению задач на олимпиаде, какие были идеи и что было сложным. Также расскажут про свои впечатления о подготовке и самой олимпиаде.
- А еще на вебинаре будет Женя Цымбалов — член Scientific Committee IOAI, один из авторов задач
А на втором вебинаре (дата пока неизвестна) обсудим будущие соревы: ВСОШ + IOAI 2026. Конкретнее:
- Как готовиться к ВСОШ и чего ждать
- Как готовиться к межнару и как на него попасть
- Как вообще устроена подготовка к ВСОШ и межнару со стороны организаторов в РФ
Ждем всех онлайн в воскресенье с вопросами! Ссылка на трансляцию будет ближе к началу вебинара в воскресенье. Запись будет.