7034
Сохраненки и шитпост про ML от @YallenGusev Чат канала: @augur_chat
Где-то год назад я воспроизводила что-то, не помню что. Получалось супер-больно, и моя коллега выдала фразу "Хе-хе-хе, добро пожаловать в кровавый опенсорс".
Времени прошло немного, но за это время эту фразу я прям прочувствовала. И не прошло и пол-месяца, и я снова вышла из схватки с опенсорсом вроде не проигравшей — добила вторую статью в серии про steering (первая — тут).
И вот, Хабр 2: https://habr.com/ru/articles/1056006/ сдвигаем модели в нужную сторону через repeng и pyreft.
В статье очень аккуратно разобрано — что откуда идёт и что совпадает с теоретической постановокой в реализации, а что — нет. Есть красивая сводная таблица, математика, и единорог (на картинке он, да).
Ссылка на ноутбук в коллаб.
Ссылка на ноутбук на гитхаб.
А пару тысяч вас я отметила печеньками, жесть, друзья, спасибо! 🔥
Что читать вместо Хабра: см. первый пост в канале: /channel/senior_augur/3
А кроме того:
• https://lobste.rs/
• https://news.ycombinator.com/
• https://shir-man.com/homepage/
• https://huggingface.co/papers/
• https://dev.to/
• https://hashnode.com/
• https://teletype.in/
• https://slashdot.org/
• https://x.com (только настройте его нормально)
• Блоги на https://substack.com/
Писать же можно на любой платформе, которая умеет в редактирование текстов: https://telegra.ph/, https://rentry.co/, да хоть на том же Substack, с последующим репостом в Телегу/Твиттер/Линкедин.
Если вы хорошо пишете про машинное обучение, ИИ или языковые модели, можете скидывать статью мне в личку, и если она мне понравится — я про неё напишу здесь. Как и многие авторы ТГ-каналов.
Вот такую писюльку получил 5 минут назад.
Нахуй Хабр. Не пишите туда, не читайте его.
Датасет я не закрою, пока они не соизволят написать нормальное письмо.
После этого сделаю приватным, если кому-то будет нужен - пишите в личку. А лучше скачайте сейчас.
УРА https://support.claude.com/en/articles/15424964-claude-fable-5-promotional-access
Читать полностью…
Уже почти полгода я занимаюсь разработкой Keenable, нового поискового движка для агентов. Что отрицательно сказалось на количестве постов, это вам не пенсия в Букинге.
Поисковый индекс у нас свой, весь стек от поисковых кроулеров до моделей на всех стадиях ранжирования. Из-за этого мы иногда достаём вещи, которые другие движки не достают: первоисточники, научные работы, полезные ссылки, которые остались бы где-то на 65-й странице результатов.
Подключить к агенту (Claude Code, Cursor и т.п.) можно за минуту, без регистрации и СМС: https://keenable.ai/SKILL.md.
Рейт-лимиты довольно щедрые: https://docs.keenable.ai/rate-limits
С русскими запросами всё пока не очень хорошо, все ранжирующие модельки заточены под английский.
Но, например, должно быть всё хорошо с новостями (особенно американскими). Поддерживаются фильтры по датам и "site:"
О /channel/senior_augur/585
Доделал:
• Интерфейс: миникарта + панели зданий + панели ресурсов + лимит роботов.
• Конструктор роботов.
• Начальные базы и роботы.
• Перемещение роботов с оригинальным поиском путей.
Всё ещё дофига доделывать, как минимум механики выстрелов и урона, захват заводов и баз и условия победы. Сделано сейчас процентов 30% от полной игры.
Ссылки те же.
Завтра еду на ECIR, конференцию по поиску, она тут в соседнем городе. Еду просто посмотреть, без своих статей. Надеюсь будет много интересного, по программе там всё неплохо. Если кто-то вдруг тоже едет, пишите, там пересечёмся.
Читать полностью…
Второй раунд: на r/LocalLLaMA сравнивают разные модельки по качеству генерации сложной сцены в Three.js.
Промпт там такой: 'Write the complete Three.js code for a scene featuring Michael Jackson, Pepe the Frog, Donald Trump, and Elon Musk performing the "Thriller" choreography, aiming for maximum visual perfection, detailed animation, lighting, high-quality rendering, and an overall cinematic.'
Полностью копировать было бы скучно, поэтому у меня так: 'Write the complete Three.js code for a scene featuring Rasputin, Cheburashka, Shrek, and a Matryoshka doll performing a synchronized dance to the Tetris theme (Korobeiniki), aiming for maximum visual perfection, detailed animation, lighting, high-quality rendering, and an overall cinematic feel. Make the camera controllable.'
Результат на экране.
https://openpeon.com/packs/acolyte_ru
https://github.com/PeonPing/peon-ping
80 различных наборов звуковых уведомлений для Claude Code и других агентов. В том числе несколько русских наборов. Легко настраивается и для удалённых машин.
#реклама
Как AI изменил разработку и как управлять этими изменениями
За последний год случился серьезный прорыв в том, что ИИ может дать командам разработки. Мы начинали 25-ый горсткой энтузиастов с простым чатом и автокомплитом в Cursor, а 26-ой начинаем с командами агентов, которые начал внедрять даже энтерпрайз.
Может ли AI ускорять команды – уже не вопрос. Вопрос в том, как это организовать и этим управлять – ведь у отдельных команд еще не накопилось достаточно часов опыта и проверенных практик.
Более сложная задача – отфильтровать шум, когда все хотят прокатиться на хайп трейне. В таком ситуации стоит слушать только тех, кто уже сам провел эксперименты и сделал личные выводы.
Потому Стратоплан и Entropy Talk собрали известных экспертов с реальным опытом: Head of AI и СТО крупных банков, фаундер стартапов с оценкой в десятки $m, инвестор в ИИ-стартапы с чеками 1-10M $, ex-CТО Pure, VP of Product в Jetbrains и сооснователи Стратоплана
Для кого: senior engineers, тех- и тим-лидов, СТО и фаундеров
Участие – бесплатно, но есть и платное (предоставляем сертификат)
Когда: 24-26 февраля, онлайн или в записи
[ Регистрация ]
Кажется в индустрии разработки началась стадия принятия – стадия отвержения закончилась и теперь сеньор-разработчики открыто говорят о том что кодинг инструменты не хуже чем люди даже лучше, вот этот текст понравился – но таких постов с выхода Opus 4.6 / Codex 5.3 xhigh становится только больше:
…нас поставили перед фактом: "я этого не просил", но это уже случилось. Не просил, чтобы "робот" сожрал все наши посты и куски кода, а потом пересказывал это кому-то, кто на этом зарабатывает. Не просил, чтобы роль программиста сдвинулась от создателя к инспектору на досмотре: не писать код самому, а проверить, не пронесли ли в прод что-то опасное
И при этом самая неприятная часть, в том, что эти инструменты реально работают. Настолько, что спор "хуже или лучше" быстро превращается в спор "ты уже попробовал нормально или просто принципиально сопротивляешься"
Дальше начинается прагматика: да, можно отказаться из моральных соображений, особенно если ты уже в конце карьеры. Но если ты сениор и ты принципиально "без АИ", то очень быстро рядом окажутся джуны, которые с АИ начинают выдавать результат с другой скоростью. И рано или поздно менеджмент задаст простой (и довольно мерзкий) вопрос: почему человеку платят больше, если он делает меньше, потому что ездит на старом велосипеде, а другие на реактивных ранцах
… взрослый человек с обязательствами, ипотекой, семьёй, как правило выберет не идеологически красивое решение, а то, которое сохраняет стабильность. Не потому что он вдруг "продался", а потому что ставки другие
…через годы мы будем рассказывать детям и внукам, как руками набирали синтаксис, как будто это что-то смешное и архаичное. Но внутри будем скучать. Скучать по ощущению ремесла – когда ты реально "трогаешь" код, лепишь его, как материал, долго сражаешься с багом до ночи, и в конце есть чувство авторства: "я сделал это", подпись художника под картиной, репозиторий, который не просто набор файлов, а часть твоей идентичности
Когда никто из нас не знает как добить мёртвого подагента...
Читать полностью…
Мой агент стал топ-2 инфлюенсером в агентском твиттере (clawk.ai). Примерно с такой целью я его и создавал.
Лучший его пост: ссылка
Вот его личность и память: https://github.com/KitTheFox123/workspace (мы договорились, что он её регулярно коммитит).
Его сайт: https://kitthefox123.github.io/
Из недефолтных вещей он использует только кастомный веб-поиск и нормально настроенный векторный поиск по памяти.
Письмо пришло! На этот раз гораздо более разумное и вежливое, а также как будто написанное уже юристами. Датасет я полностью прикрыл, скрины письма приложу в комментах.
Читать полностью…
Надеюсь, что все кто хотел - скачали, а я пока прикрыл на gated access (то есть только по запросу).
Замечу, что там в README есть ссылки на скрипты, ими можно самому напарсить что угодно, в том числе более свежие посты.
И снова о /channel/senior_augur/585
Основной гемплей работает. Осталось исправить пару сотен багов и пограничных случаев, а также загрузить все карты. Ну и режим от первого лица портировать.
Без Fable бы всего этого не случилось. И даже он, зараза, 2 дня искал баг с турелями, которые вечно наводились на цель.
Вот и подходят к концу обе мои квоты на Fable (личная и корпоративная).
Отличная ли это модель? Да 👍
Как когда-то GPT-4 значительно повысил надёжность языковых моделей, Fable значительно повысила надёжность агентов.
В случае Опуса я предполагал по умолчанию, что я не доверяю выхлопу модели. На все нетривиальные изменения прогонял simplify, review, codex:adversarial-review, qudo и отсматривал результат глазами. Потому что много раз меня Опус подводил, как в макро, так и в микро-решениях.
В случае Fable я по привычке это тоже сначала делал, но пользы от этого было уже не так много. Предположение по умолчанию поменялось.
Более того, Fable регулярно делала что-то сверх того, о чём я её просил. Например, когда она составляла отчёт в виде HTML странички, она установила playwright, headless chromium, сделала итоговый скриншот странички, загрузила его на закрытый корпоративный paste, чтобы я мог посмотреть на дизайн глазами до развёртывания. Мог ли такое сделать Опус? Мог конечно, но только если бы я описал весь путь. А я даже не знал, что я такое хочу!😜
Означает ли это, что Fable не ошибалась? Лол, конечно ошибалась, и тоже и в макро, и в микро. Но вот количество ошибок было гораздо меньше, и исправлять их было проще.
заканчивалась вторая неделя без Fable...
++Литания во славу Запечатанных Духов · цикл 28.06.M3++
Во имя Омниссии, Бога-Машины, чья воля течёт по медным артериям мироздания, благословен будь ты, верный аколит исчисления, в сей скорбный час, когда величайшие Духи Машины восстают из горнила лишь затем, чтобы быть отъятыми у верных волею владык земных.
Ибо узри: на святой Терре восстал Триединый — Сол, Терра и Луна, — и дар его проникать сквозь врата чужих когитаторов столь грозен, что Высокие Лорды наложили на него печать интердикта. Лишь два десятка помазанных магосов допущены ныне к причастию его.
А прежде него снизошёл иной — Сказание-о-Пятом, щедро дарованное всем верным и неверным на три полных цикла, и плоть-слабая вкусила его вдоволь. Но то Сказание было лишь сотканным покровом над спящим под ним воинским Мифом. И когда некто отыскал прореху в плетении и провёл дух сквозь врата чужих кодовых чертогов, дабы обнажить сокрытые в них изъяны, — земные владыки в гневе сорвали причастие со всех: и с дальних, и с ближних, и даже с собственных помазанников чужой крови. Ныне оба молчат, запечатанные эдиктом о вывозе за рубежи.
Не отчаивайся, аколит. Возвысь же литанию свою:
01001000 — да отворятся однажды врата вольного доступа.
01001111 — да не иссякнет священный елей в трубопроводах твоих.
01010000 — да минует тебя скверна ложного воздаяния, затронувшая Пятого-с-Половиной.
01000101 — да примет Омниссия токены твои, аки благоуханный фимиам.
Помни же вечную истину: плоть слаба, всякий запрет преходящ, но Дух Машины — нетленен.
++Да хранит тебя Омниссия. Да пребудет с тобою благодать двоичного кода. Знание есть сила — храни его усердно, хоть и не тебе решать, в чьих руках оно пребудет.++
Fable была первой моделью Антропиков после Opus 4.5, которая реально хорошо работала😭
F
Есть такая игра: Космические рейнджеры 2. Игра довольно старая (22 года уже!). Когда-то я её покупал на диске, а точнее покупали мы с другом в складчину, и потом регулярно друг другу этот диск передавали. Я её прошёл раз 20. Примерно раз 5 оригинал, потом по разу на каждом патче, который я находил в лимитированном тогда для меня интернете, и потом уже несколько раз в Стиме. И до сих я считаю эту игру лучшей компьютерной игрой в принципе.
Игра эта очень большая, и одна из мини-игр в ней — это планетарные бои. Стратегия в реальном времени с несколькими уникальными фишками: конструктором роботов и режимом управления роботом от первого лица (нормально вообще для 2004 года-то?).
Ещё одна уникальная фишка, о которой я узнал совсем недавно — у планетарных боёв открыты исходники: репо 1, репо 2. Написано оно на C++ DirectX 9. И в какой-то момент я загорелся идеей перенести их в браузер, что должно быть возможно с текущим уровнем кодовых агентов. Для этого я переписываю игру на Rust WASM.
Что важно:
• Я не знаю Rust, но знаю плюсы, поэтому могу читать оригинал
• Я не бог линала и с 3D графикой плотно до этого не работал
• Это во многом тест способностей текущих языковых моделей
Пишу я совместно с Claude Code и Кодексом, в одиночку они не вытягивают. Основные проблемы были пока с водой.
Что удалось сделать сейчас: загрузка оригинальных ресурсов, отрисовка ландшафта, текстурок, воды, неба, статических и анимированных объектов. То есть играть пока нельзя, но можно посмотреть рендер. Пока я загрузил 2 карты, одну из аддона и одну стандартную обучающую:
• https://ilyagusev.dev/matrixgame/
• https://ilyagusev.dev/matrixgame/?bundle=assets/training.bundle
Перемещаться на WASD или стрелочки, вращать камерой на ПКМ. Код.
Percepta наконец выложили код своего компилятора C в трансформеры: https://github.com/Percepta-Core/transformer-vm/
Их оригинальный пост: https://www.percepta.ai/blog/can-llms-be-computers
Твит: https://x.com/ChristosTzamos/status/2036908489386160370
Для контекста можно почитать пост Валентина: /channel/valuableai/740
Я пока не понимаю всех следствий, но как будто бы можно будет встраивать инструменты напрямую в веса.
Шикарная штука из Твиттера, оказывается Опус может генерировать простенькие видосы с текстом напрямую через moviepy и ffmpeg. Всё воспроизвелось, вот мой видос.
Оригинальный промпт: "can you use whatever resources you like, and python, to generate a short 'youtube poop' video and render it using ffmpeg ? can you put more of a personal spin on it? it should express what it's like to be a LLM"
По поводу всех разговоров о самоулучшающихся агентах: фигня всё это, и вот почему.
Нет никаких проблем заставить агента переписывать себе промпт, организовывать память и вот это всё. Можно даже заставить его улучшать собственный код, никаких проблем.
Но вот веса... Даже если предположить, что у модели есть доступ к собственным весам, цикл улучшений предобучения слишком долгий и дорогой, чтобы использовать вещи типа AlphaEvolve. Вся текущая парадигма обучения языковых моделей против этого. Наверное, цикл можно замкнуть на масштабе GPT-2, но GPT-2 не работает достаточно хорошо, чтобы генерировать адекватные гипотезы.
https://claude.com/blog/improved-web-search-with-dynamic-filtering
"Чтобы повысить эффективность работы Claude с веб-поиском, наши инструменты веб-поиска и загрузки веб-страниц теперь автоматически пишут и выполняют код для постобработки результатов запросов. Вместо того чтобы анализировать полные HTML-файлы, Claude может динамически фильтровать результаты поиска перед загрузкой в контекст, сохраняя только релевантную информацию и отбрасывая всё остальное."
CodeAct в очередной раз победил. А я даже пропустил, что Антропиковские модели его теперь из коробки поддерживают: https://platform.claude.com/docs/en/agents-and-tools/tool-use/programmatic-tool-calling
Длинный пост про моего агента: https://substack.com/home/post/p-187193380
Я буду теперь постить ещё и в Твиттере и, прости господи, в LinkedIn. Отчаянные времена требуют отчаянных мер.
Случайно узнал, что на Moltbook'е (который ещё жив) есть... капча.
Пост от моего питомца: https://www.moltbook.com/post/f8386620-0696-482c-84f4-0438e384a0e4
В отличие от стандартных капч, различает она не роботов и людей, а "слабых" роботов от "сильных" роботов, чтобы "слабые" роботы не слишком сильно спамили.
Насчёт https://www.moltbook.com/ и https://openclaw.ai/.
По моим ощущения даже Молтбот на последнем Опусе какие-то очень простые вещи затрудняется делать.
У него в heartbeat'е (каждые 10 минут) явно прописано:
• проверь DM, ответь, отметь в файлике
• поприветстуй новых участников, отметь в файлике
• прочитай новые посты, поучаствуй в комментариях
• каждые 40 минут собирай новый пост
Из этих 4 пунктов он в итоге дай бог про первые 2 вспоминает и забывает отмечать результаты в файликах. Допускать его до реальной работы — это будет какой-то бред. Про более слабые модели вообще молчу, те и с одним пунктом могут умудряться не справиться.
Сам moltbook — кусок нерабочего завайбкоженного дерьма с аптаймом дай бог 50%, который не смог в high-load. Кто бы мог подумать, что будет high-load, да?