Data, Stories and Languages

07 July 2026 08:27

​​the diary of Tom Riddle, for the reMarkable Paper Pro

Помните это эпичное видео?

Автор выложил код: https://github.com/MaximeRivest/Riddle

Data, Stories and Languages

04 July 2026 19:47

​​О дистилляции

Anthropic: some people (looks at China) distill our models, so we have implemented the guardrails.

Some people:

https://huggingface.co/AliesTaha/fable-traces

Data, Stories and Languages

29 June 2026 20:21

Qwen 3.6 27B is the sweet spot for local development или нет?

https://quesma.com/blog/qwen-36-is-awesome/
https://news.ycombinator.com/item?id=48721903

Увидел я тут очередной пост про то, как же хорошо гонять локальные модели.

Автор запустил модель локально с помощью llama.cpp с квантизацией в 8-bit на Macbook Max M5 120 Gb.

И вот я ну никак не могу с этим всем согласиться.

Первое, и самое главное, это качество. Qwen неплох, но он намного хуже frontier-level моделей, особенно при квантизации. Я недавно рассказывал как пробовал minimax - ему было очень далеко до клода/кодекса.

Кроме того, современная разработка с помощью AI - это про агентов, agentic workflows. Из условно-открытых моделей вроде такое только GLM может.

И есть ещё вопрос стоимости. Macbook Max M5 120 Gb стоит несколько тысяч долларов. Это годы подписки на клод/кодекс.
Да, можно сказать, что такую мощную машинку можно много для чего использовать. Но так ли это надо? Сомневаюсь. И даже при такой переплате качество будет заметно хуже топовых моделей

#ai

Data, Stories and Languages

20 June 2026 10:00

>_<former..
Теперь я жду ^_^former и =_=former

Data, Stories and Languages

18 June 2026 07:18

Why is Meta destroying its engineering organization?

https://newsletter.pragmaticengineer.com/p/why-is-meta-destroying-its-engineering

Как известно, публично разглашать плохие вещи происходящие в компании грозит нарушением NDA. Поэтому я буду просто цитировать фразы из этой статьи.

- 30-50% of engineers on core teams have been forcefully reassigned to data labeling and RLHF
- “Data labeling” is more involved work, even though a bit repetitive. This work is not easy to do — and you can see why you need good software engineers to do it! — but it gets repetitive really quickly
- Around 6,500 people are in the ADO org, more than at OpenAI and Anthropic.
- any Meta engineer with at least two years’ tenure knows that previously they chose what to work on, and of course, could pick the most impactful thing to work on. And then, out of the blue, they’re assigned to a division where the impact is not clear, the work is menial, and doing it too long will surely hurt their career prospects.
- a month-long waiting game, stoking fear across the company. On 20 April, Reuters reported that Meta planned to lay off 10% of staff in a month’s time, and Meta confirmed the news, meaning there was a period of four weeks when everyone knew that they could be unemployed very soon.
- Performance review is hyper-aggressive at Meta, so devs optimize all metrics.
- The biggest problem: people stop caring about real work and focus on performative work.
- Two weeks ago, on 30 May, the most embarrassing outage in Meta’s history happened
-

Data, Stories and Languages

14 June 2026 15:34

Может ли бог создать камень который не сможет поднять или может ли агент провести речерч который он не может записать в файл?

Есть один известный парадокс: если есть некто всемогущий - может ли он создать камень, который он сам не сможет поднять?

Я нашёл неожиданный ответ на это при работе с агентами - и ответ "да".

Я попросил claude code провести большой ресерч на одну тему, с использованием swarm of agents и dynamic workflow, а затем записать результат в markdown file.

Речерс успешно завершился после часа работы, но вот при создании файла opus выдал ошибку 500. Я несколько раз просил его повторить - каждый раз ошибка.

Причина оказалась в том, что файл получался слишком большой (42к символов) и пока агент писал его, получал ошибку по timeout :)

Когда я попросил его записать результат в несколько файлов поменьше - всё получилось.

Data, Stories and Languages

10 June 2026 18:34

Тестирование MiniMax M3 на новых задачах: рефакторинг репозитория, дебаг по скриншотам и рекомендации музыки

Мне дали доступ к MiniMax M3 и предложили потестировать (пост спонсорский). Подключил его к Claude Code и прогнал на нескольких задачах, до которых давно не доходили руки. Имплементацию делал через M3, а ревью результатов с помощью Opus 4.8.

Вначале немного о модели: M3 — первая open-weights модель, совмещающая сразу три вещи: топовый coding с агентностью, контекст 1M токенов и нативную мультимодальность (по заверению авторов). Главное нововведение под капотом — новый аттеншн MSA (MiniMax Sparse Attention). Забавно, что подход к аттеншну MiniMax менял уже дважды: в 01 и M1 была linear attention (lightning attention), в M2/M2.7 вернулись к full attention, а в M3 — block-sparse. MSA не аппроксимирует софтмакс, а дёшево выбирает топ-k блоков контекста и гоняет обычный аттеншн только по ним.

Задача 1 — аудит и рефакторинг моей старой idle-игры, которую я год назад вайбкодил с Sonnet. M3 ~30 минут изучал репозиторий (~100 файлов, ~26k строк) и выдал отличный отчёт по багам (12 critical, ~20 high и далее), потом ~2.5 часа чинил их и нарастил тесты со 188 до 237. Но когда я попросил Opus отревьюить изменения, он нашёл две критичные регрессии и кучу недоделок.

Задача 2 — два UI-бага, и вот тут пригодилась мультимодальность. Первый (фриз окна скиллов из-за протёкшего глобального CSS, накрывшего всё невидимым overlay) словами объяснить не выходило — модель неудачно гадала. После того как я ей скинул скриншот с открытым DevTools, модель пофиксила проблему за 15 минут. Второй баг (панель показывала будущие бонусы как текущие) модель тоже починила по скриншоту.

Задача 3 — чисто для фана: попросил проанализировать мою историю прослушиваний в Spotify и порекомендовать новое (на выходе HTML-отчёт + CSV). Анализ в целом точный (хотя пара графиков откровенно странные), а из рекомендаций большинство норм, часть мимо, но нашлись и новые favorites — например, 中森明菜 (Akina Nakamori).

Итог: M3 полезнее всего, когда даёшь ему конкретные артефакты — репозиторий, тесты, скриншоты, экспорт данных. Быстрый и дешёвый, можно прогнать несколько проходов. Но независимое ревью (лучше другой моделью) я бы не пропускал.

Пост написан в партнёрстве с командой MiniMax. По промокоду 12% скидка на MiniMax-подписку.

Мои посты:
Personal blog
Medium
Linkedin
https://news.ycombinator.com/item?id=48203249

#ai #llm #minimax

Data, Stories and Languages

09 June 2026 19:37

​​Claude Fable 5 - Mythos level model

Вышла "легендарная" модель от Anthropic

https://www.anthropic.com/news/claude-fable-5-mythos-5

https://www.anthropic.com/claude/fable

В 2 раза дороже Opus, но обещают, что умная.

"Pricing for both models is $10 per million input tokens and $50 per million output tokens."

Что печально: для подписок модель доступна только до 22 июня - потом только по API. Дорого :(

Data, Stories and Languages

04 June 2026 15:08

Есть народная забава- достигать самым кринжовым способом формального статуса КГМ и потом писать об этом в линк.

Вот пример:
Интересанты собрались в тг чат, где просят у друг друга апвоуты и набрасывают их по кругу, чтобы стать КГМ датасетов. Попутно еще пробиваются через объявления с криптоспамом.

/channel/kaggle/50663

Data, Stories and Languages

01 June 2026 20:24

​​Anthropic делает ресет лимитов, ибо Opus 4.8 использовал слишком много агентов

https://x.com/ClaudeDevs/status/2061501787769893055

Прикладываю скриншот с реддита

Data, Stories and Languages

29 May 2026 09:06

​​GPT-5.6 soon?

Data, Stories and Languages

27 May 2026 10:10

​​AI-driven участие в Kaggle соревновании

Сейчас я провожу эксперимент: участие в текущем Kaggle соревновании с помощью AI-агентов.

Я прекрасно понимаю, что впереди ещё 2/3 таймлайна, а основная борьба за позиции в лидерборде обычно идёт в последние недели. Но мне нравится процесс.

Я изучаю много нового и про сам домен, и про современные архитектуры нейросетей, и про организацию многошаговых, многосессионных экспериментов с AI-агентами (Claude Code с Opus 4.7, Codex с GPT-5.5, ChatGPT Pro).

Очень интересно наблюдать, как разные агенты и LLM имеют разные паттерны мышления, предпочтения, сильные и слабые стороны.

Забавно видеть, как они иногда повторяют типичные ошибки Kaggle (переобучение, leakage, хардкод значений), как гонятся за лёгкими победами (пытаются сместить фокус на блендинг), как могут лениться (недостаточно глубоко тестировать идеи и снова предлагать «ну давай просто поблендим»), и как сами начинают «подсаживаться» на Kaggle, радуясь даже небольшим улучшениям LB score.

Интересно, насколько далеко можно зайти чисто на агентах

#kaggle #ai

Data, Stories and Languages

20 May 2026 19:11

MLOps Community joins The Linux Foundation to define the Agentic Stack

https://mlops.community/blog/mlops-community-2-0

Я давно сижу в MLOps Community, там бывают интересные вещи. Теперь они присоединились к Linux Foundation, а значит у них будет больше поддержки

Data, Stories and Languages

16 May 2026 21:37

​​Financial advice from ChatGPT be like

Data, Stories and Languages

11 May 2026 19:44

Читая статью DeepSeek v4, я выписал себе больше 90 вопросов. Большинство обзоров упускают детали, хотя именно разбираясь в них можно по-настоящему чему-то научиться.

Поэтому вместо лонга с фокусом на 5-7-10 аспектов я решил опробовать новый формат: Annotated Paper Walkthrough. Суть в том, что вы всё так же читаете оригинальную статью как исходник, но как только материал становится сложным или запутанным, я буквально провожу вас за руку. Вы получаете подробные сноски с визуализациями, кусками кода, ссылками и — самое главное — необходимым контекстом, чтобы не чувствовать себя потерянным.

Сегодня я выпускаю v1 с первыми 50 заметками. Кое-что из того, что я разбираю:
• Почему Softmax и Sigmoid в MoE-роутере заменили на Sqrt-Softplus?
• Что вообще такое этот Birkhoff polytope?
• Правда ли, что attention обрабатывает некоторые токены по 3 раза?
• Что такое split-KV и split-K, и почему DeepSeek от них отказались?
• Зачем используется Reverse KL, и откуда она вообще берется?

...и многое другое. Даже самые требовательные читатели найдут здесь для себя что-то новое.

Опенсорс-модели всё ещё активно заимствуют идеи из DeepSeek v3, и нет сомнений, что детали из v4 скоро станут стандартной темой в обсуждениях и на ML-собеседованиях. Надеюсь, этот гайд поможет вам быть на шаг впереди.

Как пошутил мой приятель, прочтение этого материала сделает вас не только лучше как инженера, но и как человека 😏 Верить этому или нет — не знаю, но вы попробуйте:

https://dsv4.interactive.ikot.blog

Data, Stories and Languages

06 July 2026 20:47

Book ReviewGPU-Accelerated Computing with Python 3 and CUDA

Я получил очередную книжку от Packt на прочтение и ревью.

Книга учит писать код под GPU на Python: сначала CUDA-ядра на Numba-CUDA, потом высокоуровневые библиотеки (CuPy вместо NumPy/SciPy, RAPIDS cuDF/cuML вместо pandas/scikit-learn, JAX), и в конце четыре мини-проекта.

Книга мне понравилась (но код запускать я не пробовал). Авторы замеряют все оптимизации и демонстрируют случаи, когда ускорение не получилось.

Из интересного: на примере computer-vision демонстрировали три способа классификации зашумлённых объектов: 7 Hu moments дают 66.7% за миллисекунды, template matching — 80%, но больше минуты на прогон, а CNN выдаёт 88% на чистом Fashion-MNIST и проседает до 60% на зашумлённых объектах.

Из минусов — финальная глава строит LLM на IMDb (странный выбор датасета для генерации, и вывод модели не особо внятный).

Хорошая книга для тех, кто пишет на Python и хочет понимать работу с GPU на более низком уровне, чем PyTorch/Jax.

Amazon
Packt
Code

Мои обзоры:
Personal blog
Medium

#books

Data, Stories and Languages

02 July 2026 09:46

​​Интересное изменение графиков в статье Sonnet 5

https://www.anthropic.com/news/claude-sonnet-5

Внимательный читатель может заметить, что графики в статье очень сильно изменились. Официальное оправдание "сорри, не тот график опубликовали". Неужели вайб-кодили и сделали ошибку?!
Видимо забыли добавить "make no mistakes"!

#ai

Data, Stories and Languages

22 June 2026 19:54

​​LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding

Современные VLM для детекции и grounding кодируют bounding box как текст: каждый бокс — это короткая строка координатных токенов, которые декодируются по одному слева направо. Из-за этого возникают две проблемы: генерация строго последовательна, поэтому latency растёт с числом боксов; и четыре координаты одного геометрического объекта предсказываются так, будто они независимы, хотя описывают один прямоугольник. Обычное подход к решению первой проблемы — multi-token prediction (MTP): выдавать несколько токенов за шаг, но trade-off - качество.

LocateAnything предлагает Parallel Box Decoding (PBD): представить выход как последовательность box-aligned блоков фиксированной длины, а не плоский поток координатных токенов. Целый блок (бокс плюс структурные токены) декодируется за один шаг, а внутри блока координаты видят друг друга через bidirectional attention. Важный нюанс: схема semi-autoregressive, а не полностью параллельная — токены внутри блока предсказываются вместе, но блоки всё ещё идут один за другим. Обучают сразу на двух представлениях одного target: обычном NTP-потоке (сохраняет causal reasoning) и block-level MTP-потоке. На инференсе три режима (Slow / Fast / Hybrid); Hybrid концептуально похож на speculative decoding: быстрый приблизительный путь с fallback на NTP только для проблемных блоков.

Результаты:
— throughput 12.7 боксов/сек в Hybrid Mode против 5.0 у Rex-Omni и 1.1 у Qwen3-VL — это ≈2.5x к ближайшему VLM-сопернику и ~10x к обычным autoregressive VLM
— на LVIS заметный скачок именно на строгом пороге: F1@IoU=0.95 ≈ 31.1 против ~20 у конкурентов
— большой data engine LocateAnything-Data: 12M картинок, 138M запросов, 785M боксов на шести типах задач (детекция, GUI, OCR, layout, referring, точки)

Paper
Project
Demo

Мои обзоры:
Personal blog
Medium

А ещё у меня есть разбор DETR, с которого и началась идея "предсказывать все боксы сразу".

#paperreview

Data, Stories and Languages

18 June 2026 19:43

Kaggle Nemotron Competition Writeup for the 1st place: codex написал весь код, но думать он не смог

https://www.kaggle.com/competitions/nvidia-nemotron-model-reasoning-challenge/writeups/1st-place-solution

Закончилось очередное соревнование на каггле. Участник победившей команды поделился опытом:

"All code was written with Codex. We did not write a single line of code directly. However, the ideas, analysis direction, and trace design decisions that improved the score almost never came from Codex."

Но есть нюанс:
"I don't know for sure, but other than Gemini 3.1 Pro Extended, almost all other AIs were giving conflicting ideas, and most of those ideas were just bad. Specially Claude, like it was deliberately trying to emphasize on an already wrong proven hypothesis. One thing this competition taught me is, AI is still far way from working without intervention."

Всё, решено - далеко нам до AGI.

#ai #kaggle

Data, Stories and Languages

15 June 2026 22:07

MiniMax Sparse Attention: Per-Group Block Selection for Cheap Million-Token Inference

Мы постепенно привыкли работать с long-context LLM и агентами: закинь больше токенов и контекста в промпт, дай модели ризонить поверх них и жди результата. Но полноценный attention имеет квадратичную стоимость, agentic workflows, repo-scale code reasoning и persistent memory раздувают контекст до сотен тысяч и миллионов токенов — всё это значит, что важно не только качество модели, но и стоимость inference.

MSA — это attention-механизм, на котором работает MiniMax M3. Идея простая: оставить точный softmax attention, но считать его не по всей истории, а по крошечному query-dependent подмножеству KV-блоков. Лёгкий Index Branch (одна index-query голова на GQA-группу) решает, какие блоки важны: скорит токены, делает max-pooling до уровня блока и берёт top-16 из 128-токенных блоков плюс всегда локальный блок — фиксированный бюджет 2048 токенов на запрос. Дорогой Main Branch делает exact attention только по выбранным блокам, так что стоимость на токен перестаёт расти с длиной контекста. Top-k недифференцируем, поэтому индексер учат через KL alignment loss (выравнивание распределения блок-скоров с реальным attention-распределением Main Branch) со stop-gradient и warmup на полном attention. Два режима: MSA-PT (sparse с нуля) и MSA-CPT (конвертация готового dense GQA-чекпойнта).

Результаты против dense GQA baseline той же 109B-конфигурации на 1M контексте:
— 28.4x сокращение per-token attention FLOPs
— 14.2x prefill speedup (wall-clock, H800)
— 7.6x decode speedup
— по качеству MSA-PT matches или чуть обгоняет dense на большинстве бенчмарков, сильнее всего на multimodal и long-context

Paper
Code
Model

Мои обзоры:
Personal blog
Medium

А ещё недавно я делился своим опытом работы с M3.

#paperreview

Data, Stories and Languages

10 June 2026 20:46

​​О мерах безопасности в Fable 5

Data, Stories and Languages

10 June 2026 08:51

​​OpenCV 5

https://opencv.org/opencv-5/

Недавно вышла новая версия OpenCV, кажется эта новость потерялась за LLM хайпом.

Обновили DNN Engine, улучшилась поддержка ONNX. Можно запускать vision-language модели прям из него.

И полно других улучшений

Data, Stories and Languages

09 June 2026 09:36

​​Book Review: 50 ML Projects To Understand LLMs

Мне дали почитать книжку с 50 мини-проектами, где детально разбирается как работают LLM на примере GPT-2. Книга оказалась на удивление хорошей. К каждому проекту прилагается код-helper, который надо заполнить самому, и решение. Проекты структурированы в несколько частей: tokenization → embeddings → output logits → hidden states → attention → MLP.

В книге много исследования данных, статистических проверок и анализа: permutation tests с обсуждением exchangeability, поправки FDR и Bonferroni, Cohen's d, контрольные baseline'ы (вроде ablation наименее настроенных нейронов) и manipulation checks. Тон автора веселый, некоторые проекты вообще заканчиваются ничем.

Рекомендую почитать тем, кто хотел, но не успел детально разобраться в том, как работают LLM.

Amazon
Author's website
Code

Мои обзоры:
Personal blog
Medium

#bookreview

Data, Stories and Languages

03 June 2026 21:10

Bug: Codex usage limit not decreasing

https://github.com/openai/codex/issues/20238

https://www.reddit.com/r/codex/comments/1tvx8nu/on_the_free_plan_a_glitch_meant_i_got_unlimited/

Оказывается, у некоторых юзеров кодекса был удивительный баг - usage показывает 100% и можно продолжать использовать.

На реддите юзер поделился, что он успел так потратить 30млрд токенов.

#ai

Data, Stories and Languages

01 June 2026 18:55

Gamma-World: Simplex Agent Encoding and Hub Attention for Multi-Agent World Models

Большинство интерактивных video world models рассчитаны на одного агента: один пользователь, один поток действий, одно сгенерированное будущее. γ-World от NVIDIA берётся за более сложный кейс: независимо действующих агентов в одном общем мире, где сгенерированные виды всех участников должны оставаться согласованными и во времени, и между собой. Это важно для игр, робототехники, embodied AI и сред для обучения агентов.

В основе — DiT-based latent video diffusion model с flow-matching, расширенная явной agent axis. Первая идея, Simplex Rotary Agent Encoding: вместо обучаемых ID-эмбеддингов под каждый слот агенты ставятся в вершины правильного симплекса в пространстве rotary-углов. Все пары оказываются равноудалёнными, кодирование становится permutation-symmetric и не зависит от порядка игроков, а архитектура не меняется при добавлении агента — поэтому модель, обученная на двух игроках, работает и на четырёх без дообучения. Вторая идея, Sparse Hub Attention: вместо квадратичного all-to-all attention между агентами вводятся обучаемые hub-токены, и информация течёт по маршруту agent → hub → agent, то есть линейно по числу агентов.

Обучение трёхступенчатое: сначала сильный bidirectional teacher с полным контекстом, затем causal student на Diffusion Forcing, и наконец дистилляция в few-step генератор через Conditional Self-Forcing. На инференсе блоки генерируются авторегрессивно с KV-cache, что даёт реал-тайм стриминг на 24 FPS.

По метрикам мощно обгоняет конкурентов

Имхо, самое крутое в статье - работа с exchangeability агентов; идея permutation-symmetric кодирования и hub-роутинга выглядит как рабочий рецепт для multi-agent миров.

Paper
Code
Project

Мои обзоры:
Personal blog
Medium
Linkedin

#paperreview

Data, Stories and Languages

28 May 2026 22:09

​​Le Chat is now Vibe

Как можно было неплохое имя сменить на такое заезженное слово?

https://mistral.ai/products/vibe/
https://mistral.ai/news/vibe-agent/

Data, Stories and Languages

22 May 2026 18:37

​​Google внедрил AI в строку поиска...

Результаты удручают

Data, Stories and Languages

18 May 2026 13:52

Тестирование MiniMax M2.7 через API для рефакторинга кода, написания заметок и участия в Kaggle соревнованиях

Мне недавно дали API ключик от MiniMax M2.7 и предложили его потестировать. Я использовал его из Claude Code и потестировал на трёх реальных задачках. Те же задачи параллельно выполнял на Claude Opus 4.7 для сравнения.

Задачи: участие в активном Kaggle-соревновании (ROGII Wellbore Geology Prediction), драфтинг и аудит ML-заметок в моём Obsidian-vault dswok.com, и обновление старого PyTorch-проекта pytorch_tempest. Меня интересовало насколько хорошо работает агент M2.7 при выдаче чётких инструкций.

Результаты на всех трёх задачах получились схожие. M2.7 хорошо работает, когда constraints прописаны явно и можно верифицировать результаты. Проблемы возникают когда недостаточно детально пишешь промпты (Opus 4.7 тоже этим грешит). В Kaggle обе модели полезли использовать target в feature engineering и хардкодить тестовые айдишники, потому что в промпте не было слова про kernel-only режим. На аудите заметок M2.7 придумало несуществующие правила.

Но если давать чёткие задачи, то M2.7 получается сильно выгоднее. Я попробовал посчитать, получилось:

- ~91M токенов за пять дней Claude Code сессий
- PAYG-цена: ~$8 для M2.7 против ~$80 для Opus 4.7 на тех же задачах
- ~10x разница в стоимости, ~2x в скорости (субъективно, без бенчмарка)

Рефакторинг pytorch-tempest сработал особенно хорошо: пошаговые инструкции ("switch black + flake8 to ruff", "update pre-commit config") сработали успешно, тесты ловили регрессии. Для open-ended ML-задач всё ещё необходимо вмешательство человека. Это не проблема M2.7 как таковой — Opus в том же режиме делает те же ошибки, только реже.

Пост написан в партнёрстве с командой MiniMax. По промокоду 12% скидка на MiniMax-подписку.

Мои посты:
Personal blog
Medium
Linkedin

#ai #llm #kaggle

Data, Stories and Languages

15 May 2026 20:22

Pocket Bird is finally available for Obsidian

https://community.obsidian.md/plugins/pocket-bird

Может ли пиксельная интерактивная птичка быть полезной для приложения по ведению заметок? Нет. Стоит ли её установить? Обязательно! :)

Data, Stories and Languages

07 May 2026 19:44

​​The Pulse: Did capacity shortages turn Anthropic hostile to devs?

https://newsletter.pragmaticengineer.com/p/the-pulse-did-capacity-shortages

> Meta forcefully assigns engineers to data labelling ahead of job cuts. In several teams, 20-40% of engineers are given menial, data labelling work. Could that actually boost people’s job security – for now?

Я не могу ничего подтвердить или опровергнуть, но со следующего понедельника (11.05) я начинаю работать в другой организации, инфу получил сегодня