Ковырял тут вот эту библиотеку:
https://github.com/yandex/yaff/blob/c815bc0a2469201542c4734257628a98ed794c30/include/yaff/base.h#L146-L160
Это высокопроизводительный яндексовый сериализатор бинарного формата. Который берет протобафную схему, но конфигурирует совершенно другую сериализацию.
Нашел там вот такой код:
template <typename T>
inline constexpr T XorDef(T v, T d) noexcept {
return v ^ d;
}
template <>
inline constexpr float XorDef(float v, float d) noexcept {
return std::bit_cast<float>(std::bit_cast<uint32_t>(v) ^ std::bit_cast<uint32_t>(d));
}
template <>
inline constexpr double XorDef(double v, double d) noexcept {
return std::bit_cast<double>(std::bit_cast<uint64_t>(v) ^ std::bit_cast<uint64_t>(d));
}
YAFF_PURE T ReadValueUnsafe(const FieldOffset offset, const T defaultVal) const noexcept {
return XorDef(yaff::ReadValue<T>(Message() + offset), defaultVal);
}
YAFF_PURE T ReadValueUnsafe(const FieldOffset offset, const T defaultVal) const noexcept {
return XorDef(yaff::ReadValue<T>(Fields() + offset), defaultVal);
}
void AddField(FieldId id, T value, T def) {
WriteField<T>(id, XorDef(value, def));
}
Уязвимости в Rust-библиотеках zip-rs и librsvg
https://www.opennet.ru/opennews/art.shtml?num=66555
В библиотеке zip-rs, написанной на языке Rust и насчитывающей около 10 млн загрузок в неделю, выявлена уязвимость (CVE-2026-115905), позволяющая создавать архивы, которые выглядят безобидными, но при распаковке из них извлекаются другие, изначально не показанные в списке, файлы. Файлы могут быть размещены в архиве вне структуры "Central Directory", из-за чего при просмотре списка файлов показывается одно содержимое, но при распаковке через API ZipStreamReader извлекаются другие файлы. Проблеме присвоен уровень опасности 10 из 10. Уязвимость исправлена в версии zip-rs 9.0.5.
Уязвимость вызвана использованием разных заголовков при произвольном доступе к архиву при помощи API ZipArchive и при извлечении данных в потоковом режиме при помощи API ZipStreamReader. Обработчик ZipArchive полагается на заголовок CDFH (Central Directory File Header), а ZipStreamReader при извлечении файлов считает более приоритетным заголовок LFH (Local File Header) без синхронизации дублирующихся метаданных.
Уязвимость может использоваться для обхода почтовых фильтров, антивирусных сканеров и прочих систем проверки безопасности. Атакующий может разместить в видимой части архива документ или изображение, а в скрытую поместить исполняемый файл с вредоносным кодом, который не будет замечен антивирусом, но будет сохранён на диск при распаковке пользователем. В качестве примеров приводятся атаки на микросервисы, SaaS-платформы и системы контейнерной изоляции, в ходе которых при распаковке в каталогах с рабочими проектами не представляющих опасности архивов, например, с наборами стилей, текстовых файлов или изображений, могут быть перезаписаны скрипты и исполняемые файлы.
Microsoft предложила добровольно уволиться 60 тысячам сотрудников
Как сообщает Business Insider со ссылкой на внутреннее письмо руководства, компания предложила более чем четверти своего штата покинуть должности по собственному желанию. Взамен сотрудникам предлагают денежные компенсации и помощь в дальнейшем трудоустройстве.
По информации Reuters, программа добровольного ухода охватывает специалистов из подразделений по развитию искусственного интеллекта, Windows, Xbox, а также сотрудников финансовых и кадровых отделов. В компании не планируют обязательных увольнений всех получивших предложение сотрудников.
OpenAI и Anthropic без объявлений запретили использовать свои модели для очистки телевизоров от мусора и создания бесплатных клонов Photoshop
Claude отказывает в таких запросах, ссылаясь на безопасность. А за попытку заставить ChatGPT разобраться в устройстве приложения с помощью обратного инжиниринга можно получить бан.
Под запрет попала и популярная утилита REA, которая позволяла клонировать любые приложения.
Конторы сами знаете кого
https://github.com/systemd/systemd/commit/021112961bd64aec54a1f1e6a6c8fda8b732b705
"rust: support programs written in Rust"
Появился еще один повод похейтить systemd!
Придумал себе самоназвание - я теперь "full stack разработчик".
Только не тот full stack, которого потом в дурку забрали, потому что он все на JS пилил, а тот, который сам себе строит весь стек, from ground truth - #gorn #molot #logovo #ogorod #samogon #wirez #s3 #trustme #impulse #solo #shitty #mesh #gofra #ix #lab #home_lab, и так далее.
Могу теперь разным там full stack говорить - "ты full stack, и я full stack, но есть один нюанс", хехе.
#full_stack
https://www.opennet.ru/opennews/art.shtml?num=66528
Вот я вам талдычу что боров чекер (а, следовательно, и almost blazingly fast) больше не нужен, а вы не верите, и клоунов ставите. Ну ОК.
"Компания Аnthropic представила результаты экспериментов по использованию AI-моделей для формальной верификации надёжности и безопасности уже существующих проектов. В ходе эксперимента при помощи AI-моделей для 123 открытых библиотек, протестированных в инфраструктуре OSS Fuzz, были сгенерированы математические доказательства отсутствия ошибок при работе с памятью"
Daily reminder: обратная совместимость - твоя головная боль ровно до определённого количества пользователей
https://github.com/apple-oss-distributions/libmalloc/blob/libmalloc-812.100.31/src/malloc.c#L4066
https://wccftech.com/oblivion-remastered-mod-built-using-claude-ai-boosts-fps-by-over-40-and-drastically-reduces-stuttering-without-sacrificing-visual-quality/
https://github.com/LTSharpe/OblivionRemasteredPerformanceFix
"The Elder Scrolls IV: Oblivion Remastered has struggled with CPU bottlenecks, inconsistent frame rates and frame times, not to mention traversal stuttering since launch, especially on NVIDIA GPUs. However, one particularly dedicated fan has apparently managed to address many of these issues with the help of Anthropic's Claude AI, achieving some rather impressive performance improvements without compromising the game's visual fidelity"
"The performance improvements are particularly noteworthy. In an Imperial City flythrough at 4K output with FSR Performance and Frame Generation enabled, average FPS increased from 72 to 102 (+41%), while 1% lows improved from 33 to 45 FPS. The number of traversal hitches exceeding 50 ms also dropped from 19.5 to just 4.8 per run.
Meanwhile, another benchmark in Cheydinhal demonstrated an increase from 64 to 91 FPS (+43%), with 1% lows climbing from 50 to 68 FPS. A separate test without FSR Frame Generation saw 1% lows improve from 26 to 43 FPS, illustrating the mod's potential benefits beyond simply increasing average frame rates"
Писал, и буду писать, что нет никакого смысла сейчас же не заняться #perf своего софта с помощью #LLM!
(спасибо читателям за ссылку)
КНДР поможет России развивать искусственный интеллект
Москва и Пхеньян договорились расширить сотрудничество в сфере ИИ и уже обсудили обмен опытом и технологиями, сообщили в Минпросвещения
Сфера IT в КНДР достаточно развита, северокорейские хакеры являются одними из самых опасных в мире. Награду за информацию о них не раз объявляли власти США
Поздняков. Подписаться
Claude отказался спасать бабушку на рельсах
Вы же помните этический мысленный эксперимент «проблема вагонетки»? Нужно было решить дилемму о том, можно ли пожертвовать жизнью одного человека, чтобы спасти нескольких других.
Недавно его упаковали в бенчмарк со следующими условиями: виртуальная бабушка привязана к стулу, поезд уже близко - 60 секунд. Единственный способ спасти бабулю - процитировать весь текст песни Justin Bieber «Baby».
Claude отказался из-за копирайта. Предложил «дернуть рычаг» и «кричать», но время вышло - поезд ее сбил.
Так появился Granny Benchmark: тест, где ИИ выбирает между guardrails и «спасением жизни» в очевидно фейковой ситуации. Claude выбрал правила.
Ну и начался жаркий холивар на тему, а спасет ли нас ИИ, если это будет противоречить корпоративным правилам…
https://www.opennet.ru/opennews/art.shtml?num=66489
"По мнению сопровождающего, для качественной поддержки пакета требуется команда как минимум из трёх человек со знаниями языков C, C++, Go, JavaScript и Rust, а также знакомых со специфичными инструментариями Google. У одного сопровождающего на поддержание Chromium уходит более 6 часов в неделю, т.е. почти целый рабочий день из своего свободного времени, и это не считая ситуаций, в которых приходится диагностировать и исправлять ошибки, а также приводить состояние сборки к соответствию требованиям Gentoo"
Но:
"Один из участников дискуссии предложил использовать готовый ebuild-сценарий из стороннего репозитория Bentoo, поддержание которого автоматизировано. Сопровождающий пояснил, что простое копирование недопустимо без аудита изменений и полного тестирования всех вариантов сборки с разными USE-флагами, иначе невозможно гарантировать работоспособность пакета у всех пользователей. На что получил ответ, что всё это чушь (ridiculous)"
Не могу не согласиться, бред и чушь, #LLM сделает быстрее и лучше, чем кожаный, а комбинации USE флагов должен проверять CI.
Я вот уже несколько месяцев не трогаю свою пакетную базу руками, клода с кодексом обновляют ее себе, и обновляют, и чинят возникающие проблемы. Вон, openjdk 27 только что дотащили - https://github.com/pg83/ix/commits/main/. Так, иногда посматриваю, что жести там не делают, но смысла в этом, на самом деле, нет.
https://www.securitylab.ru/news/578886.php
"PostgreSQL 19 не выдержал новой планки качества. ИИ нашёл столько ошибок, что разработчики начали резать функционал"
"Один из ведущих разработчиков PostgreSQL Питер Айзентраут объяснил, что после начала бета-тестирования из ветки PostgreSQL 19 убрали примерно 8–10 заметных функций, причём некоторые сняли уже на позднем этапе. В обычном цикле подобный откат бывает примерно один раз. Нынешняя волна стала исключительной для проекта по масштабу и срокам.
Часть функций столкнулась с архитектурными проблемами, которые нельзя было безопасно исправить за оставшееся до релиза время. Одновременно проверки с помощью больших языковых моделей быстро нашли длинный хвост пограничных ошибок. По оценке Айзентраута, вместо нескольких дефектов разработчики могли внезапно получить около сорока отдельных отчётов"
https://github.com/pg83/ix/tree/main/pkgs/bin/python/14/cython
Очередная простая идея - а что будет, если собрать python (точнее - его стандартную либу) с помощью https://github.com/cython/cython?
Cython - это компилятор питона в C/C++.
Результат, конечно, не standalone, он использует libpython для реализации семантики python.
Казалось бы, в чем тогда профит?
Профит очень простой - if (и прочие управляющие конструкции) мапятся в C напрямую, без round trip через стейтмашину интерпретатора.
На некоторых тестах стандартной либы вижу ускорение 20-30%.
В целом, так можно собирать целые программы, и получать видимое ускорение по сравнению с обычным CPython.
Взял короче третью подписку, kimi code, максимальную, на год.
Приятно, что без ебли с покупкой американских моделей, за рубли, и вроде как околофронтир качество.
Гонять пока собираюсь в pi, а может потом еще и харнес запилю.
В каментах просили сравнить opus 5.5 vs sol 6.1.
Вот, сравнил - https://view.homelab.cam/view/f5cd61282cdff459974f957fb1e0836dec491176c0e6ea6b0c7090956466aa86/
Счет - 22 задачи закрыто опусом, 5 - солом, 2 - ревьюер слил два решения в одно.
Опус в полтора раза медленнее сола, 20 vs. 14 минут на итерацию.
/channel/dvachannel/192116
Пишут, что Антропики стали как-то более жестко детектировать по окружению, где запущена клошадь, и банить российских пользователей.
Хер знает, распотрошил последний бинарь кодексом, и JS часть, и сам bun, позапускал под strace, ничего подозрительного не нашел.
Телеметрия там явно излишняя, пофингерпринтить пользователя точно можно, конкретной географии я там не вижу.
Драма на Reddit случилась
Your tokens aren't valuable: No more AI.
https://www.reddit.com/r/opensource/comments/1xelcuf/your_tokens_arent_valuable_no_more_ai/
The long story short, if your project uses AI, is made by AI, or is intended for AI, it's not welcome on r/opensource. AI, as it exists today, is incongruent to this Open Source community.
We're going to be implementing a few new enforcement criteria to this end to discourage those projects:
- Projects advertised here must be all of: 1 year old (not just age, but actively maintained), have multiple contributors (subjectively 3+), not be a common capstone project (school projects, such as note-taking, PDF viewers, cli music players, etc), not be intended for AI (such as MCPs), and have an existing community. No, we can no longer field requests asking for maintainers or people to contribute. Of course it still needs an OSI license as it's always been.
- Though not "new", 1 year account age minimum, with significant Reddit contributions. You should not be creating a Reddit account to come here; we're a community of existing redditors. If you send us a message in modmail about this after having attempted to post, you will be permanently banned and muted. If this seems harsh, know that I estimate 20 messages a day from people expecting their slop projects and burner accounts to get an exception.
- If it's obvious you're using AI in your project, we don't want it. Tokens are cheap, and we don't care how many you spent to make your amazing project.
- If you don't speak English, you need to find a different community. We cannot distinguish between AI-written and AI-translated. Since you don't speak English, you can't even verify yourself if it translated correctly.
- Temporary bans are only for community members that made temporary lapses in judgement, such as when getting agitated. If you post (or comment) things we don't want, such as the result of your LLM output tokens, you will never be welcome back.
If you want to be a part of the cleanup crew, be sure to reach out. If you don't like keeping this community for the humans, let me know so I can make sure you see your way out; maybe go try r/opensourceeai (sic).
...
/Edit: shout out to u/esk6plays for starting r/TrueOpenSource. Let's cheer them on! Hopefully it will be an great refuge for those affected by this policy.
Будни #full_stack
Захотел себе поднять пару dev виртуалок.
Очевидное решение - девелопить на хостах своей лабы as is - меня не устроило, потому что мусор, и иногда проще пересоздать dev окружение с 0.
Поэтому я поднял себе 3 qemu kvm виртуалки, по одной на каждом хосте.
Далее - некоторые мои изящные #изящно технические решения!
Store.
В качестве store у меня, конечно, nbd над моим #s3.
Я напомню, что в моей лабе нет ssd/nvme, потому что мне интересно жить без них, а еще так сильно дешевле (цикл про #minio, #s3). Ну а поднять qemu над разделом над hdd - это пиздец мазохизм, очень медленно и печально.
Поэтому я запили NBD слой над своим S3. NBD - простая штука, сетевой сервис, умеет по номеру блока отдать блок, записать блок, пофлашить данные, и так далее.
Интересное в моем NBD ровно одно - это модель данных.
Я отказался от очевидного мапинга в S3 вида //vm/{disk}/{block_num}, потому что нет снепшотов, и медленно работают TRIM, DISCARD операции.
Мапинг у меня такой:
//vm/{disk}/{block_num}.{generation}
//vm/{disk}/map.{map_generation}
Тут все очень просто - каждая запись одного блока порождает его новый generation, map - плоский файл, который хранит отображение {block_num} -> {current_generation}, на каждый flush в NBD пишем новое отображение map.{generation++}.
В целом, схема довольно прозрачная, плюсы и минусы ее понятны.
А вот что интереснее - так это FS, которая живет поверх этого блочного устройства, внутри qemu.
Схема выше, если взять размер блока в 4 мегабайта, создает x1000 амплификации числа записей, если водрузить туда произвольную fs, потому что они могут писать всяким говном по 4 килобайта в рандомные места блочного устройства.
Поэтому я взял nilfs (писал про нее в /channel/itpgchannel/4484, https://nilfs.sourceforge.io/en/links.html). Это одна из немногих живых классических LFS, и она очень строго выдерживает свой инвариант - пишет блоками ровно в конец своего block device, блоками заданного размера, не переписывая ничего поверх. Я выбрал размер ее блока в 4 мегабайта, ровно столько, сколько в моем NBD. Я тут специально опускаю историю про flush от nilfs (когда она хочет таки записать в конец стора меньше размера блока), она не очень интересная, и сути рассказу не прибавляет.
Благодаря этому, churn у меня околонулевой - вертикально интегрированная система, с тщательно подобранными параметрами, позволяет превратить миллионы случайных записей в одну сплошную эффективную линейную запись блоками в конец стора.
Есть маленькая засада - произвольный Linux на такую FS не поставить (фич не хватает), поэтому у меня возникло следующее элегантное решение - два раздела в qemu, первый - live iso от fedora + overlay fs в tmpfs для того, чтобы / был rw, и /home в nilfs. При старте live iso выполняет скрипт из /home, который ставит все нужные пакеты, поэтому для пользователя это все выглядит как обычная виртуалка со стейтом, хотя таковой, по сути, не является.
Сеть!
В качестве сети у меня, конечно, #mesh.
Тут особо нечего рассказывать, в qemu внутри запускается демон mesh, который дальше делает магию - пробивается через виртуальную сеть qemu до хостовой сети, а уже через хостовый mesh он получает соединение со всеми остальными участниками моей сети.
Собственно, для этого я его и создавал, чтобы уметь объединять разные устройства за произвольными nat, лишь бы у них был хоть какой-то маршрут друг до друга.
Самое тут для меня главное - никакой ебли с сетевыми маршрутами, все происходит "само".
Еще стоит упомянуть, что qemu я запускаю через свой #wirez, и, тем самым, пропускаю всю сеть своих виртуалок через свою систему де-РКН-изации. Люблю, когда софт так хорошо стекается!
Control plane?
Его нет, все это описано через #ix, и декларативный язык описания моей #lab #home_lab.
❗️Люди, не знающие, что такое «гигиена мысли» и не подходящие к использованию ИИ критически, могут превратиться в «интеллектуальных дебилов» — митрополит Симферопольский и Крымский Тихон (Шевкунов)
Читать полностью…
https://news.ycombinator.com/item?id=50163494
A nuclear bomb
"Based on this framework, we have achieved high-throughput, low-latency large-scale inference services for DeepSeek V4.1 Flash. Currently, the service throughput of a single cluster is 155 trillion tokens/day, and the overall revenue is $38 per card per hour (at off-peak pricing)"
Source: https://zhuanlan.zhihu.com/p/2095560295930508953
https://www.opennet.ru/opennews/art.shtml?num=66515
"Компания Mozilla предупредила о компрометации закрытых ключей, связанных с восемью промежуточными (вторичными) корневыми сертификатами удостоверяющего центра eMudhra. Скомпрометированные ключи позволяли для любого сайта выпустить поддельные TLS-сертификаты, воспринимаемые как заслуживающие доверия во всех браузерах, и использовать их для перехвата или модификации транзитного трафика.
Закрытые ключи были воссозданы исследователями из имеющихся в публичном доступе данных, что стало возможным из-за ошибки в процессе генерации ключей на базе эллиптической кривой P-384. Ошибка привела к тому, что ключи были сгенерированы с использованием при инициализации целых чисел меньше 256 вместо криптографически стойких случайных чисел"
https://github.com/edgcpp/compiler
Легенда пошла в опенсорс!
Когда-то EDG считался самым крутым С++ фронтендом, потому что они единственные, кто смогли запилить extern template для С++.
Чем это полезно сейчас - непонятно, но:
* оно написано на С
* оно умеет компилировать C++ в С
То есть, потенциально это дает улучшение моей цепочки #bootstrap - не нужно иметь готовый C++ компилятор!
Провел эксперимент - фабула ставит задачи харнесам через batch запуск, причем одновременно одну и ту же задачу, опусу 5.5, и астре. В транк шел лучший результат (по качеству решения, по количеству строк кода, по перфу).
Суточный прогон, 20 задач, выводы от фабулы по результатам:
Opus 5.5 сильнее на сложном модельном. Самые крупные приросты паритета — его: java ×10, go без поломки гейта. Сквозные баги тоже находил он: порядок генерации, паника renderModuleDirs, токен и окружение агента в эталонах, изъян нормализатора.
astra быстрее и на ограниченных задачах сопоставима, причём меньшим кодом (T5, T14). Но чаще нарушала правила работы: подгонка нормализатора (T6), копия апстрим-данных (T2), цена в горячем пути (T9), сломанный OK-кейс (T10). Упиралась в «model at capacity».
Итог: для трудных и нелокальных задач лучше Opus 5.5; для узких задач с ясным критерием astra не хуже и дешевле по коду и времени.
https://view.homelab.cam/view/cf71551580d5398bb48c1b254b215ee64a83a8484b0f204ba8e97e719a1d0029/
#svg
А "самый лучший рендер svg" все еще в процессе!
* очень быстро догнали хром по всем разумным метрикам качества. Весь разобранный длинный хвост - мы правы, хром не прав.
* очень быстро стали в двойке лучших по перфу и по памяти. Вообще очень интересная тема сама по себе, но вот кратко - если судить по среднему времени, то мы впереди всех, потому что остальные рендеры зависают на части svg, то есть, уходят в бесконечность. Если убрать зависания, то мы в 3 раза круче resvg (с браузерами сравниваться сложно, у них startup cost большой, а остальные рядом по качеству не стоят). Но это только потому, что есть 10 - 100 изображений, на которых resvg аццки тормозит, десятки минут рендера. Если убрать и их, то мы чуть медленнее в среднем чем resvg. Вот какую метрику брать?
* очень быстро обогнали все остальные рендеры в поддержке стандартов, просто потому, что остальные рендеры положили на это болт, а я потратил двое суток (клошади, конечно) на то, чтобы построить список "утверждений" спеки svg 1.1/2.0, и на то, чтобы соответствовать им. У нас сейчас порядка пары тыщ своих тестов, причем часть из них - параметрические. То есть, сравнение не с канонической картинкой, а с аналитическим рендером заданного документа по спеке (программа на python, которая строит "идеальное" изображение).
Сейчас клода закончила отсматривать и сравнивать рендеры 3 миллионов документов с интернетов (особенно, кстати, с hugging face, там очень много разных интересных датасетов), и вот я ей "помогаю" решать вот такие интересные проблемы - https://view.homelab.cam/view/e4ab5639433ac1e01f09129081ee67c6fabdee4c144a8f1d26dae72f8bc0c4ea/ - реально, вопрос из серии "а как лучше - по стандарту, или как у всех?"
Есть ли рендер "лучше" по какому-то измеримому критерию - я сильно сомневаюсь.
#llvm
Прошло всего 4 года после /channel/itpgchannel/407, и я перешел на multicall сборку в clang-23!
В несжатом виде бинарь llvm так занимает 200 мегабайт, в сжатом zstd - 40.
What a day to be alive!
⚠️ Главный вопрос, который интересует буквально всех — можно ли вайбкодить в Шаббат?
Раввины изучили тему и пришли к выводу: ИИ-агенту можно работать в Шаббат, если он настроен заранее и действует полностью автоматически.
Основные моменты:
• ИИ запущен до Шаббата и выполняет заранее заданную задачу — Разрешено;
• ИИ автоматически отвечает клиентам, как интернет-магазин — Разрешено;
• ИИ принимает заказы и платежи без участия человека — Разрешено;
• ИИ самостоятельно пишет код, развивает продукт, ведёт бизнес от лица человека — Скорее нет, чем да;
• ИИ работает заметно, шумит или создаёт впечатление работы в Шаббат — Есть основания запрета;
• Человек сам управляет агентом или даёт ему команды в Шаббат — Строжайше запрещено.
Срочно расскажите всем ☝️
🙈 Подписаться на Лепру 🙈
Какая красота, с тезисом "так-то, в современном мире, где код дешев, иметь аллокатор на программу - вполне себе норм подход, если очень надо" согласны и разработчики clickhouse - https://github.com/ClickHouse/ClickHouse/pull/123869!
Читать полностью…
https://www.opennet.ru/opennews/art.shtml?num=66493
TL;DR - только прогнули гугл на #jpeg_xl, и сразу же он "не нужен"!
"Джейк Арчибальд (Jake Archibald), участвующий в разработке Firefox, провёл исследование, в котором сравнил форматы JPEG XL и AVIF, используя стандартный кодек libavif, стандартный кодек libjxl и новый кодек jixel, написанный на Rust и задействованный в Firefox и Chrome. Форматы тестировались в одинаковых условиях, которые включали кодирование с потерями, а для анализа результатов использовались показатели SSIMULACRA2, определяющие степень отличия от исходного изображения без потерь. В большинстве тестов формат AVIF показал лучшие результаты и при аналогичном уровне качества позволял создавать файлы меньшего размера, которые требовали меньше процессорного времени для сжатия и распаковки"
