6269
That's just link aggregator of everything I consider interesting, especially DL and topological condensed matter physics. @EvgeniyZh
SycEval: Evaluating LLM Sycophancy https://arxiv.org/abs/2502.08177
Читать полностью…
Science-T2I: Addressing Scientific Illusions in Image Synthesis https://arxiv.org/abs/2504.13129
Читать полностью…
ignore-topk: новая регуляризация для борьбы с деградацией LLM во время файнтюнинга (by DeepMind)
При дообучении языковые модели частенько портятся. Рисёрчеры из DeepMind показали, что проблема связана с тем, что LLM, пытаясь запомнить новый факт, начинает использовать лёгкие shortcut-ы вместо аккуратного внедрения новых знаний в веса. Она просто «раскладывает» новую информацию по уже знакомым ей понятиям (казалось бы это хорошо, но нет). Такое явление они назвали "праймингом" (aka разложение числа на простые множители), и из-за него LLM начинает путаться в фактах, выдавая новую информацию где не просили.
Авторы этой статьи предлагают потенциальное решение — регуляризацию ignore-topk. Идея до гениальности простая:
- Делаем обычный шаг файнтюнинга и смотрим на обновления весов (Δω).
- Отбираем top-k% самых больших обновлений и… просто удаляем их (умножаем на 0).
- Используем только небольшие изменения весов, которые не содержат шорткатов для быстрой меморизации.
Зачем так странно?
Оказывается, самые большие градиенты как раз и отвечают за «грязное» быстрое запоминание через прайминг. Игнорируя их, мы заставляем модель учиться медленнее и аккуратнее. При этом прайминг уменьшается на 90-95%, а способность запоминать новые факты не страдает.
Но авторы конечно молодцы, сами придумали бенчмарк, сами свой подход измерили, а на другие "learning without forgetting" методы вообще забили. Поэтому не могу сказать, что ignore-topk лучше чем, например, Child-Tuning или EWC, но выглядит прикольно, я его точно попробую 🤷♂️
Статья
A RISC-V 32-bit microprocessor based on two-dimensional semiconductors https://www.nature.com/articles/s41586-025-08759-9
Читать полностью…
Ising 100: review of solutions https://arxiv.org/abs/2504.09661
Читать полностью…
https://github.com/MoonshotAI/Kimina-Prover-Preview
via @black_samorez
Flux attachment theory of fractional excitonic insulators https://arxiv.org/abs/2504.05427
Читать полностью…
Hydrodynamics of the electronic Fermi liquid: a pedagogical overview https://arxiv.org/abs/2504.01249
Читать полностью…
ReferDINO-Plus: 2nd Solution for 4th PVUW MeViS Challenge at CVPR 2025 https://arxiv.org/abs/2503.23509
Читать полностью…
On the Importance of Error Mitigation for Quantum Computation https://arxiv.org/abs/2503.17243
Читать полностью…
M-Attack: как обмануть GPT-4.5 и Gemini
Все привыкли, что атаковать современные мультимодальные модели (типа GPT-4o, Claude, Gemini и т.п.) крайне сложно — особенно, если это black-box модели, где нет доступа к градиентам и архитектуре. Стандартные подходы атак типа "выдать одну картинку за другую" часто генерируют какие-то невнятные шумы, которые либо игнорируются моделью, либо приводят к абстрактным ответам типа "размытое изображение".
Но оказалось, что проблема была не в самих моделях, а в подходе к генерации возмущений. В свежей статье предложили очень простой, но мощный подход — M-Attack:
1. Берём исходную и целевую картинки.
2. На каждом шаге рандомно crop'аем кусок исходного изображения (50-100% площади) и затем ресайзим обратно до исходного размера.
3. Заставляем эмбеддинги этого кусочка максимально приблизиться к эмбеддингам целевого изображения оптимизируясь в white-box режиме по ансамблю открытых визуальных моделей (например, CLIP, ViT и тп).
И всё! После нескольких итераций в центральной области картинки "проявляется" целевая семантика, при этом возмущения выглядят крайне незаметно и аккуратно (в отличие от других подходов).
Авторы добились совершенно впечатляющих результатов: успех атаки (ASR) превышает 90% (!) для GPT-4.5, GPT-4o и даже для o1 и Gemini. Код и датасет из 100 атакованных картинок выложили в открытый доступ.
Статья, GitHub, dataset
Compute Optimal Scaling of Skills: Knowledge vs Reasoning https://arxiv.org/abs/2503.10061
Читать полностью…
Bras and Kets in Euclidean Path Integrals https://arxiv.org/abs/2503.12771
Читать полностью…
CombiBench: Benchmarking LLM Capability for Combinatorial Mathematics https://moonshotai.github.io/CombiBench/
Читать полностью…
Short remarks on shallow unitary circuits https://arxiv.org/abs/2504.14005
Читать полностью…
usual test set
https://x.com/openaidevs/status/1915097067023900883
cost $5.66
Higher-Form Anomalies Imply Intrinsic Long-Range Entanglement https://arxiv.org/abs/2504.10569
Читать полностью…
Из реально прикольного пишут что автономный дрон из Micro Air Vehicle Lab Делфта обошел 13 других дронов, а еще обошел людей в гонках на A2RL Drone Championship в Абу Даби
Пару лет назад дрон уже обгонял людей, но там была предустановленная исследователями трасса. А в этой новости пишут, что трасса бала организаторами сделана (т.е. они или не затачивались под нее специально, или затачивались но не так сильно - тут я чот не очень понял).
RLем тренили
🥳 Оч круто
https://www.youtube.com/watch?v=yz2in2eFATE
https://www.tudelft.nl/2025/lr/wereldprimeur-tu-delft-ai-drone-wint-van-menselijke-bestuurders-op-wk-drone-racen
На ютубе на эту работу ссылаются
End-to-end Reinforcement Learning for Time-Optimal Quadcopter Flight
https://ieeexplore.ieee.org/document/10611665
https://arxiv.org/abs/2311.16948
PS Собираем кстати AI штуки и проекты делаем в /channel/researchim
Signatures of unconventional superconductivity near reentrant and fractional quantum anomalous Hall insulators https://arxiv.org/abs/2504.06972
Читать полностью…
The 1st Solution for 4th PVUW MeViS Challenge: Unleashing the Potential of Large Multimodal Models for Referring Video Segmentation https://arxiv.org/abs/2504.05178
Читать полностью…
Scene-Centric Unsupervised Panoptic Segmentation https://visinf.github.io/cups/
Читать полностью…
Evaluating progress of LLMs on scientific problem-solving https://research.google/blog/evaluating-progress-of-llms-on-scientific-problem-solving/
Читать полностью…
https://fixupx.com/CraigGidney/status/1907199729362186309
Читать полностью…
Entropy of strongly correlated electrons in a partially filled Landau level https://arxiv.org/abs/2503.16738
Читать полностью…
BigO(Bench) -- Can LLMs Generate Code with Controlled Time and Space Complexity? https://arxiv.org/abs/2503.15242
Читать полностью…
PAC-learning of free-fermionic states is NP-hard https://quantum-journal.org/papers/q-2025-03-20-1665/
Читать полностью…
Observation of High-Temperature Dissipationless Fractional Chern Insulator https://arxiv.org/abs/2503.10989
Читать полностью…