6484
That's just link aggregator of everything I consider interesting, especially DL and topological condensed matter physics. @EvgeniyZh
Korteweg de-Vries Dynamics at the Edge of Laughlin State https://arxiv.org/abs/2410.01730
Читать полностью…
Запустили Gemma 2 зафайнтьюненную на японский. Веса – на HuggingFace.
Заодно запустили соревнование на Кэггле на $150k 👀на адаптацию Gemma к 73 разным языкам, включая русский и украинский. Ждём ваших сабмитов!
I'm visiting Caltech until mid-November, ping me if you want to grab a beer or something somewhere around LA
Читать полностью…
Doping a fractional quantum anomalous Hall insulator https://arxiv.org/abs/2409.20567
Читать полностью…
Magic state cultivation: growing T states as cheap as CNOT gates https://arxiv.org/abs/2409.17595
Читать полностью…
Linux/4004: booting Linux on Intel 4004 for fun, art, and no profit (🔥 Score: 151+ in 3 hours)
Link: https://readhacker.news/s/6eTyE
Comments: https://readhacker.news/c/6eTyE
Humanity's Last Exam Submission Form https://agi.safe.ai/submit
Читать полностью…
A tutorial on automatic differentiation with complex numbers https://arxiv.org/abs/2409.06752
Читать полностью…
Nonabelian Anyon Condenstion in 2+1d topological orders: A String-Net Model Realization https://arxiv.org/abs/2409.05852
Читать полностью…
A new rare high-rank elliptic curve, and an orchard of Diophantine equations (Score: 151+ in 12 hours)
Link: https://readhacker.news/s/6ebwb
Comments: https://readhacker.news/c/6ebwb
Monkey Business: a dataset of large LLM sample collections for math and code tasks https://scalingintelligence.stanford.edu/blogs/monkeys/
Читать полностью…
The new quantum anomalous Hall effects require new concepts
1. Extended Quantum Anomalous Hall States in Graphene/hBN Moiré Superlattices
Authors: Z. Lu, T. Han, Y. Yao, J. Yang, J. Seo, L. Shi, S. Ye, K. Watanabe, T. Taniguchi, and L. Ju
arXiv:2408.10203, DOI: 10.48550/arXiv.2408.10203
2. Interplay of electronic crystals with integer and fractional Chern insulators in moiré pentalayer graphene
Authors: D. Waters, A. Okounkova, R. Su, B. Zhou, J. Yao, K. Watanabe, T. Taniguchi, X. Xu, Y.-H. Zhang, J. Folk, and M. Yankowitz
arXiv:2408.10133, DOI: 10.48550/arXiv.2408.10133
3. Displacement field-controlled fractional Chern insulators and charge density waves in a graphene/hBN moiré superlattice
Authors: S. H. Aronson, T. Han, Z. Lu, Y. Yao, K. Watanabe, T. Taniguchi, L. Ju, and R. C. Ashoori
arXiv:2408.11220, DOI: 10.48550/arXiv.2408.11220
4. Electric field control of superconductivity and quantized anomalous Hall effects in rhombohedral tetralayer graphene
Authors: Y. Choi, Y. Choi, M. Valentini, C. L. Patterson, L. F. W. Holleis, O. I. Sheekey, H. Stoyanov, X. Cheng, T. Taniguchi, K. Watanabe, and A. F. Young
arXiv:2408.12584, DOI: 10.48550/arXiv.2408.12584
Recommended with a commentary by Trithep Devakul , Stanford University
|View Commentary (pdf)|
This commentary may be cited as:
DOI: 10.36471/JCCM_August_2024_01
https://doi.org/10.36471/JCCM_August_2024_01
The post The new quantum anomalous Hall effects require new concepts appeared first on Journal Club for Condensed Matter Physics.
via Journal Club for Condensed Matter Physics (author: JCCMP)
https://link.springer.com/article/10.1186/s13059-019-1800-6
Читать полностью…
Unsupervised-to-Online Reinforcement Learning https://arxiv.org/abs/2408.14785
Читать полностью…
Chaitin Phase Transition https://arxiv.org/abs/2410.02600
Читать полностью…
Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization https://arxiv.org/abs/2409.18433
Читать полностью…
Сессия вопросов и ответов с Сэмом Алтменом об искусственном интеллекте и OpenAI
Q: Насколько мы близки к созданию AGI (Artificial General Intelligence)?
A: Раньше было легко определить, почему тот или иной продукт не является AGI, но сейчас это становится все сложнее. Модель O1 явно соответствует второму уровню, хотя в некоторых важных аспектах она еще не ощущается как AGI (имеются ввиду уровни автономности AGI). Мы активно работаем над развитием агентных возможностей, и если сравнить O1 с GPT-4 прошлого года, разница поразительна. Ожидайте стремительного прогресса как минимум в ближайшие два года. Мы находимся в размытой зоне — это AGI или нет? В скором времени это перестанет иметь значение. Мы продолжаем двигаться по плавной экспоненциальной кривой развития.
Q: Сохраняет ли OpenAI прежнюю приверженность исследованиям, как и раньше?
A: Да, и даже больше, чем когда-либо. Наша миссия — создать безопасный AGI. Если решение заключается в увеличении количества GPU, мы это сделаем, но сейчас все сосредоточено на исследованиях. Каждые несколько месяцев появляются новые возможности, которые меняют направление наших разработок. OpenAI гибко реагирует на то, что работает или нет, и быстро адаптируется. Хотя правительство хочет получать уведомления за 60 дней о новых возможностях, мы часто движемся быстрее.
Q: Правда ли, что OpenAI теперь лишь формально уделяет внимание проблеме выравнивания (alignment)?
A: Наш подход изменился, но мы по-прежнему стремимся создавать более мощные модели, которые работают безопасно. Новые модели приносят новые вызовы. Важно понять, куда движутся возможности, и затем обеспечить их безопасное развертывание. Безопасные системы поддерживаются набором инструментов. Модели должны быть в целом безопасными и надежными для применения в реальном мире. Когда мы создавали GPT-3, мы даже не задумывались о вещах, которые важны сегодня, потому что тогда они не существовали! Мы придерживаемся итеративного подхода, постоянно улучшаясь.
Забота о возможных научно-фантастических сценариях важна, но мы не ограничиваемся только этим. Мы хотим подходить к проблемам с разных сторон. Главное — итеративное развертывание.
Q: Как вы видите роль агентов в реальном мире?
A: O1 и его возможности рассуждения сделают агентов реальностью. Чат-интерфейсы отличны и важны, но когда вы можете попросить модель выполнить многошаговые взаимодействия с миром быстрее и дешевле, чем это могут люди, это существенно изменит то, как функционирует мир в очень короткие сроки. Люди быстро привыкают — спустя всего лишь 20 минут в автономном автомобиле вы уже не впечатлены и пялитесь в телефон.
Когда возможности улучшаются, ожидания растут: если компьютер выполняет задачу за час, вы хотите, чтобы это заняло минуту. Одна из самых увлекательных вещей в OpenAI — наблюдать за невероятно быстрым развитием идей и проектов со стороны разработчиков. Мы планируем быть небольшой частью агентов в мире; основную роль будут играть разработчики.
Q: Какие препятствия существуют для того, чтобы агенты управляли компьютерами?
A: Основные вызовы — безопасность и выравнивание. Люди готовы уступить контроль, но стандарты безопасности высоки. Важно разработать рамки безопасности и доверия.
Q: Может ли безопасность выступать ограничивающим фактором для технологий? Это приведет к более эгалитарному миру?
A: Да, это вероятно. Мы начинаем с консервативного подхода. Если вы хотите, чтобы O1 вас оскорбил, он, вероятно, должен следовать вашим инструкциям. Но мы будем консервативны, потому что система станет гораздо более мощной в короткие сроки, и мы всегда можем ослабить ограничения.
Topological chiral superconductivity https://arxiv.org/abs/2409.18067
Читать полностью…
Vortex wall phase in fractonic XY-plaquette model on square lattice https://arxiv.org/abs/2409.15638
Читать полностью…
Decoherence and wavefunction deformation of D4 non-Abelian topological order https://arxiv.org/abs/2409.12948
Читать полностью…
Planning In Natural Language Improves LLM Search For Code Generation https://arxiv.org/abs/2409.03733
Читать полностью…
Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance https://openreview.net/forum?id=6FGlpzC9Po
Читать полностью…
Non-Abelian fractional quantum Hall states at filling factor 3/4 https://arxiv.org/abs/2408.16275
Читать полностью…
SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking https://arxiv.org/abs/2306.05426
Читать полностью…
https://www.servethehome.com/xiangshan-high-performance-risc-v-processors-at-hot-chips-2024/
Читать полностью…
Fast Commits в fsync
Я с универских времен изучал fsync, но только на уровне, что этот вызов -- самая последняя инстанция перед тем, как сказать диску, что надо всё на него сбросить. К своему удивлению, спустя несколько лет, я наткнулся на работу коллеги про Fast Commits, которая пытается соптимизировать fsync в EXT4 в Linux уже несколько лет, и, кажется, у этого дела виднеется свет в конце тунеля. Также получили на USENIX ATC 2024 best paper award https://www.usenix.org/conference/atc24/presentation/shirwadkar
fsync в EXT4 работает через алгоритм JBD2 (Journaling Block Device v2), который хранит последние операции работы с диском и применяет их, гарантируя, что всё корректно применится даже в случае отказа машинки. Первый инсайт, который я узнал -- всё это дело происходит раз в 5 секунд и при каждом вызове fsync.
Второй инсайт, что JBD2 хранит минимум 3 блока по 4kb на каждую операцию: блок дескриптора (метаданные о других блоках в коммите), по крайней мере один измененный блок метаданных и блок маркера коммита, указывающий конец коммита. Метаданные о дополнительных блоках нужны в интересных случаях, когда, например, машинка умерла, при загрузке она начнёт восстаналивать данные и потом она во время этого умирает. Идемпотентность можно только гарантировать с помощью сравнения изменений, поэтому JBD2 имеет чуть бОльший оверхед, чем возможно представляют себе люди. Из-за маркера коммита получается, что JBD2 делает минимум 2 операции с диском, что тоже немного неожиданно.
Третий инсайт, что fsync будит свой поток и из-за этого происходит 2 переключения контекста, что тоже стало неожиданностью для меня.
Fast commits представляют возможность избежать минусов упомянутых выше. Например, для идемпотентных операций, которые легче проверяются, например, переименование файла или добавление блоков к файлу можно писать достаточно маленькие куски с метаданными в журнал. В итоге и поток переключать не надо, и одна операция с диском и идемпотентность сохраняется.
Как можно догадаться, даже такая простая идея заняла около 6 лет, чтобы протащить в ядро. Очень много уделялось времени обратной совместимости, а также что делать со сложными операциями, например, filesystem resize, которые обязаны уйти в старый JBD2 и как теперь работать с обоими журналами.
В целом на бенчмарках экономия в 100-200 микросекунд, что для частых fsync собирается в неплохую историю. Для HDD это не такие большие цифры, а вот с развитием SSD это уже значительно. Включить на linux это дело можно через tune2fs -O fast_commit.