6269
That's just link aggregator of everything I consider interesting, especially DL and topological condensed matter physics. @EvgeniyZh
Multi wavefunction overlap and multi entropy for topological ground states in (2+1) dimensions https://arxiv.org/abs/2410.08284
Читать полностью…
Algorithmic Fault Tolerance for Fast Quantum Computing https://arxiv.org/abs/2406.17653
Читать полностью…
Observation of disorder-free localization and efficient disorder averaging on a quantum processor https://arxiv.org/abs/2410.06557
Читать полностью…
Language Models Learn to Mislead Humans via RLHF https://arxiv.org/abs/2409.12822
Читать полностью…
https://fixupx.com/ItaiYanai/status/1842787938175697232
Читать полностью…
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning https://arxiv.org/abs/2410.02089
Читать полностью…
Chaitin Phase Transition https://arxiv.org/abs/2410.02600
Читать полностью…
Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization https://arxiv.org/abs/2409.18433
Читать полностью…
Сессия вопросов и ответов с Сэмом Алтменом об искусственном интеллекте и OpenAI
Q: Насколько мы близки к созданию AGI (Artificial General Intelligence)?
A: Раньше было легко определить, почему тот или иной продукт не является AGI, но сейчас это становится все сложнее. Модель O1 явно соответствует второму уровню, хотя в некоторых важных аспектах она еще не ощущается как AGI (имеются ввиду уровни автономности AGI). Мы активно работаем над развитием агентных возможностей, и если сравнить O1 с GPT-4 прошлого года, разница поразительна. Ожидайте стремительного прогресса как минимум в ближайшие два года. Мы находимся в размытой зоне — это AGI или нет? В скором времени это перестанет иметь значение. Мы продолжаем двигаться по плавной экспоненциальной кривой развития.
Q: Сохраняет ли OpenAI прежнюю приверженность исследованиям, как и раньше?
A: Да, и даже больше, чем когда-либо. Наша миссия — создать безопасный AGI. Если решение заключается в увеличении количества GPU, мы это сделаем, но сейчас все сосредоточено на исследованиях. Каждые несколько месяцев появляются новые возможности, которые меняют направление наших разработок. OpenAI гибко реагирует на то, что работает или нет, и быстро адаптируется. Хотя правительство хочет получать уведомления за 60 дней о новых возможностях, мы часто движемся быстрее.
Q: Правда ли, что OpenAI теперь лишь формально уделяет внимание проблеме выравнивания (alignment)?
A: Наш подход изменился, но мы по-прежнему стремимся создавать более мощные модели, которые работают безопасно. Новые модели приносят новые вызовы. Важно понять, куда движутся возможности, и затем обеспечить их безопасное развертывание. Безопасные системы поддерживаются набором инструментов. Модели должны быть в целом безопасными и надежными для применения в реальном мире. Когда мы создавали GPT-3, мы даже не задумывались о вещах, которые важны сегодня, потому что тогда они не существовали! Мы придерживаемся итеративного подхода, постоянно улучшаясь.
Забота о возможных научно-фантастических сценариях важна, но мы не ограничиваемся только этим. Мы хотим подходить к проблемам с разных сторон. Главное — итеративное развертывание.
Q: Как вы видите роль агентов в реальном мире?
A: O1 и его возможности рассуждения сделают агентов реальностью. Чат-интерфейсы отличны и важны, но когда вы можете попросить модель выполнить многошаговые взаимодействия с миром быстрее и дешевле, чем это могут люди, это существенно изменит то, как функционирует мир в очень короткие сроки. Люди быстро привыкают — спустя всего лишь 20 минут в автономном автомобиле вы уже не впечатлены и пялитесь в телефон.
Когда возможности улучшаются, ожидания растут: если компьютер выполняет задачу за час, вы хотите, чтобы это заняло минуту. Одна из самых увлекательных вещей в OpenAI — наблюдать за невероятно быстрым развитием идей и проектов со стороны разработчиков. Мы планируем быть небольшой частью агентов в мире; основную роль будут играть разработчики.
Q: Какие препятствия существуют для того, чтобы агенты управляли компьютерами?
A: Основные вызовы — безопасность и выравнивание. Люди готовы уступить контроль, но стандарты безопасности высоки. Важно разработать рамки безопасности и доверия.
Q: Может ли безопасность выступать ограничивающим фактором для технологий? Это приведет к более эгалитарному миру?
A: Да, это вероятно. Мы начинаем с консервативного подхода. Если вы хотите, чтобы O1 вас оскорбил, он, вероятно, должен следовать вашим инструкциям. Но мы будем консервативны, потому что система станет гораздо более мощной в короткие сроки, и мы всегда можем ослабить ограничения.
Topological chiral superconductivity https://arxiv.org/abs/2409.18067
Читать полностью…
Vortex wall phase in fractonic XY-plaquette model on square lattice https://arxiv.org/abs/2409.15638
Читать полностью…
Decoherence and wavefunction deformation of D4 non-Abelian topological order https://arxiv.org/abs/2409.12948
Читать полностью…
Planning In Natural Language Improves LLM Search For Code Generation https://arxiv.org/abs/2409.03733
Читать полностью…
Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance https://openreview.net/forum?id=6FGlpzC9Po
Читать полностью…
SpaceX lands Starship's rocket booster in the arms of massive metal pincers, marking a huge success in its fifth test flight.
Читать полностью…
LLMs Are In-Context Reinforcement Learners https://arxiv.org/abs/2410.05362
Читать полностью…
One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos https://arxiv.org/abs/2409.19603
Читать полностью…
Почему не стоит верить nvidia-smi “GPU utilization”
arthurchiao.github.io/blog/understanding-gpu-performance/
Nvidia использует очень особый способ определения утилизации GPU. 100% означают не что девайс загружен на 100%, а что хотя бы одно ядро было использовано хотя бы чуть-чуть 100% времени за последние N (мили)секунд
Очень яркий пример это примитивы синхронизации: когда вы вызываете torch.barrier GPU Utilization становится 100% при том что на самом деле железо просто «активно ждет».
Для реальной оценки загруженности GPU лучше использовать SM Occupancy которая показывает средний процент загрузки ядер GPU (то что я бы изначально ожидал увидеть от utilization честно говоря).
Для этого рекомендуют использовать dcgm-exporter
Optimization by Decoded Quantum Interferometry https://arxiv.org/abs/2408.08292
Читать полностью…
Korteweg de-Vries Dynamics at the Edge of Laughlin State https://arxiv.org/abs/2410.01730
Читать полностью…
Запустили Gemma 2 зафайнтьюненную на японский. Веса – на HuggingFace.
Заодно запустили соревнование на Кэггле на $150k 👀на адаптацию Gemma к 73 разным языкам, включая русский и украинский. Ждём ваших сабмитов!
I'm visiting Caltech until mid-November, ping me if you want to grab a beer or something somewhere around LA
Читать полностью…
Doping a fractional quantum anomalous Hall insulator https://arxiv.org/abs/2409.20567
Читать полностью…
Magic state cultivation: growing T states as cheap as CNOT gates https://arxiv.org/abs/2409.17595
Читать полностью…
Linux/4004: booting Linux on Intel 4004 for fun, art, and no profit (🔥 Score: 151+ in 3 hours)
Link: https://readhacker.news/s/6eTyE
Comments: https://readhacker.news/c/6eTyE
Humanity's Last Exam Submission Form https://agi.safe.ai/submit
Читать полностью…
A tutorial on automatic differentiation with complex numbers https://arxiv.org/abs/2409.06752
Читать полностью…
Nonabelian Anyon Condenstion in 2+1d topological orders: A String-Net Model Realization https://arxiv.org/abs/2409.05852
Читать полностью…
A new rare high-rank elliptic curve, and an orchard of Diophantine equations (Score: 151+ in 12 hours)
Link: https://readhacker.news/s/6ebwb
Comments: https://readhacker.news/c/6ebwb