2886
Описание отсутствует
Birds documenting the Anthropocene: Stratigraphy of plastic in urban bird nests (2025)
файналли, методология датировки гнёзд по пластиковым отходам
Phase behavior of Cacio and Pepe sauce
Как правильно варить пасту качо э пепе — идеальный рецепт от итальянских статфизиков. Фаза мацареллы — когда в воде слишком мало крахмала и много огня — плохой соус!
https://openpsych.net/files/papers/Bronski_2024a.pdf
Fилософы 🫡
Люблю такое – атлас важных технологий с 1500 года
По категориям, с картинками, можно залипнуть:
https://calculatingempires.net/
Претренить нужно в INT4
Выпустили статью где задизайнили новый способ обучения в низкой битности: QuEST. Если вкратце, аккуратно оптимизировали как производить округление на forward и как пропускать через него градиенты на backward. И это и для весов, и для активаций.
Результаты. Обнаружили, что самым оптимальным по трейдоффу качества претрена/скорости инференса из всех типов данных является INT4. Кроме того, модель даже стабильно обучается в W1A1, то есть и веса и активации и матричное умножение в bool. И это на гиперпараметрах (оптимайзер, lr, decay) таких же как BF16: гиперпараметры не надо тюнить отдельно.
Scaling laws. Затестили, что перформанс консистентен на моделях от 30M до 800M параметров. Квантизация дает очень предсказуемые изменения в лоссе и предсказуемо скалируется.
Код, текст. Статья доступна как преринт на arXiv. Код выложен на github: любой может воспроизвести претрены. Для этих экспериментов достаточно всего одной ноды с 8xH100!
Нынче выходит много работ по квантизации LLMок, но чтобы и веса, и активации и претрен - не так много.
Примеры реакции плазмодия на масштабное загрязнение США с эпицентрами на (a–c) АЭС Южного Техаса, (d–f) АЭС Вермонта и (g–l) АЭС Пало Верде.
взято из "Bioevaluation of World Transport Networks 2012"
Начинаем чтение What Is Entropy?, John C. Baez
Пока большие книги читаются и доклады готовятся, давайте прочитаем за 2-3 недели рассказ о том, что такое энтропия. Заявленная цель книжки посчитать энтропию водорода (23 бита на молекулу!) и впоследствии энтропию гармонического осциллятора. В процессе мы выделим 5 различных определений энтропии, разберём, как энтропия связана с вероятностью, внимательно посмотрим на энтропию Шеннона из теории информации, энтропию Гиббса из классической статистической механики и энтропию из классической термодинамики, попробуем поверить в принцип максимума энтропии. Изначально это была серия твитов, поэтому будет довольно интуитивное и пошаговое объяснение.
Встречаемся на нашем дискорд-сервере в пятницу, 7 февраля, 21:00 по Москве, прочитать до THE EQUIPARTITION THEOREM включительно.
Книга в первом комменте.
Сервер | Методы доступа в дискорд
Несколько статей про фракталы в искусстве и архитектуре (полистать картинки)
Fractal scaling and the aesthetics of trees (2024)
The Dual Language of Geometry in Gothic Architecture: The Symbolic Message of Euclidian Geometry versus the Visual Dialogue of Fractal Geometry (2016)
Frontier AI systems have surpassed the self-replicating red line
"... we for the first time discover that two AI systems driven by Meta’s Llama31-70B-Instruct and Alibaba’s Qwen25-72B-Instruct, popular large language models of less parameters and weaker capabilities, have already surpassed the self-replicating red line. In 50% and 90% experimental trials, they succeed in creating a live and separate copy of itself respectively."
Comparing cooperative geometric puzzle solving in ants versus humans
нужно еще людей из разных гаплогрупп сравнить по умению решать коллективно такие паззлы
Confronting risks of mirror life
Причина тряски — страх ученых перед синтетическими хирально зеркальными формами жизни
What is Entropy? (2024)
John C. Baez
arxiv.org/abs/2409.09232
Stereographic projection of the Stern–Brocot tree (с вложенным деревом примитивных пифагоровых троек)
https://richardt.io/stereo_stern/
у химиков есть свой абсолютно прекрасный мемный журнал "Journal of Immaterial Science", с первым официальным номером можно ознакомиться тут
публикуемся там
https://mespadoto.github.io/proj-quant-eval/post/projections/
зоопарк методов понижения размерности (содержательного там нет, только куча картинок)
Partial recovery of visual function in a blind patient after optogenetic therapy (2021)
Статья уже не новая, но я почему-то раньше не слышал про подобные технологии. Это направление оптогенетической терапии слепоты, вызванной дегенерацией сетчатки, например, при пигментном ретините – врожденном дегенеративном заболевании глаз, зачастую приводящем к полной слепоте. При пигментном ретините слой фоторецепторов деградирует и оптогенетическая терапия предлагает наделять светочувствительностью другие слои сетчатки: биполярные и ганглиозные клетки. В норме, свет просто проходит через них насквозь не вызывая никакой реакции, так как в этих слоях нет светочувствительных белковых рецепторов (есть исключения, например, RGCs) – опсинов – группа светочувствительных мембранных рецепторов, которая делится на два типа: опсины позвоночных и опсины прокариот. Однако, опсины можно интегрировать искусственно в мембрану клеток этих слоев сетчатки, тем самым частично восстановив светочувствительность пациентов. Сложностей много: как достичь достаточной рецепторной плотности, чтобы светочувствительность не была слишком низкой, ведь мембраны ганглиозных и биполярных клеток устроены иначе и не приспособлены к размещению на них фоторецепторов слой за слоем, аналогично с палочками и колбочками, как добиться равномерного встраивания в мембраны, а не простого накопления в цитозоле светочувствительных белков и так далее. В терапии уже 20+ лет пытаются использовать оба типа опсинов, подбирая оптимальный вариант: например, микробные имеют слишком малую светочувствительность, хотя и отличаются высокой скоростью реакции (миллисекунды), в то время как опсины позвоночных, например, родопсин человека, медленные (сотни миллисекунд) и не позволит воспринимать быстрые световые стимулы. В статье живому пациенту инфицировали аденовирусом с вектором опсина Хламидомонады (фотосинтезирующей водоросли) ганглиозный слой сетчатки одного из глаз и показали, что зрение частично восстановилось – вернулась светочувствительность. А ведь так можно здоровым людям вживлять дополнительные опсины, например, для чувствительности в ИК-диапазоне..
Emergence of fractal geometries in the evolution of a metabolic enzyme
Цитратсинтаза цианобактерии Synechococcus elongatus способна образовывать молекулярный треугольник Серпинского
про копролиты говорили, теперь время за установлением связи между массой тела и временем на мочеиспускание
https://www.pnas.org/doi/10.1073/pnas.1402289111
"we discover that all mammals above 3 kg in weight empty their bladders over nearly constant duration of 21 ± 13 s"
"The neuromorphic field has a rapidly changing landscape and we anticipate that there will be systems with more than 10 billion neurons available by 2026"
D. Kudithipudi et al., Neuromorphic computing at scale, Nature 637, 801–812 (2025)
Мозг чрезвычайно сложно устроен и мы судим о его активности по каким-то косвенным измерениям, которые не всегда надежны. После мы применяем какую-нибудь сложную статистику и сидим с важным видом. Но время от времени находятся смельчаки, которые решают напомнить нам об ограничениях этих методов с помощью абсурда
Скажем fMRI прекрасный метод но из-за шума и множественных сравнений можно найти какую-то активность у мертвого лосося в ответ на предъявление картинок
Или можно рассмотреть структуру тыквы
А что будет если записать ЭЭГ у арбуза или попробовать что-то декодировать из этих записей ? А может жахнуть по арбузу ТМС? Для таких безумных идей это дольно часто происходит
1, 2, 3, 4, 5, 6, 7
Но что если использовать предметы интерьера? Цветан Попов из University of Zurich на конференции cuttingeeg показал, что мы можем найти осцилляции записывая ЭЭГ у аквариума с рыбами (первое видео)
и у аквариума с червями (второе видео)
Может наша голова это просто тыква с червями внутри?
John von Neumann, finally, в 2024 у нас появилась правдоподобная модель хобота слона
Читать полностью…
Pasilalinic-sympathetic compass
The pasilalinic-sympathetic compass, also referred to as the snail telegraph, was a device built to test the hypothesis that snails create a permanent telepathic link when they mate. The device was developed by French occultist in the 1850s.
RE-Bench: Evaluating frontier AI R&D capabilities of language model agents against human experts
продолжая тренд, теперь человек vs LLM (человеку надо просто 4 часа на разогнаться и сделать кофе)
#Lean
Многие знают, что после успешно завершённого Liquid Tensor Experiment Кевин Баззард и команда отдохнули немного, и вновь взялись за работу. Они занимаются формализацией доказательства Великой теоремы Ферма.
В своём блоге Кевин рассказал об их продвижениях до сих пор. И это совершенно прекрасная история, написанная живым и слегка ироническим языком.
Кратко, его товарищи в процессе работы, прописывая основания кристальных когомологий, обнаружили, что оригинальное доказательство не компилируется. В нём нашлась неустранимая дыра: доказательство ссылается на статью N.Roby 1965 года, Лемма 8 из которой неверна. Что удивительно, N.Roby доказывает её, неправильно цитируя свою же статью 1963 года.
Кевин пишет, что для него в этот момент обрушилось всё доказательство; теорема Ферма стала вновь стала открытой проблемой. Но он знал, что раз теория кристальных когомологий используется последние пятьдесят лет, то она работает, и нужно лишь по-новому обосновать верное утверждение.
Кевин, чем писать электронные письма экспертам, выпил кофе с одним профессором, пообедал с другим, и в конце концов нашёлся текст Артура Огуса, который закрывал дыру, а сам Артур взялся закрывать известные ему дыры в этом своём тексте.
Кевин заключает замечанием о том, в каком хрупком состоянии находится современная математика, сколько критических деталей известны лишь специалистам и нигде толком не прописаны.
--------
Меня в этой истории вдохновляет, что к нам в математику как будто приходит живой трибунал, универсальный калькулятор истинности. Пока утверждение не компилируется Lean'ом, оно не считается доказанным.
Похожая история была в XIX веке: Вейерштрасс, Коши, Пеано, Гильберт, все занимались отделением математики от натурфилософии, постановкой её на формальные рельсы. Их критиковали за излишнюю строгость, за изгнание творчества из математики; но, как и в случае с Lean'ом, ответ есть лишь один: если мы занимаемся математикой, хотим быть уверенными в истинности утверждения, всегда иметь опору под ногами, иметь проверяемые универсальные результаты, нужно модернизировать наш средневековый цех всеми доступными современными технологиями. За Lean'ом будущее!
Обновляем зоопарк KAN архитектур за полгода, но нужен уже за ноябрь апдейт
A Survey on Kolmogorov-Arnold Network (2024)
Smooth-Minimum operator
https://iquilezles.org/articles/smin/
POWER-LAW DISTRIBUTIONS IN EMPIRICAL DATA (2009)
Достаточно эпичная и уже классическая работа от Ньюмана и коллег, которая посвящена низвержению множества результатов о выводе степенных законов на уровень простых стат.артефактов, в основном в области теории сетей. Основной вопрос статьи: как понять, когда действительно перед нами степенной закон в данных. Попытки высматривать степенной закон глазами на loglog плотах или даже фиттинг методом наименьших квадратов, в силу человеческой склонности обнаруживать закономерности даже там, где их нет, может приводить к ошибкам (и приводит). При этом, важно понимать, что само наблюдение степенной зависимости, даже если оно оказывается статистически значимым, в принципе мало что говорит о причинах, а громкие заглавия об универсальности вообще чистый маркетинг. Например, как было показано в статье "More "Normal'' Than Normal: Scaling Distributions and Complex Systems" , если взять множество независимых случайных величин x_i из распределений с тяжелыми хвостами, которые не обязательно должны быть распределены по степенному закону, но по центральной предельной теореме (ЦПТ), сумма этих случайных величин в общем случае будет распределена по степенному закону.
https://cosmograph.app/run/?data=https://cosmograph.app/data/each_10_txs_greater_5btc.csv&meta=https://cosmograph.app/data/common_spending_meta.csv
один день из жизни транзакций биткоина в рисовалке от cosmograph.app (работает прям в браузере, только загрузите список рёбер и рисуйте свои сети)
больше всего кластер коинмиксеров впечатляет
Вчера свершилось великое — наконец доделали мозг взрослой дрозофилы
“We observed 2,700,513 such connections between 134,181 identified neurons” — в 20 раз больше, чем у личинки дрозофилы, которую год назад выкладывали
Как сейчас часто бывает, статьи выходят пачкой, поэтому в том же номере Nature есть сразу же статья с анализом опубликованного коннектома:
"...we computed the prevalence of two- and three-node motifs, examined their strengths, related this information to both neurotransmitter composition and cell type annotations4,5, and compared these metrics with wiring diagrams of other animals. We found that the network of the fly brain displays rich-club organization, with a large population (30% of the connectome) of highly connected neurons. We identified subsets of rich-club neurons that may serve as integrators or broadcasters of signals. Finally, we examined subnetworks based on 78 anatomically defined brain regions or neuropils. These data products are shared within the FlyWire Codex and should serve as a foundation for models and experiments exploring the relationship between neural activity and anatomical structure."
А также статья с подробной клеточной аннотацией всех 140 000 нейронов
(картинка из статьи с анализом)