2884
Описание отсутствует
Топологические графовые нейронные сети TGNN - это обобщение классических GNN на случай, когда данные имеют богатую топологическую информацию. Такие сети обучаются аналогично GNN через message passing, но с учетом того, что данные могут содержать не только ребра и вершины, но и более высокоразмерные подструктуры, а отношения между подструктурами сложнее. Кратко упомянем основные типы архитектур TGNN:
1. Simplicial Complexes (SC) TGNN: в отличии от GNN допускается не только вершины и ребра, но и симплексы более высоких размерностей. Примеры архитектур: SNN, Hodge Laplacian, SCCONV.
2. Cellular Complexes (CC) TGNN: обобщение SC на случай, когда клетки не ограничиваются симплексами и могут содержать более 3-х узлов. За счет этих дополнений архитектура CC более выразительная. Примеры: CXNs, Cell attention networks
3. Hypergraphs: обобщение графов, которое позволяет соединять ребрами произвольные подмножства вершин. Более подробно про это написал Paul Snopov в посте о нашем с ним участии в ICML челендже, где мы реализовали архитектуры HyperSage и HyperGat.
4. Combinatorial complexes (CCCs): обобщают клеточные и гиперграфы, позволяют также реализовывать тип отношений часть-целое. Higher-Order Attention Networks (HOAN)
5*. Отдельно стоят Neural Sheaf Diffusion - GNN на основе клеточных пучков.
TGNN уже давно применяются для анализа молекул, социальных сетей, графов цитирования и для многих других задач, где просто GNN могут справляться не очень успешно из-за слабой выразительной силы. Более подробно это объясняется в "A Survey on The Expressive Power of Graph Neural Networks".
Готовые имплементации архитектур TGNN удобно представлены в фреймворке TopoModelX. А также недавно вышел тех-репорт по ICML 2023 Topological Deep Learning Challenge, в котором предлагалось сделать контрибьюшн в TopoModelX.
На кофейном столике Женевского университета нашел прикольную книгу: Do not erase. Сделана она так. На каждом развороте коротенькое интервью с математиком (почти все американские, кажется) слева, а справа — доска. Доски красивые, фото прикладываю.
UPD: в комментах книгу выложили целиком.
<< < Траектории катящихся тел > >>
Если взять маркер и положить на наклонную поверхность, он покатится прямо. Конус опишет полукруг. А вот теперь нарисуем произвольную периодическую кривую на наклонной плоскости, можно ли придумать тело, которое будет катиться именно по этой кривой? Да. Люди задались этим вопросом и статью в nature опубликовали (так что бывают там статьи по математике).
И вот видео прикольное, там всё объясняют:
https://www.youtube.com/watch?v=2lW9HznqsVY
В дополнение к истории про синхронизацию светлячков:
Spatio-temporal reconstruction of emergent flash synchronization in firefly swarms via stereoscopic 360-degree cameras
И разбор этого исследования синхронной активности светлячков на хабре
Люди: изобрели промт «думай пошагово», улучшили производительность LLM, горды собой
LLM: придумал для себя промт «глубоко вдохни и подумай», улучшил производительность еще сильнее, забыл сообщить об этом кожаным
В данной таблице приведены примеры промтов, которые LLM делают сами для себя и их сравнительная эффективность.
ГЭБ муравьев-плотников вырабатывает фермент Jhe, который разрушает гормон JH3, влияющий на поведение.
Вариации уровней этого фермента в ГЭБ приводят к тому, что муравьи берут на себя разные роли, например, собирателей или солдат.
Тот же механизм может применяться и у других видов: предварительные данные показывают, что клетки ГЭБ мышей также разрушают гормоны, включая тестостерон.
https://neurosciencenews.com/blood-brain-barrier-behavior-23893/
https://nicholas.carlini.com/writing/2022/paper-release-checklist.html
Читать полностью…
Применение GPT-2 для генерации элементов из пересечения нормальных замыканий: prompt и masking подходы
Applying language models to algebraic topology: generating simplicial cycles using multi-labeling in Wu's formula
Computing homotopy groups of spheres has long been a fundamental objective in algebraic topology. Various theoretical and algorithmic approaches have been developed to tackle this problem. In this paper we take a step towards the goal of comprehending the group-theoretic structure of the generators of these homotopy groups by leveraging the power of machine learning. Specifically, in the simplicial group setting of Wu's formula, we reformulate the problem of generating simplicial cycles as a problem of sampling from the intersection of algorithmic datasets related to Dyck languages. We present and evaluate language modelling approaches that employ multi-label information for input sequences, along with the necessary group-theoretic toolkit and non-neural baselines.
Consistency between ordering and clustering methods for graphs
"While similar characterizations of a dataset would be achieved by both clustering and ordering methods, the former has been studied much more actively than the latter, particularly for the data represented as graphs. This study fills this gap by investigating methodological relationships between several clustering and ordering methods, focusing on spectral techniques. Furthermore, we evaluate the resulting performance of the clustering and ordering methods. To this end, we propose a measure called the label continuity error, which generically quantifies the degree of consistency between a sequence and partition for a set of elements. Based on synthetic and real-world datasets, we evaluate the extents to which an ordering method identifies a module structure and a clustering method identifies a banded structure."
«I can tell you that there are no letters either from or to Pitt in the Russell Archives»
https://hsm.stackexchange.com/questions/7393/what-were-12-year-old-pitts-objections-to-principia-mathematica
Tessellations and Pattern Formation in Plant Growth and Development
"Cross-sections through the meristem reveal a pattern of polygonal tessellation that is suggestive of Voronoi diagrams derived from the centroids of cellular nuclei."
https://arxiv.org/abs/2308.10825v1
Algebraic Topology for Data Scientists
This book gives a thorough introduction to topological data analysis (TDA), the application of algebraic topology to data science. Algebraic topology is traditionally a very specialized field of math, and most mathematicians have never been exposed to it, let alone data scientists, computer scientists, and analysts. I have three goals in writing this book. The first is to bring people up to speed who are missing a lot of the necessary background. I will describe the topics in point-set topology, abstract algebra, and homology theory needed for a good understanding of TDA. The second is to explain TDA and some current applications and techniques. Finally, I would like to answer some questions about more advanced topics such as cohomology, homotopy, obstruction theory, and Steenrod squares, and what they can tell us about data. It is hoped that readers will acquire the tools to start to think about these topics and where they might fit in.
https://plus.maths.org/content/picking-holes-mathematics
two concrete examples of incompleteness by Harvey Friedman
То, что живой мозг шевелится, известно давно. В Токийском университете продвинулись дальше — впервые показали, что выпячивание дендритных шипиков механически запускает работу синапса. То есть нейроны общаются не только импульсами, но и касаниями, буквально.
Шевеление их отростков это не шум, а еще один способ передавать сигнал. Схема проста: набухающий шипик нажимает на пресинаптическй бутон (см. картинку), тот чувствует давление и высвобождает везикулы. Шипик разрастается минут на десять, затем “усыхает” обратно.
Авторы статьи в Nature считают, что у бутонов есть ‘осязание’, и на этом может строиться рабочая память и экзоцитоз, выделение веществ из клеток во внеклеточное пространство. Статья за пейволом, но кому интересно, ловите fulltext.
Подписчики сделали приложение, которое объединяет все статьи с arXiv, bioRxiv, chemRxiv и medRxiv в одном UI.
Потыкать тут: https://synthical.com/
Фичи:
- Similarity search поверх всех статей
- Рекомендации статей на основе истории чтения
- Упрощалка статей с использованием LLM
- Вкладка “trending” c популярными статьями
- Букмарки, комменты
- Можно создавать общие папки со статьями и шерить их со своей командой
- Хайлайты (которые тоже можно шерить)
Фичи из ближайшего будущего:
- Сравнение версий статьи
- Настройка в "упрощалке", чтобы регулировать степень упрощения
- Навигация по пунктам статьи менюшкой
- Адаптивная верстка статей (чтобы с телефона удобно было читать)
- Выводить крутые папки статей на главной
- В поиске побольше фильтров (в том числе поиск по годам)
- Раздел с вакансиями
Кстати, если надо открыть статью с архива, можно заменить в урле arxiv на synthical: https://synthical.com/abs/2308.02500
Расскажите, что вам нравится, чего не хватает, и чего ждете больше всего: @mixedenn
Продолжая тему "Животные и топология" обратимся к морским червям полихетам — каобангиям, которые образуют из своего кишечника подобие бутылки Клейна: "задняя часть тела каобангии вместе с анусом и пигидием прирастает к спинной части тела и затем, в ходе роста червя, сдвигаются к переднему концу – в результате образуется характерная кишечная петля".
Полная заметка, где этот факт был подмечен, тут (в очередной раз спасибо подписчикам за интересную факты; упоминаемый в тексте В.Н. Беклемишев с книгой «Сравнительной анатомии беспозвоночных» — это дед математика Л. Беклемишева)
в продолжение истории про миксин и узлы — классификация узлов из мурен (спасибо подписчикам)
A moray’s many knots: knot tying behaviour around bait in two species of Gymnothorax moray eel
кстати, на ютубе есть видео с одним из узлов
Do Machine Learning Models Memorize or Generalize?
"In 2021, researchers made a striking discovery while training a series of tiny models on toy tasks . They found a set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest"
Я завтра закончу этот сериал про землекопов, но сегодня не могу удержаться и не рассказать о невероятном новом открытии, которое сделали два бразильца в Австралии.
Неудивительно, что этот жук был открыт только в 21м веке. Дело в том, что на спинной поверхности его тела имеется нарост, который довольно подробно имитирует термита, больше самого жука по размеру. Поскольку живет он в термитнике, естественно, что ученые были слепы к его присутствию - как и сами термиты, которых этот новый жук, судя по всему, обкрадывает пользуясь невероятной мимикрией. Назвали Austrospirachtha carrijoi.
Надо сказать, что большинство термитов и так ничего не видят, в том числе и вот эти австралийские. Но у них хороший нюх и осязание. Похоже, что муляж, который вырос на спине у жуков, достаточен чтобы обмануть осязание. Авторы предполагают, что впридачу выделяются летучие молекулы, которые имитируют запах термита. Разглядите: найдите голову, ноги и антенны жука, потом двигайтесь взглядом назад, убедитесь что видите его желтое брюшко, а дальше просто: на спинной поверхности вперед торчит продолжение этого вот муляжа.
Это похоже на некоторые хэллоуинские костюмы, когда человек надевает на себя ростовую куклу, которая будто бы держит его собственную голову в руках, знаете?
Зачем все это нужно? Пока неясно, но напрашивается гипотеза о нахлебничестве. Термиты — крайне успешные собиратели калорий. Каста рабочих имеет обязанность: по первому требованию накормить представителей других каст, и вот, жуки этим видимо пользуются.
Про эффект ‘буба-кики’ (ассоциацию звуков с геометрической формой) вы наверняка знаете.
Оказывается, это не исключительно присущая людям и млекопитающим штука и кросс-модальная ассоциация есть и у других позвоночных.
Вот, черепашки при прослушивании высокочастотного звука шли открывать дверцу с прилепленным к ней маленьким диском, а дверцу с большим диском - в случае звука низкой частоты.
Так что такого рода кросс-модальная ассоциация эволюционно не сильно нова и есть и у рептилий 🐢
Crossmodal association between visual and acoustic cues in a tortoise (Testudo hermanni)
(в дополнение к вопросу выше: каскадные реакции усиливают кратно, в миллионы раз, действие единичных молекул на рецепторы. Т.е. в рассматриваемом случае образование одного комплекса молекулы адреналина с рецептором приводит к образованию десятков миллионов молекул глюкозо-1-фосфата, где на каждом шаге реакции число молекул увеличивается. Это необходимо, потому что рецепторов адреналина не так много на единичной клетке: при прямой реакции без промежуточных звеньев на выходе получалось бы слишком мало глюкозы из гликогена)
Читать полностью…
#tda#biotech#ml
Artificial intelligence-aided protein engineering: from topological data analysis to deep protein language models
Обзор методов, включающих TDA и NLP, применяемых в белковой инженерии
Воркшоп с крутыми лекциями вокруг проблемы distance matrix completion (вторая лекция от Чарльза Джонсона — формулировка проблемы)
http://www.fields.utoronto.ca/activities/20-21/constraint-distance
Мое вдохновение для выхода из сложных жизненных ситуаций - жук Regimbartia attenuata
Будучи проглоченным лягушкой, Реджи знает, что в конце тоннеля есть свет, к нему он и ползет (убедились, что он не по течению течет, а прям проактивно это делает, склеив нескольким жучкам лапки воском и отдав на съедение лягушкам; те не выползли).
*саундтрек из фильма «Миссия невыполнима* и видео мастер класс по вылезанию из клоак
Active escape of prey from predator vent via the digestive tract
Using topology to study the geometry of neural correlations
Abstract: Betti curves of symmetric matrices are a class of matrix invariants that depend only on the relative ordering of matrix entries. These invariants can be computed using persistent homology, and can be used to detect underlying structure in biological data that may otherwise be obscured by monotone nonlinearities. Here we review some previous applications of Betti curves to study hippocampal and olfactory data. We then show some new theorems that characterize Betti curves of rank 1 symmetric matrices, and illustrate how these Betti curve signatures arise in natural data obtained from calcium imaging of neural activity in zebrafish.
Evolution of a minimal cell
Even one of the simplest self-replicating organisms on the planet can adapt. During just 300 days of evolution in the lab, the generational equivalent of 40,000 human years, measly minimal cells regained all the fitness they had sacrificed
https://xenaproject.wordpress.com/2019/07/06/a-computer-generated-proof-that-nobody-understands/
"Very early on when I was reading about this formal proof verification game, I learnt about the Robbins Conjecture. Let me start this post with an overview of what this conjecture is, and how it was proved by a computer, and how the proof is easy for humans to understand. Then let me tell you about Bruck Loops, where the situation is quite different, and finally let me tell you about fancier mathematical objects and why things aren’t so easy in that case."
Смена парадигмы о взаимодействии нейронов через химические синапсы?
В прошлом месяце в журнале Neuron вышла обзорная статья "Synaptic and circuit functions of multi transmitter neurons in the mammalian brain" [1], которая, по-видимому, означает смену парадигмы о взаимодействии нейронов через химические синапсы - конец эпохи т.н. "принципа Дейла", на основе которого нейроны разделяли на возбуждающие и тормозящие, см. ниже. Соответственно, это так или иначе приведет к фундаментальному пересмотру всей области т.н. "нейронных вычислений".
Согласно эмпирическому принципу Дейла [2], все исходящие синапсы нейрона могут быть либо только возбуждающими (т.е. сигналы, поступающие через них на нейрон-получатель приводят к возрастанию его потенциала), либо только тормозящими (соответственно, сигналы к нейрону-получателю приводят к убыванию его потенциала). Поэтому можно ввести понятия возбуждающих и тормозящих нейронов. Общепринятая пропорция, используемая в теоретической/вычислительной нейронауке: биологическая нейронная сеть (точнее, нейросети коры и гиппокампа мозга млекопитающих) содержит 80% возбуждающих и 20% тормозящих нейронов [3-6], с погрешностью около 10%.
В статье [1] представлен достаточно обширный экспериментальный материал, согласно которому существуют мульти-трансмиттерные нейроны: их исходящие синапсы могут выделять более одного вида нейротрансмиттера, например, одновременно (в какой-то пропорции) выделять возбуждающий нейротрансмиттер (скажем, глутамат) и тормозящий (скажем, гамк). Насколько я понял, пока остаётся открытым вопрос может ли это быть на уровне одного синапса или же на уровне разных синапсов одного нейрона (в последнем случае, принцип Дейла не отменяется, а уточняется: каждый исходящий синапс нейрона может быть либо возбуждающим, либо тормозящим).
Так или иначе, тема обзора [1] (прикреплён) имеет исключительную важность для нейрофизиологии, поэтому рекомендую его прочитать и независимо критически оценить.
---
[1]: https://www.cell.com/neuron/fulltext/S0896-6273(23)00438-5
[2]: N.N. Osborne (Ed.), Dale’s Principle and Communication Between Neurones (Pergamon Press, England, 1983).
https://doi.org/10.1016/C2013-0-03680-8
[3]: P.L. Gabbott, P. Somogyi, Quantitative distribution of GABA-immunoreactive neurons in the visual cortex (area 17) of the cat, Exp. Brain Res. 61, 323-331 (1986). https://doi.org/10.1007/BF00239522
[4]: C. Beaulieu et al., Quantitative distribution of GABA-immunopositive and -immunonegative neurons and synapses in the monkey striate cortex (area 17), Cereb. Cortex. 2, 295-309 (1992). https://doi.org/10.1093/cercor/2.4.295
[5]: H. Markram et al., Interneurons of the neocortical inhibitory system, Nat. Rev. Neurosci. 5, 793807 (2004). https://doi.org/10.1038/nrn1519
[6]: A.J. Trevelyan et al., The role of inhibition in epileptic networks, J. Clin. Neurophysiol. 32, 227-234 (2015). https://doi.org/10.1097/WNP.0000000000000160
"A human neuron growing inside an organoid in a laboratory dish (at upper left) achieves only a fraction of the size and complexity of a neuron from an organoid transplanted into a rat’s brain (at right)."
Читать полностью…