980
На пальцах, местами с матом, местами с претензией на юмор, но познавательно.
Телега, конечно, охуела в край. На канале показывается реклама, за которую мне собственно ничего не перечисляется, а вам, поди, досаждает. При этом отключить ее нельзя вплоть до 50 уровня по бустам.
Читать полностью…
Linkedin или Interpol?
https://interpol.thebrainfox.com/
Vikhr Borealis - первая русскоязычная открытая audio llm
Мы долго и не очень успешно развивали свой tts - Salt, от него исторически осталось довольно много данных и наработок, мы решили - чо бы не сварить asr + llm как модно?
Ну и сварили. Архитектурно - whisper + qwen, учили на 7к часов аудио только адаптер+llm, сейчас работает только в ASR режиме, позже возможно довезем инструктивный режим. Так же выйдет бенчмарк для русского asr, он пока в доработке.
Блог так же выйдет, там будут небольшие аблейшены по данным
Модель в данный момент бьет whisperы на русском и на части бенчей лучше чем gigam.
Модель
Сolab поиграться
Оказывается, нихера не новости . Thnx @andrey_bobr
Читать полностью…
Идея простая, а как круто смотрится! Интересно, как бы это на практике применить. Error correction?
Читать полностью…
SpikingBrain
Все привыкли, что современные нейронки это прожорливые цифровые монстры. Чтобы обучить одну, нужно спалить годовой бюджет маленькой страны на электричество. А стоит загрузить ей что-то длиннее короткой инструкции, она тут же теряется и тупит.
Китайские братушки придумали как это непотребство побороть. Идея проста: зачем заставлять всю систему работать на 100% мощности 24/7, если можно просто... не заставлять? Человеческий мозг работает по принципу "нет задачи — я сплю". Нейроны стреляют импульсами ("спайками") только по делу. SpikingBrain делает то же самое: вместо постоянного гула вычислений используются короткие "выстрелы" там, где реально нужно.
Результаты, вроде как, хорошие:
Обучение на минималках. Модель натаскали всего на ~2% от данных, которые нужны привычным нам трансформерам.
Скорость. В тестах на длинный текст (до 4 млн токенов) SpikingBrain оказался в 100 раз быстрее.
Энергоэффективность. Экономия по сравнению с обычными методами — до 70%.
Но как обычно, не без ложки дёгтя:
— Самая быстрая и экономная версия (SpikingBrain-7B) работает почти на уровне обычной модели, но всё же теряет в качестве. Хороший "хорошист", но не отличник.
— Чтобы дотянуться до топ-результатов, пришлось собрать гибрид из линейного, локального и обычного внимания, да ещё нашпиговать все это Mixture-of-Experts. Так появился монстр SpikingBrain-76B. Он умнее, но куда сложнее и прожорливее.
— И вообще, пока это экспериментальная технология: вся магия со "спайками" по-настоящему раскроется только на специальных чипах, которых у нас пока нет.
Есть шанс, что на фоне дефицита энергии и подорожания железа именно такие подходы и выживут. Не дата-центры размером с город, а модели, которые учатся экономить. И тогда ИИ наконец перестанет делать вид, что он умнее мозга, и начнёт хотя бы его копировать. А там и до AGI недалеко: сначала модельки научатся «лениться правильно», а потом и думать осмысленно.
тут статья
Подборка шикарных интерактивных (и не очень) ресурсов для изучения CUDA. Отличный рефрешер.
* https://leetgpu.com/ - Challenges, Playground, CLI, Learning Resources. Как leetcode, только про CUDA.
* https://www.cuda.sh/ - то же что и выше, но попроще в исполнении
* https://developer.nvidia.com/tools-overview - обзор доступных инструментов от NVidia
* Crash Video-Course от NVidia
* Crash Video-Course от freeCodeCamp.org
@toshoseti
Включаешь газ и закрываешь окно
🤖 XLeRobot — домашний робот за $660, который управляется с геймпада Xbox.
XLeRobot — это открытый проект, который позволяет собрать настоящего двухрукого мобильного робота своими руками.
Автор — студент Rice University Gaotian Wang, в проектеон сделал упор на доступность и практичность.
💡 Основное:
- Цена сборки ≈ $660 — полноценный робот с двумя руками и колесной базой.
- Можно собрать упрощённую версия за $250 на базе LeKiwi + SO-100, которая собирается быстрее.
- В комплекте: URDF-модели, симуляция, управление через VR, Joy-Con или Xbox-геймпад.
- Подходит для экспериментов в симуляции и переноса в реальный мир (**Sim2Real**).
взаимодействия с окружающей средой.
📈 Популярность: проект уже собрал 1.7k+ звёзд и десятки форков на GitHub.
XLeRobot — это недорогая и открытая платформа для тех, кто хочет попробовать себя в робототехнике, исследовать управление, симуляцию и AI-алгоритмы на реальном роботе.
🟢Репозиторий: github.com/Vector-Wangel/XLeRobot
@ai_machinelearning_big_data
#robotics #opensource #AI
Прошел год с тех пор как я вам обещал тетрадку по Rectified Flow Matching.
Сама тетрадка составлялась пару вечеров спустя предложение в канале.
В общем, надеюсь оно стоило ожидания,
GitHub
@toshoseti
Подсказка: это id токенов
Подсказка 2: это o200k
Решение: https://listenlabs.ai/puzzle
@toshoseti
Концепция и прототип дрона-гибрида с 6 степенями свободы перемещения и способностью катиться по поверхности.
https://www.youtube.com/shorts/K5Q14t1uAS8?feature=share
@toshoseti
Эта же модель с одного промпта, wtf вообще, пошел записываться в бету
Ссылка на мир
Навайбкодил тут Папафон за ночерок
https://github.com/KPEKEP/Papaphone
Делал, чтоб созваниваться с родными без сопутствующих проблем. Может кому пригодится.
TL;DR:
Звонилка без сервера, видео, аудио, чат, file transfer.
Принцип работы:
- Прямое соединение: Приложение устанавливает прямое peer-to-peer соединение между браузерами без промежуточных серверов
- Ручной обмен данными: Пользователи копируют и вставляют специальные коды (предложения и ответы) для установки соединения
- Полное шифрование: Все видео, аудио и сообщения передаются в зашифрованном виде через WebRTC
- Никаких серверов: После установки соединения весь трафик идет напрямую между устройствами. Хостинг веб морды и STUN сервера для NAT resolve не в счет и можно поменять вручную на любые другие общедоступные .
@toshoseti
И чтоб два раза не вставать, зацените https://distill.pub/
Сайт посвящен наглядному изображению различных механизмов нейросетей и открытых проблем связанных с их исследованием. Ключевое слово: наглядно.
@toshoseti
⚡️ Александр Мордвинцев, исследователь из Google, создал цифровые системы на основе клеточных автоматов, где каждая клетка взаимодействует только со своими соседями.
Эти нейронные клеточные автоматы (Neural Cellular Automata) способны самособираться в заданные формы и даже восстанавливаться после повреждений.
В *Quanta Magazine* рассказали о том, как учёные научились обучать искусственные "клетки" собираться в заданные формы. Это похоже на игру «Жизнь» (*Game of Life*), но наоборот.
🧩 Что такое Game of Life?
Это простая компьютерная модель: есть сетка из клеток, у каждой клетки всего два состояния — «жива» или «мертва». Жизнь клетки зависит от соседей (например, если вокруг слишком много соседей, клетка умирает).
Обычно мы задаём правила и просто смотрим, что получится.
А теперь учёные сделали наоборот: сначала задаём цель (например, фигуру), а потом подбираем правила так, чтобы клетки сами в неё собрались.
⚙️ Что изменили учёные?
1. Непрерывные состояния - клетка не просто «вкл/выкл», а может быть наполовину активна. Это как лампочка с плавным регулятором яркости.
2. Скрытые переменные - у каждой клетки есть «внутренние параметры», которые влияют на её поведение. Представь, что у клетки есть «настроение» или «память», которое не видно исследователю напрямую.
3. Асинхронное обновление — клетки меняются в случайное время, а не все сразу. Это ближе к реальной жизни, где всё развивается не идеально синхронно.
💡 Зачем это нужно?
- Восстановление после повреждений: если часть фигуры «сломать», клетки могут достроить её заново.
- Децентрализация: нет главного управляющего - каждая клетка действует локально, но вместе они формируют систему.
- Устойчивость к шуму: клетки учатся справляться с хаосом и случайностями, а не просто повторяют выученный рисунок.
🟠Какие есть ограничения?
- Пока это работает для картинок и форм, но не для сложных живых организмов.
- Чтобы система умела «регенерировать», её нужно специально тренировать.
- Перенести эту идею в настоящие биологические клетки или роботов сложно — там много физических ограничений.
🟠 Где это можно применить?
- Медицина - модели самовосстановления тканей.
- Робототехника - рой роботов, которые без команды сверху сами собираются в нужную конструкцию.
- Материалы будущего — «умные» кирпичики или детали, которые сами подстраиваются под окружение.
- Новые вычислительные системы - компьютеры без центрального процессора, где решения рождаются распределённо.
Учёные показали, что нейронные клеточные автоматы можно рассматривать как модель эволюции: геном не задаёт форму напрямую, а запускает процесс её построения, что делает системы гибкими и адаптивными.
Главное отличие от природы в том, что эволюция не имеет цели, а автоматы обучают под задачу.
Эти модели предлагают новый тип вычислений: каждая клетка взаимодействует только с соседями, что делает архитектуру распределённой и потенциально энергоэффективной.
Уже есть впечатляющие результаты — от распознавания цифр и умножения матриц до решения задач вроде IQ-тестов и управления роями роботов, которые начинают вести себя как единый организм.
В итоге работы Мордвинцева соединяют биологию, компьютеры и робототехнику, возвращая к идее, что жизнь и вычисления — две стороны одного процесса.
🟢 Полная статья: https://www.quantamagazine.org/self-assembly-gets-automated-in-reverse-of-game-of-life-20250910/
@ai_machinelearning_big_data
#evolution #machinelearning #neuralnetworks #biology
Пока что просто феерверки.
https://www.youtube.com/shorts/M5O6l43SY3g?feature=share
https://scholar-inbox.com/ тоже удобная штука, если обучить ее под свои предпочтения
Читать полностью…
Для тех, кто тоже огорчен закрытием paperswithcode - вот неплохие альтернативы:
https://sotapapers.com/
http://scholarwiki.ai/
@toshoseti
Я обычно не лезу в политику, и прочий rage bait, но как отец я не могу не прореагировать. Пожалуйста, предупредите ваших детей и детей ваших близких о возможных последствиях.
Извините за оффтоп, но это за гранью добра и зла.
А еще у меня прекрасная новость: я теперь работаю в Tzafon.ai , чему очень рад :)
Читать полностью…
SGR Deep Research: как из чёрного ящика агентов сделать прозрачную и надёжную систему
Сегодня у нас на повестке дня крайне интересный инженерный проект от наших соседей по тг. Но начнем с конца.
Все мы примерно представляем, как работает вызов инструментов у агентов. LLM сам решает, какие Tools вызывать, в какой последовательности и зачем. Модель адаптируется к результатам, может прерывать выполнение – в общем, полноценная автономия.
Звучит красиво и работает, но в прикладном продакшене у такого подхода есть обратная сторона:
– мониторинг и логирование практически невозможны – цепочка вызовов превращается в чёрный ящик,
– сложно отлаживать и объяснять решения модели,
– A/B-тестирование и контроль качества превращаются в боль.
Именно здесь появляется альтернатива – Schema-Guided Reasoning (SGR). О самой подобной идее много кто уже где-то так или иначе упоминал даже в крупных стартапах, но, что примечательно, впервые end-to-end ее описал и формализовал автор канала "LLM под капотом" (@llm_under_hood) Ринат Абдулин. Вот дока.
Основная концепция: вместо того, чтобы давать модели полную свободу, мы описываем чёткую схему рассуждений в виде структурированного вывода.
Один запрос – один прозрачный reasoning-пайплайн: Анализ → Поиск → Обработка → Вывод.
От агентов тут остается гибкость, но в то же время такой подход даёт контроль и предсказуемость: можно логировать каждый шаг, тестировать их по отдельности и быстро находить слабые места.
Звучит интересно, правда? Да. Выглядит, как подход, который теоретически может подвинуть классические agent-фреймворки, если речь идёт о продакшене и задачах бизнеса. Прозрачность и контролируемость тут не просто nice-to-have, а буквально вопрос выживания продукта.
А еще это настоящий качественный скачок для маленьких моделей, которые плохи в вызове инструментов сами по себе. Например, Qwen3-4B показывает на Function Calling низкие 2%, а с SGR выдает стабильные 85-90%! Таким образом, целый огромный класс моделей, которые до этого для не подходили для агентных задач, теперь становятся для них открытыми. Это ключевое открытие.
Ну так вот. На основе описанной Ринатом техники другой наш друг, Валера с канала @neuraldeep, уже собрал полноценный опенсорсный production-ready проект SGR Deep Research. О Валере и его предыдущих проектах мы писали вот тут – почитайте.
Его SGR Deep Research – это система для многошагового поиска и анализа информации в интернете. Реализовано:
➖ Вызов инструментов по схеме Schema-Guided Reasoning. Причем подход гибридный, с двухфазной архитектурой: принудительное структурированное рассуждение (JSON Schema) + детерминированное выполнение. Это позволяет даже 4B моделям проявлять агентные свойства, недоступные через классический Function Calling.
➖ Прозрачное логирование на каждом шаге: от уточнения запроса и генерации плана до веб-поиска, анализа и финального отчёта, все трекается.
➖ Работа на легких моделях вроде gpt-4o-mini и qwen instruct от 4b до 32b (+можно подключать свои).
➖ OpenAI-совместимый API с персистентными агентами: каждый агент получает уникальный ID для продолжения исследования.
Где это лучше, чем полноценный агентный Tools? Там, где важна прозрачность + работа с малыми моделями. Например: работа с документами, корпоративные исследования, факт-чекинг, call-центры. Плюс – возможность запускать агентов на потребительском железе вместо дорогих API.
Сейчас ребята активно развивают проект, экспериментируют с гибридными схемами и приглашают сообщество подключаться.
– Если есть идеи – обязательно идите с ними к Валере.
– Если хотите попробовать – на гитхабе найдете подробнейший гайд по использованию.
– И, конечно, давайте ставить ребятам звездочки на проект. Он в своем роде уникальный, так что надо продвигать силами комьюнити.
Еще раз:
Ссылка на проект
Ссылка на канал Рината – автора идеи
Ссылка на канал Валеры – автора кода (здесь можно следить на развитием проекта)
🦾 Вопрос только один: что вы сделаете, если встретите его на улице?
@ai_machinelearning_big_data
#UnitreeG1 #robots #ai
📌Как заставить нейросеть забыть данные, к которым больше нет доступа.
Представьте, что вам прилетает требование на удаление данных в соответствии с GDPR или по авторскому праву, а исходного датасета, на котором обучалась модель, у вас уже нет. Переобучить модель с нуля - долго, дорого и не вариант.
Именно для таких безвыходных ситуаций, группа исследователей из Калифорнийского университета создала метод "разучивания" для моделей, который не требует доступа к исходным данным, но при этом дает строгие математические гарантии удаления информации.
Метод построен на использовании суррогатного датасета, который лишь статистически похож на оригинальный. Ключевая идея - калибровка добавляемого в модель шума, количество которого напрямую зависит от статистической дистанции (например, дивергенции Кульбака-Лейблера) между оригинальным и суррогатным распределениями.
Если коротко, то чем меньше суррогатный набор данных похож на тот, что был утерян, тем больше шума придется добавить, чтобы гарантировать, что модель действительно забыла ненужные данные и стала неотличима от гипотетически переобученной с нуля.
🟡А как измерить эту дистанцию без доступа к оригиналу?
Для этого используется сама модель, ведь она неявно хранит информацию о распределении данных, на которых училась. С помощью метода стохастической градиентной динамики Ланжевена генерируется выборка, которая аппроксимирует исходное распределение, и уже на ее основе можно оценить расхождение с суррогатным датасетом.
🟡Тесты и их результаты.
На синтетических данных, где можно вычислить точную KL-дивергенцию, их метод, "Unlearn -", показал себя отлично. При увеличении расхождения между датасетами точность на тесте держится на уровне 72.3-72.7%, что сопоставимо с методом, имеющим доступ к исходникам "Unlearn +".
На реальных датасетах картина такая же. Для CIFAR-10, при параметре концентрации Дирихле=36, метод "Unlearn -" достигает 76.4% точности на тестовой выборке. Для сравнения, "Unlearn +" показал 76.5%, а полное переобучение - 76.7%. Разница минимальна.
Эффективность метода доказывает и метрика Forget Score (FS), которая показывает, насколько разучившаяся модель близка к переобученной с нуля. FS их метода практически идентичен идеальному показателю.
Гибкость подхода проверили и на разных архитектурах. На CIFAR-10 с моделью из двух свёрточных слоёв и одного линейного метод показал 80.5% точности на тесте, а версия с доступом к данным - 81.4%.
В эксперименте, где для модели на датасете USPS в качестве суррогата использовался MNIST, "Unlearn -" достиг 90.4% точности, что совсем немного уступает 91.3% у "Unlearn +" и 91.1% у полного переобучения
🟡Arxiv
@ai_machinelearning_big_data
#AI #ML #LLM #Unlearning #UCR
Elastic locomotion со смешанной дифференциацией второго порядка
Применение:
Locomotion animation, Soft-body robotics, Soft-body IK
Demo: https://www.youtube.com/watch?v=EEvewoxv0TA
Paper: https://arxiv.org/pdf/2405.14595
Author: https://yangzzzy.github.io/
@toshoseti