18194
Все о машинном обучении админ - @workakkk @data_analysis_ml - анализ даннных @ai_machinelearning_big_data - Machine learning @itchannels_telegram -лучшие ит-каналы @pythonl - Python @pythonlbooks- python 📚 @datascienceiot - 📚 РКН: clck.ru/3FmrUw
📌 LiDAR: глаза беспилотников.
Лонгрид материала от Main Street Autonomy, о том, как лидары видят мир, почему они прожигают камеры смартфонов и где маркетологи нас обманывают.
🟡Что делает LiDAR?
В отличие от обычной камеры, которая фиксирует интенсивность света, лидар - это активный сенсор. Он отправляет свет и ловит его отражение. Его цель - измерить расстояние и направление.
В результате получается облако точек, где каждая точка - это точное положение объекта в пространстве. Камеры дают разрешение и цвет, а лидары - точную геометрию.
🟡Методы измерения дальности.
Самый популярный - Direct time of flight. Лидар посылает лазерный импульс и засекает время, за которое он вернется. Зная скорость света, можно посчитать расстояние. Но чтобы это работало, нужны невероятно быстрые детекторы.
🟡Детекторы.
APD - это лавинные фотодиоды. Они надежны, работают в линейном режиме, но требуют сложной аналоговой электроники.
А вот SPAD - однофотонные лавинные диоды, это настоящий бриллиант. Они настолько чувствительны, что реагируют на единственный фотон, работая в режиме счетчика Гейгера.
Главный плюс SPAD в том, что они совместимы с CMOS-процессом. Это значит, что их можно делать на тех же кремниевых пластинах, что и процессоры, создавая огромные массивы - их называют SPAD macropixels. Это путь компаний Ouster и Sony.
Но есть и другой путь - FMCW, или частотно-модулированный лидар. Здесь лазер светит постоянно, меняя частоту, а расстояние вычисляется по сдвигу фазы вернувшегося сигнала.
С FMCW можно измерять не только дальность, но и мгновенную скорость объекта через эффект Доплера. Звучит круто, но требует дорогих лазеров.
🟡Как LiDAR понимает, куда он смотрит?
Исторически, первым решением было просто вращать весь лидар. Старые модели на крышах машин - те самые «ведра», которые крутятся на 360 градусов. Это надежно, дает полный обзор, но механически сложно и дорого.
Современный тренд - уход от вращения всей «головы» к более хитрым методам.
MEMS mirror. Это крошечные зеркала на чипе, которые вибрируют и отклоняют луч.
Risley prisms. Две вращающиеся призмы, преломляющие луч так, что он рисует сложный узор, похожий на цветок.
Есть совсем футуристичный Baraja SpectrumScan. Они вообще отказались от движущихся зеркал в одной из плоскостей. Они меняют длину волны лазера, пропуская свет через призму. Разные цвета преломляются под разным углом и луч сканирует пространство просто за счет изменения цвета. Гениально, но требует очень качественного источника света.
🟡Длина волны.
Большинство лидаров работают на длине волны 905 nm. Но есть проблема: человеческий глаз фокусирует этот свет на сетчатке. Если поднять мощность, можно буквально выжечь человеку глаз. Поэтому мощность таких лидаров жестко ограничена.
1550 nm. Этот свет поглощается жидкостью в глазу и не доходит до сетчатки. И мощность можно поднимать в тысячи раз, что дает огромную дальность обнаружения.
Но для детекторов на этой частоте нужен дорогой сплав InGaAs, а в качестве источника часто используют волоконные лазеры.
И тут есть нюанс: мощный лазер 1550 nm безопасен для сетчатки, но может повредить роговицу нагревом. Более того, такие мощные лидары сжигают матрицы обычных камер и смартфонов, если те окажутся на "линии огня".
🟡Суровые реалии эксплуатации.
Многие лидары врут. Одна из частых проблем - рассинхрон углов лучей. Даже в знаменитом датасете KITTI находили ошибки калибровки, из-за чего плоские стены становились кривыми.
Еще одна беда - «блюминг». Если лазер попадает в дорожный знак или катафот, отраженный сигнал настолько силен, что засвечивает соседние пиксели. Лидар видит призрачные объекты там, где их нет.
🟡И напоследок, про один маркетинговый миф.
Есть такой термин - "Solid State LiDAR". Производители любят называть так свои устройства, чтобы подчеркнуть надежность.
Но часто это не так. Они выглядят как цельные коробки, но внутри у них есть движущиеся части: зеркала или призмы.
Настоящий Solid State - это когда вообще ничего не движется, даже внутри. Это то, к чему стремится индустрия. Но пока механика все еще с нами.
🚀 AWS представила новое поколение AI-инструментов: Amazon Nova 2 и Agentic-AI
✔️ Nova 2 - семейство мощных моделей для текста, изображений, видео и мультимодальных задач
✔️ Nova Act - AI-агенты, которые могут работать в браузере: кликать, заполнять формы, навигироваться по UI
✔️ Nova Forge — сервис для создания собственных моделей на базе Nova: пред-тренировка, дообучение, кастомизация
Почему это важно
- Универсальность: от чат-ботов до анализа видео и документов
- Автоматизация: агенты заменяют рутинные действия и ручные процессы
- Кастомизация: компании могут строить модели под свои данные
- Оптимальная цена-производительность: конкурент на рынке крупных моделей
#AI #AWS #AmazonNova #GenerativeAI #AgenticAI #Automation
https://www.aboutamazon.com/news/aws/aws-agentic-ai-amazon-bedrock-nova-models
🌟 Теперь поговорим подобнее про Kimina-Prover-72B:
Это модель, которая не просто доказывает теоремы, а учится на своих ошибках.
Kimina-Prover-72B создана на базе Qwen2.5-72B, которая бьет рекорды в формальной математике на Lean 4 и ее облегченные версии 8 и 1,7 миллиарда параметров.
Numina - это некоммерческая научная коллаборация, ориентированная на развитие ИИ в области математики. Ее миссия: создание и публикация обширных баз данных математических задач, разработку open-source ИИ-решателя для их обработки и инструментов для поддержки совместной работы людей и ИИ в фундаментальных науках.
✨ Google представили GenAI Processors — open-source библиотеку для создания AI-приложений в реальном времени
GenAI Processors — это новый инструмент от команды Google DeepMind, разработанный для быстрой сборки потоковых и мультимодальных AI‑систем. Библиотека обеспечивает удобную работу с цепочками обработки данных, модульную архитектуру и поддержку стриминга.
Основные возможности:
— Потоковый ввод/вывод (stream-based I/O)
— Простая сборка пайплайнов через chaining
— Модульность и переиспользуемость (composability)
— Поддержка Gemini и Gemini Live API
— Асинхронная архитектура с минимальной задержкой
🔧 GenAI Processors позволяет разработчикам легко собирать голосовых агентов, мультимодальные интерфейсы и реактивные приложения на базе LLM.
🔗 GitHub: https://github.com/google-gemini/genai-processors
📖 Блог: https://developers.googleblog.com/en/genai-processors
✔️ NovelAI выложила в открытый доступ веса своей модели Diffusion Anime V2.
Модель генерации изображений в стиле аниме основана на Stable Diffusion 1.5, генерирует в разрешении до 1024x1024 пикселей и использует предпоследний слой энкодера CLIP.
Diffusion Anime V2 распространяется под двойной лицензией, которая допускает только некоммерческое использование с обязательным указанием авторства. NovelAI напоминает, что V2 является устаревшей версией, а все новые модели остаются проприетарными и эксклюзивными для их веб-сервиса. Веса Diffusion Anime V2 доступны на Hugging Face.
blog.novelai.net
Магистратура по Data Science от Авито и ФКН ВШЭ — осваивайте современные навыки в ML вместе с экспертами топового вуза и лидерами рынка цифровых продуктов.
Получите шанс занять одно из 30 бюджетных мест и построить уникальный образовательный трек — будут актуальные дисциплины по выбору и возможность пройти оплачиваемую стажировку в Авито уже во время учёбы!
🩺 II-Medical-32B-Preview - новый мощный медецинский LLm
🏆 90% на MedQA | 71.5% средний результат
(для сравнения: студенты-медики ~60%)
💻 Открытый, код и датасеты
🚀 Работает на одном GPU
+ Внутри 3 датасета:
II-Medical-SFT, II-Medical-RL, ChatDoctor-RL
https://huggingface.co/Intelligent-Internet/II-Medical-32B-Preview
🧠 ChatGPT поставил диагноз, который не могли найти врачи за 10 лет
На Reddit набирает популярность история пользователя, который десятилетие мучился от странных симптомов. Он проходил МРТ, КТ, сдавал десятки анализов — врачи проверяли его даже на рассеянный склероз и болезнь Лайма. Но точного диагноза так и не было.
В отчаянии он решил попробовать ChatGPT: загрузил свои медицинские данные и попросил ИИ проанализировать всё.
🔍 Ответ оказался неожиданным: ChatGPT предположил редкую мутацию гена MTHFR, нарушающую усвоение витамина B12. Врач подтвердил диагноз — и лечение оказалось простым: нужно было лишь поднять уровень B12 в организме.
> «Прошло несколько месяцев, и мои симптомы почти исчезли», — пишет он.
💬 Самое интересное — он оказался не один. В комментариях десятки пользователей рассказали похожие истории: ИИ помогал находить редкие болезни, давал новые идеи, которые врачи упускали.
⚠️ Конечно, ChatGPT — не замена врачу. Но как второй взгляд, особенно когда традиционная медицина бессильна — он может реально помочь.
📌 Источник
🤔 А ты бы доверил свой диагноз ИИ?
👾 GREMLLM — теперь у ваших багов есть сознание
GREMLLM — это необычный Python-класс, в котором все методы и свойства создаются динамически с помощью LLM. Вы описываете, *что за объект вы хотите*, и дальше GREMLLM сам решает, что должно происходить при вызове методов или обращении к полям.
📦 Установка:
pip install gremllm
from gremllm import Gremllm
counter = Gremllm('counter')
counter.value = 5
counter.increment()
print(counter.value) # → 6?
print(counter.to_roman_numerals()) # → VI?
🔐 FATE — промышленный фреймворк для федеративного обучения. Этот проект под эгидой Linux Foundation позволяет компаниям совместно обучать ML-модели, не объединяя исходные данные. В основе — комбинация гомоморфного шифрования и MPC-протоколов, обеспечивающие безопасность на уровне промышленных стандартов.
Фреймворк обладает большим разнообразием сценариев: от классических алгоритмов вроде логистической регрессии до трансферного обучения и работы с LLM. Модульная архитектура делает решение гибким для разных инфраструктур.
🤖 GitHub
@machinelearning_ru
Wondera AI ии, который генерирует полноценные треки за минуту и заметно обходит конкурентов по качеству.
Вы можете создавать, редактировать и выпускать музыку бесплатно, а нейронка подскажет, как лучше составить промт для трека.
Пользуемся тут.
DeepSWE 🤖 — полностью открытый SOTA-агент для кодинга на базе Qwen3-32B
- Обучен исключительно с помощью RL через фреймворк rLLM
- Результат 59% на SWEBench-Verified с тест-тайм масштабированием (42.2% Pass@1) — лидер среди моделей с открытыми весами
- В открытом доступе: модель, код rLLM, датасет R2EGym и рецепты обучения для полной воспроизводимости
🤗 Model: https://huggingface.co/agentica-org/DeepSWE-Preview
📄 DeepSWE blog: https://pretty-radio-b75.notion.site/DeepSWE-Training-a-Fully-Open-sourced-State-of-the-Art[%E2%80%A6]-by-Scaling-RL-22281902c1468193aabbe9a8c59bbe33
📄 rLLM blog:
https://pretty-radio-b75.notion.site/rLLM-A-Framework-for-Post-Training-Language-Agents-21b81902c146819db63cd98a54ba5f31
💻 Github (rLLM): https://github.com/agentica-project/rllm
NVIDIA NeMo Retriever занял первое место на huggingface ViDoRe: The Visual Document Retrieval Benchmark!
“llama-nemoretriever-colembed-3b-v1” стал топ-моделью, дообученной для сопоставления текстовых и визуальных запросов с документами.
• 🔎 Извлечение данных из PDF в 15× быстрее аналогов
• 📊 Точность на 50% выше
• 💾 Эффективность хранения на 35× лучше
Идеально подходит для мультимодальных RAG-систем с текстом, графиками, таблицами и инфографикой.
Модель выдаёт ColBERT-style мультивекторные представления запросов и документов.
https://huggingface.co/spaces/vidore/vidore-leaderboard
🖥 Создание Telegram‑бота‑репетитора на Python для подготовки к сертификациям 🎓
В этом гайде мы создадим Telegram-бота-репетитора на Python, который проводит адаптивные мини-экзамены по темам Python, Data Science, AI и ML.
Бот сохраняет результаты в SQLite и даёт рекомендации по обучению.
Развернём его в облаке immers.cloud — сервисе с GPU-серверами для задач от 3D и гейминга до машинного обучения и генерации контента.
Почему мы выбрали immers.cloud:
- Быстрый старт: нужный сервер поднимается за пару минут.
- Посекундная тарификация — платишь только за время работы сервера
- Большой ассортимент GPU: 11 моделей NVIDIA RTX и Tesla, включая высокопроизводительные модели, H100 (мой фаворит) и A100 с 80 ГБ видеопамяти с поддержкой GPUDirect и NVLink технологий.
- Образы с предустановленным окружением для ML задач, чтобы не тратить время на настройку.
- Поддержка 24/7 и стабильная производительность
🔍 Что делает бот:
- Проводит адаптивные мини‑экзамены по темам: Python, Data Science, AI, ML.
- Подстраивает уровень сложности вопросов под уровень пользователя.
- Сохраняет и анализирует результаты обучения.
🛠️ Технологии и подход:
- Написано на Python с использованием библиотеки для Telegram‑ботов.
- Используется БД для хранения прогресса и статистики.
- Простой архитектурный шаблон: команда → вопрос → ответ → оценка.
🚀 Цели проекта:
- Практическая подготовка к IT‑сертификациям.
- Обратная связь и отслеживание прогресса.
- Возможность добавить новые темы и адаптивную логику.
📌 Кому будет полезен:
- Тем, кто готовится к сертификациям (например, Python, ML).
- Тем, кто хочет автоматизировать обучение через чат.
- Программистам, желающим усилить навыки работы с Telegram‑ботами.
📌 Подробнее
📸 Unsplash Dataset — уникальная коллекция данных для исследований в области компьютерного зрения и машинного обучения. Включает два варианта:
— Lite (25k фото + 1M поисковых запросов) доступен для коммерческого использования
— Full (6.5M+ фото + 160M запросов) доступен только для некоммерческих целей
Данные собирались с платформы Unsplash, где фотографы со всего мира загружают изображения по свободной лицензии. Набор особенно ценен разнообразием контекстов — от пейзажей до абстрактных композиций.
🤖 GitHub
@machinelearning_ru
🧠 AgentEvolver: Эффективная система саморазвивающихся агентов
AgentEvolver — это комплексная платформа для самообучения агентов, объединяющая механизмы самовопроса, самонавигации и самоатрибуции. Она позволяет агентам автономно улучшать свои способности, обеспечивая эффективное и непрерывное развитие.
🚀Основные моменты:
- Автоматическая генерация задач для уменьшения затрат на создание данных.
- Оптимизация исследований через опыт, полученный от предыдущих задач.
- Тонкая настройка политики на основе атрибуции промежуточных шагов.
- Модульная архитектура для легкой настройки и расширения.
- Высокая производительность с меньшим количеством параметров по сравнению с аналогами.
📌 GitHub: https://github.com/modelscope/AgentEvolver
#python
Ovis-Image - новая text-to-image модель от команды Alibaba AIDC 🔥
Что известно:
- 7B параметров, лицензия Apache 2.0
- Высокое качество генерации
- Работает на одном мощном GPU с низкой задержкой
- Отлично справляется с задачами, где важны текст, композиция и структура: постеры, UI-макеты, инфографика, лого
Модель: https://huggingface.co/AIDC-AI/Ovis-Image-7B
Демо: https://huggingface.co/spaces/AIDC-AI/Ovis-Image-7B
🚀 Крутой способ управлять AI-видео: LTX-Video с Control LoRA теперь доступен в Spaces!
🔥 Что это такое:
- Качество ControlNet, но без изменения архитектуры
- Летает быстрее большинства текущих решений
- Поддерживает 3 типа контроля: canny, depth, pose
Простое подключение, стабильный результат — попробуй генерацию с canny LoRA прямо сейчас👇
spaces/ltx-video/control-lora
https://huggingface.co/spaces/Lightricks/ltx-video-iclora
⚡️ 5Gemma: новая коллекция энкодер-декодер моделей от Google.
Инженеры Google DeepMind решили вдохнуть новую жизнь в классический подход «энкодер-декодер» выпустив семейство моделей T5Gemma.
Главная интрига заключается не в том, что они сделали, а в том, как. Вместо того чтобы обучать модели с нуля, они разработали метод «адаптации»: взяли уже готовую и предобученную модель-декодер Gemma 2 и, по сути, пересобрали ее в двухкомпонентную энкодер-декодерную архитектуру.
Метод открыл дорогу для интересных экспериментов. Например, стало возможно создавать «несбалансированные» модели, комбинируя большой энкодер с маленьким декодером, скажем, 9-миллиардный энкодер и 2-миллиардный декодер.
Такая конфигурация идеальна для задач суммаризации, где глубокое понимание исходного текста (работа энкодера) гораздо важнее, чем генерация сложного и витиеватого ответа (работа декодера). Это дает инженерам гибкий инструмент для тонкой настройки баланса между качеством и скоростью работы.
🟡Но самое важное - прирост в производительности.
На тестах T5Gemma показывает результаты на уровне или даже лучше своих «однокомпонентных» аналогов. Асимметричная модель T5Gemma 9B-2B демонстрирует значительно более высокую точность, чем базовая Gemma 2 2B, но при этом скорость инференса у них почти идентична.
Даже сбалансированная T5Gemma 9B-9B оказывается точнее, чем Gemma 2 9B, при сопоставимой задержке. Это прямое доказательство того, что двухкомпонентная архитектура может быть и умнее, и эффективнее.
T5Gemma показывает впечатляющий рост в задачах, требующих логических рассуждений. Например, на математическом тесте GSM8K модель T5Gemma 9B-9B набирает на 9 баллов больше, чем Gemma 2 9B.
Эффект становится еще более выраженным после инструктивной донастройки. Здесь разрыв в производительности резко увеличивается: на бенчмарке MMLU модель T5Gemma 2B-2B IT опережает аналог Gemma 2 2B IT почти на 12 баллов.
🟡Google выложила в открытый доступ целую линейку чекпойнтов:
🟢T5 (Small, Base, Large, XL) на базе Gemma (2B, 9B);
🟢«Несбалансированную» версию 9B-2B для экспериментов;
🟢Модели с разными целями обучения (PrefixLM для генерации, UL2 для качества представлений).
🔜 Попробовать возможности T5Gemma или настроить их под свои нужды можно с помощью блокнота Colab. Модели также доступны в Vertex AI.
📌Лицензирование: Gemma License.
🟡T5gemma: https://developers.googleblog.com/en/t5gemma/
🟡Статья: https://arxiv.org/abs/2504.06225
🟡Скачать модель: https://huggingface.co/collections/google/t5gemma-686ba262fe290b881d21ec86
@ai_machinelearning_big_data
#AI #ML #T5Gemma #Google
🔥 Beelzebub — продвинутый low-code honeypot с LLM 🔥
Beelzebub — легковесный honeypot-фреймворк с ядром LLM, текстом симулирующий «живую» систему. Позволяет безопасно ловить атакующих, создавая иллюзию реального сервера.
Основные возможности:
- Модульная настройка через YAML-конфиги для добавления сервисов и портов
- Поддержка SSH, HTTP, TCP и MCP-протоколов на основе ИИ
- Сбор метрик Prometheus и интеграция с ELK
- Запуск через Docker, Helm или Kubernetes
Быстрый старт:
git clone https://github.com/mariocandela/beelzebub.git
cd beelzebub
docker-compose up -d
📢 Skywork представила Skywork‑Reward‑V2 — новый подход к обучению reward‑моделей через синергию человека и ИИ
🔍 В свежем релизе Skywork показала, как масштабировать создание данных предпочтений (preference data) с помощью Human‑AI Synergy — совместного отбора, микширования и обучения.
Что важно:
✅ Детализированная методология по сбору и очистке данных для reward-моделей
✅ Использование различных источников: человеческие оценки, LLM-аннотации, активное обучение
✅ Комбинация нескольких подходов: supervision, self-training, rejection sampling, data ranking
✅ Отличные результаты на новом RewardBench 2 — одном из первых публичных сравнений моделей
🚀 Модели уже опубликованы: Skywork‑Reward‑V2 теперь доступна и готова к использованию в вашем fine-tuning пайплайне.
📖 Чтение обязательно для тех, кто строит RLAIF и хочет улучшить reward-сигналы без десятков тысяч ручных аннотаций.
🔗 Подробнее: https://huggingface.co/Skywork/Skywork-Reward-V2
🚀Kafka must-have инструмент для современных проектов MLOps!
Присоединяйся к вебинару и узнай, как настроить Kafka для обработки потоковых данных и интегрировать её в MLOps-проекты. Вебинар проходит в рамках подписки на курсы OTUS, которая даёт возможность приобрести 3 курса по цене одного.
🔑 Что будет:
— Практическое и теоретическое руководство по настройке Kafka в Docker и взаимодействию с ней через Python.
— Обзор инструментов для работы с Kafka: поднятие UI-интерфейса и управление потоками данных.
— Примеры использования Kafka для связи микросервисов и обзор ключевых функций, делающих её незаменимой брокером сообщений.
— Как использовать Kafka в MLOps: сбор данных для ML-моделей, мониторинг их работы и интеграция предсказаний в реальном времени.
🚀Регистрация по ссылке - https://otus.pw/18rU/
Подробнее о подписке OTUS - https://otus.pw/SMQu/
👉 Запишись сейчас, количество мест ограничено!
📌 США могут ускорить гонку ИИ, вложив в "Манхэттенский проект ИИ" ресурсы, сопоставимые с программой «Аполлон».
Идея «Манхэттенского проекта для ИИ», витавшая последние месяцы на самом высоком уровне в США, кажется, начинает обретать очертания. Но за громкими сравнениями обычно теряется суть: а что это значит на практике?
Аналитики из Epoch AI решили посчитать, какой вычислительный монстр может появиться, если американское правительство консолидирует ресурсы частного сектора и вложит в проект долю ВВП, сопоставимую с пиком лунной программы.
Epoch AI - некоммерческий исследовательский институт, который изучает траекторию развития искусственного интеллекта, анализирует тренды в вычислениях, данных и алгоритмах, чтобы прогнозировать влияние ИИ на экономику и общество.
⚡️ Почему лучшие разработчики всегда на шаг впереди?
Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.
ИИ: t.me/ai_machinelearning_big_data
Python: t.me/pro_python_code
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Базы данных: t.me/sqlhub
Мл собес t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
МЛ: t.me/machinelearning_ru
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Физика: t.me/fizmat
SQL: t.me/databases_tg
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy
🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno
🖥 Chatgpt для кода в тг: @Chatgpturbobot -
📕Ит-книги: /channel/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi
Подпишись, чтобы всегда знать, куда двигаться дальше!
Из окон офисов VK — самые красивые закаты. А в самих офисах обитают самые любимые коллеги!
Ребята не только делают сервисы VK быстрее и удобнее, но и любят делиться знаниями. Совсем скоро они проведут открытый Java AI-митап и расскажут о том, как мы масштабируем процессы, а ещё поделятся фишками, которые стоят за сервисами VK.
Откликайтесь, если откликается!
🚀 Вышел подкаст от издания N + 1 с инженером рекомендательных систем Яндекса Николаем Савушкиным. В нём обсудили, можно ли применять рекомендательные системы на длинной дистанции и смогут ли они построить дерево вариантов для будущей жизни и карьеры пользователя.
Некоторые компании уже пытались сделать из рекомендательной системы агента, который поможет человеку оптимизировать свою жизнь как в краткосрочном, так и в долгосрочном периоде. Но рекомендации всё ещё живут в парадигме дискриминативных систем и лишь угадывают реакцию пользователя на действие вместо того, чтобы сгенерировать осмысленную цепочку действий.
@machinelearning_ru
🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple.
FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины.
Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации.
В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями .
FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания:
ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров .
Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000.
На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям.
Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов.
Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление.
Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения.
FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео.
▶️Набор токенизаторов:
🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN.
▶️ VAE:
🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8;
🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8;
🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8.
🟡Страница проекта
🟡Набор на HF
🟡Arxiv
🟡Demo
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #Tokenizer #Flextok #Apple
🎥🔥 VideoPrism от GoogleDeepMind — универсальный видеоэнкодер нового поколения
Модель легко подключается к LLM или текстовому энкодеру, превращая видео в источник контекста.
🧠 Как работает:
• Сначала обучают CLIP-подобную video-text модель
• Затем дистиллируют видеоэнкодер в VideoPrism
• Получается компактный, но гибкий видеоэнкодер, готовый к интеграции в мультимодальные модели
Все модели доступны под лицензией A2.0
Установка: $ git clone https://github.com/google-deepmind/videoprism.git
$ cd videoprism
$ pip install .
• Github: https://github.com/google-deepmind/videoprism
• HF: https://huggingface.co/google/videoprism#model-description
• Arxiv: https://arxiv.org/pdf/2402.13217
• Blogpost: https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video-understanding/
#AI #VideoAI #DeepLearning #GoogleDeepMind #LLM #multimodal
🔟 Open‑source Deep Research Assistants 🤖
Глубокие исследовательские агенты — не просто чат‑боты, а полноценные ИИ‑ассистенты, способные искать информацию, взаимодействовать с инструментами, планировать и писать отчёты. Ниже — 10 мощных open‑source проектов, которые уже можно протестировать:
1. DeerFlow — модульная система от Bytedance: DeerFlow — open‑source фреймворк от Bytedance для создания модульных LLM-агентов.
Поддерживает:
- планирование действий,
- анализ кода,
- генерацию отчётов (включая Text-to-Speech),
- адаптивную интеграцию инструментов.
Создан для исследований, автоматизации и построения сложных агентных пайплайнов.
https://github.com/bytedance/deer-flow
2. Alita — самообучающийся агент с поддержкой Model Context Protocols (MCP), всё в одном модуле. Alita — агент, который сам придумывает, как ему расширить себя, не полагаясь на заранее написанные сценарии, и уже демонстрирует топовые результаты на сложных тестах.
https://github.com/CharlesQ9/Alita
3. WebThinker — автономный веб‑поиск с логикой "думай‑ищи‑пиши", RL‑обучением и глубокой навигацией
https://github.com/RUC-NLPIR/WebThinker
4. SimpleDeepSearcher — это лёгкий, но эффективный open‑source фреймворк от RUCAIBox, предназначенный для автономного веб-поиска через импровизированные многотуровые сессии:
- Использует Supervised Fine‑Tuning (SFT) вместо сложного RL, что значительно упрощает обучение и снижает вычислительные затраты
- Генерирует реалистичные траектории поиска и рассуждений, симулируя поведение пользователя в живом поисковом окружении .
- Критически отбирает данные по нескольким критериям качества: разнообразие запросов, сложность, структура ответов
5. AgenticSeek — приватный on‑device ассистент с выбором эксперта под задачу и голосовым управлением
https://github.com/Fosowl/agenticSeek
6. Suna — универсальный ассистент: браузер, CLI, работа с файлами, API, деплой
https://github.com/kortix-ai/suna
7. DeepResearcher — это комплексный open-source фреймворк от GAIR‑NLP, предназначенный для обучения LLM‑агентов, способных проводить глубокие исследования в автономном режиме, взаимодействуя с вебом. Использует несколько агентов‑браузеров, которые совместно исследуют веб и обрабатывают информацию
https://github.com/GAIR-NLP/DeepResearcher
8. Search‑R1 — агент на PPO/GRPO с поддержкой LLaMA3, Qwen2.5 и кастомных поисковиков. Агент учится эффективному циклу «думай — ищи — думай — отвечай» через RL, достигая важных улучшений в точности ответов и эффективности поиска.
https://github.com/PeterGriffinJin/Search-R1
9. ReCall — это фреймворк на основе RL, который учит LLM "должным образом" вызывать и комбинировать инструменты, используя сгенерированные задачи, без необходимости вручную собирать примеры вызовов — и всё это в открытом доступе.
https://github.com/Agent-RL/ReCall
10. OWL — мультиагентная система на CAMEL‑AI для динамического взаимодействия между агентами
https://github.com/camel-ai/owl
Агенты умеют планировать, взаимодействовать с браузером, запускать скрипты, интегрироваться с API и работать автономно.
Всё проекты — с открытым кодом. Можно изучить, собрать и доработать под свои задачи.
@ai_machinelearning_big_data
#ml #rl #aiagents #ai #agents
NVIDIA’s New AI: Painting With Light!
https://www.youtube.com/watch?v=yRk6vGkfpAI