data_analysis_ml | Unsorted

Telegram-канал data_analysis_ml - Анализ данных (Data analysis)

10807

Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚

Subscribe to a channel

Анализ данных (Data analysis)

🧠🔍 Kimina-Prover-Preview — мощный инструмент от MoonshotAI для автоматического построения доказательств в логике первого порядка с использованием LLM.

➡️ Что это?

Kimina — это "LLM-aided theorem prover", который комбинирует эвристический поиск с языковыми моделями, чтобы строить формальные доказательства по заданной цели и предпосылкам.

💡 Особенности:
▪ Поддержка логики первого порядка (FOL)
▪ Использует LLM (через API OpenAI, Claude и др.) для генерации обоснований
▪ Интеграция с Lean для проверки корректности
▪ Поддерживает кастомные промпты и множественные режимы поиска

🧪 Как работает:
Формулируется цель и список предпосылок

LLM предлагает следующий логический шаг

Инструмент проверяет, валиден ли шаг с точки зрения формальной логики

Если успешно — продолжается доказательство

🛠 Установка:


git clone https://github.com/MoonshotAI/Kimina-Prover-Preview.git
cd Kimina-Prover-Preview
pip install -r requirements.txt


📎 GitHub: github.com/MoonshotAI/Kimina-Prover-Preview

Читать полностью…

Анализ данных (Data analysis)

🧠 DeDoDe — новый подход к локальному сопоставлению признаков

Проект DeDoDe ("Detect, Don't Describe — Describe, Don't Detect") разделяет процессы детектирования и описания ключевых точек на изображении, обеспечивая высокую точность и гибкость при сопоставлении.

📌 Особенности:
- Детектор обучается на 3D-устойчивости точек
- Дескриптор обучается отдельно на задаче сопоставления
- Поддерживает архитектурную гибкость и повторное использование
- Открытый код на Python, PyTorch, доступен в репозитории

📄 Статья (3DV 2024): arXiv 2308.08479
🆕 Обновление v2: arXiv 2404.08928

🔗 Репозиторий: github.com/Parskatt/DeDoDe

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Как сократить расходы на инфраструктуру с GPU?

23 апреля в 12:00 Selectel проведет вебинар для DevOps- и Data-инженеров, техлидов и менеджеров ML-проектов.

Приходите, чтобы обсудить возможности доступных GPU-карт, узнать о кейсах подбора инфраструктуры с GPU и шести способах сократить на неё расходы.

Вебинар бесплатный. Посмотрите полную программу и зарегистрируйтесь по ссылке: https://slc.tl/gdx10

Чтобы не пропустить встречу и узнавать о других митапах, воркшопах и бесплатных курсах Selectel, подписывайтесь на @selectel_events

Реклама. АО «Селектел», ИНН 7810962785, ERID: 2VtzqvnomoF

Читать полностью…

Анализ данных (Data analysis)

🤖 InternVL 3 — новый мощный мульти-модальный ИИ от OpenGVLab!

✨ Доступны размеры 1B / 2B / 8B / 9B / 14B / 28B / 38B

📌 Что нового:
- Улучшено восприятие и логика по сравнению с InternVL 2.5
- Нативное мультимодальное обучение улучшает язык
- Построен на InternViT encoder + Qwen2.5VL decoder
- Улучшает даже Qwen2.5VL

🧠 Что умеет:
- Рассуждение в мультимодальном виде
- Работа с документами
- Поддержка ИИ агентов

🔓 MIT License

🔗 Подробнее

Читать полностью…

Анализ данных (Data analysis)

Дружелюбная встреча для аналитиков от команды Международных проектов Яндекс Поиска.

Приходите в штаб-квартиру Яндекса "Красная Роза" 13 апреля — мы расскажем, как устроена команда Международных проектов Поиска, из чего в ней состоит аналитика и каким образом с этим связаны Яндекс Игры.

В финале встречи эксперты из Яндекса проведут для участников диагностику навыков аналитики и математической статистики — если пройдете успешно, мы засчитаем это как успешную техническую секцию при собеседовании в Яндекс.

Зарегистрироваться на Welcome Time для аналитиков можно здесь до 12 апреля

Читать полностью…

Анализ данных (Data analysis)

✔️ Проверьте свои знания: пройдите тест по продвинутому инструментарию работы с данными

Успешно ответите на 20 вопросов за 25 минут — сможете поступить на курс «Data Warehouse Analyst» от Otus.

На курсе вы освоите:
- Навыки построения ELT-pipelines: Airflow, Nifi, Airbyte
- Принципы работы аналитических СУБД: Redshift, Greenplum, Clickhouse
- Лучшие практики моделирования данных: dbt, Data Vault
- Визуализацию и BI: Metabase, Superset, DataLens
- Продвинутую аналитику: KPI, Funnels, Marketing Attribution, Cohort, RFM
- DevOps-практики: Continuous Integration, Github Actions

➡️ Начать тестирование: https://otus.pw/74Wgc/?erid=2W5zFH7SvQG

#реклама
О рекламодателе

Читать полностью…

Анализ данных (Data analysis)

Записка на двери: ушёл на One Day Offer для NLP-специалистов — буду поздно и, возможно, с оффером мечты!

19 апреля Сбер приглашает амбициозных спецов стать частью команды стратегии и развития Сбера, чтобы создавать инновации.

Хочешь сказать: «Да, я тот самый автор GigaChat/Llama/Falcon/AI-помощника»?
Велком на One Day Offer!

Читать полностью…

Анализ данных (Data analysis)

Приглашаем вас на вебинар, посвящённый возможностям решения "Экстрактор 1С", системы Гларус BI, совместных задач.

Основные темы мероприятия:
✔️ Основные инструменты и технологии для выгрузки данных из 1С;
✔️ В чем минусы различных подходов и методов выгрузки данных;
✔️ Экстрактор 1С: эффективное и универсальное решение.
✔️ Зачем нужна BI аналитика бизнесу?
✔️ Разбираем разные мифы, сложившиеся вокруг BI.
✔️ Разбираем как в Glarus BI создать понятный и полезный дашборд за несколько минут.
✔️ С чего начать внедрения BI небольшим компаниям, чтобы избежать лишних потерь времени и денег?
✔️ Разбираем экономику внедрения и эксплуатации BI системы.
✔️ Ответы на вопросы.

Спикеры мероприятия:
📢 Пыстин Степан (технический директор в компании “Денвик Аналитика”)
📢 Козырев Игорь (сооснователь компании "Glarus Digital")

Зарегистрируйтесь на мероприятие по ссылке:
https://pruffme.com/landing/u1257797/tmp1742980942

С нетерпением ждем вас 11 апреля в 13:00 по Мск!

Реклама: ООО "Денвик Аналитика"
ИНН: 1101178666. Erid= 2VtzqusphAh

Читать полностью…

Анализ данных (Data analysis)

Оптимизируем работу со Spark и строим рекомендательные системы

Многие рекомендательные системы строятся на Spark, но при обработке больших данных с ним часто возникают проблемы. Кроме этого, это недешевое решение.

На бесплатном вебинаре 15 апреля в 17:00 расскажем, как оптимизировать работу со Spark, и в реальном времени обучим модель, чтобы показать эффективность нашего подхода.

Что еще обсудим

🔹 Как выстроить архитектуру для рекомендательных систем в облаке, On-premise или гибриде.
🔹 Как оптимизировать расходы и работу со Spark.
🔹 Workshop: как в облачном Spark сделать рекомендательную систему для определения степени рисков ишемической болезни сердца.

Кому будет полезен вебинар

⚫️ML-инженерам.
⚫️Архитекторам, Data-инженерам, Data-аналитикам.
⚫️Руководителям ML-направлений и Data-офисов.

Зарегистрироваться

Читать полностью…

Анализ данных (Data analysis)

🌟 Kimi-VL: VLM с MoE, ризонингом и контекстом 128K.

Moonshot AI опубликовала веса Kimi-VL — открытой VLM, которая объединяет обработку текста, изображений и видео. Благодаря архитектуре MoE модель активирует всего 2.8 млрд. параметров в языковом декодере, обеспечивая скорость, сопоставимую с компактными аналогами, и результативность флагманских решений.

Главное преимущество Kimi-VL — способность анализировать длинные контексты до 128 тыс. токенов, что делает её идеальной для работы с объемными документами, длинными видео или сложными мультимедийными задачами.

Основу модели составляет визуальный энкодер MoonViT, оптимизированный для нативной обработки изображений любого разрешения без необходимости разбивать их на части. Это позволяет точно распознавать текст, графики или UI-интерфейсы даже в высокодетализированных скриншотах.

Например, на бенчмарке InfoVQA модель показывает точность 83.2%, обходя даже GPT-4o. В задачах OCR Kimi-VL достигает 86.7% на OCRBench, что ставит её в ряд лучших в индустрии.

Разработчики также представили Kimi-VL-Thinking — версию с расширенными возможностями CoT. Благодаря использованным RL и длительному CoT-тюнингу она демонстрирует впечатляющие результаты в математических и академических задачах: на MathVista точность составила 71.3%, а на MMMU — до 61.7%, что лучше, чем у Gemma-3-12B-IT.

В тестах Kimi-VL превосходит конкурентов в работе с агентами: на OSWorld её результат 8.22% выше, чем у GPT-4o (5.03%), а на WindowsAgentArena — 10.4%. Для длинных видео модель набирает 64.5% на LongVideoBench, подтверждая способность анализировать часовые записи без потери ключевых деталей.

Модели доступны на Hugging Face в двух вариантах:

🟢Kimi-VL-A3B-Instruct для стандартных задач;

🟠Kimi-VL-Thinking для сложных рассуждений.

▶️ Инференс через Transformers занимает несколько строк кода — достаточно загрузить изображение, задать запрос и получить подробный ответ.


📌Лицензирование: MIT License.


🟡Набор моделей
🟡Техотчет
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #VLM #KimiAI #MoonShotAI

Читать полностью…

Анализ данных (Data analysis)

Летняя школа аналитиков-разработчиков Яндекса: набор открыт

В этом году впервые можно выбрать направление для углубленного изучения — Data Engineering или Data Science. В течение всего лета вы сможете изучать инструменты анализа данных и научитесь применять их на практике.

Со 2 июня по 27 июля участников ждут занятия в онлайне, а с 28 июля по 24 августа — работа в фулстек-командах офлайн в офисах Яндекса или онлайн.

Что нужно знать?

Основы программирования на Python
Как решать прикладные задачи с использованием любого диалекта SQL или Pandas
Базу теории вероятностей и математической статистики

По итогам прохождения интенсива, вы сможете попасть на стажировку или получить оффер. По статистике, более половины стажеров переходят в штат компании.

Не откладывайте — регистрация открыта до 27 апреля. Подать заявку можно здесь.

Читать полностью…

Анализ данных (Data analysis)

✔️ Nomic Embed Multimodal 7B: новая мультимодальная модель эмбедингов с открытым исходным кодом для текста, изображений, PDF-файлов и графиков.

- SOTA визуального поиска документов
- Два варианта ((Colbert + dense models)
- Открытые веса, код и данные
- Лицензия Apache 2.0

🟡Models: https://huggingface.co/collections/nomic-ai/nomic-embed-multimodal-67e5ddc1a890a19ff0d5807
🟡Docs: https://docs.nomic.ai/atlas/embeddings-and-retrieval/guides/pdf-rag-with-nomic-embed-multimodal
🟡Colab: https://colab.research.google.com/github/nomic-ai/cookbook/blob/main/guides/pdf-rag-nomic-embed-multimodal.ipynb
🟡Code & training data: https://github.com/nomic-ai/contrastors/

Читать полностью…

Анализ данных (Data analysis)

🌟 Deep Cogito представила серию языковых моделей с открытым исходным кодом.

Deep Cogito выпустила семейство языковых моделей размером 3B, 8B, 14B, 32B и 70B параметров, которые уже доступны для загрузки.

По заявлению разработчиков, их модели превосходят аналогичные открытые решения от LLaMA, DeepSeek и Qwen в большинстве стандартных бенчмарков. Например, 70B-версия обходит новую 109B MoE-модель Llama 4, несмотря на меньший размер.

Все модели обучены с помощью метода Iterated Distillation and Amplification (IDA) — стратегии, которая сочетает итеративное самоулучшение и «сжатие» интеллекта для преодоления ограничений, накладываемых человеческим контролем.

Суть IDA проста: сначала модель «усиливает» свои способности, тратя больше вычислительных ресурсов на поиск решений через CoT, а затем «дистиллирует» эти улучшения в свои параметры. Такой цикл повторяется, создавая петлю обратной связи — каждая итерация делает модель умнее, а её мышление эффективнее. По словам команды, этот подход не только масштабируем, но и быстрее, чем RLHF.

Семейство поддерживает 2 режима работы: стандартный (прямой ответ) и «рефлексивный», где система сначала обдумывает запрос, как это реализовано в Claude 3.7. Они оптимизированы для программирования, вызова функций и агентских сценариев, но без акцента на CoT — разработчики считают, что короткие шаги эффективнее в реальных задачах.

Уже в ближайшие месяцы ожидаются версии на 109B, 400B и 671B параметров и вариации с MoE-архитектурой.

Модели доступны на Hugging Face, Ollama и через API Fireworks AI/Together AI.

@ai_machinelearning_big_data

Читать полностью…

Анализ данных (Data analysis)

⚡️Как Docker упрощает жизнь аналитиков и инженеров данных

Когда вы работаете с данными, анализируете их или строите модели машинного обучения, Docker позволяет сосредоточиться на самой работе, не отвлекаясь на настройку окружения.

На бесплатном вебинаре вы научитесь упаковывать приложения вместе со всеми зависимостями, избегать проблем с несовместимостью, а значит и повысите эффективность работы и сэкономите время на настройку окружения.

Что будем делать на вебинаре:
🟠Разберём основы Docker и как контейнеры упрощают работу;
🟠Выполним анализ данных, запустив Python прямо внутри контейнера;
🟠Автоматизируем окружение с помощью Docker Compose (Python + PostgreSQL);
🟠Настроим удобный доступ к результатам анализа;
🟠Организуем ускоренную обработку больших данных.

😶Зарегистрироваться на бесплатный вебинар

Читать полностью…

Анализ данных (Data analysis)

🔥 Вайб-кодинг — хайп или инструмент будущего?

Программирование с помощью ИИ-агентов — главный тех-тренд последних месяцев.

Одни говорят: «Это лучший опыт в моей жизни».

Другие: «Я только и делаю, что дебажу то, чего сам не писал».

Хочешь по-настоящему разобраться, как использовать ИИ ?

14 апреля в 17:00 — онлайн-лекция от Школы Высшей Математики.

📌 Спикеры: 👨‍🏫 Александр Лыков, к.ф.-м.н., руководитель ШВМ

🟡 Богдан Печёнкин, фаундер Vibe AI

Расскажут и покажут:
➖ Как внедрять Copilot, ChatGPT, Cursor и других агентов в работу уже сейчас
➖ Что агенты реально умеют (и где они сыпятся)
➖ Как ускорить разработку в 10 раз, не потеряв контроль над кодом

Не пропусти. Это будет 🔥

🗓 14 апреля, 17:00
📍 Онлайн

🟡 Регистрация

Реклама: ООО «Школа высшей математики»
ИНН: 9728100991 Erid: 2VtzqwE7sw7

Читать полностью…

Анализ данных (Data analysis)

🔥На прошлой неделе СЕО провайдера Cloud․ru Евгений Колбин анонсировал внедрение бесплатного AI-помощника в облачной платформе Cloud․ru Evolution на ежегодной конференции GoCloud

А еще — сразу несколько новых сервисов для Big Data и AI!

- Evolution Managed ArenadataDB, доступный из облака Cloud․ru. Архитектура MPP помогает быстрее и эффективнее обрабатывать данные, в том числе в критически важных системах. Из преимуществ: быстрая и эффективная обработка данных, анализ и прогнозирование клиентской базы, сбор финансовой и управленческой отчетности. Сервис подойдет крупному бизнесу, компаниям среднего сегмента из ритейла, банковского сектора, сферы производства.

- Набор новых платформенных сервисов для работы с big data в публичном облаке Cloud․ru Evolution, который станет доступен в мае этого года. С его помощью компании смогут обрабатывать и анализировать данные, экономить время и ресурсы на обслуживание нужной IT-инфраструктуры и сфокусироваться на росте бизнеса. Готовые инструменты подойдут для AI/ML-задач, легко разворачиваются без помощи специалиста с опытом работы с большими данными.

- Cloud․ru Evolution AI Factory для быстрой разработки и внедрения AI-агентов в облаке. Собранный в одном месте набор готовых AI/ML-инструментов и технологий предоставит несколько новых возможностей: от обучения моделей до запуска мультиагентных систем. Запуск запланирован на лето 2025.

- Cloud․ru Evolution Stack AI-bundle. Это первое в России гибридное облако с поддержкой искусственного интеллекта, которое поможет быстрее запускать и масштабировать AI-сервисы в контуре компании.

Читать полностью…

Анализ данных (Data analysis)

🚀 DeepSeek открывает код своего inference-движка , но делает это с умом

Во время Open Source Week команда уже поделилась несколькими библиотеками — и получила мощный фидбек: коллаборации, обсуждения, багфиксы. Сегодня они идут дальше и отдают в open-source ядро своей inference-системы.

🧠 Inference engine DeepSeek построен поверх vLLM
💡 Раньше был внутренним, глубоко кастомизирован под DeepSeek-V3 / R1

⚠️ Но:
– Был основан на старом форке vLLM
– Жёстко зависел от приватной инфраструктуры DeepSeek
– И не имел ресурса на поддержку в

Вместо того чтобы выкладывать «сырой монолит», команда решила постепенно влить лучшие фичи в уже существующие open-source проекты:

✅ Делают фичи модульными
✅ выкладывают оптимизации
✅ Работа ведётся в синхроне с PyTorch и vLLM

https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md

Читать полностью…

Анализ данных (Data analysis)

🚀 Нативная поддержка Python в CUDA от NVIDIA!

Теперь можно писать CUDA-код напрямую на Python — без C++ и сторонних обёрток.

Новый API от NVIDIA позволяет взять полный контроль над GPU из Python
▪ Поддержка cuNumeric, RAPIDS, Modulus, и др.
▪ Основано на CPython API — без прослоек

🎯 Что это меняет:
- Снижает барьер входа в GPU-разработку
- Упрощает создание ML и Data Science-проектов
- Открывает возможности для оптимизации

🧠 Python на GPU теперь без компромиссов!

🔗 Подробнее

Читать полностью…

Анализ данных (Data analysis)

✔️ reTermAI — ИИ-помощник в терминале

reTermAI — это умный ассистент для zsh и bash, который подсказывает команды прямо в терминале на основе вашей истории.
Полезно, если часто забываешь синтаксис или хочешь ускорить работу с CLI.

🚀 Что умеет:
▪ ИИ-рекомендации команд по истории
▪ Поддержка частичного ввода
▪ Выбор LLM (можно подключить свой)
▪ Гибкая адаптация под рабочий процесс
▪ Совместим с zsh и bash

📦 Установил — и терминал стал умнее.

Отличный инструмент для девелоперов, админов и всех, кто живёт в консоли.

pip install reterm-ai

🔗 Github

#terminal #cli #bash #zsh #LLM #opensource #reTermAI #ai

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🤖 Google запускает A2A — новый протокол общения между ИИ-агентами

Google представил Agent2Agent (A2A) — открытый стандарт для обмена задачами между ИИ-агентами в разных сервисах и компаниях.
Это что-то вроде MCP, но с упором на безопасность, мультимодальность и совместимость с корпоративной инфраструктурой.

🔑 Главное:
▪ A2A — task-first: агенты обмениваются не сообщениями, а задачами с жизненным циклом (create, update, cancel, complete).
▪ Автоопределение возможностей: каждый агент публикует JSON-«визитку» с описанием своих способностей (capability discovery).
▪ HTTP, SSE, JSON-RPC — всё работает на веб-стеке, легко встраивается в существующие API.
▪ Поддержка текста, аудио и видео — мультимодальность встроена по умолчанию.
▪ Security-first: в отличие от ранних протоколов (как MCP), здесь продумана авторизация и защита данных.

В теории — это мощный инструмент для автоматизации бизнес-процессов.

На практике — уже критикуют за перегруз и неясные перспективы. Но с ресурсами Google — у проекта есть шанс стать отраслевым стандартом.

📌 Отличие между MCP и A2A:
🧠 MCP (Multi-Agent Communication Protocol) — это:
➡️ Протокол от OpenAI, придуманный, чтобы LLM-агенты могли "болтать" друг с другом.
💬 Основан на сообщениях — один агент пишет другому что-то вроде чата, и тот отвечает.
⚙️ Подходит для простых сценариев: «Скажи это», «Спроси у другого», «Придумай план».

Но:
– Без жёсткой структуры
– Нет встроенной безопасности
– Не поддерживает длинные сложные процессы (например, запланировать и потом отчитаться)
– Не заточен под задачи типа "запусти и следи"

🧠 A2A (Agent2Agent) — это:
➡️ Google-версия MCP, но с упором на бизнес и инфраструктуру.
📦 Вместо чатов — структурированные задачи, у которых есть статусы: created, accepted, completed, failed, cancelled.
📛 Поддерживает авторизацию, описание возможностей агента, обратную связь, долгие процессы, аудио и видео.

Проще говоря:
– MCP — это «чат между ИИ»
– A2A — это «Jira для агентов» — задачи, статусы, ролевая модель, безопасность.

google.github.io/A2A

#Google #A2A #agents #AI #protocols #interop #infrastructure

Читать полностью…

Анализ данных (Data analysis)

🌟 LMDeploy — высокооптимизированный инструментарий для работы с большими языковыми моделями.

Разработанный командами MMRazor и MMDeploy, LMDeploy проект предлагает комплексный подход к сжатию, развертыванию и обслуживанию LLM.

Благодаря персистентному батчингу, оптимизированным CUDA-ядрам и квантованию KV Cache, сервис демонстрирует до 1.8x более высокую пропускную способность по сравнению с vLLM.

Поддерживаются десятки моделей, включая Llama 3, Qwen, InternLM и Mixtral, а также мультимодальные решения (LLaVA, CogVLM).

🤖 GitHub

@bigdatai

Читать полностью…

Анализ данных (Data analysis)

🔭 Katib — облачное AutoML-решение для Kubernetes. Этот инструмент позволяет автоматизировать подбор гиперпараметров, раннюю остановку обучения и даже поиск нейросетевых архитектур, работая с любыми ML-фреймворками от TensorFlow и PyTorch до XGBoost.

Особенность проекта — интеграция с экосистемой Kubeflow и поддержка различных механизмов оркестрации, включая Argo Workflows и Tekton Pipelines. Проект активно развивается сообществом и уже используется в продакшн-средах.

🤖 GitHub

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🚀 OmniSVG: Унифицированная модель для генерации сложных векторных графиков​

OmniSVG — новая модель, использующая предварительно обученные модели Vision-Language Models (VLMs) для энд-ту-энд генерации сложных и детализированных векторных изображений в формате SVG. ​

Ключевые особенности OmniSVG:

- Мультимодальность: Способность генерировать SVG на основе текстовых описаний, изображений или их комбинации.​

- Эффективность: Преобразование команд и координат SVG в дискретные токены позволяет отделить структурную логику от геометрии, что обеспечивает более эффективное обучение.​

- Гибкость: Генерация изображений различной сложности — от простых иконок до детализированных аниме-персонажей.​

Вместе с моделью представлен MMSVG-2M — мультимодальный датасет, содержащий 2 миллиона богато аннотированных SVG-объектов, предназначенный для обучения и оценки моделей генерации векторной графики. ​

🟡Проект: omnisvg.github.io
🟡Репозиторий: github.com/OmniSVG/OmniSVG
🟡Датасет: huggingface.co/OmniSVG

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🎥 ReCamMaster — это передовая система генеративного рендеринга видео, разработанная центром визуальной генерации и взаимодействия компании Kuaishou (KwaiVGI). Она позволяет изменять траектории камеры в существующих видеороликах, создавая новые ракурсы сцены без необходимости повторной съемки. ​

Основные особенности ReCamMaster:

Изменение траектории камеры: Система позволяет перегенерировать видео с новыми движениями камеры, сохраняя исходное содержание и динамику сцены.​

Использование предварительно обученных моделей: ReCamMaster использует возможности предварительно обученных текст-видео диффузионных моделей, что обеспечивает высокое качество генерируемых видео.​

Создание обучающего набора данных:
Для обучения модели был создан крупномасштабный синхронизированный видеодатасет с использованием Unreal Engine 5, включающий разнообразные сцены и движения камеры. ​

Применения ReCamMaster:
- Стабилизация видео: Система может сглаживать дрожание камеры в видеороликах, создавая более плавные и стабильные кадры.​

- Суперразрешение и расширение сцены: ReCamMaster способна повышать разрешение видео и расширять границы сцены за пределы исходного кадра.​

- Дополнение данных для ИИ: Система может генерировать видео с различными ракурсами, что полезно для обучения моделей искусственного интеллекта, особенно в области робототехники и автономного вождения. ​

🟡Github: https://github.com/KwaiVGI/ReCamMaster
🟡Paper: https://arxiv.org/abs/2503.11647
🟡Project: https://jianhongbai.github.io/ReCamMaster/

Читать полностью…

Анализ данных (Data analysis)

📦 Skops — проект, предлагающий альтернативу стандартному pickle для работы с моделями scikit-learn.

Skops позволяет безопасно сохранять и загружать ML-модели, избегая рисков, связанных с выполнением произвольного кода.

Особый интерес представляет встроенный функционал для создания model cards — документов, объясняющих назначение и особенности моделей.

🤖 GitHub

Читать полностью…

Анализ данных (Data analysis)

Только посмотрите, кто у нас тут на подходе! 🐐

https://github.com/ggml-org/llama.cpp/pull/12828

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Хотите разбираться в Big Data так, как это делают специалисты Яндекса? Тогда присоединяйтесь к бесплатному интенсиву ШАДа Big DWH Week!

Вас ждёт 8 онлайн-занятий, на которых вы познакомитесь с YTsaurus — платформой для распределённого хранения и обработки данных. Вы разберётесь в её архитектуре и масштабировании, а также научитесь настраивать систему под свои задачи.

Интенсив открытый, поэтому зарегистрироваться может каждый. Однако интереснее всего программа будет тем, кто уже работает с данными: опытным бэкенд-разработчикам и разработчикам баз данных, инженерам и аналитикам данных, а также студентам технических направлений.

Регистрируйтесь до 25 апреля и прокачивайтесь в Big Data вместе с экспертами Яндекса и ШАДа! Все подробности — по ссылке.

Читать полностью…

Анализ данных (Data analysis)

✔️ LAM: Official Pytorch Implementation

LAM (Large Avatar Model) — это новая методика для восстановления анимируемой «Гауссовой» 3D-модели головы по одной-единственной фотографии.

В отличие от предыдущих подходов, которые либо требуют долгого обучения на видео, либо задействуют вспомогательные нейросети на этапе анимации и рендеринга, LAM позволяет получить готовую к анимации и модель визуализации головы за один проход сети, без дополнительной постобработки и внешних модулей.

В основе метода лежит генератор «гауссовых атрибутов» для канонического пространства, который использует ключевые точки FLAME (модель лица) в качестве запросов. Эти точки проходят через Транспортеров, взаимодействуя с многомасштабными признаками исходного изображения, чтобы точно определить параметры «Гауссовых» элементов модели.

Дальше 3D-модель головы анимируется стандартным Linear Blend Skinning (LBS) с корректирующими blendshape-функциями — как в оригинальной FLAME-модели — и может рендериться в реальном времени практически на любых устройствах, вплоть до мобильных телефонов.

Эксперименты показывают, что LAM превосходит существующие методы на ряде публичных бенчмарков, обеспечивая точное восстановление, высокую реалистичность анимации и удобную интеграцию в существующие конвейеры рендеринга.

Github
Project

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔥 SmolVLM — маленький, но мощный мультимодальный прорыв.

Сегодня вышел технический отчёт о SmolVLM — ультра-компактной VLM-модели (всего 256M параметров), которая работает в менее чем 1 ГБ ОЗУ и обходит старые модели 80B, выпущенные полтора года назад!

📏 Контекст — это наше всё: Увеличение длины контекста с 2K до 16K дало +60% к качеству. Даже маленькие модели выигрывают от увелечения памяти.

🔬 SigLIP: меньше — лучше: Вместо классического 400M SigLIP авторы использовали базовую 80M версию — и получили тот же результат при 20% размера.

🧩 Pixel shuffling : Аggressive pixel shuffling помог сократить длину последовательностей в 16 раз без потери качества.

📍 Learnable positional tokens > raw tokens: В маленьких моделях обучаемые позиционные токены дали значительный прирост точности.

🎬 Спец-токены: Специальные "intro/outro" токены и системные промпты дали буст особенно для задач работы видео.

🧠 CoT — с умом: Слишком много Chain-of-Thought данных ухудшает результаты маленьких моделей. Меньше = умнее.

📽 Длиннее видео = лучше: Увеличение длины видео во время обучения улучшило понимание и изображений, и видео.

🚀 SmolVLM — это:
Три версии: 256M, 500M, 2.2B — каждая задаёт новую планку для low-resource inference.

Real-time inference на iPhone 15 — прямо с камеры, без серверов.

В браузере? Да! 40–80 токенов/сек — напрямую в вебе, без ухищрений.

📄 Подробности в репорте

#SmolVLM #EfficientAI #Multimodal #VLM #EdgeAI #SigLIP #AIonMobile

Читать полностью…

Анализ данных (Data analysis)

📌 SPCT: масштабируемость моделей вознаграждения в реальном времени.

DeepSeek-AI и Университет Цинхуа опубликовали исследование о методе Self-Principled Critique Tuning (SPCT), который значительно повышает эффективность генеративных моделей вознаграждения (GRM) для больших языковых моделей. SPCT решает ключевую проблему RL-обучения — получение точных сигналов вознаграждения в условиях разных и неоднозначных задач, где нет четких правил или эталонов.

SPCT — это комбинация rejective fine-tuning и обучения с подкреплением на основе правил. Rejective fine-tuning учит модель генерировать принципы и критические оценки, адаптируясь к разным типам входных данных, а rule-based RL — оптимизирует процесс через систему поощрений, которая штрафует за ошибки в ранжировании ответов.

Это позволяет GRM самостоятельно создавать критерии оценки и точнее определять лучшие ответы в сложных сценариях, например, при работе с математическими задачами или этическими дилеммами.

Главное преимущество SPCT — масштабируемость инференса. Вместо увеличения размера модели авторы предлагают параллельно генерировать множество вариантов принципов и оценок, а затем агрегировать их через голосование. Чтобы фильтровать «шумные» варианты используется мета-модель вознаграждения, которая отбирает только качественные сэмплы.

По результатам тестов, DeepSeek-GRM с 27 млрд. параметров при 32 параллельных сэмплах превзошла 671B модель, демонстрируя, что вычислительные ресурсы можно эффективно распределять во время инференса, а не обучения.

Эксперименты на бенчмарках Reward Bench, PPE и RMB показали, что SPCT снижает предвзятость моделей. Например, в задачах на рассуждение точность выросла на 12%, а в оценке безопасности — на 9%. При этом метод сохраняет гибкость: одна и та же модель может оценивать одиночные ответы, пары или целые наборы, что критично для реальных приложений вроде чат-ботов или автономных систем.

К сожалению, идеальных решений не бывает и у метода есть существенное ограничение - GRM требуют больше вычислительных ресурсов, чем классические скалярные модели, а в узкоспециализированных областях (например, верификация кода) их точность пока уступает конкурентам.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #GRM #DeepSeekAI

Читать полностью…
Subscribe to a channel