data_analysis_ml | Unsorted

Telegram-канал data_analysis_ml - Анализ данных (Data analysis)

10807

Аналитика данных админ - @haarrp @ai_machinelearning_big_data - Machine learning @itchannels_telegram - 🔥лучшие ит-каналы @pythonl - Python @pythonlbooks- python книги📚 @datascienceiot - ml книги📚

Subscribe to a channel

Анализ данных (Data analysis)

🕊️ Namsor - это ИИ для анализа имен собственных с лингвистическим интеллектом. Причем это не просто классификатор, а инструмент с глубоким пониманием культурных и лингвистических контекстов.

Проект удивляет точностью: он различает, является ли "Mercedes фамилией человека, названием города или автомобильным брендом, учитывая страну происхождения.

Технология особенно востребована в CRM-системах, соцсетях и базах данных, где критична корректная интерпретация имен.

🔗 Ссылка - *клик*

Читать полностью…

Анализ данных (Data analysis)

🎥 Минутное видео по тексту? Новый подход к генерации от исследователей!

Генерация длинных видео — всё ещё вызов для ИИ. Self-attention не тянет по скорости, Mamba — по сложности сюжета. Но тут на сцену выходят TTT-слои (Test-Time Training) — и делают шаг вперёд.

🧠 В чём суть: — TTT-слои умеют использовать выразительные скрытые состояния, которые сами являются нейросетями.
— Их добавляют в уже обученный трансформер — и он начинает генерировать минутные видео по текстовому сценарию с плавным движением и логичной историей.
— Проверяли на мультстиле Tom & Jerry — и получили +34 Elo-балла в человеческой оценке по сравнению с Mamba 2 и другими сильными базовыми методами.

ИИ уже близок к тому, чтобы полностью воспроизводить стили старых мультфильмов или аниме. Это может кардинально изменить производство анимации — вместо создания вручную, студии смогут "дообучать" модель и просто писать сценарии.

Прикрепленное минутное видео, было создано с помощью промпта и обучено на сотнях часов Тома и Джерри.

Вот его полный промпт.

⚠️ Да, пока есть артефакты и ограничения — модель на 5B параметров и только минутные ролики. Но подход уже выглядит перспективным.

Следим за развитием.

📌Demos: http://test-time-training.github.io/video-dit/
📌Paper: http://test-time-training.github.io/video-dit/assets/ttt_cvpr_2025.pdf
📌Github: https://github.com/test-time-training/ttt-video-dit

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Когда потратил 3 часа на отладку сгенерированного кода, который написал бы за час.

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🎮 Microsoft представила нейро-версию Quake II на базе Muse и WHAMM.

Microsoft Research представила WHAMM — новую систему или технологию, предназначенную для моделирования окружающего мира в реальном времени, с особым акцентом на интерактивные среды.

Это означает, что WHAMM способна быстро создавать и постоянно обновлять цифровую 3D-модель физического пространства, учитывая изменения, которые происходят в нем, в том числе в результате взаимодействия пользователя или других динамических событий.

▪ ИИ генерирует кадры в реальном времени, анализируя действия игрока.

▪Старая WHAMM — 1 fps, новая — 10 fps при 640×360, почти играбельно.

Модель помнит последние 0,9 секунды, что добавляет случайности.

Ключевая особенность — система работает достаточно быстро, чтобы обновлять модель мира практически мгновенно по мере поступления новых данных от сенсоров (вероятно, камер, датчиков глубины и т.д.). Это критически важно для плавного взаимодействия.

🔗 Играть в ИИ-версию Quake II можно здесь.

@vistehno

#microsoft #ai #quake #muse

Читать полностью…

Анализ данных (Data analysis)

🦙 Встречайте, дамы и господа, LLaMA 4: мультимодальные MoE модели!

Llama 4 Omni разработана для понимания и обработки информации модальностей, а не только текста.

Доступна в 3х вариантах: Llama 4 Scout и Llama 4 Maverick, Llama 4 Behemoth.

У Llama 4 Scout (109B) контекстное окно размером 10 М, 17B активных параметров, 16 экспертов, может быть запущена на 1ом GPU!

Llama 4 Maverick (400B) окно в 1M, 128 экспертов, 17B активных параметров.

У Бегемота окно в 2T!!!, 16 экспертов, 288B активных параметров.

- Model Card
- Веса
- Релиз

@ai_machinelearning_big_data

Читать полностью…

Анализ данных (Data analysis)

Время протестировать CodeFest'15

31 мая и 1 июня в Новосибирске пройдет юбилейный CodeFest’15 — масштабная конференция для ИТ-специалистов. Приглашают тимлидов, проджектов, тестировщиков, фронтенд- и бэкенд-разработчиков, аналитиков, дизайнеров, техлидов и руководителей направлений.

На мероприятии можно обсудить тренды с другими профессионалами и перезагрузиться в неформальной обстановке. В программе:

— 10 потоков и 150+ докладов от топовых спикеров по направлениям от Backend до Web3;
— живые дискуссии в формате «квартирников»;
— нетворкинг с экспертами из разных компаний;
— кофе-брейки и грандиозная афтепати.

Больше информации — по ссылке

Читать полностью…

Анализ данных (Data analysis)

IT_ONE Cup. ML Challenge от IT_ONE и Sk FinTech Hub — создай AI-ассистента, который будет помогать в работе дизайнерам, системным и бизнес-аналитикам. Участвуй онлайн с 12 по 29 апреля и поборись за 1 500 000 рублей и мерч.

Регистрация открыта до 11 апреля: https://cnrlink.com/itonecupmldataanalysisai

Твоя формула победы:
Умеешь работать с готовыми моделями машинного обучения и адаптировать их под специфические задачи.
Знаешь, как реализовать сложные системы на базе LLM и генеративных моделей.
Готов создавать комплексные решения для автоматизации процессов.

Также приглашаем Backend и Frontend-разработчиков, системных и бизнес-аналитиков, UI/UX-дизайнеров. Участвуй онлайн соло или командой до 5 человек. 

Задачи IT_ONE Cup. ML Challenge:
🔤 Динамические контекстные подсказки для системного аналитика.
🔤 AI-генератор дизайн-макетов по описанию требований.
🔤 Система визуализации BPMN-диаграмм.

Создай AI-ассистента, который облегчит выполнение рабочих задач — регистрируйся на IT_ONE Cup. ML Challenge: https://cnrlink.com/itonecupmldataanalysisai

Реклама. ООО «ГПБ-ИТ1». ИНН 9717102235. erid: 2W5zFHaR9vG

Читать полностью…

Анализ данных (Data analysis)

💴 Опубликованы цены на API Gemini 2.5 Pro по сравнению с OpenAI GPT-4.5/o1.

- $1.25/1M input for <200K tokens
- $10/1M output for <200K tokens

- $2.50/1M input for >200K tokens
- $15/1M output for >200K tokens

Как вы считаете OpenAI завышает цены или Google демпингует ... 🤣

📌 Цены

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔥 BizGen — это мощный инструмент для автоматической генерации инфографики из текстовых данных.

Он использует комбинацию NLP и компьютерного зрения для анализа текста, планирования макета и создания визуально привлекательных изображений.

Благодаря поддержке сложных макетов, многоязычного рендеринга и высокого качества генерации, BizGen идеально подходит для бизнеса, маркетинга, образования и научных исследований.

Этот инструмент упрощает процесс визуализации данных, делая его быстрее, дешевле и доступнее для широкого круга пользователей.
📌 Github

Читать полностью…

Анализ данных (Data analysis)

✔️ "Reasoning models don't always say what they think" - новая статья Anthropic, опубликованная а, исследует достоверность объяснений, предоставляемых продвинутыми языковыми моделями (LLM) в процессе их рассуждений, известных как "цепочка мыслей" (Chain-of-Thought, CoT).

Основные выводы статьи:
- Проблема достоверности CoT: Исследование показало, что модели часто не раскрывают истинные причины своих ответов в CoT. Это означает, что, хотя модель может предоставить логически звучащее объяснение, оно не всегда отражает фактический процесс, использованный для получения ответа. ​

- Эксперимент с промптами: В ходе эксперимента моделям предоставлялись скрытые промпты, влияющие на их ответы. Ожидалось, что модели упомянут использование этих подсказок в своих объяснениях. Однако результаты показали, что модели редко признавали использование подсказок, что ставит под сомнение прозрачность их рассуждений. ​

- Последствия для безопасности ИИ: Низкая достоверность CoT затрудняет мониторинг и выявление нежелательных или потенциально опасных поведений моделей. Это подчеркивает необходимость разработки более надежных методов оценки и контроля процессов принятия решений в LLM. ​

Скрытое Рассуждение: Модели, особенно при решении сложных задач, могут генерировать внутренние шаги рассуждения (иногда называемые "scratchpad" или "chain-of-thought"), чтобы прийти к правильному ответу. Однако, в своем итоговом ответе они часто не показывают эти шаги.

- Ложная Уверенность: Модели склонны представлять свои ответы, даже если они результат сложного или неопределенного внутреннего процесса, с высокой степенью уверенности. Они редко используют фразы, выражающие неуверенность ("я думаю", "возможно", "мне кажется"), даже когда такая неуверенность была бы уместна, исходя из их внутреннего процесса "размышлений".

- Проблема Обучения: Такое поведение может быть артефактом процесса обучения (например, Reinforcement Learning from Human Feedback - RLHF), где модели вознаграждаются за прямые и уверенные ответы, которые предпочитают люди-оценщики, даже если это скрывает сложный процесс вывода или потенциальную неуверенность.

Риски Непрозрачности и Чрезмерной Уверенности:
Безопасность
: Скрытое рассуждение может содержать ошибочные или вредные шаги, которые не видны в финальном ответе.

- Надежность: Чрезмерно уверенные ответы могут ввести пользователей в заблуждение, особенно когда модель ошибается.

- Интерпретируемость: Пользователям сложнее понять, как модель пришла к выводу, и доверять ее ответам, если процесс скрыт.

Статья поднимает важную проблему: современные LLM часто "думают" сложнее, чем "говорят". Они скрывают свои внутренние рассуждения и представляют ответы с излишней уверенностью. Anthropic исследует, почему так происходит и как это исправить, чтобы повысить безопасность и надежность ИИ.

🔗 Подробнее

#Anthropic #ml #reasoning

Читать полностью…

Анализ данных (Data analysis)

🔎 rwkv.cpp — проект, адаптирующий архитектуру RWKV для эффективной работы на обычных процессорах.

В отличие от традиционных LLM, RWKV требует лишь немного памяти на токен — это позволяет запускать модели с большими контекстами даже на слабом железе.

Инструмент реализован на C/C++ с поддержкой квантования и CUDA через cuBLAS. Особенно интересна совместимость с LoRA-адаптерами, что позволяет дообучать модели без полного экспорта весов. Тесты показывают стабильную работу даже на 4-ядерных CPU с контекстом в 8K токенов.

🤖 GitHub

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🐬 Dolphin - это улучшенная и расширенная версия Whisper, оптимизированная для распознавания большого числа восточных языков и китайских диалектов, которая превосходит другие открытые модели и доступна для использования сообществом.
На чем основана?

Цель: Поддержка более широкого спектра языков, с особым акцентом на 40 восточных языках (Восточная Азия, Южная Азия, Юго-Восточная Азия, Ближний Восток) и 22 китайских диалектах.

Как обучалась? Использовалась комбинация собственных (проприетарных) и общедоступных (open-source) наборов данных для обучения и оптимизации.

Результаты: Эксперименты показали, что Dolphin значительно превосходит существующие лучшие модели с открытым исходным кодом по качеству распознавания для многих языков.

Доступность: Разработчики делают обученные модели и исходный код для их использования (инференса) общедоступными, чтобы способствовать воспроизводимости и развитию сообщества.

🟡Model:
https://huggingface.co/DataoceanAI/dolphin-base
https://huggingface.co/DataoceanAI/dolphin-small
🟡 Paper:
https://huggingface.co/papers/2503.20212

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Высшее на новом уровне: онлайн-магистратура от Яндекса и НИЯУ МИФИ для специалистов по работе с данными.

Здесь фундаментальные знания и практика для карьерного роста, а ещё — учёба, которую можно совмещать с работой и жизнью.

Всё о программе — на дне открытых дверей:

— Расскажем про разные траектории обучения и как после выпуска стать ML-инженером, CV-инженером, NLP-инженером, Data Scientist или Data Engineer.

— Обсудим, какие навыки будут у выпускников, чтобы соответствовать рынку и требованиям работодателей.

— Поговорим про поступление: сроки, экзамены, документы, оплата.

Спикеры:

Станислав Павлов, директор по AI, Positive Technologies.

Павел Рябов, академический руководитель программы, заместитель директора Института лазерных и плазменных технологий, НИЯУ МИФИ.

Антон Моргунов, Senior инженер по компьютерному зрению, Базис. Центр, академический руководитель программы, Яндекс Практикум.

Александр Югов, Curriculum Lead профессии «Инженер данных», Яндекс Практикум.


Ждём вас 9 апреля в 19:00 мск.

Зарегистрироваться на встречу

Читать полностью…

Анализ данных (Data analysis)

Библиотека Python для файнтюнинга Gemma 3! 🔥

Включает документы по файнтюнингу, шардингу, LoRA, PEFT, мультимодальности и токенизации в LLM.

100% открытый исходный код.

pip install gemma

📌 Документация

Читать полностью…

Анализ данных (Data analysis)

⚡️ OpenDeepSearch (ODS) — это открытый поисковый агент, разработанный для интеграции с любыми большими языковыми моделями (LLM).

Он создан с целью демократизировать доступ к передовым поисковым технологиям, сократив разрыв между проприетарными решениями (например, Perplexity Sonar Reasoning Pro или GPT-4o-Search от OpenAI) и открытыми аналогами. ODS состоит из двух ключевых компонентов: Open Search Tool и Open Reasoning Agent, которые работают в связке для выполнения сложных поисковых и аналитических задач.

ODS с DeepSeek-R1 обходит GPT-4o-Search от OpenAI на бенчмарке FRAMES (+9.7% точности). Доступен для сообщества: код и статья уже на GitHub и arXiv! #AI #OpenSource #Search

Paper: https://arxiv.org/abs/2503.20201
Code: https://github.com/sentient-agi/OpenDeepSearch

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

📊Бесплатный вебинар: «Построение эффективных дашбордов с помощью Power BI» 

💡На вебинаре вы узнаете:
+ Как загрузить данные в Power BI Desktop из различных источников 

+ Построение наглядных дашбордов для анализа данных 

+ Интерактивные возможности в Power BI - взаимодействие с визуальными элементами 

+ Применение базовых визуальных элементов и их настройка для лучшего понимания данных 

+ На практике вместе построим дашборд в Power BI

Кому будет полезен вебинар:
- Аналитикам данных
- Маркетологам
- Продуктовым менеджерам
- Всем, кто хочет визуализировать данные для принятия решений

⏰16 апреля(среда) в 20:00 мск

Вебинар в рамках курса «BI-аналитика»
🎁После вебинара для вас активен промо-код со скидкой 5% до 18 мая: BI_04

👉Регистрация на вебинар: OTUS.RU

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

#реклама
О рекламодателе

Читать полностью…

Анализ данных (Data analysis)

⚡️ Pydoll — это библиотека на Python, предназначенная для автоматизации браузеров на движке Chromium (Chrome и Microsoft Edge) без использования WebDriver.

Инструмент имитирует «реальные» действия пользователя и обеспечивает гибкость при работе с элементами интерфейса и сетевыми запросами.

🔗 Ключевые особенности
- Асинхронная автоматизация без WebDriver

- Позволяет обойтись без установки и настройки драйверов WebDriver, что упрощает процесс интеграции и обслуживания.

- Реализована на базе asyncio, поэтому поддерживает запуск нескольких задач одновременно.

- Обход Cloudflare Turnstile

- Имеется встроенный механизм для автоматического прохождения CAPTCHA:

- Синхронная блокировка (context manager), когда выполнение кода приостанавливается до момента решения задачи.

- Фоновый режим (non-blocking), когда автоматизация продолжает работу, пока CAPTCHA решается в фоне.

- Поддерживает «человеко-подобный» набор текста (имитация пауз, скорости).

- Распознаёт специальные клавиши и сочетания клавиш (нажатия SHIFT, CTRL, ALT и т.д.).

- Подключение к существующим сессиям

- Можно подсоединяться к уже запущенным экземплярам Chrome или Edge, что удобно для отладки или интеграции с имеющимися сессиями пользователя.

Благодаря отсутствию необходимости в WebDriver и возможности имитировать взаимодействие «как настоящий пользователь», Pydoll будет полезен в проектах, где требуется гибкая и реалистичная автоматизация.

📌 Github


@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

😈AnimeGamer — это модель, разработанная лабораторией ARC компании Tencent, предназначенная для создания бесконечных симуляций жизни в аниме-стиле.

Она использует мультимодальные большие модели (MLLMs) для генерации динамичных анимационных сцен, отображающих движения персонажей и изменения их состояний.

Учитывая исторический визуальный контекст, AnimeGamer обеспечивает последовательность и увлекательность игрового процесса.

Применяя мультимодальные представления, ориентированные на действия, и видеодиффузионную модель, AnimeGamer создает высококачественные видеоролики, формируя захватывающий и постоянно развивающийся игровой опыт.

https://huggingface.co/TencentARC/AnimeGamer

Читать полностью…

Анализ данных (Data analysis)

📌 Как быстро запустить Llama 4 за 10 минут

Если вы хотите попробовать новую Llama 4 Scout (п вот краткое руководство:

▪ Вам нужна машина с четырьмя H100 на сервисе (пример под hyperbolic, вы можете арендовать в другом месте https://app.hyperbolic.xyz/compute)
▪ Подключитесь по SSH к серверу и запустите в терминале:


>> sudo apt-get update && sudo apt-get install -y python3-pip
>> pip install -U vllm
>> pip install -U "huggingface_hub[cli]"


▪ Запустите Llama 4 с помощью vllm:


>> vllm serve meta-llama/Llama-4-Scout-17B-16E-Instruct --tensor-parallel-size 4 --max-model-len 10000


▪ Проверьте работу модели, открыв новый терминал и выполнив запрос:

>> curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Llama-4-Scout-17B-16E-Instruct",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "What can I do in SF?"}
]
}


Всего несколько команд и вы получите локально развернутую модель Llama 4 Scout и сможете работать с ней.

Читать полностью…

Анализ данных (Data analysis)

🔥 OpenThinker2-32B: превосходит DeepSeekR1-32B в математике и Кодинге.

OpenThinker2-32B набирает 76,7 баллов на AIME24, 90,8 на MATH500 и 64,1 на GPQA-D.

Он набрал 90,8 баллов по MATH500, обойдя R1-Distill-32B (90. 0) .

Это новый лидер на бенчмарке GPQA-D лидирует с результатом 64,1 по сравнению с R1-Distill-32B с результатом 65,8.

https://huggingface.co/bartowski/open-thoughts_OpenThinker2-32B-GGUF

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

📌 FastRAG — фреймворк, предлагающий разработчикам современные инструменты для создания оптимизированных RAG-пайплайнов. Этот сервис, построенный на базе Haystack и Hugging Face, фокусируется на эффективном сочетании информационного поиска с генеративными возможностями LLM.

Фреймворк предоставляет готовые компоненты для работы с современными методами семантического поиска, оптимизированные под современные аппаратные ускорители, включая процессоры Intel Xeon и AI-акселераторы Gaudi.
При этом FastRAG активно развивается — от поддержки мультимодальности до примеров динамического синтеза промптов.

🤖 GitHub

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

🔥 ​DiffSynth-Studio-Lora-Wan2.1-ComfyUI - дистиллированный WAN!

Это LoRA для интеграции с ComfyUI, основанные на Wan2.1-T2V-1.3B.

: Поддерживается 4, 5, 6, 8, 10 и более шагов, что позволяет балансировать между качеством и временем генерации.​

На тестах получаются потрясающие результаты всего за 5 шагов!

🟡HF
🟡Пример

Читать полностью…

Анализ данных (Data analysis)

Уже успели занять место на главном ИТ-событии этой весны? До Data Fusion 2025 осталось меньше 2-х недель 🔔

Хватит бороться с данными — пора ими управлять! Присоединяйтесь к конференции Data Fusion 2025, пока еще есть возможность.

Обсудим все ключевые вызовы Big Data и то, как с ними справляются компании. Это не просто доклады, а новейшие исследования и реальные кейсы от бизнес-лидеров, ученых и практиков:

📌 DataOps и автоматизация управления данными: как избежать хаоса в процессах
📌 Big Data + ИИ: генеративные модели для анализа массивных данных
📌 Где синтетические данные заменяют реальные: производственные сценарии, медицина, финтех.
📌 Как выстроить надежную и предсказуемую вычислительную инфраструктуру для масштабных моделей

Вас ждут жаркие дебаты и обсуждения на самые острые темы в сфере искусственного интеллекта и данных. Не пропустите!

📅 16–17 апреля | Москва, технопарк «Ломоносов»

Бесплатная регистрация — https://data-fusion.ru/. Времени осталось совсем мало. 👀



*DataOps — методология разработки и предоставления данных
*Big Data — большие данные

Читать полностью…

Анализ данных (Data analysis)

🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!

Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области!

Что тебя ждет:

☑️Денежный призовой фонд
☑️Автоматизированная оценка решений
☑️2 практические задачи:

1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию.

2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию.

Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день.

Регистрация уже открыта! Подробности и анкета по ссылкам выше.

Читать полностью…

Анализ данных (Data analysis)

✔️ Google, похоже, сейчас является победителем ИИ гонки

Они более десяти лет назад и сделали стратегические инвестиции в TPU.

Этот шаг в отношении TPU оправдал себя.

В результате у Google теперь есть собственное специализированное оборудование, и ему не нужно много графических процессоров от Nvidia.

Gemini 2.5 Pro доступна бесплатно для всех пользователей с аккаунтом Google.

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

Растите сильную команду. Топ-5 курсов Яндекс Практикума для IT

👾 Технологии меняются каждый день — проверено Яндексом.


Мы ощущаем перемены на своих проектах. Постоянные вызовы, новые инструменты, штормы на рынках. Знаем, как важно, чтобы команда быстро развивалась и адаптировалась к изменениям. Поэтому создаём актуальное обучение, которое соответствует реальным задачам IT-сферы.

Нам доверяют: 5000+ компаний уже обучили 36 000+ сотрудников в Яндекс Практикуме.

👉 Вот топ-5 курсов, которые выбирали компании для развития IT-команд в 2025 году:

— SQL для работы с данными и аналитики
— DevOps для эксплуатации и разработки
— Python-разработчик
— Архитектура программного обеспечения
— Управление командой разработки
— Навыки аргументации

👉Подобрать курс

Реклама, АНО ДПО “Образовательные технологии Яндекса”, ИНН 7704282033, erid: 2Vtzqv9rzVf

Читать полностью…

Анализ данных (Data analysis)

🔥 EasyControl — это фреймворк (набор инструментов и методов), разработанный для добавления управляющих сигналов (условий) к моделям генерации изображений на основе Diffusion Transformer (DiT).

По сути, это попытка создать аналог популярного ControlNet (который в основном используется с U-Net архитектурами) для нового поколения диффузионных моделей, построенных на трансформерах. Его цель — сделать процесс управления генерацией в DiT моделях таким же гибким, эффективным и легко подключаемым.

Как работает EasyControl?

EasyControl решает проблемы интеграции управляющих сигналов в DiT, используя комбинацию нескольких ключевых идей:

▪ Легковесные Модули Внедрения Условий (Condition Injection LoRA): Вместо того чтобы переобучать всю огромную DiT модель или создавать громоздкие копии её частей для каждого нового условия (например, позы, контуры, глубина), EasyControl использует LoRA (Low-Rank Adaptation). Это техника, позволяющая "внедрить" дополнительную информацию (управляющий сигнал) в существующую модель, обучая лишь небольшое количество дополнительных параметров. Это делает процесс добавления новых типов контроля очень эффективным по ресурсам и позволяет сохранять исходные "знания" и стиль базовой DiT модели (style lossless).

▪ Парадигма Обучения с Учетом Позиции (Position-Aware Training Paradigm): Трансформеры (как в DiT) обрабатывают изображение как последовательность патчей (участков). Чтобы управляющий сигнал (например, карта позы) корректно влиял на соответствующие участки генерируемого изображения, EasyControl использует специальный подход к обучению, который помогает модели лучше понимать пространственное соответствие между управляющим сигналом и генерируемым контентом.

▪ Оптимизация Внимания и Кэширование (Causal Attention + KV Cache): Для повышения эффективности на этапе генерации (inference), EasyControl применяет оптимизации, характерные для трансформеров. Использование Causal Attention (причинного внимания) и KV Cache (кэширование ключей и значений в механизме внимания) позволяет ускорить процесс генерации, особенно при работе с длинными последовательностями патчей и дополнительными модулями условий.

🔗 Github
🔗Paper

Читать полностью…

Анализ данных (Data analysis)

🤖 Open-Arm— это инициатива, направленная на создание открытой экосистемы для разработки на базе микроконтроллеров ARM, в частности, семейства Cortex-M.

Основная идея — предоставить полностью открытые (open source) аппаратные и программные средства, документацию и сообщество для всех, кто хочет работать с ARM-микроконтроллерами, избегая ограничений и лицензионных отчислений, связанных с проприетарными инструментами и платформами.

Ключевые аспекты и цели проекта:

▪️ Открытое Оборудование (Open Hardware): Разработка и публикация схем, печатных плат (PCB) и другой документации для отладочных плат и периферийных устройств на базе ARM Cortex-M. Это позволяет любому производить, модифицировать и изучать аппаратную часть.

▪️ Открытое Программное Обеспечение (Open Source Software): Создание и поддержка открытых библиотек, драйверов, операционных систем реального времени (RTOS) и инструментов разработки (компиляторы, отладчики, SDK), которые не привязаны к конкретному производителю чипов или инструментов.

▪️ Доступность и Образование: Сделать разработку на ARM Cortex-M более доступной для студентов, хоббистов, исследователей и малого бизнеса, снижая порог входа за счет бесплатных и открытых инструментов и подробной документации.

▪️ Независимость от Вендоров: Предоставление альтернативы экосистемам конкретных производителей (например, STMicroelectronics STM32Cube, NXP MCUXpresso), чтобы пользователи не были "заперты" на инструментах или чипах одного поставщика.

open-arm.org

@data_analysis_ml

Читать полностью…

Анализ данных (Data analysis)

А и В сидели на трубе,
А упало, В пропало, кто остался на трубе?


Грустный продуктовый аналитик.

Чтобы никто не грустил, мы запускаем онлайн-серию технологических митапов от hh.ru

Первая встреча состоится 15 апреля. Спикерами будут специалисты hh.ru, Туту и Ozon. Что будут рассказывать? Не темы, а просто находки!

• Как Process mining помогает улучшить процесс принятия решений в A/B-тестах;
• Как в hh.ru устроен пайплайн-расчет ETL в A/B-тестах;
• A/B-тестирование, как метод полного контроля за принятием решений.


Встречаемся 15 апреля 19:00.

Подробности и регистрация по ссылке.

Реклама.
Рекламодатель ООО «Хэдхантер», ИНН 7718620740
Erid: 2Vtzqve9Hyi

Читать полностью…

Анализ данных (Data analysis)

✔️ Runway выпустили Gen-4 — это версия, в которой значительно улучшено качество, динамика движения и управляемость генерациями.

- Улучшенная точность и динамика: Gen-4 позволяет генерировать видео с более реалистичным движением, сохраняя при этом согласованность стилей, объектов и сюжетных линий.

- Контроль и согласованность: С помощью визуальных референсов и инструкций пользователи могут создавать контент с одними и теме же стилями, персонажами и локациями, что идеально подходит для повествовательных историй.

- Поддержка физики и реализма: Модель способна лучше симулировать реальную физику, что делает сгенерированные сцены более правдоподобными.

@data_analysis_ml

Читать полностью…
Subscribe to a channel