Устроиться аналитиком в Яндекс за выходные

7–8 июня проводим Weekend Offer Analytics. До 3 июня оставьте заявку на участие, 7 июня пройдите два технические собеседования, а 8 июня познакомьтесь с командами и получите офер.

В мероприятии участвует 12 команд: Алиса и Умные устройства, Игры, R&D, Рекламные технологии, Поиск и Суперапп, Безопасность, Коммерческий департамент, Автономный транспорт, Ecom-сценарии Поиска, Качество Поиска, Международный Поиск, Карты. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.

Узнать подробности и зарегистрироваться можно здесь.

Реклама. ООО "Яндекс". ИНН 7736207543

Читать полностью…

🎨 Step1X-3D — Генерация текстурированных 3D-объектов нового поколения

Step1X-3D — это открытая исследовательская платформа для высокоточной, воспроизводимой и управляемой генерации текстурированных 3D-ассетов. Проект разработан командой [StepFun](https://github.com/stepfun-ai) и доступен на Hugging Face.

🔧 Основные компоненты

- 📦 Очистка и подготовка данных
Обработано более 5 миллионов 3D-моделей. Отобраны 2 миллиона высококачественных ассетов с нормализованной геометрией и текстурами. Более 800 тысяч объектов доступны открыто.

- 🧠 Двухэтапная генеративная архитектура
1. Генерация геометрии
Используется гибрид VAE + Denoising Diffusion Transformer (DiT) для создания TSDF-представлений. Применяется латентное кодирование и выборка по краевым признакам для детализации.
2. Синтез текстур
Диффузионная модель с геометрическим кондиционированием и согласованием в латентном пространстве для кросс-вью согласованности.

- 🧪 Open Source
Полностью открыт: доступны обученные модели, код, примеры и pipeline для адаптации.

🌟 Особенности

- 🔄 Интеграция 2D → 3D
Поддерживает использование техник управления, таких как LoRA, из 2D генерации — теперь и для 3D-объектов.

- 🥇 SOTA-качество
По ряду метрик превосходит существующие open-source решения и приближается к проприетарным системам.

Step1X-3D задаёт новый стандарт в открытых 3D-исследованиях, объединяя качество, гибкость и открытость для исследователей, разработчиков и креаторов.

- 📄 Hugging Face
- 💻 GitHub
- 🚀 Демо
- ▶️ YouTube

Читать полностью…

✔️ NVIDIA поставит в Саудовскую Аравию 18 000 топовых чипов для ИИ.

NVIDIA отправит более 18 000 флагманских Blackwell GB300 в саудовскую компанию-стартап Humain, заявил CEO Джeнсeн Хуанг на инвестиционном форуме в Эр-Рияде. Эти чипы, одни из самых мощных в мире, будут работать в дата-центрах суммарной мощностью 500 мегаватт, помогая строить ИИ-инфраструктуру страны.

Humain, принадлежащая местному суверенному фонду, позже задействует «сотни тысяч» GPU. AMD тоже участвует в проекте, и тоже поставит свои чипы для аналогичной инфраструктуры на $10 млрд.
cnbc.com

✔️ Audible внедряет ИИ для создания аудиокниг.

Audible объявил о внедрении полного цикла производства аудиокниг на основе ИИ — от перевода до озвучки. В ближайшие месяцы сервис предложит более 100 синтезированных голосов на английском, испанском, французском и итальянском языках с акцентами и диалектами.

Технология поддерживает два варианта перевода: текст-текст (с последующей озвучкой) и речь-речь, сохраняющую стиль оригинального чтеца. Для точности перевода доступна проверка профессиональными лингвистами. Первые тесты перевода стартуют этой осенью.
thebookseller.com

✔️ Tencent CodeBuddy: ИИ-ассистент для программистов.

Tencent запустил CodeBuddy, инструмент, который может стать конкурентом Cursor. Он поддерживает автодополнение кода, диагностику ошибок, рефакторинг, написание тестов и ревью, а также работает с экосистемой WeChat.

Особенность сервиса - режим Craft: ИИ понимает задачи на естественном языке и генерирует проекты из нескольких файлов. CodeBuddy поддерживает MCP-протокол, позволяя интегрировать сторонние инструменты без лишних телодвижений. В основе — модели DeepSeek V3 и HunYuan Turbo S, доступные бесплатно. Инструмент совместим с VSCode, Jetbrains и другими IDE.
copilot.tencent.com

✔️ Intel Arc B580 может получить уникальную версию с двумя GPU и 48 ГБ памяти.

Портал videocardz поделился слухами о том, что один из партнеров Intel разрабатывает двухчиповую версию видеокарты Arc B580 с суммарными 48 ГБ видеопамяти. По данным неназванного источника, устройство получит нестандартный дизайн, а его анонс запланирован на ближайшую неделю. Хотя точный бренд пока не называется, известно, что проект не является официальной разработкой Intel и находится под NDA.

При этом, обычная версия B580 с 24 ГБ задерживается на несколько месяцев и есть вероятность, что это связано с "мистической" 48 ГБ-версией. Если информация подтвердится, это станет редким случаем десктопного двухчипового решения в эпоху монопольных GPU. Ждем подробностей на Computex.
videocardz.com

✔️ Утечка системного промпта Claude взбудоражила ИИ-сообщество.

Системный промпт Claude, описывающий поведение модели и ее инструменты, слили в сеть — 16,7 тыс. слов и 24 тыс. токенов. Документ раскрывает детали от формата ответов до методов решения задач, например, как считать буквы в слове «strawberry». В сравнении с 2,2 тыс. словами у OpenAI он гигантский. Большая часть текста посвящена интеграции с MCP-сервером, поисковыми правилами и «горячими исправлениями» для данных после 2024 года.

Andrej Karpathy назвал утечку поводом обсудить новую парадигму обучения ИИ: вместо тонкой настройки весов модели он предложил редактировать промпты вручную, как человек использует заметки. Это должно помочь ИИ запоминать стратегии и адаптироваться к контексту. Однако критики возражают: автономные подсказки могут запутать модель, а без постоянного обучения эффект будет краткосрочным.
news.ycombinator.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Сэм Альтман:
2025 — год ИИ-агентов
2026 — год научных исследований и прорывов
2027 — год, когда ИИ и робототехника действительно начнут взаимодействовать с физическим миром
Погнали!

@data_analysis_ml

Читать полностью…

⚡️Создаём свою нейросеть в PyTorch

Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.

Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei.

Что будет на вебинаре?
🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU;
🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей;
🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения;
🟠Научимся использовать DataLoader для эффективной загрузки данных;
🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN);
🟠Обучим и протестируем модель.

🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта.

😶Зарегистрироваться на бесплатный вебинар

Читать полностью…

✔️ Qwen официально выпустили квантованные версии Qwen3!

Теперь Qwen3 можно развернуть через Ollama, LM Studio, SGLang и vLLM — выбирайте удобный формат (GGUF, AWQ или GPTQ) для локального деплоя.

Все модели доступны в коллекции Qwen3 на Hugging Face и ModelScope:

➡️Hugging Face: https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f

➡️ ModelScope: https://modelscope.cn/collections/Qwen3-9743180bdc6b48

@ai_machinelearning_big_data

#Qwen

Читать полностью…

🌧️ Superlinked — фреймворк для гибридного поиска, где вектора и метаданные работают вместе. Этот инструмент решает главную боль RAG-систем и рекомендательных сервисов — как эффективно комбинировать эмбеддинги с структурированными данными.

В отличие от чистых векторных поисков, здесь можно создать единую модель, где описание товара и его оценка влияют на результаты совместно. Проект широкой интеграции: от тестов в Jupyter-ноутбуке до продакшн-развёртывания REST API одним командой.

🤖 GitHub

@data_analysis_ml

Читать полностью…

NVIDIA открыла исходный код моделей Open Code Reasoning - 32B, 14B и 7B - лицензировано APACHE 2.0 🔥

> Превосходит O3 mini и O1 (низкий) на LiveCodeBench 😍

Модели в среднем на 30% эффективнее других эквивалентных моделей Reasoning.

Работает с llama.cpp, vLLM, transformers, TGI и другими — проверьте их сегодня!!


🟢Models
🟢Dataset
🟢Paper

Читать полностью…

🔥 AgenticSeek — мощнейший опенсорс ИИ-агент.

Это лучшая бесплатная альтернатива Manus AI за 200$. Есть всё, что нужно — поиск по интернету, поддержка голосового управления + он хороший помощник по кодингу.

И он умеет почти всё:

• Спланирует тур за границу: подберёт билеты, отели, маршруты
• Проведёт аудит бизнеса и предложит варианты оптимизации
• Возьмёт на себя работу в таблицах, анализ данных и отчётов
• Напишет код под любую задачу
• Прочитает книги, статьи, репозитории, просёрфит сайты и соберёт данные
• А теперь представьте: вы даёте ему сотню таких задач одновременно — это уже не ассистент, а полноценный бизнес-комбайн

AgenticSeek полностью управляет браузером и приложениями, интегрируется в ваши процессы и автоматически подбирает агентов под задачи.

✅ Управлять можно голосом
✅ Все приватные данные остаются только у вас


На GitHub уже 1800 звезд.

https://github.com/Fosowl/agenticSeek

Читать полностью…

📄 DocsGPT — открытый RAG-ассистент для работы с документами. Это не просто чат-бот, а целая экосистема, которая умеет извлекать информацию из PDF, DOCX, веб-страниц и даже GitHub-репозиториев, сохраняя привязку к исходным данным.

Что выделяет проект:
▪️Поддержка локальных моделей (Ollama, llama.cpp) и облачных API (OpenAI, Anthropic)
▪️Готовые интеграции для Discord, Telegram и веб-сайтов
▪️Возможность расширения функционала через инструменты и вебхуки

Для старта достаточно клонировать репозиторий и запустить setup-скрипт — через пару минут вы получите работающий инстанс с интерфейсом на localhost.

🤖 GitHub

@data_analysis_ml

Читать полностью…

Учитесь в универе и хотите вырваться из рутины? Подайте заявку на бесплатный студкемп Яндекс Образования и НГУ! Здесь вы не просто переключитесь с повседневных задач, а нырнёте в одно из самых перспективных IT-направлений — NLP.

За две недели — с 14 по 26 июля — вы разберётесь, как работают языковые модели вроде YandexGPT и Qwen, поймёте, что такое мультимодальность и RAG, поработаете с реальными данными и создадите собственный проект. На интенсиве ждут студентов со всей России и каждому, кто пройдёт отбор, оплатят проезд и проживание. Успейте подать заявку до 18 мая!

Читать полностью…

🧩 Задача для продвинутых дата-сайентистов: "Парадокс усечённых данных"

📖 Описание задачи

У вас есть DataFrame df с данными о зарплатах сотрудников в компании:

import pandas as pd

data = {
    'employee_id': range(1, 11),
    'department': ['IT', 'IT', 'IT', 'HR', 'HR', 'Finance', 'Finance', 'Finance', 'Finance', 'Finance'],
    'salary': [120000, 125000, None, 70000, None, 90000, None, 95000, None, 100000]
}

df = pd.DataFrame(data)
print(df)

Результат:

   employee_id department    salary
0            1         IT  120000.0
1            2         IT  125000.0
2            3         IT       NaN
3            4         HR   70000.0
4            5         HR       NaN
5            6    Finance   90000.0
6            7    Finance       NaN
7            8    Finance   95000.0
8            9    Finance       NaN
9           10    Finance  100000.0

👉 В задаче требуется:

> **Заполнить пропущенные зарплаты медианой по департаменту.
> Затем найти департамент с наибольшим средним уровнем зарплаты.**

Вы пишете такой код:

df['salary_filled'] = df.groupby('department')['salary'].transform(lambda x: x.fillna(x.median()))
top_department = df.groupby('department')['salary_filled'].mean().idxmax()
print(top_department)

❗️ Результат: "Finance"

Но через неделю выясняется, что HR утверждает:
> “Наш средний уровень зарплаты выше, чем в Finance!”

📝 Ваша задача:

1. Объяснить почему результат показывает Finance, хотя HR утверждает обратное?
2. Где ошибка в логике?
3. Как правильно посчитать среднюю зарплату, учитывая реальную ситуацию?

---

🎯 Подвох (ключевой момент):

Медиана по HR = 70000 (только одно известное значение).
Пропущенная зарплата в HR тоже заполняется 70000, т.е. обе записи будут 70000.

В Finance медиана = 95000 (из трёх известных: 90000, 95000, 100000).
Две пропущенные зарплаты в Finance тоже заполняются 95000.

✅ Но на самом деле в HR могли быть более высокие зарплаты, а мы по сути искусственно “усекли” распределение зарплат, заменив пропуски фиксированной медианой.

👉 Такая замена снижает дисперсию и искажает среднее, особенно если выборка мала.

---

💡 Правильный подход:

1. Вместо заполнения медианой, использовать **множественную имputation** (например, через `sklearn.impute.IterativeImputer`).
2. Либо **не заполнять NaN при вычислении среднего**, а использовать `mean(skipna=True)`, чтобы не “усекать” данные.
3. Либо **показать доверительный интервал** для среднего по каждой группе.

Пример альтернативного подхода:

```python
top_department = df.groupby('department')['salary'].mean().idxmax()
print(top_department)
```

✅ Таким образом NaN просто не участвуют в расчёте среднего, и мы не искажаем данные искусственным заполнением.

---

🔥 Усложнение (ещё один подвох):

А что если пропуски не случайны?
Например, все высокие зарплаты в HR отсутствуют, потому что сотрудники не раскрыли данные?

→ Тогда импутация медианой дополнительно “занижает” зарплаты HR, и классическая mean() даёт biased estimate.

В таком случае нужна модель пропусков (MAR, MCAR, MNAR) и специфические методы восстановления.

---

📝 Что проверяет задача:

✅ Понимание влияния методов заполнения пропусков
✅ Знание статистических эффектов усечения данных
✅ Умение интерпретировать результат с учётом bias
✅ Навык выбирать подходящий метод обработки пропусков в зависимости от их природы

Читать полностью…

🔥CocoIndex — это современный ETL-фреймворк с открытым исходным кодом, предназначенный для подготовки данных к использованию в системах искусственного интеллекта. Он поддерживает пользовательскую логику трансформации и инкрементальные обновления, что делает его особенно полезным для задач индексации данных.

🔧 Основные возможности

- Инкрементальная обработка данных: CocoIndex отслеживает изменения в исходных данных и логике трансформации, обновляя только изменённые части индекса, что снижает вычислительные затраты.
- Поддержка пользовательской логики: Фреймворк позволяет интегрировать собственные функции обработки данных, обеспечивая гибкость при построении пайплайнов.
- Модульная архитектура: Встроенные компоненты для чтения данных (локальные файлы, Google Drive), обработки (разбиение на чанки, генерация эмбеддингов) и сохранения результатов (PostgreSQL с pgvector, Qdrant).
- Поддержка различных форматов данных: Поддержка текстовых документов, кода, PDF и структурированных данных, что делает CocoIndex универсальным инструментом.

🚀 Примеры использования

- Семантический поиск: Индексация текстовых документов и кода с эмбеддингами для семантического поиска.
- Извлечение знаний: Построение графов знаний из структурированных данных, извлечённых из документов.
- Интеграция с LLM: Извлечение структурированной информации из неструктурированных данных с помощью больших языковых моделей.


⚙️ Быстрый старт

1. Установите библиотеку CocoIndex:

   pip install -U cocoindex
   

https://github.com/cocoindex-io/cocoindex

2. Настройте базу данных PostgreSQL с расширением pgvector.

3. Создайте файл quickstart.py и настройте пайплайн обработки данных.

4. Запустите пайплайн для обработки и индексации данных.

🟢 Github

@data_analysis_ml

Читать полностью…

🧩 The Ultimate LLM Benchmark Collection

Подборка живых бенчмарков, которые стоит открывать при каждом релизе новой модели — и тех, на которые можно больше не тратить время.

🌐 Общие (multi‑skill) лидерборды
SimpleBench — https://simple-bench.com/index.html

SOLO‑Bench — https://github.com/jd-3d/SOLOBench

AidanBench — https://aidanbench.com

SEAL by Scale (MultiChallenge) — https://scale.com/leaderboard

LMArena (Style Control) — https://beta.lmarena.ai/leaderboard

LiveBench — https://livebench.ai

ARC‑AGI — https://arcprize.org/leaderboard

Thematic Generalization (Lech Mazur) — https://github.com/lechmazur/generalization

дополнительные бенчмарки Lech Mazur:

Elimination Game — https://github.com/lechmazur/elimination_game

Confabulations — https://github.com/lechmazur/confabulations

EQBench (Longform Writing) — https://eqbench.com

Fiction‑Live Bench — https://fiction.live/stories/Fiction-liveBench-Mar-25-2025/oQdzQvKHw8JyXbN87

MC‑Bench (сортировать по win‑rate) — https://mcbench.ai/leaderboard

TrackingAI – IQ Bench — https://trackingai.org/home

Dubesor LLM Board — https://dubesor.de/benchtable.html

Balrog‑AI — https://balrogai.com

Misguided Attention — https://github.com/cpldcpu/MisguidedAttention

Snake‑Bench — https://snakebench.com

SmolAgents LLM (из‑за GAIA & SimpleQA) — https://huggingface.co/spaces/smolagents/smolagents-leaderboard

Context‑Arena (MRCR, Graphwalks) — https://contextarena.ai

OpenCompass — https://rank.opencompass.org.cn/home

HHEM (Hallucination) — https://huggingface.co/spaces/vectara/leaderboard

🛠️ Coding / Math / Agentic
Aider‑Polyglot‑Coding — https://aider.chat/docs/leaderboards/

BigCodeBench — https://bigcode-bench.github.io

WebDev‑Arena — https://web.lmarena.ai/leaderboard

WeirdML — https://htihle.github.io/weirdml.html

Symflower Coding Eval v1.0 — https://symflower.com/en/company/blog/2025/dev-quality-eval-v1.0-anthropic-s-claude-3.7-sonnet-is-the-king-with-help-and-deepseek-r1-disappoints/

PHYBench — https://phybench-official.github.io/phybench-demo/

MathArena — https://matharena.ai

Galileo Agent Leaderboard — https://huggingface.co/spaces/galileo-ai/agent-leaderboard

XLANG Agent Arena — https://arena.xlang.ai/leaderboard

🚀 Для отслеживания AI take‑off
METR Long‑Task Benchmarks (вкл. RE Bench) — https://metr.org

PaperBench — https://openai.com/index/paperbench/

SWE‑Lancer — https://openai.com/index/swe-lancer/

MLE‑Bench — https://github.com/openai/mle-bench

SWE‑Bench — https://swebench.com

🏆 Обязательный «классический» набор
GPQA‑Diamond — https://github.com/idavidrein/gpqa

SimpleQA — https://openai.com/index/introducing-simpleqa/

Tau‑Bench — https://github.com/sierra-research/tau-bench

SciCode — https://github.com/scicode-bench/SciCode

MMMU — https://mmmu-benchmark.github.io/#leaderboard

Humanities Last Exam (HLE) — https://github.com/centerforaisafety/hle

🔍 Классические бенчмарков

Simple‑Evals — https://github.com/openai/simple-evals

Vellum AI Leaderboard — https://vellum.ai/llm-leaderboard

Artificial Analysis — https://artificialanalysis.ai

⚠️ «Перегретые» метрики, на которые можно не смотреть
MMLU, HumanEval, BBH, DROP, MGSM

Большинство чисто‑математических датасетов: GSM8K, MATH, AIME, ...

Модели близки к верхним значениям на них и в них нет особого смысла.

Читать полностью…

🌟 Atropos: тренажерный зал для RL языковых моделей.

Atropos от NousResearch - это гибкий фреймворк для асинхронного управления RL-средами. Его архитектура построена так, чтобы максимизировать эффективность даже в распределенных системах, будь то локальный кластер или облако.

Atropos поддерживает децентрализацию. Он позволяет запускать несколько экземпляров сред (от статических датасетов, интерактивных игр, RLAIF и RLHF до обучения сложным многоэтапным взаимодействиям), которые асинхронно передают данные в центральный узел.

Это избавляет от простоя ресурсов, когда обновления политики модели тормозят из-за ожидания результатов всех окружений. Под капотом — интеграция с любыми API (OpenAI, vLLM, SGLang), позволяя свободу выбора LLM-провайдера без переписывания кода.

Практическая польза протестирована в экспериментах:

🟢В задачах параллельного вызова функций точность тестовой модели DeepHermes Tool Calling Specialist выросла в 4,6 раза — с 10% до 46%.

🟢В прогнозировании финансовых показателей на модели DeepHermes Financial Fundamentals Prediction Specialist, RL через Atropos удвоил точность (с 20% до 50%).

Такие результаты достигнуты благодаря многозадачности: фреймворк одновременно управляет разными типами сред, объединяя их в единый тренировочный поток. Вы можете обучать модель на статических данных утром и переключаться на интерактивные игры вечером, не меняя инфраструктуру.

Для разработчиков Atropos предлагает готовые инструменты: от датасетов для тонкой настройки (SFT, DPO) до дебаггеров и визуализации.

Atropos не привязывает вас к конкретному алгоритму RL или инфраструктуре. Запустите 10 экземпляров на ноутбуке или 10 000 через Slurm — фреймворк равномерно распределит нагрузку. Это особенно ценно для исследований: можно быстро экспериментировать с разными подходами, не тратя недели на настройку пайплайнов.

В репозитории есть все, что нужно: коллекция готовых к использованию сред RL, библиотека с базовыми классами и утилитами и примеры конфигураций обучения.

Если хотите понять, как ускорить свои эксперименты с LLM - загляните в документацию проекта, возможно, это именно тот инструмент, который избавит вас от боли асинхронной координации.


📌Лицензирование: MIT License.


🟡Статья
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #RL #Framework #NousResearch #Atropos

Читать полностью…

📢 Hugging Face теперь интегрирован с Kaggle Notebooks

С сегодняшнего дня пользователи Kaggle могут напрямую использовать любые модели с Hugging Face в своих ноутбуках — без ручной загрузки, настройки токенов и дополнительных библиотек.

🤝 Платформы Hugging Face и Kaggle объявили о партнёрстве, которое позволит участникам соревнований и исследователям работать с новейшими SOTA-моделями буквально "из коробки".

🔥 Это лишь первый шаг: команды уже работают над дальнейшей интеграцией, чтобы сделать работу с HF-моделями ещё удобнее внутри экосистемы Kaggle.

🔗 Попробовать можно прямо сейчас — поддержка уже включена в среду Kaggle Notebooks.

https://huggingface.co/blog/kaggle-integration

Читать полностью…

Anthropic проводит испытания безопасности новой модели под названием «Клод-Нептун».

Не удивлюсь, если мы скоро увидим Claude 4.

Дарио Амодей в своём последнем интервью говорил, что Claude 4 будет готов через шесть месяцев. Похоже, это время уже подходит.

#Claude

@data_analysis_ml - подписаться

Читать полностью…

🔍 Что такое AssetGen 2.0?

AssetGen 2.0 — это новый фреймворк-от способный создавать высококачественные 3D-модели и текстуры на основе текстовых или визуальных запросов. Она объединяет два компонента:

- 3D-меши: создаются с использованием одностадийной диффузионной модели, обеспечивающей высокую детализацию и геометрическую точность.

Текстуры: генерируются с помощью модели TextureGen, которая обеспечивает высокое качество и согласованность текстур.


🆚 Улучшения по сравнению с AssetGen 1.0
Одностадийная генерация: AssetGen 2.0 использует одностадийную диффузионную модель, что позволяет напрямую создавать 3D-объекты из текстовых или визуальных запросов, улучшая качество и сокращая время генерации.

Повышенная детализация: новая архитектура обеспечивает более высокую детализацию и точность геометрии по сравнению с предыдущей версией.

Улучшенные текстуры: TextureGen обеспечивает более высокое качество текстур с улучшенной согласованностью между различными видами объекта.

🌍AssetGen 2.0 уже используется внутри компании для создания 3D-миров и будет доступна для разработчиков Horizon позже в этом году. Планируется также расширение возможностей модели для генерации целых 3D-сцен на основе текстовых или визуальных запросов.

🔗 Подробнее

@data_analysis_ml

Читать полностью…

🩺 HealthBench — новый бенчмарк от OpenAI для оценки ИИ в медицине

OpenAI представила HealthBench — масштабный бенчмарк, разработанный для оценки возможностей языковых моделей в медицинских сценариях. Он создан в сотрудничестве с 262 врачами из 60 стран и включает 5 000 реалистичных медицинских диалогов.

🔍 Основные особенности HealthBench:

- Реалистичные кейсы: Диалоги отражают реальные взаимодействия между пациентами и врачами, охватывая различные медицинские специальности и контексты.

- Многоязычность: Бенчмарк поддерживает несколько языков, что позволяет оценивать модели в глобальном масштабе.

- Оценка по рубрикам: Каждый ответ модели оценивается по набору критериев, разработанных врачами, с учетом полноты, точности и уместности.

Открытый доступ: Код и данные доступны на GitHub, что способствует прозрачности и сотрудничеству в исследовательском сообществе.

HealthBench устанавливает новый стандарт для оценки ИИ в здравоохранении, обеспечивая более надежные и безопасные инструменты для пациентов и врачей.

🔗 Подробнее: https://openai.com/index/healthbench/

Читать полностью…

🌐 Reader от Jina AI — переводчик веб-страниц для языковых моделей. Этот необычный проект решает проблему всех RAG-систем, превращая контент веб-страниц в удобоваримый для LLM формат. Просто добавьте https://r.jina.ai/ перед любой ссылкой и получите очищенный от рекламы, JS-кода и лишних элементов текст с автоматически подписанными изображениями.

Также запрос через s.jina.ai не просто выдает список ссылок, а сразу загружает и обрабатывает топ-5 результатов. Технология уже используется в продакшене и полностью бесплатна.

🤖 GitHub

@data_analysis_ml

Читать полностью…

🐼 Pandas-задача с подвохом: “Почему ничего не работает?”

📘 Условие

Дано: DataFrame df:

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'user_id': [1, 1, 2, 2, 3, 3],
    'score': [100, 90, np.nan, 85, 75, 95]
})

Ты хочешь:

1) Для каждого пользователя найти средний score,
2) Заполнить пропущенные значения score средним по этому пользователю.

Ты пишешь код:

df['score_filled'] = df.groupby('user_id')['score'].apply(lambda x: x.fillna(x.mean()))

Ожидаешь, что пропущенное значение будет заменено на `85.0`.
Но вместо этого… возникает ошибка или неверный результат.

❓ Вопрос:

1) Почему этот код не работает как ты ожидаешь?
2) Какое поведение apply() вызывает подвох?
3) Как правильно решить задачу?

---

✅ Разбор:

💥 Проблема в `.apply()` + присваивание по индексу

Функция `groupby().apply()` возвращает **объединённый результат с вложенным индексом**, который **не совпадает с индексом исходного DataFrame**.

Пример:

```python
df.groupby('user_id')['score'].apply(lambda x: x.fillna(x.mean()))
```

→ возвращает Series с уровнем индекса: `(user_id, original_index)`,
а `df['score_filled'] = ...` ожидает индекс, совпадающий с `df.index`.

📌 Результат: pandas либо выбрасывает `ValueError`, либо вставляет неправильные значения.

✅ Правильные способы

Способ 1: использовать `transform` (индекс сохраняется!):

```python
df['score_filled'] = df['score'].fillna(
df.groupby('user_id')['score'].transform('mean')
)
```

Способ 2: в два шага:

```python
user_means = df.groupby('user_id')['score'].transform('mean')
df['score_filled'] = df['score']
df.loc[df['score'].isna(), 'score_filled'] = user_means
```

🎯 Так `NaN` будет корректно заполнен значением `85.0`.

⚠️ Подвох

• `groupby().apply()` не гарантирует совпадение индексов
• `transform()` — безопаснее, если хочешь сохранить структуру
• Даже опытные часто используют `apply` “по привычке” и попадают в ловушку
• Такие ошибки не всегда приводят к crash — они хуже: создают **тихие баги**


Хочешь сделать вторую часть , ставь 👍

Читать полностью…

🔥 Проект: fast-agent

fast-agent — это современный фреймворк для быстрой разработки и тестирования интеллектуальных агентов и рабочих процессов, поддерживающих протокол MCP (Model-Context-Protocol). Он предоставляет простой декларативный синтаксис и мощные инструменты для построения многоагентных систем с поддержкой OpenAI, Anthropic и других моделей.

▪ Основные возможности

• Быстрое создание агентов с помощью декораторов @fast.agent, минимизируя количество кода.

• Поддержка рабочих процессов: цепочки (`chain`), параллельные вызовы (`parallel`), маршрутизаторы (`router`), оркестраторы (`orchestrator`), схемы с оценкой и оптимизацией (`evaluator_optimizer`).

• Мультимодальность: обработка изображений, PDF-файлов и интеграция с внешними ресурсами MCP.

• Интерактивная отладка: настройка и диагностика агентов до, во время и после выполнения рабочих процессов.

• Гибкая конфигурация через fastagent.config.yaml и fastagent.secrets.yaml.

• Интеграция с LLM: OpenAI (GPT-4 и др.), Anthropic (Haiku, Sonnet, Opus) и другие модели через MCP-серверы.

▪ Быстрый старт

1️⃣ Установите менеджер пакетов uv для Python.

2️⃣ Установите fast-agent:

uv pip install fast-agent-mcp

3️⃣ Создайте пример агента и конфигурационные файлы:

uv run fast-agent setup

4️⃣ Запустите агента:

uv run agent.py

5️⃣ Для запуска примеров рабочих процессов:

uv run fast-agent quickstart workflow

▪ Документация и примеры

• Официальный сайт: [fast-agent.ai](https://fast-agent.ai)

• Документация: [fast-agent-docs](https://github.com/evalstate/fast-agent-docs)

• Примеры: директория examples в репозитории.

▪ Сообщество и развитие

• Проект активно развивается, ⭐ 1.7k+ звёзд на GitHub.

• Обсуждения: [Discussions](https://github.com/evalstate/fast-agent/discussions)

• Последние релизы: [Releases](https://github.com/evalstate/fast-agent/releases)

▪ Видеообзор

[First Look at Fast-Agent (or Manus) – Coding an AI ...](https://www.youtube.com/watch?v=GaVQyYougPc&utm_source=chatgpt.com)

🔍 GitHub

Читать полностью…

🔥 Hugging Face представили бесплатного Open Computer Agent — открытый аналог Operator, запускающийся на виртуальной Linux-машине. Этот агент умеет искать и бронировать билеты, заказывать столик в ресторане и решать множество других задач.

Есть два «но»: он иногда не справляется с CAPTCHA, а из-за высокой нагрузки ответы могут идти чуть дольше. Зато всё бесплатно и с открытым исходным кодом!

Попробовать можно прямо сейчас:

https://huggingface.co/spaces/smolagents/computer-agent

@data_analysis_ml

Читать полностью…

Железо + софт = будущее.

Стартовала регистрация на «Я.Железо-2025»

Как видит мир автономный грузовик, зачем лидару «подогрев стёкол» и что позволяет роверу ориентироваться в городе? Приглашаем 24 мая на конференцию «Я.Железо» — поговорим о разработке роботов, умных устройств, автономного транспорта и серверной инфраструктуры.
Вас ждут два трека с докладами, экспозона и нетворкинг.

О чём расскажут спикеры:

На треке Hardware — об устройстве сенсорсета, микрофонов в AOSP на примере ТВ-станции, а также сделают обзор системы очистки.
На треке Software — о смарт-функциях в ТВ Станциях, TBD Светофорах на роботе-доставщике и радаре в BEVFusion.

Что покажут на экспо:

•Собственные лидары. Как работают дальнобойный PBR-ONE и круговой nanoHomer и что позволяет роботам «видеть» сквозь дождь и туман.
•Автономные грузовики. Как тягач принимает решения, маневрирует и соблюдает ПДД, а лидары определяют объекты за сотни метров.
•Роботы-доставщики. Как ровер ориентируется в городе, видит пешеходов и решает, когда остановиться.
•Складские роботы. Как работает нейросеть и «грабер» в механической руке и сколько палето-мест в час может обработать робот-инвентаризатор.

Конференция пройдёт онлайн и офлайн в Москве 24 мая. Чтобы получить приглашение на «Я.Железо», зарегистрируйтесь по ссылке.

Читать полностью…

🌟 NVIDIA Parakeet-tdt-0.6b-v2: ASR-модель с поддержкой временных меток.

NVIDIA представила новую модель автоматического распознавания речи (ASR) — Parakeet-tdt-0.6b-v2 c 600 млн. параметров для английского языка. Она не просто транскрибирует аудио в текст, но и распознает пунктуацию, капитализацию и временные метки с точностью до слова.

Модель устойчива к шумам и справляется даже с расшифровкой песен или чисел. Это достигнуто за счет обучения на данных, в которые включили «шумные» источники (YouTube, записи телефонных разговоров и уличные диалоги). Как отмечают авторы, RTFx-показатель равен 3380 (при батче 128), что позволяет использовать Parakeet для масштабных промышленных задач.

В основе Parakeet - гибридная архитектура. Она комбинирует скоростной кодировщик FastConformer с декодером TDT, который оптимизирован для транскрипции.

TDT - декодер, который предсказывает слова, звуки и их длительность. Вместо того чтобы проверять каждый кусочек аудиозаписи по порядку, TDT «перепрыгивает» через лишние сегменты, опираясь на прогноз времени, которое занимает текущий токен. Это сокращает вычисления, экономит время и при этом не теряется точность.

Fast Conformer — это переработанная архитектура Conformer, которая ускоряет распознавание речи за счет увеличения downsampling до 8x с помощью более легких сверток и упрощенных блоков, и замены стандартного внимания на комбинацию локального контекста и одного глобального токена.

Обучение Parakeet проводилось в 2 этапа: сначала на 128 GPU A100 с использованием псевдоразмеченных данных, а затем — на 500 часах человеческой транскрипции. Часть обучающего датасета пока недоступна публично, их NVIDIA обещает открыть после конференции Interspeech 2025.

Результаты на бенчмарке Open ASR впечатляют: средняя ошибка (WER) составляет всего 6.05% при greedy decoding без внешней языковой модели. Для сравнения, на чистом аудио из LibriSpeech WER составляет 1.69%, а сильном зашумлении (SNR 5) показатель не превышает 8.39%. В телефонии, где аудио сжимается через μ-law, потери в точности минимальны — всего 4.1%. По этим результатам, Parakeet-tdt-0.6b-v2 может стать универсальным инструментом для колл-центров или мобильных приложений.

Модель поддерживает форматы .wav и .flac с частотой 16 кГц и требует всего 2 ГБ оперативной памяти. Для интеграции разработчикам понадобится фреймворк NeMo от NVIDIA, он упрощает настройку под конкретные задачи.


📌Лицензирование: CC-BY-4.0 License.


🟡Модель
🟡Demo


@ai_machinelearning_big_data

#AI #ML #ASR #Parakeet #NVIDIA

Читать полностью…

🚀 LTX-Video 13B — один из самых мощных open-source видеогенераторов.

Разработчики внедрили в модель мультимасштабный рендеринг.

✅ Обычные генеративные модели видео рендерят всё изображение целиком, одним разрешением.
Когда в сцене много движущихся объектов или деталей, модель может "размазать" их, потерять чёткость или неправильно совместить фон и передний план.

📝 А мультимасштабный рендеринг — это параллельная отрисовка картинки на разных уровнях детализации:

один поток отвечает за фон (низкая детализация, большой масштаб),

другой — за объекты в центре, движущиеся элементы (высокая детализация, малый масштаб).

Потом всё объединяется в один кадр, как слои в Photoshop.

🎯 Зачем это нужно?

Фон остаётся стабильным, не "дергается"

Движущиеся объекты остаются чёткими и отдельными от фона

Картинка в целом не разваливается (нет смешивания движений, артефактов)

Такой подход помогает удерживать высокое качество картинки даже при сложном движении — например, если в кадре бежит персонаж на фоне движущегося города.

👉 По сути, это умное раздельное внимание к разным частям кадра, чтобы не терять детали ни в статике, ни в движении.

Что нового?

– Модель 13 миллиардов параметров
– Multiscale rendering → больше деталей, чётче текстуры
– Лучше понимает движение и сцену
– Запускается локально на GPU
– Поддержка keyframes, движения камеры/персонажей, мультисценных секвенций

Запускается даже на RTX 4090.

#AI #videoAI #ltxvideo #deeplearning #generativeAI #opensource #videogeneration

▪Попробовать можно тут→ https://app.ltx.studio/ltx-video
▪Code → https://github.com/Lightricks/LTX-Video
▪Weights → https://huggingface.co/Lightricks/LTX-Video

Читать полностью…

✔ PySpur

PySpur — это полезны и легкий инструмент для создания и управления рабочими процессами, с минимальным количеством зависимостей.

Он позволяет легко добавлять новые узлы через файл на Python и использует формат JSON для настройки графов.

Инструмент поддерживает асинхронное выполнение задач, работу с несколькими модальностями данных и оптимизацию конвейеров. Кроме того, он предоставляет возможность генерации узлов с использованием технологий искусственного интеллекта.

▪Github

Читать полностью…

1️⃣2️⃣3️⃣4️⃣5️⃣6️⃣7️⃣8️⃣9️⃣🔟
Как меняется ИТ-индустрия с внедрением AI? Узнай 6 июня на ИТ-конференции МТС True Tech Day

True Tech Day 2025 — третья масштабная технологическая конференция МТС для профессионалов ИТ‑индустрии.

В программе:
— Больше 40 докладов от известных ученых и ИТ-компаний.
— Выступления зарубежных спикеров с индексом Хирша более 50.
— Концентрация практических кейсов: как создаются большие проекты с применением AI.
— Доклады по архитектуре, бэкенд-разработке и построению ИТ-платформ.
— AI-интерактивы и технологические квесты.
— Пространство для нетворкинга,
…а еще after-party со звездным лайн-апом.

Когда: 6 июня
Где: Москва, МТС Live Холл и онлайн
Участие бесплатно. Регистрация по ссылке.

Читать полностью…

📈 За последние 28 дней сайт ChatGPT посетили больше людей, чем X (Твиттер).

- ChatGPT посетили 4,786 млрд раз
- X 4,028 млрд посещений

Читать полностью…

❓Как найти аномалии в данных с помощью машинного обучения?

В мире данных выявление аномалий — ключевая задача, которая помогает находить неисправности, мошенничество и отклонения. Без правильных методов вы рискуете упустить важные факты, которые могут повлиять на результаты.

На открытом вебинаре 13 мая в 18:00 мск мы подробно разберем, как эффективно искать аномалии в данных с использованием популярных методов, от простых статистических до продвинутых, таких как Isolation Forest и OneClassSVM.

📣 Спикер Мария Тихонова – PhD Computer Science, Senior Data Scientist и преподаватель в одном из крупнейших университетов России.

➡️ Запишитесь на вебинар и получите скидку на большое обучение «Специализация Machine Learning»: https://otus.pw/RBJq/?erid=2W5zFFwo5AQ

#реклама
О рекламодателе

Читать полностью…