bigdatai | Unsorted

Telegram-канал bigdatai - Big Data AI

17610

@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста

Subscribe to a channel

Big Data AI

АI-агенты в проде, AI-помощник в облаке — что дальше 🧠

Узнайте 3 сентября на IT-конференция про облака и AI — GoCloud Tech.

В этом году целый трек будет посвящен трендам в AI&ML:

➡️ Как AI-помощник может управлять инфраструктурой за вас
➡️ Валидация RAG с помощью RAGAS
➡️ SWE-Agents in Developer Tools
➡️ Как собирать мультиагентную систему для любых задач
➡️ Эволюция AI-агентов


Также будут отдельные треки про работу с данными, облачную инфраструктуру и сервисы для разработки. А еще — демо, воркшопы, карьерные консультации, мерч и яркое afterparty.

Регистрируйтесь🖱

Читать полностью…

Big Data AI

Неформально про реком
Глитч нейросети — это база, а ивент AI VK & Pro в «оригинале» — повод собраться и узнать, как меняются рекомендательные системы.

27 августа VK проводит AI VK & Pro — закрытый митап про RecSys и ML. Где соберутся крутые ML-инженеры, исследователи и разработчики.

В программе доклады от ML-лидов VK. Поговорим про Discovery Platform, продовые трансформеры и мультимодальные модели.
Приходите задать вопросы, поделиться опытом и поглитчевать среди своих в неформальной обстановке. А после — афтепати: винил, сигары, вино и покер.


📍 Москва, только офлайн
📅 27 августа, сбор с 18:00
🎟 Вход по регистрации

Читать полностью…

Big Data AI

👿 26 августа Яндекс проведёт в Санкт-Петербурге Data Dojo: мероприятие для сообщества ML-экспертов

Будем обсуждать востребованные направления машинного обучения, разбирать реальные задачи из соревнований и общаться с руководителями команд, чтобы узнать больше о карьере ML’щика в Яндексе.

Николай Савушкин, руководитель команды рекомендательных технологий в Поиске, расскажет, как устроена персонализация и как работают большие генеративные модели в рекомендательных системах Яндекса. А Алексей Колесов, руководитель команды NLP, поделится, каких успехов за последнее время добилась команда R&D в Яндексе, и какие вызовы стоят перед ними в ближайший год.

Вечером — дискуссия с секретным гостем, а после — afterparty с музыкой и напитками.

Если хотите стать спикером, необходимо заполнить специальную форму до 13 августа. Программный комитет выберет одну из заявок и пригласит её автора выступить на встрече.

Если хотите участвовать, то нужно заполнить анкету до 20 августа.

🪷 В додзё не приходят случайно. Набирайтесь мудрости в сильнейшем ML-комьюнити.

Читать полностью…

Big Data AI

GPT-5 - настоящий гений, говорили они

Читать полностью…

Big Data AI

🎙 Seed LiveInterpret 2.0 от ByteDance — прорыв в переводе речи в реальном времени.

Что в нём особенного:

- Синхронный перевод речь-в-речь между китайским и английским с задержкой всего 2–3 секунды — почти как у человека.
- Клонирование голоса в реальном времени — перевод звучит голосом говорящего, сохраняя тембр, ритм и стиль.
- Точность перевода на уровне профессиональных синхронных переводчиков — до 70–80 % корректности даже в сложных сценариях.
- Баланс качества и скорости — модель подстраивает темп перевода под стиль речи, избегая слишком медленного или ускоренного воспроизведения.
- Доступность через API платформы Volcano Engine и интеграция в гарнитуру Ola Friend.

Source:
https://alphaxiv.org/pdf/2507.17527
Post:
https://seed.bytedance.com/en/seed_liveinterpret

Читать полностью…

Big Data AI

🔒 Неожиданный поворот в мире ИИ: Anthropic заблокировала OpenAI доступ к API своего чат-бота Claude, обвинив конкурента в нарушении условий обслуживания. По данным источников Wired, OpenAI использовала Claude для тестирования и сравнения с собственными разработками в преддверии релиза GPT-5 — якобы в обход стандартного интерфейса, через специальные API.

В Anthropic сочли это недопустимым — их условия явно запрещают применение сервиса для создания конкурирующих продуктов. При этом представители компании подчеркивают: сравнительный анализ моделей — обычная практика в индустрии, и доступ для таких целей останется.

OpenAI в ответ заявили, что разочарованы решением, особенно на фоне открытого доступа к их API. Конфликт интересен не только с юридической точки зрения, но и как маркер накаляющейся конкуренции между крупными игроками ИИ. Особенно сейчас, когда все готовятся к новым релизам — GPT-5 от OpenAI и, вероятно, ответных шагов от Anthropic.

🔗 Ссылка - *клик*

@bigdatai

Читать полностью…

Big Data AI

💎 RisuAI — кроссплатформенный клиент для общения с ИИ. Этот проект объединяет поддержку разных языковых моделей в одном интерфейсе с необычными функциями. Например, можно создавать групповые чаты с несколькими персонажами, добавлять эмоциональные изображения в диалоги и использовать TTS для озвучки ответов.

Проект имеет встроенный редактор regex для кастомизации вывода моделей и система «Lorebook» для сохранения контекста беседы. Есть версии для веба, ПК и Docker.

🤖 GitHub

@bigdatai

Читать полностью…

Big Data AI

Посвящается всем вайбкодерам 👍

Читать полностью…

Big Data AI

🧠ИИ открыл новые законы физики — понятным языком

Учёные из Университета Эмори (США) дали ИИ задачу не
«угадывать результаты», а самому вывести формулы. Вот что получилось.

🔍 Что исследовали
- Пыльная плазма — это горячий ионизированный газ, в котором летают микроскопические пылевые частицы.
- Частицы отталкиваются и притягиваются сложным образом; классическая теория не всё объясняла.

🧠 Как работал ИИ
- Ему показали короткие 3-D видеозаписи движения частиц (маленький датасет).
- В алгоритм заранее «вшили» базовые принципы: сопротивление воздуха, гравитацию.
- ИИ искал уравнения, которые лучше всего описывают траектории.

📈 Что открыл
- Нереципрокные силы: сила от A к B ≠ сила от B к A. Раньше про них только догадывались.
- Исправил старую ошибку: заряд частицы зависит от её размера иначе, чем считали.
- Показал, как быстро затухают взаимодействия с расстоянием — формула тоже обновилась.

🚀 Почему это важно
- Малый объём данных: хватает секундных видеороликов.
- Обычный ПК: нужен лишь настольный компьютер, не суперкомпьютер.
- Метод переносится на любые «многие частицы» — от порошковых материалов до клеток в биологии.

Вывод: ИИ уже способен не только анализировать данные, но и выводить новые законы природы. Скорость открытий растёт экспоненциально.

https://interestingengineering.com/innovation/ai-decodes-dusty-plasma-new-forces-physics

@data_analysis_ml

Читать полностью…

Big Data AI

🚨 ALERT: Новый ИИ‑скам — Airbnb‑хост сгенерировал фейк‑фото, чтобы выбить £12,000 с гостя

Хост использовал генеративный ИИ, чтобы сделать вид, будто гость сломал кофейный столик. Airbnb поверили картинке и потребовали компенсацию.

Гостье пришлось обратиться в СМИ, чтобы доказать свою невиновность.

📰 По данным The Guardian:

— Через 5 дней после вмешательства журналистов Airbnb согласились на апелляцию
— Предложили вернуть £854 из £4,269
— После отказа гостья добилась полного возврата
— И негативный отзыв хоста удалили

🤖 Что это значит?

Создать фейковое изображение с ИИ — дешево и просто. А значит, и фейковые обвинения — теперь тоже.

Компании вроде Airbnb обязаны иметь:
⚠️ AI-детекторы на стороне модерации
☎️ Канал экстренной поддержки при ИИ-манипуляциях
🔍 Независимую оценку при спорных случаях

То, что человеку пришлось идти в прессу, чтобы добиться справедливости — тревожный сигнал.

Это и есть пост-генеративная реальность. И большинство компаний, правительств и платформ к ней до сих пор не готовы.

Читать полностью…

Big Data AI

🚀 Tencent расширяет экосистему Hunyuan LLM и выкладывают в открытый доступ еще 4 компактных моделей — 0.5B, 1.8B, 4B и 7B!

Эти модели заточены под low-power устройства: ПК, смартфоны, авто, умные дома и пользовательские GPU.

Модели легко настраиваются под вертикальные задачи и запускаются даже на одной карте.

💡 Особенности:
✅ Fast/slow thinking режимы: лаконичные или глубокие ответы
✅ 256K контекст и продвинутые агентные способности (tool use, планирование, reasoning)
✅ Хорошие метрики на тестах по языку, математике и логике
✅ Модели готовы к продакшену — работают с SGLang, vLLM, TensorRT-LLM

🖥 GitHub:
- 0.5B: https://github.com/Tencent-Hunyuan/Hunyuan-0.5B
- 1.8B: https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
- 4B: https://github.com/Tencent-Hunyuan/Hunyuan-4B
- 7B: https://github.com/Tencent-Hunyuan/Hunyuan-7B

🤗 Hugging Face:
- 0.5B: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
- 1.8B: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
- 4B: https://huggingface.co/tencent/Hunyuan-4B-Instruct
- 7B: https://huggingface.co/tencent/Hunyuan-7B-Instruct

🔗 Подробнее: https://hunyuan.tencent.com/modelSquare/home/list

@ai_machinelearning_big_data


#Tencent #Hunyuan #ml #llm #ai #opensource

Читать полностью…

Big Data AI

🧠 ИИ размером всего 27M превзошёл O3-mini, R1 и другие — и он вдохновлён мозгом

Исследователи создали крошечную модель — всего 27 миллионов параметров,
но она уже обходит более крупные модели вроде o3-mini и R1.

И это заставляет весь ИИ-мир выглядеть немного… нелепо.

🔍 Почему она работает так хорошо? Вот 5 ключевых идей:

1. Иерархическая обработка + рекурсия
Модель имитирует мозг: обрабатывает информацию слоями, со временем и обратной связью.

2. Устойчивая сходимость
Специальная архитектура не “застревает”, как это бывает у RNN — сходится стабильно.

3. Приближённый градиент
Обновления выполняются с постоянным объёмом памяти, без разворачивания по времени (в отличие от классических рекуррентных сетей).

4. Глубокое поэтапное обучение
Модель обучается на каждом шаге, но запоминает финальное состояние — как итог размышления.

5. Адаптивное время вычислений
Умеет переключаться между "быстрым" и "медленным" мышлением (System 1 и System 2),
используя механизм остановки + Q-learning для принятия решения, когда пора остановиться.


⚡ Эта работа показывает:
даже маленькая модель может думать глубже, если у неё хорошая архитектура.

📄 Подробнее — в исследовании
: https://arxiv.org/abs/2506.21734
🛠 Github: https://github.com/sapientinc/HRM

Читать полностью…

Big Data AI

🔥 KAT-V1 — новый LLM, который умеет не переусложнять

Разработан @KwaiAICoder, специально чтобы балансировать между рассуждением и прямыми ответами.

40B параметров
Step-SRPO — умное переключение режимов мышления через RL
MTP + дистилляция — более дешёвое и эффективное обучение

📦 Модель уже доступна на HuggingFace:
https://huggingface.co/Kwaipilot/KAT-V1-40B

Иногда лучший ответ — это короткий ответ. Эта модель это понимает.

Читать полностью…

Big Data AI

♾️ Infinity — высокоскоростной API для эмбеддингов и RAG. Проект превращает любые модели с Hugging Face в REST-сервис с минимальной задержкой. Поддерживает ONNX/TensorRT и работает на CPU/GPU через PyTorch и CTranslate2.

Инструмент имеет динамический батчинг и FlashAttention для максимизации производительности. Позволяет развернуть локальный аналог OpenAI Embeddings с открытыми моделями в несколько команд.

🤖 GitHub

@bigdatai

Читать полностью…

Big Data AI

📌 Habitat-Lab — фреймворк от Facebook Research для разработки ИИ-агентов, способных взаимодействовать с виртуальными и реальными окружениями. Проект позволяет обучать агентов выполнять различные задачи: от навигации в помещениях до взаимодействия с людьми и перестановки объектов.

Фреймворк поддерживает обучение через имитацию и reinforcement learning, а также интеграцию с ROS для робототехники. Инструмент обладает модульностью: можно настраивать сенсоры агентов, создавать новые задачи и тестировать их в реалистичных 3D-сценах.

🤖 GitHub

@bigdatai

Читать полностью…

Big Data AI

🌟 Embedding Atlas: визуализация структуры эмбедингов прямо в браузере.

Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU.

🟡Автоматическая кластеризация и разметка данных.

Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности.

Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной.

🟡Интерактивность.

В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные.

Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки.

🟡Embedding Atlas поставляется в виде 2 пакетов:

🟢Python-пакет

Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения.

🟢Npm-пакет

Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API: Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Документация
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Embedding #Visualisation #Apple

Читать полностью…

Big Data AI

🎓 TheAlgorithms/Python — крупнейший открытый репозиторий с реализациями алгоритмов на Python

📌 Что это?
TheAlgorithms — глобальное комьюнити, создающее учебные реализации алгоритмов на множестве языков. Репозиторий Python — один из самых популярных и активно развиваемых. Он содержит тысячи алгоритмов для образовательных целей.
Основные цифры:
- 204k звёзд ⭐ — один из самых "звёздных" проектов на GitHub

💡 Что внутри:
- Реализации алгоритмов разных категорий: сортировки, графы, машинное обучение, криптография, динамическое программирование, структуры данных и многое другое
- Полная документация, справка по API и гайды по контрибуции на сайте проекта

Кому это будет полезно:
- Студентам и начинающим — учебная база, чтобы видеть как работает алгоритм в коде.
- Подготовка к интервью — практические реализация и примеры.
- Желающим поучаствовать — проект открыт для всех: есть гайды по контрибуции, обсуждения, Discord/Gitter сообщество

https://github.com/TheAlgorithms/Python

Читать полностью…

Big Data AI

📨 Cognitive Kernel-Pro: компактный AI-агент для исследований. Открытый фреймворк Cognitive Kernel-Pro демонстрирует, как 8-миллиардная языковая модель может заменить коммерческие API в сложных исследовательских задачах. Система объединяет веб-поиск, анализ файлов и выполнение кода через Python-интерфейс, используя архитектуру из планировщика и узкоспециализированных под-агентов.

Ключевая фишка — самоанализ агента: после каждой операции он ведет журнал, отмечает сомнительные результаты и перепроверяет данные. Обучение на 15 тыс. многоэтапных сценариев и синтетических данных из PersonaHub позволило достичь 70.9% точности в тестах GAIA, обойдя другие открытые аналоги.

🔗 Ссылка - *клик*

@bigdatai

Читать полностью…

Big Data AI

🖥 Теперь писать сложные промты самому не обязательно — OpenAI выпустили генератор, который превращает даже простой запрос в подробную инструкцию для ИИ.

Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно.

Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов.

Готовый вы можете сразу попробовать в @Chatgpturbobot

Читать полностью…

Big Data AI

Первыми пошли xAI: Макс планирует встроить рекламу прямо в ответы Grok.

Честно говоря, это было лишь вопросом времени.

Проблема ещё и в доверии: в зависимости от того, как это реализуют, люди начнут задумываться — а не подтолкнул ли ИИ к этому ответу рекламодатель? И вот тогда доверие к модели может быстро уйти.

Читать полностью…

Big Data AI

🚀Прорыв от Google: активное обучение с экономией данных на 10 000× при дообучении LLM

Google разработала масштабируемый процесс *active learning*, который позволяет в десятки тысяч раз сократить объём размеченных данных, необходимых для тонкой настройки больших языковых моделей на сложных задачах — например, при модерации рекламного контента.

🟢 Как работает метод:
1. Стартовая модель (LLM-0) получает промпт и автоматически размечает огромный массив данных.
2. Кластеризация выявляет примеры, где модель путается (наиболее спорные и ценные для обучения).
3. Отбор данных: из этих кластеров выбирают информативные и разнообразные примеры.
4. Экспертная разметка — только для выбранных примеров.
5. Итерации: дообучение модели → новый отбор спорных примеров → разметка → снова обучение.

🟢Результаты:
- Сокращение с 100 000 размеченных примеров до менее 500 при сохранении или улучшении качества.
- Улучшение метрики *Cohen’s Kappa* на 55–65 %.
- В больших продакшн-моделях — до 3–4 порядков меньше данных при сопоставимом или лучшем качестве.

🟢 Что такое Cohen’s Kappa?
Это метрика, которая показывает, насколько два "судьи" (например, эксперт и модель) согласны между собой с поправкой на случайные совпадения.
- 0.0 — нет согласия (или хуже случайного)
- 0.41–0.60 — умеренное согласие
- 0.61–0.80 — значительное
- 0.81–1.00 — почти полное согласие
В задачах с дисбалансом классов Kappa даёт более честную оценку, чем обычная точность (accuracy).

Чем лучше предыдущих методов:
- Точечная разметка: размечаются только самые информативные примеры.
- Масштабируемость: метод применим к наборам данных с сотнями миллиардов примеров.
- Экономия ресурсов: меньше времени и затрат на разметку.
- Быстрая адаптация: подходит для доменов с быстро меняющимися правилами (реклама, модерация, безопасность).

🟢Вывод:
При умном отборе данных LLM можно адаптировать в тысячи раз быстрее и дешевле, чем при традиционном обучении на больших размеченных наборах.

#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency

🟠Почитать подробно

@ai_machinelearning_big_data


#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency

Читать полностью…

Big Data AI

🧠 OpenAI выложила свои рассуждающие модели в опенсорс. А в Yandex Cloud AI Studio их уже можно запускать по API.

Они поддерживают настройку глубины рассуждений и скорости генерации ответа, а их качество сопоставимо с o3‑mini и o4‑mini. Данные обрабатываются и хранятся в российских дата‑центрах.

Модели подходят для построения агентских систем: автоматизация рекрутмента и техподдержки, анализ документов, написание кода и первичная коммуникация с клиентами. В скором времени появится поддержка вызова функций — это позволит подключать внешние источники данных прямо в процессе генерации.

@bigdatai

Читать полностью…

Big Data AI

📐 gpt-oss работает на специальном формате промптов — Harmony, и без него просто не будет выдавать корректные ответы.

Зачем нужен Harmony?
Этот формат нужен для:
— 🧠 генерации chain of thought рассуждений
— 🔧 корректного вызова функций и использования инструментов
— 📦 вывода в разные каналы: обычный ответ, reasoning, tool call
— 🗂️ поддержки tool namespaces и иерархических инструкций

💡 Harmony имитирует OpenAI Responses API, так что если вы с ним работали — будет легко освоиться.

👉 Если вы используете gpt-oss через HuggingFace, Ollama или vLLM, волноваться не нужно — формат уже встроен.
Но если строите свой inference стек — обязательно изучите [гайд по Harmony](https://github.com/openai/harmony).

Без него модель просто не будет работать как надо.


💻 GitHub: https://github.com/openai/harmony


#AI #OpenAI #Harmony

Читать полностью…

Big Data AI

E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы

Решайте ML-задачи в стиле Ozon Tech. Девять победителей разделят призовой фонд соревнования — 7 200 000 рублей 🔥
Тест-драйв работы в e-com бигтехе стартует здесь.

🗓 Регистрация: https://cnrlink.com/ecup25bidgata
💻 Формат участия: онлайн
👥 Команда: от 1 до 5 человек
🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS.

Что вас ждёт:
🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России.
🔹 Обмен опытом с экспертами Ozon Tech.
🔹 Эксклюзивный мерч для победителей и подарки для самых активных участников.
🔹 Питчинг — 13 сентября на конференции E-CODE. Ozon Tech предоставит финалистам билеты и оплатит поездку.

Три трека E-CUP:
1️⃣ Рекомендации: предсказание следующей покупки пользователя
2️⃣ Логистика: автопланирование курьеров
3️⃣ Контроль качества: автоматическое выявление поддельных товаров

Регистрация на платформе Codenrock: https://cnrlink.com/ecup25bidgata

Читать полностью…

Big Data AI

📈 ИИ уже дал миру $97 млрд пользы — но их не видно в статистике

Официальные доходы OpenAI, Google, Microsoft и Anthropic от генеративного ИИ — около $7 млрд в год.
Но новая экономическая модель показывает: реальная ценность для людей — почти $97 млрд.

💡 Почему эту сумму не видно в ВВП?

Потому что люди используют ChatGPT, Gemini и другие ИИ-сервисы бесплатно или условно-бесплатно.
А ВВП считает только реальные деньги, которые прошли через кассу.

🧪 Как это посчитали?

Экономисты проводили онлайн-эксперименты:
👤 человеку говорят:
> «Хочешь продолжить пользоваться ИИ в следующем месяце — или отказаться и получить $X?»

📉 Увеличивают X, пока человек не скажет "ладно, забирайте".
Этот X — ценность доступа для конкретного человека.

📊 Среднее значение оказалось $98 в месяц.
82 млн пользователей × 12 месяцев × $98 = $97 миллиардов годовой "невидимой" пользы.

📌 Это называется consumer surplus — выгода, которую получает пользователь, не заплатив за продукт.
И она в 14 раз превышает все официальные продажи генеративного ИИ.

🧠 Исследователи предлагают учитывать это в новой метрике — GDP‑B, которая включает и скрытую цифровую ценность.

💬 Вывод:
ИИ уже радикально меняет экономику. Только большая часть этой пользы — не в отчётах компаний, а в жизни пользователей.

🔗 Статья: https://www.wsj.com/opinion/ais-overlooked-97-billion-contribution-to-the-economy-users-service-da6e8f55

Читать полностью…

Big Data AI

🚀 Mars — унифицированный фреймворк для распределённых вычислений на Python, который масштабирует NumPy, Pandas и Scikit-learn до работы с большими данными.

Проект предлагает знакомый интерфейс, но с возможностью параллельного выполнения операций на многоядерных системах или кластерах. Поддерживает интеграцию с Ray, Kubernetes и YARN для горизонтального масштабирования.

🤖 GitHub

@bigdatai

Читать полностью…

Big Data AI

🚀 MLE‑STAR от Google Research — новый state‑of‑the‑art агент для ML-инжиниринга

Google представил MLE‑STAR — агент на основе LLM, который автоматизирует ML-задачи разных типов (табличные данные, изображения, текст и др.) и достигает высот в сравнении с предыдущими подходами.

Что нового:

• Использует веб‑поиск для поиска современных моделей и примеров кода, чтобы создать начальное решение
• Делает абляционный анализ (ablation study), чтобы определить наиболее влиятельный компонент в ML-пайплайне, и итеративно дорабатывает его
• Развивает энсемблирование: генерирует несколько решений и собирает их в одно улучшенное, опираясь на стратегию агента
• Включает модули контроля: дебаггер, проверку утечек данных и контроль использования всех источников данных, чтобы избежать плохих практик

🧪 Результаты:
MLE‑STAR выигрывает медали в 63–64 % из бенчмарка MLE‑Bench‑Lite (Kaggle), обгоняя лучшие существующие методы (~25–26 %)

🛠 В чем плюсы:
- Снижает порог входа в ML для инженеров и организаций
- Обеспечивает адаптивность: агент извлекает свежие знания из сети, поэтому решения автоматически улучшаются с развитием ML
- Открытый исходный код — можно протестировать или встроить в собственные пайплайны

💡 Как работает:
1. Поиск нужных моделей через веб
2. Генерация и слияние лучших кандидатов
3. Абляционный анализ → выбор блока → уточнение этого блока
4. Итеративное улучшение и объединение ансамблей
5. Контрольные модули: дебаг, утечки, использование данных

🔜 Подробнее

@machinelearning_interview

#Google #GoogleResearch #ml #mle #llm

Читать полностью…

Big Data AI

🧠 SmallThinker — новая серия LLM, нативно обученная для локального запуска

SmallThinker — это семейство языковых моделей, созданное с нуля для запуска на обычных устройствах:
📉 низкая память, 🐌 медленное хранилище, ❌ без GPU — и всё это без потери качества.

🔧 Технологии под капотом:
• Двухуровневая разреженность: MoE + sparse ReGLU (>60% нейронов неактивны)
• Pre-attention router: предсказание нужных экспертов заранее → читаем с SSD параллельно
• NoPE-RoPE гибрид: 1:3 глобальное:локальное внимание → KV-кэш в 4 раза меньше
• Кэширование и оффлоадинг экспертов → экономим CPU и дисковый ввод
• Sparse LM head: предсказываем подмножество словаря, не нужен полный софтмакс
• Чекпойнт-мёрджинг: баланс между универсальностью и инструкционной точностью

⚙️ Производительность (CPU-only, Q4_0):
• 🪶 4B-A0.6B (1 ГБ ОЗУ): 82.3% HumanEval, 66.1% MMLU, 108 ток/с
• 🚀 21B-A3B (8 ГБ ОЗУ): 89.6% HumanEval, 84.4% MMLU — на уровне Qwen3‑30B, но с 85× меньшим потреблением памяти

🏃‍♂️ Работает на CPU, ARM, Raspberry Pi — 20–108 токенов/сек.
📦 Полностью open-source. Готово к локальному использованию без компромиссов.

#LLM #SmallThinker #AI #LocalLLM #OpenSource

HF: https://huggingface.co/PowerInfer
PAPER: https://arxiv.org/abs/2507.20984

Читать полностью…

Big Data AI

Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥

Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате

Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.

Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта
🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!

Читать полностью…

Big Data AI

Хочешь знать, что происходит внутри ИТ крупного банка?

Команда ПСБ рассказывает о работе и жизни в блоке ИТ!
 
🔹 Знакомься с командой, их проектами и хобби
🔹 Участвуй в активностях: митапы, конференции, спорт
🔹 Читай и комментируй экспертные статьи
 
Подписывайся на канал  ИТ ПСБ !

Читать полностью…
Subscribe to a channel