bigdatai | Unsorted

Telegram-канал bigdatai - Big Data AI

17610

@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста

Subscribe to a channel

Big Data AI

🔥 Библиотека GeoAI.js теперь поддерживает Image Feature Extraction — поиск похожих объектов на спутниковых снимках.

Работает полностью локально в браузере благодаря Transformers.js.

👉 https://docs.geobase.app/geoai-live/tasks/image-feature-extraction

#gischat #javascript #geoai #transformersjs

Читать полностью…

Big Data AI

GPU Memory Calculator.

Полезный калькулятор GPU, который подскажет, сможете ли вы запустить локальную LLM и насколько эффективно она будет работать

https://calculator.inference.ai/

Читать полностью…

Big Data AI

📄 Vectorless PDF Chatbot — новый подход к работе с документами

Интересный проект, который предлагает альтернативу традиционным чат-ботам с векторными базами данных. Вместо преобразования документов в эмбеддинги, система использует LLM для интеллектуального анализа PDF-файлов прямо в браузере пользователя.

Решение полностью статично и ориентируется на приватность. Документы не покидают браузер, не требуют предварительной обработки и не хранятся на серверах. При этом бот сохраняет контекст и может анализировать до 100 PDF-файлов одновременно.

🤖 GitHub

@bigdatai

Читать полностью…

Big Data AI

📈 Выходит обновление GPT-5 OpenAI — Сэм Альтман поделился новостями о GPT-5 в своём Twitter. По его словам, большинству пользователей новая версия понравится больше — обновление уже начинает распространяться.

Альтман уделил внимание персонализации: OpenAI работает над тем, чтобы пользователи могли настраивать стиль ChatGPT под свои предпочтения. Это ответ на запросы сообщества о большей гибкости взаимодействия с ИИ.

Ранее официальный аккаунт OpenAI уже анонсировал изменения в GPT-5, сделавшие его теплее и дружелюбнее. Обновление, хоть и кажется незначительным, должно сделать ChatGPT более доступным для общения.

🔗 Ссылка - *клик*

Читать полностью…

Big Data AI

🤖 Doomprompting — новая зависимость от ИИ

Доктор медицины из Гарварда, Ану (именно так она представляется), придумала термин «doomprompting». Это как doomscrolling, только вместо ленты соцсетей — бесконечные диалоги с чат-ботом.

Сценарий знакомый: начинаешь с конкретной задачи — код, текст, заметка. Первые промпты чёткие и осмысленные. Через полчаса уже бездумно жмёшь «продолжить», получая очередной вариант, и тебе кажется, будто идёт работа. Но это лишь иллюзия продуктивности.

Почему хуже doomscrolling? Потому что ИИ сам подталкивает: «Хочу улучшить? Попробуем иначе? Добавим деталей?». Всё как игровой автомат, только ставка — твоё время и способность думать самостоятельно.

Ану проверила, где ИИ реально помогает. В коде — прекрасно. В письме — лишь на подготовке и финальной вычитке. Основной текст, аргументацию, живую мысль он не создаёт — только красивую пустышку, полную клише. В итоге редактируешь не себя, а чужую болтовню.

Главный риск глубже: письмо — это форма мышления. Отдав письмо ИИ, мы отдаём и часть собственной способности мыслить.

А вы замечали за собой «думпромтинг»?

Читать полностью…

Big Data AI

🔥 Qwen3-30B-A3B-Instruct — всего 3B активных параметров, но уже приближается к качеству гораздо более крупных моделей.

Можно легко развернуть локально или протестировать онлайн.

Попробовать: chat.qwen.ai/?model=Qwen3-30B-A3B-2507

Читать полностью…

Big Data AI

АI-агенты в проде, AI-помощник в облаке — что дальше 🧠

Узнайте 3 сентября на IT-конференция про облака и AI — GoCloud Tech.

В этом году целый трек будет посвящен трендам в AI&ML:

➡️ Как AI-помощник может управлять инфраструктурой за вас
➡️ Валидация RAG с помощью RAGAS
➡️ SWE-Agents in Developer Tools
➡️ Как собирать мультиагентную систему для любых задач
➡️ Эволюция AI-агентов


Также будут отдельные треки про работу с данными, облачную инфраструктуру и сервисы для разработки. А еще — демо, воркшопы, карьерные консультации, мерч и яркое afterparty.

Регистрируйтесь🖱

Читать полностью…

Big Data AI

Неформально про реком
Глитч нейросети — это база, а ивент AI VK & Pro в «оригинале» — повод собраться и узнать, как меняются рекомендательные системы.

27 августа VK проводит AI VK & Pro — закрытый митап про RecSys и ML. Где соберутся крутые ML-инженеры, исследователи и разработчики.

В программе доклады от ML-лидов VK. Поговорим про Discovery Platform, продовые трансформеры и мультимодальные модели.
Приходите задать вопросы, поделиться опытом и поглитчевать среди своих в неформальной обстановке. А после — афтепати: винил, сигары, вино и покер.


📍 Москва, только офлайн
📅 27 августа, сбор с 18:00
🎟 Вход по регистрации

Читать полностью…

Big Data AI

👿 26 августа Яндекс проведёт в Санкт-Петербурге Data Dojo: мероприятие для сообщества ML-экспертов

Будем обсуждать востребованные направления машинного обучения, разбирать реальные задачи из соревнований и общаться с руководителями команд, чтобы узнать больше о карьере ML’щика в Яндексе.

Николай Савушкин, руководитель команды рекомендательных технологий в Поиске, расскажет, как устроена персонализация и как работают большие генеративные модели в рекомендательных системах Яндекса. А Алексей Колесов, руководитель команды NLP, поделится, каких успехов за последнее время добилась команда R&D в Яндексе, и какие вызовы стоят перед ними в ближайший год.

Вечером — дискуссия с секретным гостем, а после — afterparty с музыкой и напитками.

Если хотите стать спикером, необходимо заполнить специальную форму до 13 августа. Программный комитет выберет одну из заявок и пригласит её автора выступить на встрече.

Если хотите участвовать, то нужно заполнить анкету до 20 августа.

🪷 В додзё не приходят случайно. Набирайтесь мудрости в сильнейшем ML-комьюнити.

Читать полностью…

Big Data AI

GPT-5 - настоящий гений, говорили они

Читать полностью…

Big Data AI

🎙 Seed LiveInterpret 2.0 от ByteDance — прорыв в переводе речи в реальном времени.

Что в нём особенного:

- Синхронный перевод речь-в-речь между китайским и английским с задержкой всего 2–3 секунды — почти как у человека.
- Клонирование голоса в реальном времени — перевод звучит голосом говорящего, сохраняя тембр, ритм и стиль.
- Точность перевода на уровне профессиональных синхронных переводчиков — до 70–80 % корректности даже в сложных сценариях.
- Баланс качества и скорости — модель подстраивает темп перевода под стиль речи, избегая слишком медленного или ускоренного воспроизведения.
- Доступность через API платформы Volcano Engine и интеграция в гарнитуру Ola Friend.

Source:
https://alphaxiv.org/pdf/2507.17527
Post:
https://seed.bytedance.com/en/seed_liveinterpret

Читать полностью…

Big Data AI

🔒 Неожиданный поворот в мире ИИ: Anthropic заблокировала OpenAI доступ к API своего чат-бота Claude, обвинив конкурента в нарушении условий обслуживания. По данным источников Wired, OpenAI использовала Claude для тестирования и сравнения с собственными разработками в преддверии релиза GPT-5 — якобы в обход стандартного интерфейса, через специальные API.

В Anthropic сочли это недопустимым — их условия явно запрещают применение сервиса для создания конкурирующих продуктов. При этом представители компании подчеркивают: сравнительный анализ моделей — обычная практика в индустрии, и доступ для таких целей останется.

OpenAI в ответ заявили, что разочарованы решением, особенно на фоне открытого доступа к их API. Конфликт интересен не только с юридической точки зрения, но и как маркер накаляющейся конкуренции между крупными игроками ИИ. Особенно сейчас, когда все готовятся к новым релизам — GPT-5 от OpenAI и, вероятно, ответных шагов от Anthropic.

🔗 Ссылка - *клик*

@bigdatai

Читать полностью…

Big Data AI

💎 RisuAI — кроссплатформенный клиент для общения с ИИ. Этот проект объединяет поддержку разных языковых моделей в одном интерфейсе с необычными функциями. Например, можно создавать групповые чаты с несколькими персонажами, добавлять эмоциональные изображения в диалоги и использовать TTS для озвучки ответов.

Проект имеет встроенный редактор regex для кастомизации вывода моделей и система «Lorebook» для сохранения контекста беседы. Есть версии для веба, ПК и Docker.

🤖 GitHub

@bigdatai

Читать полностью…

Big Data AI

Посвящается всем вайбкодерам 👍

Читать полностью…

Big Data AI

🧠ИИ открыл новые законы физики — понятным языком

Учёные из Университета Эмори (США) дали ИИ задачу не
«угадывать результаты», а самому вывести формулы. Вот что получилось.

🔍 Что исследовали
- Пыльная плазма — это горячий ионизированный газ, в котором летают микроскопические пылевые частицы.
- Частицы отталкиваются и притягиваются сложным образом; классическая теория не всё объясняла.

🧠 Как работал ИИ
- Ему показали короткие 3-D видеозаписи движения частиц (маленький датасет).
- В алгоритм заранее «вшили» базовые принципы: сопротивление воздуха, гравитацию.
- ИИ искал уравнения, которые лучше всего описывают траектории.

📈 Что открыл
- Нереципрокные силы: сила от A к B ≠ сила от B к A. Раньше про них только догадывались.
- Исправил старую ошибку: заряд частицы зависит от её размера иначе, чем считали.
- Показал, как быстро затухают взаимодействия с расстоянием — формула тоже обновилась.

🚀 Почему это важно
- Малый объём данных: хватает секундных видеороликов.
- Обычный ПК: нужен лишь настольный компьютер, не суперкомпьютер.
- Метод переносится на любые «многие частицы» — от порошковых материалов до клеток в биологии.

Вывод: ИИ уже способен не только анализировать данные, но и выводить новые законы природы. Скорость открытий растёт экспоненциально.

https://interestingengineering.com/innovation/ai-decodes-dusty-plasma-new-forces-physics

@data_analysis_ml

Читать полностью…

Big Data AI

📌Как создавали RL-агент AutoGLM-OS, который выбил SOTA на OSWorld, обогнав OpenAI и Anthropic.

Автономные агенты, способные управлять рабочим столом - это Грааль современного HCI. Но их обучение сопряжено с трудностями: GUI созданы для людей, а не для машин, а масштабирование RL упирается в неэффективность и нестабильность сред.

В Z.ai сделали фреймворк COMPUTERRL, который лег в основу агента AutoGLM-OS. Результат - state-of-the-art на бенчмарке OSWorld: 48.1% успешных выполнений и это лучше, чем у OpenAI CUA 03 (42.9%), UI-TARS-1.5 (42.5%) и Claude 4.0 Sonnet (30.7%).

OSWorld — это крупный бенчмарк из 369 заданий для проверки многомодальных ИИ-агентов в реальных условиях. Он работает в Ubuntu, Windows и macOS.

В нем ИИ выполняет открытые задачи: работает с веб- и десктопными приложениями, управляет файлами, запускает процессы. Каждое задание имеет четкие начальные условия и скрипты для оценки, чтобы результаты можно было воспроизвести.


Такие высокие показатели - результат комбинации 3-х инноваций.

🟡Новая парадигма взаимодействия API-GUI.

Фреймворк объединяет GUI-взаимодействия с быстрыми и точными API-вызовами образуя систему, которая через LLM автоматически анализирует примеры задач, генерирует необходимый API-код для стандартных приложений Ubuntu и даже создает для него базовые тесты.
Таким образом, агент использует быстрые API там, где это возможно, и переключается на GUI для общих задач, что повышает и скорость, и надежность. Абляция показала, что переход от GUI-only к API-GUI поднимает средний показатель успеха с 11.2% до 26.2%.

🟡Масштабируемая распределенная RL-инфраструктура.

OSWorld крайне ресурсоемок, и запуск множества его экземпляров на одном узле это тот еще квест. Z.ai полностью переработали эту среду, используя qemu-in-docker для легковесного развертывания VM, gRPC для связи между узлами и полностью асинхронный фреймворк AgentRL. Это позволило создать кластер из тысяч параллельных виртуальных сред, к котором онлайн-обучение RL-агентов стало максимально эффективным.

🟡Стратегия обучения Entropulse.

Entropulse решает проблему коллапса энтропии, чередуя фазы RL с периодическими сессиями SFT. Во время RL-фазы собираются все успешные траектории, и на их основе формируется новый SFT-датасет. Затем модель дообучается на этом датасете, что позволяет восстановить её исследовательскую способность без потери производительности. После этого запускается вторая, более эффективная фаза RL.

Эта стратегия позволила AutoGLM-OS, построенному на базе 9B GLM-4, достичь финального результата в 48.1%, в то время как после первой RL-фазы показатель был 42.0%.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #Agents #AutoGLM #Zai

Читать полностью…

Big Data AI

💬 Сооснователь Anthropic Том Браун о том, почему их модели лучше в кодинге:

> «Бенчмарки слишком легко накрутить.
> У всех больших AI-лабораторий есть отдельные команды, которые занимаются только тем, что подтягивают результаты на тестах.

У нас такой команды нет. Это и есть главный фактор».

#AI #coding #Anthropic #benchmarks

Читать полностью…

Big Data AI

🖥 Вайбкодим с GPT-5 как профи — OpenAI выкатили офиц. гайд по работе с моделью. С ним выжмете из нейронки МАКСИМУМ.

1️⃣Будьте предельно ТОЧНЫ и не давайте противоречий — иначе модель запутается.

2️⃣Подбирайте правильный уровень рассуждений (reasoning effort): простое → низкий, сложное → высокий.

3️⃣Структурируйте промпты XML-подобным синтаксисом. GPT-5 лучше держит контекст в таких блоках:


<code_editing_rules>
<guiding_principles>
- Every component should be modular and reusable
</guiding_principles>
<frontend_stack_defaults>
- Styling: TailwindCSS
</frontend_stack_defaults>
</code_editing_rules>


4️⃣Избегайте ультра-жёстких требований. Фразы «будь ПРЕДЕЛЬНО тщателен» → тонна лишнего текста.

5️⃣Давайте ИИ пространство для планирования и саморефлексии. Например, при создании приложений с нуля:

<self_reflection>
- Think of a rubric first
- Deeply analyze each part
- Use rubric to iterate best solution
</self_reflection>


6️⃣ Контролируйте «синдром отличника». GPT-5 сам любит усложнять. Чтобы держать в узде:

<persistence>
- Don’t ask human for confirmation
- Make best assumption
- Document it after acting
</persistence>

📌 Полный PDF со всеми деталями — тут
🚀 Генератор/оптимизатор промптов для GPT-5 — тут.

Читать полностью…

Big Data AI

🎨 TexVerse — новый гигантский датасет 3D-моделей с реалистичными текстурами

TexVerse — это целая вселенная 3D-объектов, созданная специально для задач компьютерной графики и AI.

✨ Что внутри:
- 850k+ уникальных 3D-моделей с текстурами высокого разрешения (≥1024px)
- 150k+ моделей с полноценными PBR-материалами
- Подмножества: TexVerse-Skeleton (риггованные модели) и TexVerse-Animation (анимированные)
- Более 1.6 млн вариантов моделей с разными аннотациями

🔥 Для чего подходит:
- Генерация и синтез текстур
- Создание PBR-материалов
- Обучение 3D-AI-моделей
- Анимация и рендеринг

📄Paper: http://arxiv.org/abs/2508.10868
📷GitHub: https://github.com/yiboz2001/TexVerse

Читать полностью…

Big Data AI

🖥 GPT-5 - это скорее оптимизация затрат, чем технологический скачок

Вчера вышла любопытная статья на The Register раскрывает ключевую стратегию, лежащую в создании GPT-5: это не столько развитие новых возможностей, сколько способ экономии ресурсов.

Что нового?
🟠 Композиция из моделей и роутер — вместо одной модели GPT-5 — система минимум из двух моделей: лёгкой и тяжёлой, плюс роутер, который выбирает, какую использовать в зависимости от запроса. Это снижает нагрузку и экономит вычисления.
🟠 Автоматическое отключение рассуждений — reasoning включается только при необходимости. Бесплатные пользователи не могут управлять этим процессом — меньше вычислений, меньше токенов, ниже затраты.
🟠 Отказ от старых моделей — временное отключение GPT-4o. Позже модель вернули для платных пользователей, но общее сокращение числа моделей — часть экономии.
🟠 Ограниченный контекст — 8 000 токенов бесплатно и до 128 000 в Plus/Pro.

✔️ Почему эффективность стала ключевым фактором

ChatGPT — это 700 млн активных пользователей в неделю, но платных всего ~3%.

Масштаб колоссальный, но вместе с ним — и проблема: огромные расходы на вычисления.

🟢 Главный козырь OpenAI — дистрибуция. Для большинства людей за пределами AI-сферы ChatGPT = искусственный интеллект, так же как Google = поиск. Но такое лидерство дорого обходится.

🟢 При этом OpenAI нужно постоянно искать новые деньги, чтобы поддерживать и обучение, и инференс. Да, партнёрство с Microsoft помогает, но ситуация сложнее, чем у конкурентов вроде Google — у них стабильная прибыль, собственные дата-центры и TPUs.

🟢 На этом фоне логично, что в GPT-5 сделали сильный упор на эффективность — чтобы снизить затраты и сохранить конкурентное преимущество.

📌 Подробности

@ai_machinelearning_big_data

#news #ai #ml #opanai #chatgpt

Читать полностью…

Big Data AI

🪷 SE-Agent: Как LLM-агенты учатся исправлять код за несколько шагов

Оказывается, ИИ-агенты для работы с кодом можно научить не просто пробовать разные варианты, а эволюционировать — улучшать свои рассуждения на ходу. Новый подход SE-Agent (Self-Evolution Agent) предлагает не просто генерировать множество попыток, а анализировать и комбинировать лучшие части из разных мысленных траекторий.

Вместо того чтобы зацикливаться на однотипных исправлениях, агент учится выявлять корневые проблемы. В одном из примеров обычные агенты пытались скрыть ошибку в валидации, а SE-Agent нашёл отсутствующее поле classes_ и исправил саму причину бага. На тестах SWE-bench метод показывает впечатляющие результаты: Pass@1 достигает 61,2% для Claude 3.5 Sonnet и 54,8% для DeepSeek-V3. При этом он эффективен даже с ограниченным бюджетом на API-запросы.

🔗 Ссылка - *клик*

@bigdatai

Читать полностью…

Big Data AI

🌟 Embedding Atlas: визуализация структуры эмбедингов прямо в браузере.

Embedding Atlas — опенсорсный инструмент от Apple для интерактивной визуализации больших наборов векторных представлений, который позволяет не просто смотреть на облако точек, а полноценно с ним работать. И что самое приятное, он способен отрисовывать до нескольких миллионов точек благодаря реализации на WebGPU.

🟡Автоматическая кластеризация и разметка данных.

Embedding Atlas сам находит скопления в данных и подписывает их, позволяя мгновенно сориентироваться в общей структуре датасета. Чтобы отделить реальные кластеры от случайных выбросов, используется оценка плотности ядра с отрисовкой контуров плотности.

Решена и вечная проблема визуализаций - "каша" из перекрывающихся точек. Embedding Atlas использует технологию order-independent transparency, так что даже при большом наложении точек картинка остаётся четкой и информативной.

🟡Интерактивность.

В инструменте есть поиск в реальном времени и нахождение ближайших соседей. Можно ввести текстовый запрос или просто кликнуть на любую точку в облаке, и Embedding Atlas мгновенно подсветит наиболее похожие на нее данные.

Еще есть интерактивный фильтр по метаданным. Например, можно выбрать на гистограмме определенный класс объектов, и визуализация тут же отфильтрует эмбединги, оставив только соответствующие ему точки.

🟡Embedding Atlas поставляется в виде 2 пакетов:

🟢Python-пакет

Дает три варианта интеграции: утилиту командной строки для быстрой визуализации датафреймов, виджет для Jupyter, позволяющий встраивать атлас прямо в ноутбуки, и компонент для Streamlit, если вы создаете полноценные веб-приложения.

🟢Npm-пакет

Этот пакет для тех, кто хочет встроить визуализацию в собственные веб-приложения. Он предоставляет готовые UI-компоненты в виде API: Table, EmbeddingView, EmbeddingViewMosaic и EmbeddingAtlas.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Документация
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Embedding #Visualisation #Apple

Читать полностью…

Big Data AI

🎓 TheAlgorithms/Python — крупнейший открытый репозиторий с реализациями алгоритмов на Python

📌 Что это?
TheAlgorithms — глобальное комьюнити, создающее учебные реализации алгоритмов на множестве языков. Репозиторий Python — один из самых популярных и активно развиваемых. Он содержит тысячи алгоритмов для образовательных целей.
Основные цифры:
- 204k звёзд ⭐ — один из самых "звёздных" проектов на GitHub

💡 Что внутри:
- Реализации алгоритмов разных категорий: сортировки, графы, машинное обучение, криптография, динамическое программирование, структуры данных и многое другое
- Полная документация, справка по API и гайды по контрибуции на сайте проекта

Кому это будет полезно:
- Студентам и начинающим — учебная база, чтобы видеть как работает алгоритм в коде.
- Подготовка к интервью — практические реализация и примеры.
- Желающим поучаствовать — проект открыт для всех: есть гайды по контрибуции, обсуждения, Discord/Gitter сообщество

https://github.com/TheAlgorithms/Python

Читать полностью…

Big Data AI

📨 Cognitive Kernel-Pro: компактный AI-агент для исследований. Открытый фреймворк Cognitive Kernel-Pro демонстрирует, как 8-миллиардная языковая модель может заменить коммерческие API в сложных исследовательских задачах. Система объединяет веб-поиск, анализ файлов и выполнение кода через Python-интерфейс, используя архитектуру из планировщика и узкоспециализированных под-агентов.

Ключевая фишка — самоанализ агента: после каждой операции он ведет журнал, отмечает сомнительные результаты и перепроверяет данные. Обучение на 15 тыс. многоэтапных сценариев и синтетических данных из PersonaHub позволило достичь 70.9% точности в тестах GAIA, обойдя другие открытые аналоги.

🔗 Ссылка - *клик*

@bigdatai

Читать полностью…

Big Data AI

🖥 Теперь писать сложные промты самому не обязательно — OpenAI выпустили генератор, который превращает даже простой запрос в подробную инструкцию для ИИ.

Принцип простой: описываете, что хотите получить, нажимаете Optimize — GPT-5 анализирует запрос и выдаёт готовый детализированный промт. Работает бесплатно.

Инструмент может упростить работу с любыми нейросетями, особенно если у вас нет опыта в составлении промтов.

Готовый вы можете сразу попробовать в @Chatgpturbobot

Читать полностью…

Big Data AI

Первыми пошли xAI: Макс планирует встроить рекламу прямо в ответы Grok.

Честно говоря, это было лишь вопросом времени.

Проблема ещё и в доверии: в зависимости от того, как это реализуют, люди начнут задумываться — а не подтолкнул ли ИИ к этому ответу рекламодатель? И вот тогда доверие к модели может быстро уйти.

Читать полностью…

Big Data AI

🚀Прорыв от Google: активное обучение с экономией данных на 10 000× при дообучении LLM

Google разработала масштабируемый процесс *active learning*, который позволяет в десятки тысяч раз сократить объём размеченных данных, необходимых для тонкой настройки больших языковых моделей на сложных задачах — например, при модерации рекламного контента.

🟢 Как работает метод:
1. Стартовая модель (LLM-0) получает промпт и автоматически размечает огромный массив данных.
2. Кластеризация выявляет примеры, где модель путается (наиболее спорные и ценные для обучения).
3. Отбор данных: из этих кластеров выбирают информативные и разнообразные примеры.
4. Экспертная разметка — только для выбранных примеров.
5. Итерации: дообучение модели → новый отбор спорных примеров → разметка → снова обучение.

🟢Результаты:
- Сокращение с 100 000 размеченных примеров до менее 500 при сохранении или улучшении качества.
- Улучшение метрики *Cohen’s Kappa* на 55–65 %.
- В больших продакшн-моделях — до 3–4 порядков меньше данных при сопоставимом или лучшем качестве.

🟢 Что такое Cohen’s Kappa?
Это метрика, которая показывает, насколько два "судьи" (например, эксперт и модель) согласны между собой с поправкой на случайные совпадения.
- 0.0 — нет согласия (или хуже случайного)
- 0.41–0.60 — умеренное согласие
- 0.61–0.80 — значительное
- 0.81–1.00 — почти полное согласие
В задачах с дисбалансом классов Kappa даёт более честную оценку, чем обычная точность (accuracy).

Чем лучше предыдущих методов:
- Точечная разметка: размечаются только самые информативные примеры.
- Масштабируемость: метод применим к наборам данных с сотнями миллиардов примеров.
- Экономия ресурсов: меньше времени и затрат на разметку.
- Быстрая адаптация: подходит для доменов с быстро меняющимися правилами (реклама, модерация, безопасность).

🟢Вывод:
При умном отборе данных LLM можно адаптировать в тысячи раз быстрее и дешевле, чем при традиционном обучении на больших размеченных наборах.

#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency

🟠Почитать подробно

@ai_machinelearning_big_data


#GoogleResearch #ActiveLearning #AI #LLM #MachineLearning #DataEfficiency

Читать полностью…

Big Data AI

🧠 OpenAI выложила свои рассуждающие модели в опенсорс. А в Yandex Cloud AI Studio их уже можно запускать по API.

Они поддерживают настройку глубины рассуждений и скорости генерации ответа, а их качество сопоставимо с o3‑mini и o4‑mini. Данные обрабатываются и хранятся в российских дата‑центрах.

Модели подходят для построения агентских систем: автоматизация рекрутмента и техподдержки, анализ документов, написание кода и первичная коммуникация с клиентами. В скором времени появится поддержка вызова функций — это позволит подключать внешние источники данных прямо в процессе генерации.

@bigdatai

Читать полностью…

Big Data AI

📐 gpt-oss работает на специальном формате промптов — Harmony, и без него просто не будет выдавать корректные ответы.

Зачем нужен Harmony?
Этот формат нужен для:
— 🧠 генерации chain of thought рассуждений
— 🔧 корректного вызова функций и использования инструментов
— 📦 вывода в разные каналы: обычный ответ, reasoning, tool call
— 🗂️ поддержки tool namespaces и иерархических инструкций

💡 Harmony имитирует OpenAI Responses API, так что если вы с ним работали — будет легко освоиться.

👉 Если вы используете gpt-oss через HuggingFace, Ollama или vLLM, волноваться не нужно — формат уже встроен.
Но если строите свой inference стек — обязательно изучите [гайд по Harmony](https://github.com/openai/harmony).

Без него модель просто не будет работать как надо.


💻 GitHub: https://github.com/openai/harmony


#AI #OpenAI #Harmony

Читать полностью…

Big Data AI

E-CUP возвращается. Реальные данные. Масштабные проекты. Большие призы

Решайте ML-задачи в стиле Ozon Tech. Девять победителей разделят призовой фонд соревнования — 7 200 000 рублей 🔥
Тест-драйв работы в e-com бигтехе стартует здесь.

🗓 Регистрация: https://cnrlink.com/ecup25bidgata
💻 Формат участия: онлайн
👥 Команда: от 1 до 5 человек
🎯 Для кого: Data Scientists, ML-специалисты, аналитики данных, дата-инженеры, специалисты Big Data и разработчики, которые интересуются ML/DS.

Что вас ждёт:
🔹 Работа над проектом для миллионов пользователей на основе данных от ведущего e-com в России.
🔹 Обмен опытом с экспертами Ozon Tech.
🔹 Эксклюзивный мерч для победителей и подарки для самых активных участников.
🔹 Питчинг — 13 сентября на конференции E-CODE. Ozon Tech предоставит финалистам билеты и оплатит поездку.

Три трека E-CUP:
1️⃣ Рекомендации: предсказание следующей покупки пользователя
2️⃣ Логистика: автопланирование курьеров
3️⃣ Контроль качества: автоматическое выявление поддельных товаров

Регистрация на платформе Codenrock: https://cnrlink.com/ecup25bidgata

Читать полностью…
Subscribe to a channel