Machinelearning

18 Feb 2025 14:11

🌟 Step-Audio: платформа интеллектуального речевого взаимодействия.

Step-Audio – платформа с открытым исходным кодом, объединяющая понимание и генерацию речи для поддержки мультиязычных диалогов (китайский, английский и японский).

Step-Audio способна передавать эмоциональные оттенки, региональные диалекты, различные стили речи и вокала.

Основой Step-Audio является 130B мультимодальная модель, которая объединяет в себе функции распознавания и генерации речи, семантического понимания, ведения диалога, клонирования голоса и синтеза речи. Важным компонентом является собственный токенизатор, позволяющий создавать высококачественный звук без традиционного сбора данных вручную.

▶️ Состав релиза:

Step-Audio-Tokenizer - токенизатор речи. Для лингвистической токенизации используется кодер Paraformer, который квантуется в дискретные представления с частотой 16,7 Гц. Для семантической токенизации - токенизатор CosyVoice, специально разработанный для эффективного кодирования характеристик, необходимых для создания естественных и выразительных речевых результатов, работающий на частоте 25 Гц.

Step-Audio-Chat - мультимодальная LLM с 130 млрд. параметров, которая отвечает за понимание и генерацию человеческой речи.

Step-Audio-TTS-3B - TTS-модель, обученная на крупном синтетическом наборе данных с использованием парадигмы LLM-Chat. Модель поддерживает несколько языков, множество эмоциональных выражений и различные элементы управления стилем голоса. Step-Audio-TTS-3B является первой открытой TTS-моделью, способной генерировать певческий вокал.

StepEval-Audio-360 - датасет, собранный при участии профессиональных аннотаторов и содержит весь спектр возможностей: пение, творчество, ролевые игры, логические рассуждения, понимание голоса, следование голосовым инструкциям, игры, управление речевыми эмоциями и языковые способности на китайском, английском и японском языках.

⚠️ Для локального использования понадобится (41.6Гц): Step-Audio-Tokenizer - 1.5 GB VRAM, Step-Audio-Chat - 256 GB VRAM, Step-Audio-TTS-3B - 8GB VRAM.

⚠️ Наиболее качественный инференс, по словам разработчиков, достигается на 4xA800/H800 GPU с 80GB или больше.


▶️Локальная установка и инференс на примере TTS:

# Clone the repository
git clone https://github.com/stepfun-ai/Step-Audio.git

# Create a Conda venv
conda create -n stepaudio python=3.10
conda activate stepaudio

# Install dependencies
cd Step-Audio
pip install -r requirements.txt

git lfs install
git clone https://huggingface.co/stepfun-ai/Step-Audio-TTS-3B

# TTS inference 
python tts_inference.py --model-path --output-path --synthesis-type use_tts_or_clone

Machinelearning

18 Feb 2025 06:18

⭐️ Новый Grok‑3 от xAI уже доступен для премиум-пользователей.

Вот главное:
- Вышло два варианта модели: Grok‑3 mini и полноразмерный Grok‑3.

- Беспрецедентные достижения: Первая модель, преодолевшая 1400 очков, и лидирует по всем категориям на арене.

- Режим рассуждений: Хотя базовая модель не «ризонинг», можно активировать режим рассуждений с двумя настройками – «Thinking» и «Thinking Hard». Процесс рассуждения почти полностью прозрачен.

- Выдающаяся производительность: На тестах Math24 hard Grok‑3 показывает результаты лучше, чем R1, o1 и даже o3‑mini high. AIME 24 — 52% [96% с обоснованием!]
GPQA —75% [85%]
Кодинг (LiveCodeBench) — 57% [80%].

- На бенчмарках версия mini сравнима с DeepSeek 3, GPT‑4o и Gemini Pro.

- Новый агент Deep (Re)search: Встроенный инструмент для быстрого интернет-поиска, кросс-валидации источников и корректировки плана, который на демонстрации справился всего за минуту.

https://x.com/i/grok

@ai_machinelearning_big_data


#grok #elonmusk #ai #ml #llm #reasoning #xAI

Machinelearning

17 Feb 2025 13:03

🚀 Data Fusion 2025 – ключевая конференция в сфере искусственного интеллекта и больших данных.

📅 Дата: 16-17 апреля 2025
📍 Место встречи: Москва, технологический кластер «Ломоносов»
🧠 Спикеры: 200+ экспертов от науки, бизнеса и государства

Что вас ждет?

🔹7 треков и 70+ сессий, посвященных передовым исследованиям и разработкам
🔹Кейс-стади и воркшопы о DS в различных сферах бизнеса от финтеха и промышленности до медицины
🔹Нетворкинг: на площадке вы можете задать вопрос напрямую ученым с мировым именем или коллегам из других отраслей.

🔗 Регистрируйтесь прямо сейчас – https://data-fusion.ru/. Участие в конференции — бесплатное.

#AI #ML #DataFusion #Конференция #IT #bigdata #datascience

*AI — искусственный интеллект
*DS — наука о методах анализа данных
*Нетворкинг — полезные связи

Machinelearning

16 Feb 2025 12:31

✔️ Бесплатные полезные руководства по дистилляции моделей:

1. Руководство по дистилляции от OpenAI 🖥

Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели.

Основные аспекты, рассмотренные в руководстве:
- Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели.

- Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик.

- Создание обучающих данных для компактной модели: Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели.

- Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям.

🔗Ссылка

2. Учебник по дистилляции знаний от PyTorch 🔥

Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.

Основные аспекты руководства:

- Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования.

- Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний.

- На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира.

Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами.

▪Ссылка

3. Jetson Introduction to Knowledge Distillation от Nvidia 🖥

В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10.

Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность.

Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano.

🔗 Ссылка

4. Учебник по дистилляции знаний от Keras ⭐️

Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений.

🔗Github
🔗Учебник Keras

5. Руководство по дистилляции от
huggingface 🤗

Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере.

🔗 Ссылка

6. Дистилляция знаний для задач компьютерного зрения от huggingface 👁

Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers.

🔗Ссылка

#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch

Machinelearning

15 Feb 2025 18:54

🔥 Бесплатный курс от Microsoft «ИИ-агенты для начинающих»

Курс содержит пошаговые инструкции с примерами кода, которые помогут научиться создавать автономных агентов с использованием машинного обучения.

Фокус на AI-агентах:
Если вас интересует именно разработка агентов — например, для симуляций, игр или интерактивных систем — данный курс будет полезен.

Каждый урок включает в себя:
- Лекцию, (видео уроки появятся в марте 2025 года)
- Примеры кода на Python с поддержкой Azure AI Foundry и Github Models
- Практические задания
- Ссылки на полезные дополнительные ресурсы

Если это ваш первый опыт работы с агентами, у Microsoft есть еще 1 курс «Генеративный ИИ для начинающих», который содержит 21 урок по построению моделей с помощью GenAI, лучше начать с него.

Переведен на 9 различных языков (русского нет).

▪ Github

@ai_machinelearning_big_data

#course #Microsoft #aiagents #ai #ml #opensource #freecourse

Machinelearning

15 Feb 2025 14:02

Евгений Разинков – преподаватель ML в Казанском университете с многолетним стажем, руководитель собственной команды ML-инженеров и автор популярного razinkov">канала по машинному обучению на YouTube

приглашает вас в свою AI-школу.

Особенности:
• теория и практика
• акцент на самостоятельную реализацию архитектур с нуля
• полное понимание того, что происходит внутри нейронной сети
• архитектуры от сверточных нейронных сетей до трансформеров и языковых моделей.

Регулярные живые QA-сессии, дружное комьюнити, а также компетишены, где можно будет посоревноваться (в командах и поодиночке) в решении ML задач.

От вас: владение Python и знание основ классического ML (регрессия, классификация, градиентный спуск).
Если классический ML не знаете - есть базовые курсы по ML.

7 месяцев, 4 курса:
• AI: от основ до языковых моделей
• Math for AI - необходимый математический бэкграунд
• MLOps - всё про жизненный цикл модели, логирование, версионирование, docker
• Decision making in AI - управление AI-проектом и стратегия

В рамках Capstone Project вы с нуля реализуете и обучите небольшую языковую модель для генерации простых историй, а также выведете ее в продакшн.

Полная стоимость за 7 месяцев (все 4 курса):
• 112 000 рублей (единоразово)
или
• 17 000 рублей в месяц
Если материалы вам не понравятся, мы вернем деньги за текущий оплаченный месяц (и последующие при единоразовой оплате)!

Старт уже 17 февраля, скорее регистрируйтесь здесь!

Еще больше подробностей о курсе ищите в видео и на странице с отзывами участников.

Кстати, теоретические видео курса AI: от основ до трансформеров находятся в открытом доступе на канале Евгения!

ООО «Лаборатория Евгения Разинкова», ИНН: 5043088023, erid: 2VtzqxKcuC1

Machinelearning

14 Feb 2025 13:00

🌟 Oumi: опенсорс-фреймворк полного цикла для LLM.

Oumi - открытая платформа для разработки, файнтюна, оценки и экспериментов с языковыми и мультимодальными моделями, созданная совместными усилиями исследователей из 13 ведущих университетов.

Oumi предоставляет инструменты и рабочие процессы для разработки и запуска масштабных экспериментов на кластере, развертывания моделей в рабочей среде и поддерживает методы распределенного обучения (FSDP, DDP):

🟢обучение и файнтюн моделей от 10M до 405B параметров методами SFT, LoRA, QLoRA и DPO;
🟢поддержку популярных семейств моделей: Llama, DeepSeek, Qwen и Phi;
🟢синтез и курирование обучающих данных с использованием LLM-judge;
🟢быстрое развертывание моделей в средах vLLM и SGLang;
🟢проведение комплексного бенчмаркинга моделей по стандартным тестам;
🟢возможность подключения по API OpenAI, Anthropic и Vertex AI;
🟢интеграция с библиотекой Transformers.

В репозитории проекта собраны готовые ноутбуки и скрипты для каждого из этапов жизненного цикла моделей, а подробная документация по использованию поможет легко освоить эту платформу.

📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Документация
🟡Сообщество в Discord
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework

Machinelearning

14 Feb 2025 07:06

✔️ Модели ChatGPT получили расширение возможностей.

OpenAI сегодня сообщила в своем аккаунте X (Twitter) о том, что модели o1 и о3-mini теперь поддерживают загрузку файлов и изображений, а дневной лимит загрузок для o3-mini-high увеличен в 7 раз для пользователей Plus до 50 в день.
x.com

✔️ YouTube интегрирует Veo 2 в Shorts.

YouTube объявил об интеграции новой модели генерации видео Veo 2 в функцию Dream Screen, что позволит пользователям создавать уникальные AI-видео для Shorts на основе текстового запроса. Veo 2 может создать видео в различных стилях и тематиках, учитывая реальную физику и движения человека. Она позволяет указывать стиль, ракурс или кинематографический эффект.

Чтобы использовать новую функцию, нужно открыть камеру Shorts, нажать "Add", затем "Create", ввести запрос и выбрать длину видео. YouTube автоматически пометит ватермаркой SynthID созданный таким образом контент. Возможность уже доступна в США, Канаде, Австралии и Новой Зеландии, расширение - в планах.
blog.youtube

✔️ Anthropic готовится к выпуску новых гибридных моделей с возможностями рассуждения.

Anthropic готовится к выпуску новой модели, объединяющей возможности традиционной LLM с расширенными функциями рассуждения. Ожидается, что модель будет доступна в ближайшие недели и ориентирована на корпоративных клиентов.

Ключевая особенность новой модели - переменное распределение ресурсов, позволяющее пользователям регулировать вычислительную мощность, используемую моделью для каждой задачи, с помощью простого слайдера. На минимальном уровне модель функционирует как стандартная LLM без цепочки рассуждений.
theinformation.com

✔️ Релиз Grok 3 ожидается через пару недель.

xAI находится на финальной стадии разработки Grok 3, новой версии своего чат-бота, выпуск которого ожидается в течение одной-двух недель. По словам Илона Маска, Grok 3 обладает очень мощными возможностями рассуждения и превосходит все известные модели. Grok 3 позиционируется как конкурент ChatGPT, Gemini, Claude, Mistral AI и Llama.

Модель была обучена с использованием синтетических данных и способна анализировать собственные ошибки, стремясь к большей логической последовательности путем пересмотра и перекрестной проверки данных. Musk отметил, что Grok 3 временами кажется "пугающе умным".
seekingalpha.com

✔️ Ai2 выпустила OLMoE, опенсорсное iOS-приложение для запуска LLM непосредственно на устройствах.

OLMoE, iOS-приложения с полностью открытым исходным кодом, которое позволяет пользователям запускать современные языковые модели непосредственно на своих устройствах без необходимости подключения к Интернету. Приложение доступно для загрузки в Apple App Store или может быть собрано из исходного кода из репозитория Ai2 на Github.

Приложение работает на новых устройствах Apple, от iPhone 15 Pro и новее и iPad серии M, из-за потребности в 8 ГБ памяти для модели OLMoE. Модель была оптимизирована с использованием квантования Q4_K_M. OLMoE представляет собой продолжение стремления Ai2 к открытости в разработке ИИ. На iPhone 16 Pro инференс достигает 41 токена в секунду.
allenai.org

✔️ OpenAI представила рекомендации по использованию моделей рассуждения, специально разработанных для сложных, многоступенчатых задач.
Главное:
Используйте разделители: Markdown, XML-теги и заголовки помогают чётко структурировать вводимые данные.
Различие моделей:
Модели рассуждения (например, o1, o3-mini) оптимизированы для детального планирования, анализа документов и визуальной интерпретации.
GPT-модели (например, GPT-4o) ориентированы на скорость и экономию ресурсов для хорошо определённых задач.
Практическое применение:
Модели рассуждения отлично справляются с уточнением неясных запросов, извлечением ключевых деталей из объёмных данных и многоступенчатым планированием (например, при код-ревью).
Рекомендации по запросам:
Используйте короткие, ясные и структурированные запросы с явными ограничениями. Излишне подробные инструкции "chain-of-thought" не требуются, так как модели рассуждают внутренне.
Post

@ai_machinelearning_big_data


#news #ai #ml

Machinelearning

13 Feb 2025 11:03

✉ Вам приглашение на митап в честь Дня рождения Python!

В четверг, 20 февраля, в 18:00 ждем вас в московском офисе Сбера на Python Birthday Meetup.

О чем поговорим:

🟢Лень как искусство, или зачем программисту LLM?
Никита Замулдинов из Сбера расскажет, как превратить искусственный интеллект в своего личного ассистента, делегировать скучные задачи и расширить собственные возможности. Вас ждут реальные кейсы и демонстрация AI-агентов в действии.

🟢Люблю и ненавижу Asyncio
Николай Хитров из Точки разберет новые и старые «грабли» Asyncio и расскажет о best practices его использования.

🟢От хаоса к порядку: Pydantic в борьбе с инцидентами безопасности
Александр Глазков из Сбера расскажет, как и почему Pydantic изменил жизнь команды, а также поделится тонкостями его использования.

А также в программе:
➡Нетворкинг, фуршет и подарки.

📍 Офлайн + онлайн
✅ Регистрация на мероприятие и подробности

Machinelearning

12 Feb 2025 06:40

✔️ Apple нашла партнера для развертывания ИИ в Китае.

Apple разрабатывает и запускает Apple Intelligence AI в Китае в партнерстве с Alibaba. Ранее компания тестировала различные модели ИИ от китайских разработчиков и выбрала Baidu в качестве основного партнера, но затем отказалась от этого соглашения из-за несоответствия стандартам Apple. Среди других рассматриваемых партнеров были Tencent, ByteDance и DeepSeek. Apple отказалась от сотрудничества с DeepSeek из-за недостатка опыта и персонала для поддержки компании масштаба Apple.

В последнем квартале продажи Apple в Китае упали на 11,1%, что является самым большим падением доходов с аналогичным кварталом 2024 года. Инструменты Apple Intelligence стимулируют спрос на устройства, но правительство Китая требует от от Apple сотрудничества с местными разработчиками.
theinformation.com

✔️ CEO Google выступил на Саммите по ИИ в Париже.

Сундар Пичаи заявил, что ИИ — технология, которая появляется раз в жизни, способная демократизировать доступ к информации в большей степени, чем интернет. Он отметил, что за 18 месяцев стоимость обработки одного токена снизилась на 97%. Google уже более 10 лет инвестирует в ИИ, чтобы систематизировать мировую информацию, делая ее доступной для всех.

Гендир Google рассказал о прогрессе в области квантовых вычислений и автономных автомобилей, расширении доступа к информации через возможности Google Translate, а AlphaFold уже используется 2,5 миллионами исследователей для создания вакцин против малярии, методов лечения рака и ферментов, перерабатывающих пластик.

В конце выступления, Сундар поделился планами об инвестициях 75 млрд. долл. в капитальные затраты в 2025 году и призвал к созданию глобальной политики, которая поддержит инновации и согласованность между странами в регулировании ИИ.
blog.google

✔️ Цукерберг активизирует наем инженеров машинного обучения для свое компании, сокращая тысячи сотрудников.

IT-гигант планирует ускорить наем ML-инженеров в ближайшие недели, несмотря на сокращение 5% штата( это примерно 4000 рабочих мест). Компания начала уведомлять своих сотрудников о сокращении в США, Европе и Азии.

Марк Цукерберг заявил о намерении повысить требования к управлению производительностью и быстрее избавляться от низкоэффективных сотрудников. Его компания планирует провести собеседования в формате ML Batch Day с 11 февраля по 13 марта.
HR-департамент ищет сотрудников, имеющих опыт проведения собеседований, для помощи в проведении 420 собеседований с инженерами-программистами, 225 поведенческих собеседований и 50 собеседований по проектированию систем машинного обучения.
businessinsider.com

✔️ Google добавила NotebookLM Plus в план One AI Premium.

Подписчики One AI Premium получат доступ к NotebookLM Plus без дополнительной платы с повышенными лимитами использования и премиальные функции настройки ответов сервиса NotebookLM.
Сейчас Google предлагает One AI Premium за 19,99 долларов в месяц с 2 ТБ хранилища и доступом к Gemini Advanced и Gemini в приложениях Workspace (Gmail и Docs). Студенты старше 18 лет в США могут получить One AI Premium за 9,99 долларов в месяц в течение 1 года.

NotebookLM Plus имеет расширенные интерактивные функции: видео на YouTube в качестве источника и преобразование в подкаст с двумя AI-ведущими, с которыми также можно общаться.
theverge.com

✔️ ByteDance анонсировала Goku: модели генерации изображений и реалистичного видео.

ByteDance представила новые модели Goku, которые генерируют реалистичные видеоролики с участием людей, взаимодействующих с предметами. В отличие от других видеомоделей, Goku может создавать как статичные изображения, так и видео из текстовых описаний. По тестам ByteDance, Goku превосходит Kling и Pika в бенчмарках генерации изображений и видео.

Goku+, специальная версия, ориентирована на создание рекламного контента. ByteDance утверждает, что она сможет снизить затраты на продакшен видеорекламы на 99%. Компания планирует использовать TikTok для предоставления сервиса рекламодателям.
saiyan-world.github.io

@ai_machinelearning_big_data

#ainews #news #ml

Machinelearning

11 Feb 2025 14:03

Что можно сделать за 2 недели, чтобы выйти на новый уровень в робототехнике и генеративном ИИ? У Яндекс Образования есть ответ — пройти бесплатный студкемп! Это интенсив, на котором вас ждёт много практики, общения с экспертами из индустрии и, конечно, самые актуальные знания.

Весенний студкемп по робототехнике и ИИ пройдёт с 14 по 26 апреля на базе ФПМИ МФТИ. Учиться придётся много, ведь программу составляли специалисты Яндекса, ШАДа и МФТИ. На студкемпе ждут студентов со всей России и каждому, кто пройдёт отбор, оплатят проезд и проживание. Успейте подать заявку до 23 февраля.

Machinelearning

11 Feb 2025 11:00

🌟 Масштабирование вычислений LLM с использованием скрытых рассуждений: метод с рекуррентной глубиной.

Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину.

Этот метод отличается от традиционных, которые увеличивают вычислительные ресурсы за счет генерации большего количества токенов. Например, в отличие от CoT, предложенный подход не требует специализированных датасетов, работает с небольшими окнами контекста и способен захватывать типы рассуждений, которые сложно выразить словами. В дополнение, модели этой архитектуры требуют меньше памяти для обучения и инференса.

Тестовая модель Huginn-3.5B получила 3.5 млрд параметров и была обучена на 800 млрд. токенов (веб-страницы, научные публикации и программный код) с использованием случайного числа итераций рекуррентного блока для каждой входной последовательности. Чтобы сократить потребление памяти использовалось усеченное обратное распространение, при котором градиенты вычисляются только для последних итераций.

Модель состоит из 3 основных блоков: прелюдии, рекуррентного блока и коды. Прелюдия преобразует входные данные в латентное пространство, рекуррентный блок выполняет итеративные вычисления, а кода преобразует латентное состояние обратно в вероятности токенов. Рекуррентный блок может быть повторен произвольное количество раз, позволяя модели выполнять произвольное количество вычислений перед генерацией токена.

Результаты проведенных тестов на стандартных задачах ARC, HellaSwag, MMLU свидетельствуют, что Huginn-3.5B превосходит традиционные модели на задачах, требующих сложных рассуждений (математические задачи и программирование). Например, на задачах GSM8k и MATH модель показала значительное улучшение производительности при увеличении числа рекуррентных итераций.

⚠️ Модель не подвергалась файнтюну или посттренингу, но благодаря включению instruct-данных во время претрейна, она изначально понимает свой шаблон чата.

⚠️ Чекпоинт на HF обучался всего на 47000 шагах и является академическим проектом.

▶️ Локальный инференс:

# Load the model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tomg-group-umd/huginn-0125", torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("tomg-group-umd/huginn-0125")


# Modifying the Model's Depth at Test Time
input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
model.eval()
model.to(device)

model(input_ids, num_steps=32)


# Model can be used like a normal HF model
# You can provide `num_steps` directly to the `generate` call
model.eval()
config = GenerationConfig(max_length=256, stop_strings=["<|end_text|>", "<|end_turn|>"], 
                          use_cache=True,
                          do_sample=False, temperature=None, top_k=None, top_p=None, min_p=None, 
                          return_dict_in_generate=True,
                          eos_token_id=65505,bos_token_id=65504,pad_token_id=65509)


input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
outputs = model.generate(input_ids, config, tokenizer=tokenizer, num_steps=16)

Machinelearning

11 Feb 2025 06:38

✔️ Ученые добились телепортации с помощью квантового суперкомпьютера.

Исследователи из Оксфордского университета впервые продемонстрировали распределенные квантовые вычисления (DQC) между 2 модулями с захваченными ионами, соединенными оптической сетью. В эксперименте статьи, опубликованной в Nature, ученые использовали квантовую телепортацию для передачи управляемого гейта CZ между модулями с точностью 86%. Это достижение позволяет выполнять сложные квантовые алгоритмы, например алгоритм Гровера, с успешностью 71%.

Распределенная архитектура DQC позволит в будущем создавать крупномасштабные квантовые компьютеры, объединяя несколько модулей через квантовые и классические каналы связи.
independent.co.uk

✔️ Илон Маск вместе с группой анонимных инвесторов подал заявку на покупку OpenAI за 97 миллиардов долларов. Они настаивают на том, чтобы компания вернулась к открытой модели кода и работала ради общественного блага. Сэм Альтман, подтвердив эту новость, пошутил о покупке Twitter за 9 миллиардов долларов. Маску эта шутка не понравилась, он обвинил Альтмана в мошенничестве. Это уже второй раз, когда предпринимаются попытки вытеснить Альтмана из OpenAI, причем сейчас против него выступает сам Маск, который является одним из наиболее влиятельных людей в Америке.

✔️ Anthropic создала "Экономический индекс" для изучения влияния ИИ на рынок труда.

Anthropic представила Экономический индекс, направленный на изучение влияния ИИ на рынок труда и экономику. Первый отчет основан на анализе миллионов анонимных диалогов с Claude. Согласно ему, ИИ чаще применяется для расширения человеческих возможностей (57%), чем для полной автоматизации задач (43%). Наибольшее внедрение ИИ наблюдается в сферах разработки ПО и написания технических статей, а в низкооплачиваемых и высокооплачиваемых профессиях его использование ограничено. Anthropic открывает доступ к данным индекса для дальнейших исследований.
anthropic.com

✔️ OpenAI разрабатывает собственный чип для снижения зависимости от Nvidia.

Компания активно работает над созданием собственного чипа, чтобы уменьшить зависимость от поставок Nvidia. Дизайн первого поколения чипа будет завершён в ближайшие месяцы, а его производство планируется на базе TSMC с использованием 3-нм технологии.

Команду разработчиков возглавляет Ричард Хо, ранее работавший в Google. Чип предназначен для обучения и запуска моделей ИИ, но изначально будет использоваться в ограниченных масштабах. Массовое производство планируется начать в 2026 году.
reuters.com

✔️ Запущен архив данных data.gov

Library Innovation Lab (Гарвардский университет) запустила архив данных data.gov на платформе Source Cooperative. Коллекция объемом 16 ТБ включает более 311 000 наборов данных, собранных в 2024 и 2025 годах, и представляет собой полный архив федеральных публичных данных, связанных через data.gov. Архив будет ежедневно обновляться по мере добавления новых данных.

Этот проект является частью инициативы по сохранению важных публичных данных для академических исследований и общественного использования. Также опубликовано открытое ПО для создания подобных репозиториев. Проект поддерживается Filecoin Foundation и Rockefeller Brothers Fund.
lil.law.harvard.edu

✔️ Тысячи художников требуют отменить аукцион AI-искусства, обвиняя технологии в "массовой краже".

Сообщество художников призывают аукционный дом Christie’s отменить продажу произведений искусства, созданных с помощью ИИ, утверждая, что технологии, стоящие за этими работами, совершают "массовую кражу". Аукцион Augmented Intelligence, который Christie’s называет первым крупным аукционом, посвящённым ИИ, включает 20 лотов с ценами от $10 000 до $250 000.

В открытом письме, которое подписало более 3000 человек, говорится, что многие работы созданы с использованием моделей ИИ, обученных на защищённых авторским правом произведениях без разрешения их авторов. Художники обвиняют создателей в эксплуатации их труда для коммерческих продуктов. Christie’s заявляет, что в большинстве случаев ИИ обучался на данных, предоставленных самими художниками.
theguardian.com

#ml #ainews #news

Machinelearning

10 Feb 2025 16:55

Доклады, нетворкинг и облачные технологии — всё на K2 Cloud Conf.

Ребята из K2 Cloud сделали свою конференцию, где поделятся всем про облака: как подключаться к ним без компромиссов в безопасности, автоматизировать процессы с помощью PaaS, а также расскажут о новом типе сетевых дисков – всё это и не только!

Встречаемся 4-го марта. Подробности и регистрация по ссылке

Machinelearning

10 Feb 2025 07:25

✔️ Макрон объявил, что Франция планирует инвестировать в развитие ИИ 109 миллиардов евро в ближайшие годы.

Он уточнил, что среди инвесторов французских проектов в области ИИ будут компании из Объединенных Арабских Эмиратов, Соединенных Штатов, Канады и самой Франции.

Кроме того, Макрон подчеркнул намерение Парижа сотрудничать с Нью-Дели и Пекином для продвижения технологий искусственного интеллекта. «Мы стремимся к совместной работе с Индией», – сказал он, добавив, что Франция также намерена взаимодействовать с Китаем и Соединенными Штатами, однако не хочет зависеть ни от одной страны.

Относительно обсуждений о возможном запрете использования китайского чат-бота DeepSeek в некоторых странах, Макрон выразил мнение, что запрет технологических решений лишь на основании их происхождения является неоправданным шагом.
Новость

✔️OpenAI дебютировал на Super Bowl, выпустив рекламу ChatGPT стоимостью 14 миллионов долларов.
Видео

✔️ ByteDance показали новый генератор видео Goku.

- Goku: генеративная модель видео на основе потоков.
- Goku+: Модель, которая позиционируется, как модель для генерации видеорекламы и обещает быть в 100 раз дешевле, чем традиционные методы создания видео-рекламы.
Аrxiv

✔️ Свежий гайд, который поможет вам тренировать свой собственный ризониг LLM.

С этим ноутбуком примерно за 2 часа можно обучить модель Qwen 0.5B на математическом наборе данных GSM8K, используя обучение с подкреплением!
Colab Demo

✔️ LeRobot — это образовательный проект, направленный на создание бюджетного робота, стоимость каждой руки которого составляет всего 110 долларов. С помощью обычного ноутбука пользователи могут обучать робота различным навыкам.

Проект предлагает платформу с готовыми моделями, наборами данных и инструментами для работы с робототехникой на базе PyTorch.

На данный момент доступны предварительно обученные модели, демонстрационные среды для симуляций, а также готовые скрипты для обучения и управления реальными роботами.

Также предоставляются рекомендации по ведению логов и оценке моделей, а также ссылки на исследовательские материалы и примеры кода для профилирования.
Github

✔️ Стартап Ильи Суцкевера, сооснователя OpenAI, оценили в $20 миллиардов.

Safe Superintellgence(SSI), основанная в июне 2024, еще ничего не выпускает и не зарабатывает, так как первым продуктом обещают сразу ни больше ни меньше — safe AGI.

А пока просто посмотрите на сайт компании, которая УЖЕ привлекла миллиард долларов и собирается привлечь еще.
ssi.inc

Уверенность в себе и команде выглядит именно так 😎

@ai_machinelearning_big_data


#openai #deeplearning #opensource #ai #ml #llm #machinelearning #guide #news #chatgpt #qwen #ainews #news

Machinelearning

18 Feb 2025 10:25

✔️ Исследование: ChatGPT проходит тест Тьюринга по психотерапии.

Исследование группы университетов США ставит под сомнение границы между человеческим и ИИ в психотерапии. Оказывается, обычному человеку все сложнее отличить ответы, сгенерированные ChatGPT, от профессиональных советов психологов.

В эксперименте с участием 830 человек, ответы ChatGPT не только оказались неотличимы от экспертных, но и были оценены выше по ключевым аспектам психотерапии. Языковой анализ показал, что ChatGPT использует более позитивный тон и предоставляет более развернутые ответы, что способствовало более высоким оценкам в фокусной группе.
journals.plos.org

✔️ Apple и Amazon сталкиваются с трудностями при обновлении голосовых помощников Alexa и Siri.

ИТ-гиганты столкнулись с неожиданными препятствиями в разработке и запуске обновленных версий своих голосовых помощников, Siri и Alexa, на базе генеративного ИИ. Тестирование выявило регулярные проблемы с надежностью и точностью ответов.

По данным Bloomberg, Apple может отложить выпуск улучшенной Siri до мая 2025 года или позже из-за многочисленных программных ошибок и "технических проблем". Аналогичная ситуация наблюдается и в Amazon, где выпуск LLM-версии Alexa также отложен из-за неверных ответов, выявленных в ходе тестирования. Несмотря на планы анонсировать обновление Alexa 26 февраля, публичный доступ будет открыт не ранее 31 марта, то есть через 18 месяцев после первоначального анонса в 2024 году.
bloomberg.com

✔️ Южнокорейские власти приостановили работу приложения DeepSeek.

Южнокорейское правительство запретило загрузку мобильного приложения DeepSeek из-за опасений по поводу безопасности данных. Ограничение, вступившее в силу в субботу, не затронуло пользователей, у которых приложение уже установлено, и доступ к сервису DeepSeek через веб-версию остается открытым.

Корейская комиссия по защите персональной информации (PIPC) заявила, что DeepSeek "частично пренебрегла" своими обязательствами в соответствии с законами Южной Кореи о защите данных. По словам директора отдела расследований PIPC Нам Сока, DeepSeek "недостаточно прозрачна в вопросах передачи данных третьим лицам и потенциально собирает избыточную личную информацию".

Представитель DeepSeek прибыл в Южную Корею для решения возникших проблем. Сроки снятия ограничений на скачивание приложения пока не определены.
nytimes.com

✔️ Ученые обучают ИИ интерпретировать эмоции животных.

Ресерчеры разрабатывают системы ИИ, способные распознавать эмоции животных, чтобы открыть новые возможности для улучшения их благополучия.

Например, система Intellipig, разработанная в Великобритании, анализирует фотографии свиней и предупреждает фермеров о признаках боли, болезни или эмоционального стресса. В Университете Хайфы разрабатывают ИИ, способный распознавать признаки дискомфорта у собак, что может помочь людям лучше понимать своих питомцев.

Система, разработанная в Университете Сан-Паулу, обучилась распознавать признаки боли у лошадей, анализируя фотографии их морд до и после операций, а также до и после приема обезболивающих средств. ИИ смог самостоятельно выявить признаки, указывающие на боль, с точностью 88%, демонстрируя потенциал таких систем для автоматизации мониторинга состояния животных.
science.org

✔️ ИИ теперь помещается в кармане: портативные LLM на USB-накопителях.

Энтузиасты в области ИИ создают портативные версии LLM, которые помещаются на обычный USB-накопитель. Эти модели, хотя и менее мощные, чем их "большие братья", открывают новые возможности для использования ИИ в мобильных и эмбедед-устройствах.

Один из таких проектов, Binh, позволяет запускать LLM на Raspberry Pi Zero W, помещенном в корпус USB-накопителя. Пользователю достаточно создать пустой текстовый файл с именем, и LLM автоматически заполнит его сгенерированным текстом. Хотя скорость работы оставляет желать лучшего, автор проекта считает его первым plug-and-play LLM на USB-носителе.
hackaday.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

17 Feb 2025 14:02

🌟 DeepSearcher: ИИ-комбайн для ваших данных.

Проект объединяет использование LLM, векторные базы данных для выполнения задач поиска, оценки, ризонинга на основе предоставленных данных (файлы, текст, источники).

Позиционируется разработчиками как инструмент для управления знаниями предприятия, интеллектуальных QA-систем и сценариев поиска информации.

DeepSearcher умеет использовать при необходимости информацию из интернета, совместим с векторными базами Milvus и их сервис-провайдером Zilliz Cloud, эмбедингами Pymilvus, OpenAI и VoyageAI. Есть возможность подключения LLM DeepSeek и OpenAI по API напрямую или через TogetherAI и SiliconFlow.
Поддерживается локальная загрузка файлов, подключение веб-краулеров FireCrawl, Crawl4AI и Jina Reader.

В ближайших планах - добавление возможности веб-клиппера, расширение списка поддерживаемых векторных баз, создание RESTful API интерфейса.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/zilliztech/deep-searcher.git

# Create a Python venv
python3 -m venv .venv
source .venv/bin/activate

# Install dependencies
cd deep-searcher 
pip install -e .

# Quick start demo
from deepsearcher.configuration import Configuration, init_config
from deepsearcher.online_query import query

config = Configuration()

# Customize your config here
config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o-mini"})
init_config(config = config)

# Load your local data
from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory=your_local_path)

# (Optional) Load from web crawling (`FIRECRAWL_API_KEY` env variable required)
from deepsearcher.offline_loading import load_from_website
load_from_website(urls=website_url)

# Query
result = query("Write a report about xxx.") # Your question here

Machinelearning

17 Feb 2025 07:16

✔️ OpenAI только что опубликовала статью, в которой описан план создания лучшего в мире ИИ-кодера.
В статье исследуется применение обучения с подкреплением (RL) к большим языковым моделям (LLMs) улучшает их способность решать сложные задачи программирования и рассуждений. Авторы сравнивают три модели: общую модель o1, её специализированную версию o1-ioi (адаптированную для соревнований IOI) и более продвинутую модель o3.

Модель o1 значительно превосходит модели без цепочек рассуждений (например, gpt-4o) по показателям на платформе CodeForces.
Специализированная o1-ioi, оптимизированная для соревнований IOI, показывает хорошие результаты с ручными стратегиями, но её успех зависит от дополнительной настройки и тестовых стратегий.
Модель o3, обученная только с RL и без доменно-специфичных стратегий, демонстрирует ещё более высокую производительность, достигая результатов на уровне элитных программистов мира как на CodeForces, так и на IOI.
Применение в реальных задачах:
Масштабирование RL для общего использования, а не применение специализированных ручных стратегий, является эффективным путём достижения передового уровня ИИ в задачах рассуждения и программирования.
Статья

✔️ Google о квантовых вычислениях «Наш последний прорыв: мы смогли выполнить сложные вычисление за 5 минут, на что одному из самых быстрых суперкомпьютеров в мире потребовалось бы более 10 миллиардов лет — это дольше, чем существует наша Вселенная».
Тред

✔️ Илон Маск анонсировал выпуск новой версии Grok 3 от его стартапа xAI. Он заявил, что это будет «самый умный ИИ на земле»
Релиз состоится 18 февраля в 04:00 (GMT+3). Похоже, что Grok-3 выйдет с режимом рассуждений.

✔️ Вслед за «Последним экзаменом человечества» ScaleAI
выпустили новую очень сложную оценку рассуждений LLM:
EnigmaEval: 1184 мультимодальные головоломки, настолько сложные, что на их решение группам людей требуется от многих часов до нескольких дней.
Все топ-модели набрали 0% в Hard set и < 10% в Normal set
Scale

✔️ 4 SOTA модели компьютерного зрения
От оценки позы до обнаружения объектов в реальном времени - свежие, передовые инструменты компьютерного зрения на Hugging Face, которые очень просты в использовании.
- ViTPose для оценки позы
- RT-DETRv2 для обнаружения объектов в реальном времени
- DAB-DETR улучшает оригинальный DETR, решая проблемы медленного обучения
- DepthPro от Apple для оценки глубины на одном изображении, выдавая расстояния на уровне пикселей в метрах менее чем за секунду.

✔️ Computer use ootb
Свежий инструмент, который представляет собой готовое решение для создания десктопного GUI-агента. С его помощью можно отдавать команды и автоматизировать задачи на ПК (Windows и macOS) через веб-интерфейс, доступный с любого устройства с интернетом.
Github

@ai_machinelearning_big_data


#news #ai #ml #openai #grok #grok3 #Microsoft #ScaleAI #elonmusk #cv #sota #opensource

Machinelearning

16 Feb 2025 08:53

⭐️ Podcastfy — это open-source инструмент, который преобразует текстовый контент в аудио подкасты с использованием синтеза речи.

Он позволяет легко создавать аудиоверсии статей или блогов, упрощая процесс создания подкастов для контент-мейкеров, блогеров или в целях обучения.

🌟 Поддерживает интеграцию с ElevenLabs, OpenAI и Edge TTS, для преобразования текста в речь.

💡 Примеры можно посмотреть здесь.

💨 Поддерживает продвинутые настройки для работы с голосами, стилем речи и другими параметрами. с генеративным контентом.

Установка:
$ pip install podcastfy

Podcastfy — удобный и простой в использовании инструмент для быстрого прототипирования решений по автоматическому созданию аудиоконтента и интеграции в более крупные ML-проекты.

🔐 Лицензия: Apache-2.0

▪Github
▪Paper
▪Colab


@ai_machinelearning_big_data


#podcast #gemini #openai #elevenlabs #genai #notebooklm

Machinelearning

15 Feb 2025 15:02

🌟 PARTNR: Бенчмарк планирования и рассуждений в задачах взаимодействия человека и робота.

PARTNR (Planning And Reasoning Tasks in humanN-Robot collaboration) - бенчмарк, разработанный для оценки способности ИИ к совместной работе с людьми в бытовых задачах.

PARTNR состоит из 100 000 задач на естественном языке, 60 домов и 5 819 уникальных объектов. Задачи разделены на 4 типа: без ограничений, пространственные, временные и гетерогенные, где действия могут быть выполнены только человеком.

Для генерации задач используется полуавтоматический подход с применением LLM и симуляции в реальном времени. Это позволяет минимизировать ошибки, галлюцинации (некорректные инструкции) и невыполнимые действия. В процессе генерации задачи фильтруются с помощью симуляции и аннотируются вручную для разнообразия и точности.

На бенчмарке были проведены эксперименты с использованием LLM для планирования задач. Исследовались различные подходы zero-shot prompting, fine-tuning и RAG. Модели тестировались в условиях полной и частичной наблюдаемости, с централизованным и децентрализованным управлением.

Результаты тестов показали, что LLM испытывают трудности с координацией, отслеживанием задач и восстановлением после ошибок. Например, в децентрализованных настройках выполнение задач занимает на 30% больше шагов по сравнению с централизованным управлением.

Особое внимание уделялось оценке взаимодействия LLM с реальными людьми. По итогам тестирований LLM требуют на 50% больше шагов для выполнения задач по сравнению с людьми.

Прикладная реализация PARTNR содержит абстракции, позволяющие агентам выполнять инструкции на естественном языке в свободной форме в симуляторе Habitat.

Основные абстракции: агент, планировщик, инструмент и навык. Агент имеет доступ к набору инструментов, которые позволяют ему воспринимать состояние среды или взаимодействовать с ней, используя низкоуровневые навыки.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Benchmark #PARTNR

Machinelearning

15 Feb 2025 07:35

✔️ Gemini теперь "помнит" историю чатов.

Google расширила возможности Gemini, внедрив функцию запоминания прошлых разговоров для подписчиков Gemini Advanced через Google One AI Premium. Это обновление позволяет Gemini предоставлять более релевантные ответы. Новая функция доступна на английском языке в веб-версии и мобильном приложении Gemini. Google планирует добавить поддержку других языков, а также для бизнес- и корпоративных клиентов Google Workspace в ближайшие недели.
blog.google

✔️ Увеличение частоты таймера ядра Linux повышает производительность ИИ.

Предложение инженера Google об увеличении частоты таймера ядра Linux с 250 до 1000 Гц вызвало интерес в технологическом сообществе и сервис Phoronix провел A/B-тестирование, чтобы оценить влияние этого изменения. Наиболее заметные улучшения наблюдались в ускорении LLM. В других задачах влияние было минимальным и находилось в пределах погрешности измерений системы. Основная идея Кайса Юсефа заключалась в том, что увеличение частоты таймера приведет к улучшению отзывчивости системы и позволит решить проблемы, связанные с 250 Гц: неточные временные интервалы и задержки в балансировке нагрузки.

Тестирование проводилось на AMD Ryzen 9 9950X, 32 ГБ ОЗУ и GPU Radeon RX 7900 XTX. Наибольший прирост производительности наблюдался с Llama, где увеличение частоты таймера привело к росту производительности на 10%.
tomshardware.com

✔️ Apple предложила парадигму претрейна и трансферного обучения для ускорения физического моделирования.

Apple Machine Learning Research опубликовало исследование метода трансферного обучения для графовых нейронных сетей, который значительно улучшает эффективность и точность физического моделирования сложных систем. В работе представлена масштабируемая графовая U-NET (SGUNET), способная адаптироваться к различным размерам сетки и разрешениям.
Предложенный метод позволяет использовать предварительно обученные модели на большом наборе данных (ABC Deformable - ABCD), содержащем 20 000 физических симуляций 3D-форм, для последующей тонкой настройки на целевых задачах с меньшим количеством данных. Это значительно снижает затраты на сбор и аннотацию данных.

Эксперименты на 2 датасетах (2D Deformable Plate и 3D Deforming Plate) показали, что модель, предварительно обученная на ABCD и дообученная на 1/16 части данных, демонстрирует улучшение RMSE на 11.05% по сравнению с моделью, обученной с нуля.
machinelearning.apple.com

✔️ GenAI снижает когнитивные усилия и вредит критическому мышлению.

Microsoft и Университет Карнеги опубликовали ресёрч о том, что генеративный ИИ оказывает двоякое влияние на когнитивные процессы человека. С одной стороны, ИИ-инструменты снижают воспринимаемую сложность задач, требующих критического мышления. С другой стороны, чрезмерная уверенность в возможностях ИИ приводит к снижению критического мышления и зависимости от сгенерированного контента.

Анализ опроса 319 представителей умственного труда показал, что работники чаще всего используют критическое мышление для обеспечения качества своей работы. При этом, чем выше уверенность работника в собственных навыках, тем больше усилий он прилагает для оценки результатов, предоставляемых ИИ. И наоборот, чем выше уверенность в возможностях ИИ, тем меньше усилий затрачивается на критическое мышление. Исследование также выявило изменения в структуре когнитивных усилий при использовании ИИ - они смещаются от сбора информации к ее проверке, от решения проблем к адаптации ответов ИИ и от выполнения задач к контролю за процессом.
microsoft.com

✔️ OpenAI советует упростить промпты для новых моделей рассуждений.

Новые рекомендации OpenAI указывают на то, что для эффективного использования моделей серии o, стоит отходить от сложных техник промпт-инжиниринга в пользу простых и прямых инструкций. OpenAI предостерегает от использования "boomer prompts" и инструкций вроде "думай шаг за шагом" для этих моделей. Вместо этого рекомендуется давать краткие, четко структурированные указания с использованием разделителей (XML-теги) и четко определять критерии успеха или ограничения.
platform.openai.com

Machinelearning

14 Feb 2025 12:00

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT.
На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков.

Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными.

Научитесь использовать статистические методы, строить и проверять гипотезы.

Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий.

А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика.

Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод BIGDATA45 даст повышенную скидку 45% от цены курса.

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5wgFqJ8

Machinelearning

13 Feb 2025 12:02

🌟 Common Corpus: обновление большого набора данных.

Common Corpus - обширный открытый текстовый набор данных на 2 трлн. токенов. Набор разработан PleIAs в сотрудничестве с рядом партнёров и отличается от других датасетов высоким уровнем открытости и возможностью отслеживания происхождения данных.

В обновленную версию были включены материалы, не защищенные авторским правом или распространяемые на основе открытых лицензий.

Common Corpus содержит информацию объемом 10 млрд. токенов для каждого из 8 основных языков (английский, немецкий, французский, испанский, итальянский, польский, греческий и латынь) и 1 млрд. токенов для каждого из 33 дополнительных языка.

В состав Common Corpus входят научные публикации, правительственные и юридические документы, программный код и материалы культурного наследия - книги и газеты.

Все исходные данные для датасетов Common Corpus прошли тщательную модерацию, строгий отбор, коррекцию орфографических ошибок и удаление нежелательного или недостоверного контента.

Common Corpus соответствует положениям AI Act и предоставляет возможность обучения моделей, совместимых с принципами открытого ИИ и может быть использован в коммерческих и некоммерческих целях.

📌Набор данных структурирован в виде 6 коллекций:

🟢OpenCulture - материалы, находящиеся в общественном достоянии, архивные газетные публикации и ресурсы проектов Wikisource и Gutenberg (886 млрд. токенов);

🟢OpenGovernment - финансовая и юридическая документациия из SEC, WTO, Europarl и Caselaw Access Project (406 млрд. токенов);

🟢OpenSource - программный код из репозиториев GitHub, прошедший отбор с использованием системы ArmoRM (283 млрд. токенов);

🟢OpenScience - академические материалы из баз данных Open Alex и других открытых научных хранилищ (281 млрд токенов);

🟢OpenWeb - данные из Wikipedia, YouTube Commons и платформы Stack Exchange (73 млрд. токенов);

🟢Open Semantic - семантические данные из Wikidata, обработанные при участии Wikidata и Wikimedia Germany (67 млрд. токенов).

📌Каждый документ в Common Corpus сопровождается метаданными:

identifier - уникальный идентификатор текстового документа;
collection - название коллекции, к которой относится документ;
license - информация о лицензии;
date - дата создания документа;
title - заголовок документа;
creator - автор или источник публикации;
language - язык документа;
word_count, token_count - количественные показатели: число слов и токенов;
text - текстовое содержание документа.


@ai_machinelearning_big_data

#AI #ML #Dataset #PlelAs #CommonCorpus

Machinelearning

13 Feb 2025 07:09

✔️ OpenAI планирует выпуск GPT-4.5 и GPT-5.

CEO OpenAI Сэм Альтман опубликовал в X (Twitter) планы по выпуску GPT-4.5 и GPT-5.
GPT-4.5, которую раньше называли Orion, станет последней моделью без использования цепочек рассуждений. GPT-5 будет представлена как система, объединяющая сразу несколько технологий, включая бэкграунд o3. Как отдельная модель, о3 перестанет существовать.

Бесплатные пользователи ChatGPT получат неограниченный доступ к GPT-5 на стандартном уровне возможностей модели, а подписчики Plus и Pro — на более высоких уровнях. Точные сроки выпуска GPT-4.5 и GPT-5 не названы, но ожидаются в течение нескольких недель или месяцев. OpenAI также стремится упростить свой продуктовый ряд, отказавшись от выбора моделей и стремясь к «магическому унифицированному интеллекту».
x.com

✔️ Adobe выпустила публичную бета-версию ИИ-генератора видео.

Генератор видео от Adobe - Generate Video позволяет создавать видео из текста или изображений. Инструмент доступен через веб-приложение Firefly и интегрирован с Creative Cloud, Photoshop и Premiere Pro. Пользователи могут настраивать стиль, углы камеры, движение и расстояние съемки. Видео выводится в формате 1080p при 24 кадрах в секунду. Для генерации клипов продолжительностью до 5 секунд требуется в среднем 90 секунд.

Помимо Generate Video, Adobe представила 2 новых инструмента: Scene to Image и Translate Audio and Video и открыла планы подписки на Firefly: Standard (9,99 долл. США в месяц) и Firefly Pro (29,99 долл. США в месяц). Подписка дает кредиты на создание видео/аудио.
blog.adobe.com

✔️ Perplexity AI представила новую ультрабыструю поисковую модель Sonar.

Perplexity запустила обновленную версию поисковой модели Sonar, которая основана на Llama 3.3 70B и работает на мощностях от Cerebras Systems. Внутренние тесты, проведенные Perplexity показали, что Sonar превосходит GPT-4o mini и Claude 3.5 Haiku по удовлетворенности пользователей и сравнивается с GPT-4o и Claude 3.5 Sonnet в поисковых задачах.

Cerebras Systems использует уникальные Wafer Scale Engines, позволяющие Sonar обрабатывать 1200 токенов в секунду, что дает почти мгновенные ответы. Доступ к Sonar ограничен для платных пользователей Pro, но Perplexity планирует сделать его более широко доступным в будущем.
perplexity.ai

✔️ Microsoft закрывает разработку HoloLens.

Microsoft официально подтвердила, что полностью прекращает разработку оборудования HoloLens и объявила о прекращении разработки HoloLens 2. Робин Сейлер, вице-президент подразделения смешанной реальности Microsoft, заявил, что компания перейдет от разработки оборудования к облачным технологиям и технологиям ИИ, но по-прежнему будет предоставлять аппаратную и программную поддержку для HoloLens 2 до 2027 года.
theverge.com

✔️ MIT создал рой роботов-насекомых, способных летать в 100 раз дольше предыдущих моделей.

Новые конструкции роботов-насекомых легче и имеют достаточно места для размещения батарей. Эти роботы, размером меньше скрепки, могут выполнять опыление и увеличить урожайность без вреда для окружающей среды.

Предыдущие модели имели 8 крыльев и имели меньшую производительность. Новая конструкция состоит из 4 блоков, каждый с одним крылом, что позволяет стабилизировать вертикальное движение. Улучшенная точность и ловкость роботов, ставшая возможной за счет внедрения новой системы, имитирующей механику мышц, уменьшили нагрузку на крылья. Ученые планируют интегрировать в этих роботов датчики, батареи и вычислительные возможности в ближайшие 5 лет.
livescience.com

✔️ Audiobox Aesthetics - новая модель с открытым исходным кодом, обученная на 562 часах данных, аннотированных профессиональными музыкантами, которая позволят автоматически оценивать эстетику речи, музыки и звука.
Github

@ai_machinelearning_big_data

#news #ai #ml #openai #chatgpt #MIT #Microsoft #Adobe

Machinelearning

11 Feb 2025 15:01

⚡️ LLM4Decompile – это открытая большая языковая модель, предназначенная для декомпиляции бинарного кода в удобочитаемый исходный код.

В текущей версии она способна преобразовывать двоичные файлы Linux x86_64, скомпилированные с уровнями оптимизации GCC от O0 до O3, обратно в человеко-читаемый код на языке C.

Проект также ставит перед собой цель расширения поддержки различных архитектур и языков программирования.

Все материалы проекта доступны на Hugging Face под лицензией MIT и DeepSeek.

git clone https://github.com/albertan017/LLM4Decompile.git
cd LLM4Decompile
conda create -n 'llm4decompile' python=3.9 -y
conda activate llm4decompile
pip install -r requirements.txt

🟡 Github
🟡 Models
🟡 Paper
🟡 Colab

@ai_machinelearning_big_data

#llm #ml #ai #opensource #LLM4Decompile
#reverseengineering #decompile

Machinelearning

11 Feb 2025 12:41

🎵 InspireMusic — набор инструментов для создания музыки с открытым исходным кодом от Tongyi Lab, разработанный как универсальный набор инструментов AIGC для создания музыки.

InspireMusic (text-to-music) - это единая система токенизации и детокенизации аудио, интегрированного с большим авторегрессионным трансформером.
Для разработчиков: позволяет легко обучать и настраивайть модели генерации музыки/песен/аудио.

Просто и интуитивно понятный инструмент для генерации музыки, песен или аудиоконтента с использованием текстовых промптов или звуковых дорожек.

· InspireMusic - генератор работает на основе генеративного моделирования, поддерживает создание музыки, песен, аудио, предлагая разнообразные настройки.
· Гибкий и контролируемый вывод: позволяет создавать музыку с заданным вами стилем и структурой, .

Установка:

python 
git clone --recursive https://github.com/FunAudioLLM/InspireMusic.git
# If you failed to clone submodule due to network failures, please run the following command until success
cd InspireMusic
git submodule update --init --recursive

python 
from inspiremusic.cli.inference import InspireMusicUnified
from inspiremusic.cli.inference import set_env_variables
if __name__ == "__main__":
  set_env_variables()
  model = InspireMusicUnified(model_name = "InspireMusic-1.5B-Long")
  model.inference("text-to-music", "Experience soothing and sensual instrumental jazz with a touch of Bossa Nova, perfect for a relaxing restaurant or spa ambiance.")

Machinelearning

11 Feb 2025 10:01

Как договориться с кем угодно и о чём угодно?

Мастерство управления переговорами определяет успех в деловых отношениях и реализацию в бизнесе. Чтобы улучшить навыки переговоров и влияния, почитайте канал Ольги Абрамовой.

Ольга Абрамова тренер по переговорам, медиатор, конфликтолог с дипломом Гарварда, более 20 лет ex-HR директор и член правления крупных компаний, делится техниками и своим опытом на примерах из практики переговоров и медиации в примирении людей в жестких конфликтах:

- Как остаться в сильной позиции, несмотря на давление?
- Какие приёмы помогут переключить агрессора в диалоге?
- Как уверенно говорить при волнении?
- Как отказать и не испортить отношения?
- Что ответить, если вас обвиняют?
- Как договориться после ссоры?
- Как вести сложный торг в переговорах?

И еще много важной информации для деловой и личной жизни.

✅ Сохраните себе этот блог, чтобы не потерять.

Реклама. ИП Абрамова О.Н. ИНН 771510464774 erid: 2VtzqwkvPgZ

Machinelearning

10 Feb 2025 18:04

🌟 RT-DETRv2: усовершенствованная CV-модель для детекции объектов в реальном времени.

RT-DETRv2 - новая версия RT-DETR, альтернативы YOLO. RT-DETRv2 получила ряд улучшений: повышение гибкости, практичности и производительности.

Ключевое изменение - модификация модуля deformable attention в декодере. В RT-DETRv2 предлагается устанавливать различное количество точек выборки для признаков разных масштабов. Это дает возможность более эффективно извлекать многомасштабные признаки, делая ее более адаптировной к множествам сценариям детекции.

Чтобы сделать модель модель более практичной, заменили оператор grid_sample, характерный для DETR, на опциональный discrete_sample, который выполняет округление предсказанных смещений выборки, что ускоряет процесс без значительной потери точности.

RT-DETRv2 обучается стратегией динамического усиления данных (dynamic data augmentation). На ранних этапах используются более интенсивные методы аугментации, чтобы модель лучше обобщала данные. На поздних этапах уровень аугментации снижается, что позволяет модели адаптироваться к целевой области.

В новой версии используется кастомизация гиперпараметров в зависимости от масштаба модели. Например, для ResNet18 увеличивается скорость обучения, тогда как для более крупных моделей - ResNet101, она снижается.

Тесты RT-DETRv2 выполнялись на наборе датасете COCO, где модель показала улучшение метрики AP на 0.3–1.4 пункта по сравнению с RT-DETR, сохраняя при этом высокую скорость работы. Например, RT-DETRv2-S с архитектурой ResNet18 достигла AP 47.9, что на 1.4 пункта выше, чем у RT-DETR-S.

Скрипты для файнтюна RT-DETRv2 с Trainer или Accelerate размещены в репозитории HuggingFace на Github, а ноутбук простого инференса локально - тут или запустить в Google Collab.


📌Лицензирование: Apache 2.0


🟡Статья
🟡Arxiv
🟡Google Collab инференса
🖥Github


#AI #CV #RTDETRv2

Machinelearning

10 Feb 2025 14:01

🔥 Minima — это open source решение для RAG в контейнерах для развертывания на любых мощностях (клауд или локал), с возможностью интеграции с ChatGPT и MCP.

Minima также может использоваться как RAG на вашей машине.

Minima поддерживает три режима работы:
1. Изолированная установка — Работа в контейнерах без внешних зависимостей, таких как ChatGPT или Claude. Все нейронные сети (LLM, ранкер, эмбеддинг) и векторный сторедж запускаются на вашем сервере или ПК, обеспечивая безопасность ваших данных.
2. Кастомный GPT — Запросы к вашим локальным документам через приложение или веб-версию ChatGPT с использованием кастомных GPT. Индексатор работает на вашем сервере или локальном ПК, а основная LLM остаётся ChatGPT.
3. Anthropic Claude — Использование приложения Anthropic Claude для запросов к вашим локальным документам. Индексатор работает на вашем локальном ПК, а основная LLM — это Anthropic Claude.

В данный момент, Minima решает задачу RAG on-premises и призывает всех поставить звезду и форкнуть репозиторий, а так же не стесняться и принять участие в разработке.

📌 Лицензия MPL-2.0

▪ Github

Machinelearning

09 Feb 2025 11:02

🔬MedRAX: новаторский ИИ-агент, разработанный для медицинских задач!

Что такое MedRAX?

MedRAX - это первый универсальный ИИ-агент, который объединяет современные инструменты для анализа рентгеновских снимков грудной клетки и мультимодальные большие языковые модели в единую структуру, позволяющую динамически обосновывать сложные медицинские запросы без дополнительного обучения.

🎯 Чем хорош именно MedRAX?

Хотя специализированные модели ИИ отлично справляются с конкретными задачами рентгенографии грудной клетки, они часто не справляются с комплексным анализом и могут выдавать неточные рекомендации . Многим медицинским работникам нужна единая, надежная система, способная обрабатывать сложные запросы, сохраняя при этом точность. MedRAX призван стать таким инструментом

🛠️ Интегрированные инструменты:

- Визуальный контроль качества: CheXagent и LLaVA-Med
- Сегментация: MedSAM & ChestX-Det
- Формирование отчетов: CheXpert Plus
- Классификация: TorchXRayVision
- Grounding Maira-2
- Синтетические данные: RoentGen

💡 Ключевые особенности:

- Бесшовная интеграция специализированных медицинских инструментов с мультимодальными рассуждениями на основе больших языковых моделей.
- Динамическая оркестровка: Интеллектуальный выбор и координация инструментов для сложных запросов.
- Клиническая направленность: Разработан для реальных медицинских процессов.

📊 ChestAgentBench:

Разработчики также выпустили ChestAgentBench, комплексный эталон медицинского агента, созданный на основе 675 клинических случаев, проверенных экспертами, и включающий 2500 сложных медицинских запросов по 7 категориям.

🎉 Результаты говорят сами за себя:
- 63,1% точности на ChestAgentBench
- Sota результативность на CheXbench
- Превосходит как универсальные, так и специализированные медицинские модели

▪Paper: https://arxiv.org/abs/2502.02673
▪Github: https://github.com/bowang-lab/MedRAX

@ai_machinelearning_big_data


#ai #agents #ml #opensource #med #medicine