Machinelearning

24 Nov 2024 11:55

🍏 MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training

Apple выпустила невероятно быстрые модели Core ML и приложение для iOS, позволяющее запускать их на iPhone! ⚡

Эти модели можно подключить к демо приложению, представленному в официальном репозитории MobileCLIP.

> S0 соответствует ViT-B/ 16 от OpenAI, но в 4,8 раза быстрее и в 2,8 раза меньше размером.

> S2 превосходит ViT-B/16 от SigLIP в 2,3 раза, при этом в 2,1 раза меньше по размеру, при этом используется для обучения в 3 раза меньше данных.

> MobileCLIP-B(LT) достигает 77,2%-ную точность обработки изображений, превосходя DFN, SigLIP и даже ViT-L/14@336 от OpenAI

conda create -n clipenv python=3.10
conda activate clipenv
pip install -e .

Пример использования:

Python
import torch
from PIL import Image
import mobileclip

model, _, preprocess = mobileclip.create_model_and_transforms('mobileclip_s0', pretrained='/path/to/mobileclip_s0.pt')
tokenizer = mobileclip.get_tokenizer('mobileclip_s0')

image = preprocess(Image.open("docs/fig_accuracy_latency.png").convert('RGB')).unsqueeze(0)
text = tokenizer(["a diagram", "a dog", "a cat"])

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)

Machinelearning

23 Nov 2024 09:11

✔️ Apple готовит масштабное обновление Siri на основе ИИ.

Компания работает над созданием новой версии голосового помощника Siri, которая будет основана на топовых LLM, чтобы сделать взаимодействие с Siri более естественным и интуитивно понятным.
Внутреннее название проекта - "Siri LLM". Цель обновления - научить Siri быстрее обрабатывать сложные запросы. Новая версия Siri будет интегрирована с функциями Apple Intelligence: создание и обобщение текста. Предварительная презентация планируется в следующем году в рамках iOS 19 и MacOS 16, но полноценный запуск может состояться только через год.
bloomberg.com

✔️ В MIT разработали эффективный способ обучения надежных агентов ИИ.

Ресерчеры из MIT представили новый алгоритм для повышения надежности моделей обучения с подкреплением, которые лежат в основе систем принятия решений искусственного интеллекта.

Алгоритм, получивший название Model-Based Transfer Learning (MBTL), стратегически выбирает задачи для обучения агента ИИ, чтобы он мог эффективно выполнять все задачи в наборе связанных задач. MBTL моделирует, насколько хорошо каждый алгоритм будет работать, если его обучать независимо для одной задачи, а также оценивает, насколько снизится производительность каждого алгоритма, если его перенести на другую задачу.

В результате новый метод позволяет максимизировать производительность при низких затратах на обучение. Тесты показали, что MBTL в 5–50 раз эффективнее стандартных подходов.
news.mit.edu

✔️ Samsung представила модель Gauss2 с возможностью работы на устройствах.

Samsung представила Gauss2, усовершенствованную версию своей модели генеративного искусственного интеллекта. Gauss2 включает три модели: Compact, Balanced и Supreme. Compact оптимизирована для работы на устройстве, Balanced обеспечивает баланс между производительностью, скоростью генерации и эффективностью, а Supreme использует MoE с несколькими моделями, каждая из которых ориентирована на разные типы задач. Модели Gauss2 поддерживают от 9 до 14 языков и несколько языков программирования. Balanced и Supreme соответствуют или превосходят другие модели ИИ в задачах на английском и корейском языках, а их скорость обработки в 1,5–3 раза выше.
gsmarena.com

✔️ США лидирует в ИИ согласно новому инструменту оценки от Стэнфордского университета.

Новый инструмент оценки Global Vibrancy Tool 2024 проанализировал данные из 36 стран и показал, что США является мировым лидером в области ИИ, за ними следуют Китай и Великобритания. Инструмент объединяет 42 специфических для ИИ показателя, чтобы предоставить комплексное количественное представление о том, какие страны лидируют в области ИИ

Инструмент измеряет экосистему ИИ страны по ключевым показателям: исследовательские работы, частные инвестиции, патенты и др. США лидируют в нескольких основных областях, включая выпуск большего числа публично известных моделей машинного обучения, инвестирование большего объема частного капитала в ИИ и публикацию большего числа исследований в области ответственного ИИ, чем любая другая страна.
hai.stanford.edu

✔️ OpenScholar: система ИИ с открытым исходным кодом превосходит GPT-4o в научных исследованиях.

OpenScholar, разработанная Институтом искусственного интеллекта Аллена (Ai2) и Вашингтонским университетом использует языковую модель, дополненную поисковой системой, которая работает с базой данных из более чем 45 миллионов научных работ с открытым доступом.

В отличие от GPT-4o, который генерирует ответы на основе предварительно обученных знаний, OpenScholar извлекает соответствующие документы, синтезирует их результаты и генерирует ответ, основанный на этих источниках. В тестах, использующих ScholarQABench, OpenScholar продемонстрировал превосходную производительность с точки зрения фактической точности и точности цитирования, превзойдя GPT-4o.
venturebeat.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

22 Nov 2024 14:30

🌟 LAION-DISCO-12M: большой датасет музыки с Youtube.

Набор данных LAION-DISCO-12M состоит из 12 млн ссылок на общедоступные треки YouTube с метаданными. Он собран для поддержки фундаментальных исследований в области машинного обучения, созданию базовых моделей обработки звука, извлечения музыкальной информации, анализа наборов данных аудио и обучение рекомендательных систем и приложений.

Метод создания LAION-DISCO-12M основан на рекурсивном поиске исполнителей на платформе YouTube Music. Начиная с начального списка исполнителей топ-чартов разных стран, новые артисты обнаруживались путем анализа раздела "Похожие исполнители".

Для каждого исполнителя извлекались метаданные: имя, количество подписчиков и список всех песен и музыкальных клипов. Каждая песня или музыкальный клип были связаны с URL-адресом YouTube.

Размер датасета составляет 250 516 исполнителей и 12 648 485 треков.

Поля метаданных:

🟢song_id - идентификатор трека;
🟢title - название;
🟢artist_names - имя исполнителя;
🟢artist_ids - идентификатор исполнителя;
🟢album_name - название альбома;
🟢album_id - идентификатор альбома;
🟢isExplicit - признак наличия ненормативной лексики;
🟢views - количество просмотров;
🟢duration - продолжительность трека.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Датасет


@ai_machinelearning_big_data

#AI #ML #LAION #Audio #Dataset

Machinelearning

22 Nov 2024 11:40

Устроиться аналитиком в Яндекс за выходные

7–8 декабря проводим Weekend Offer Analytics. До 4 декабря оставьте заявку на участие, 7 декабря пройдите технические собеседования, а 8 декабря познакомьтесь с командами и получите офер.

В мероприятии участвует 7 команд: Crowd, Карты, Поиск, YaGPT 2, Автономный транспорт, Реклама и Ecom-сценарии. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.

Нанимаем в офисы России и Республики Беларусь.

Узнать подробности и зарегистрироваться можно здесь.

Machinelearning

21 Nov 2024 15:52

⚡️ SANA: Генерация изображений изображений высокого разрешения от Nvidia Labs.

Sana - семейство моделей для генерации изображений с разрешением до 4096x4096 пикселей. Главное преимущество Sana - высокая скорость инференса и низкие требования к ресурсам, модели можно запустить даже на ноутбуке.

Секрет эффективности Sana в ее архитектуре, которая состоит из нескольких инновационных компонентов:

🟢Deep Compression Autoencoder (DC-AE)
Сжимает изображение в 32 раза, в результате чего значительно сокращается число латентных токенов, что, в свою очередь, повышает эффективность обучения и позволяет генерировать изображения с разрешением 4K.

🟢Linear Diffusion Transformer (Linear DiT)
Использует линейное внимание вместо традиционного, ускоряя генерацию с разрешением 4K в 1.7 раза.

В Linear DiT вместо модуля MLP-FFN используется Mix-FFN, который объединяет в себе свертку 3x3 и Gated Linear Unit (GLU). Mix-FFN позволяет отказаться от позиционного кодирования без потери качества.

🟢Decoder-only Small LLM as Text Encoder
Энкодер, основанный на LLM Gemma, который лучше понимает текстовые запросы пользователя и точнее передает их смысл на генерации.

Для точного соответствия "текст - изображение" при обучении энкодера применялись "сложные человеческие инструкции" (CHI), которые научили Gemma учитывать контекст запроса.

Sana создавалась с помощью уникальной стратегии обучения и выборки. В процессе обучения используются несколько VLM (VILA, InternVL2) для создания различных аннотаций к каждому изображению. Затем, на основе CLIP-оценки, были отобраны наиболее подходящие пары "текст-изображение".

Обучение происходило постепенно, начиная с разрешения 512x512 и заканчивая 4096x4096, а алгоритм Flow-DPM-Solver ускорил процесс выборки, сократив количество шагов по сравнению с Flow-Euler-Solver.

Результаты тестирования Sana впечатляют:

🟠Sana-0.6B, работающая с изображениями 512x512, в 5 раз быстрее, чем PixArt-Σ, при этом показывает лучшие результаты по метрикам FID, Clip Score, GenEval и DPG-Bench.

🟠При разрешении 1024x1024 Sana-0.6B в 40 раз быстрее PixArt-Σ.

🟠Sana-0.6B превосходит по скорости Flux-12B в 39 раз при разрешении 1024x1024) и может быть запущена на ноутбуке с 16 GB VRAM, генерируя изображения 1024x1024 менее чем за секунду.


⚠️ Для локального инференса модели 0.6B требуется 9GB VRAM, а для модели 1.6B - 12GB VRAM.


▶️ Установка и инференс c GradioUI:

# official online demo
DEMO_PORT=15432 \
python app/app_sana.py \
      --config=configs/sana_config/1024ms/Sana_1600M_img1024.yaml \
      --model_path=hf://Efficient-Large-Model/Sana_1600M_1024px/checkpoints/Sana_1600M_1024px.pth

Machinelearning

21 Nov 2024 07:09

✔️ AlphaQubit от Google: новый уровень точности в квантовых вычислениях.

Google DeepMind и Google Quantum AI разработали AlphaQubit, декодер, который устанавливает новый стандарт точности в коррекции ошибок квантовых вычислений. AlphaQubit, нейронная сеть, обученная на синтетических и реальных данных с процессора Sycamore, использует архитектуру Transformers для анализа информации об ошибках.

Тестирование показало, что AlphaQubit снижает количество ошибок на 6% по сравнению с тензорными сетями и на 30% по сравнению с корреляционным сопоставлением. Несмотря на то, что AlphaQubit демонстрирует высокую точность, остаются проблемы, связанные с достижением скорости работы в реальном времени и масштабируемости.
blog.google

✔️ NVIDIA предложила оптимизацию семейства Llama 3.2 на GPU.

NVIDIA оптимизировала модели Llama 3.2 (11 млрд и 90 млрд параметров) и SLM (1 млрд и 3 млрд параметров) за счет использования библиотеки TensorRT и TensorRT-LLM. Оптимизация с помощью TensorRT обеспечивает более высокую пропускную способность и меньшую задержку инференса. NVIDIA также разработала собственную схему квантования FP8 для повышения производительности, доступную через TensorRT Model Optimizer. SLM оптимизированы для Windows с помощью ONNX Runtime Generative API и DirectML.
Оптимизированный инференс Nvidia TensorRT Llama 3.2 доступен в сервисе NVIDIA NIM.
developer.nvidia.com

✔️ Gemini теперь запоминает предпочтения пользователей.

Google представила новую функцию "памяти" для Gemini, позволяющую ему учитывать предпочтения пользователя в будущих взаимодействиях. Эта функция, доступная подписчикам Google One AI Premium ($20 в месяц), позволяет пользователям сохранять информацию о своих предпочтениях, например, о нелюбимых ингредиентах в рецептах.

Gemini будет использовать эти данные для персонализации ответов и повышения эффективности помощи пользователю. Функция памяти доступна только через веб-браузер. Пользователи могут удалять сохраненные предпочтения или отключать функцию, если предпочитают, чтобы Gemini не учитывал предыдущие взаимодействия.
makeuseof.com

✔️ DeepSeek представила модель, превосходящую OpenAI-o1.

Компания DeepSeek выпустила R1-Lite-Preview — новую большую языковую модель, ориентированную на рассуждения. Модель, доступная только через веб-чат DeepSeek Chat и демонстрирует производительность, близкую, а в некоторых случаях и превосходящую, модель OpenAI o1-preview по результатам тестов AIME (American Invitational Mathematics Examination) и MATH.

R1-Lite-Preview использует метод «цепочки рассуждений», показывая пользователю этапы своего "мыслительного" процесса. Компания планирует в будущем выпустить R1 с открытым исходным кодом.
venturebeat.com

✔️ Suno представляет новую модель V4.

Suno, популярная платформа генеративной музыки, выпустила новую модель V4, которая создает более реалистичную музыку по сравнению с предыдущими версиями. Модель V4 доступна платным подписчикам и в будущем будет доступна всем пользователям. V4 демонстрирует более четкое звучание, реалистичный вокал и инструменты, более широкую стереопанораму. Модель также улучшила свои композиторские навыки, создавая более интересные и неожиданные музыкальные решения.
geeky-gadgets.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

20 Nov 2024 07:20

✔️ Microsoft Ignite 2024: анонс новых возможностей ИИ.

На конференции Microsoft Ignite 2024 компания представила новые функции и обновления, связанные с Microsoft Copilot и Azure AI.

Среди основных анонсов - специализированные агенты в Microsoft 365 Copilot, которые будут выполнять задачи от имени пользователя, например, отвечать на вопросы о политике компании или создавать планы проектов.

Copilot Studio получит автономные возможности агентов и библиотеку агентов для создания рабочих сценариев. Разработчики смогут создавать собственных агентов с помощью Microsoft Agent SDK.

Azure AI Foundry поможет организациям проектировать, настраивать и управлять приложениями ИИ и будет интегрирован с Copilot Studio.

В Copilot Studio появятся возможности загрузки изображений, создания голосовых агентов и расширенной настройки знаний.
news.microsoft.com

✔️ Стартап d-Matrix начал поставки ИИ-чипов собственного производства.

Стартап, привлекший более 160 млн. долларов финансирования, сообщил, что первые клиенты уже тестируют образцы чипов, а полномасштабные поставки ожидаются в следующем году. Чип разработан для обработки большого количества запросов от пользователей в задачах текстовой генерации и генерации видео.

d-Matrix не назвала конкретных клиентов, но отметила, что SuperMicro будет продавать серверы, совместимые с чипами d-Matrix.
reuters.com

✔️ Институт Arc представил Evo – первую базовую биологическую модель, обученную на ДНК.

Evo – первая биологическая фундаментальная модель, обученная на ДНК, которая способна прогнозировать и создавать генетические последовательности длиной более миллиона оснований.

В отличие от других моделей, обучающихся на тексте, Evo извлекает информацию непосредственно из ДНК. Evo была представлена в препринте в этом году, но теперь она опубликован в журнале Science, где исследователи демонстрируют, как она может помочь в более глубоком понимании биологических последовательностей.

Первые эксперименты с Evo позволили спрогнозировать, как изменения в ДНК могу влиять на бактерии.
readwrite.com

✔️ Adobe разработала технологию предотвращения галлюцинаций в моделях ИИ.

Adobe подала заявку на патент, описывающий систему "предотвращения галлюцинаций для анализа естественного языка", которая предназначена для контроля и корректировки выходных данных генеративных моделей ИИ.

Система использует "модуль контроля галлюцинаций", который проверяет выходные данные модели на соответствие фактам, извлеченным из "хранимых данных ". Если обнаруживается несоответствие, система запрашивает повторную генерацию выходных данных.

Технология ориентирована на корпоративное использование, где точность и надежность ИИ-систем критически важны.
thedailyupside.com

✔️ Cerebras Systems обновила свой сервис инференса, достигнув рекордной производительности для самой большой Llama.

Компания объявила о значительном обновлении облачного сервиса инференса для LLM, который теперь способен обрабатывать Llama 3.1 405B со скоростью почти 1000 токенов в секунду. Это достижение ставит производительность сверхгигантской модели наравне с ультра-маленькими моделями.

Высокая скорость обработки стала возможной благодаря специализированной архитектуре, разработанной компанией для своих мощных ИИ-чипов и программного стека для высокопроизводительных вычислений.

Cerebras утверждает, что ее сервис превосходит по скорости GPT-4o от OpenAI и Claude 3.5 Sonnet от Anthropic более чем в 10 раз. В реальных приложениях, таких как голосовой поиск, время отклика Cerebras составляет менее 10 миллисекунд. Компания планирует предоставить доступ к сервису в первом квартале 2025 года.
siliconangle.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

19 Nov 2024 07:20

✔️ Perplexity запускает функцию покупки товаров.

Perplexity представляет новую функцию "Buy with Pro", позволяющую пользователям с подпиской Pro покупать товары, не покидая сервис. Функция доступна для жителей США и предлагает бесплатную доставку на все покупки.

Для товаров, не поддерживающих "Buy with Pro", пользователи будут перенаправлены на сайт продавца. Perplexity не получает комиссионные от продаж, совершенных через кнопку "Buy with Pro". В компании заявляют, что функция не преследует коммерческих целей. Помимо "Buy with Pro", Perplexity внедряет новые карточки товаров с описанием, ценой и обзорами, а также функцию "Snap to Shop", позволяющую искать товары по фотографии.
theverge.com

✔️ Бигтех угрожает энергетической безопасности Ирландии.

Рост энергоемких технологий ИИ ставит под угрозу энергетическую инфраструктуру Ирландии, что может негативно сказаться на ее позиции как европейского центра технологий. Дублин - третий по величине центр гипермасштабируемых ЦОДов в мире и крупнейший в Европе. По прогнозам, потребности ИИ в электроэнергии удвоятся к 2026 году и создадут дефицит в энергетических сетях страны.

Национальный оператор электросетей EirGrid ввел фактический мораторий на новые ЦОДы в районе Дублина. Он предупредил о возможном «массовом оттоке» центров обработки данных из страны, если ситуация не улучшится. В 2023 году ЦОДы потребили 21% всей измеренной электроэнергии, впервые превысив потребление городских домов.
politico.eu

✔️ Mistral представил новые модели и обновленные функции чат-бота.

Mistral выпустила ряд обновлений своих продуктов: платформа чат-ботов Mistral, Le Chat, теперь может осуществлять поиск в Интернете с цитированием источников, подобно ChatGPT и Perplexity. Она также получила инструмент «canvas», аналогичный ChatGPT Canvas, позволяющий пользователям изменять, преобразовывать или редактировать макеты веб-страниц и визуализации данных, используя модели ИИ Mistral.

Le Chat теперь может обрабатывать большие PDF-документы и изображения для анализа и обобщения, включая файлы, содержащие графики и уравнения.

Некоторые из новых возможностей Le Chat стали возможны благодаря новым моделям Mistral: Pixtral Large, которая может обрабатывать текст и изображения и Mistral Large 3, новой флагманской модели генерации текста. Все новые функции Le Chat останутся бесплатными в бета-версии.
mistral.ai

✔️ Новые AI-чипы Nvidia перегреваются в серверах.

Blackwell от Nvidia, предназначенные для задач ИИ, столкнулись с проблемами перегрева в серверных стойках, что вызывает опасения у клиентов относительно своевременного запуска новых ЦОДов.

Как сообщает The Information, перегрев возникает при подключении чипов Blackwell в серверные стойки, рассчитанные на установку до 72 чипов. По данным источников издания, Nvidia неоднократно просила поставщиков изменить конструкцию стоек для решения проблемы перегрева.
Новые чипы вдвое больше по площади, чем предыдущее поколение, и обеспечивают 30-кратное увеличение скорости обработки задач, связанных с задачами ИИ.
seekingalpha.com

✔️ AMD обгоняет Nvidia по вычислительной мощности в рейтинге Top500.

Суперкомпьютер El Capitan, созданный HPE с использованием гибридных процессоров AMD Instinct MI300A, занял 1 место в рейтинге Top500, значительно опередив конкурентов. Тестирование El Capitan в Ливерморской национальной лаборатории показало пиковую теоретическую производительность 2746,4 петафлопс и устойчивую производительность на тесте HPL 1742 петафлопс с эффективностью 63,4%.

El Capitan оснащен 43 808 устройствами AMD Instinct MI300A, содержащими 1,05 млн ядер Genoa и почти 10 млн потоковых мультипроцессоров на графических чиплетах.

В рейтинге Top500 за ноябрь 2024 года AMD лидирует по приросту вычислительной мощности, обеспечив 72,1% новых петафлопс. С учетом всех 500 систем AMD обгоняет Nvidia по совокупной пиковой производительности на ускорителях, занимая 44,9% против 40,3% у Nvidia.
nextplatform.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

18 Nov 2024 16:19

🌟Начался новый сезон PROD – первой в России олимпиады по промышленной разработке для школьников.

О начале второго сезона олимпиады объявил Т-Банк совместно с Центральным университетом и факультетом компьютерных наук НИУ ВШЭ.

В рамках PROD школьники смогут больше узнать о работе фронтенд-, бэкенд- и мобильных разработчиков, а также изучат создание программных систем, автоматизацию бизнес-процессов и разработку приложений для оптимизации бизнеса.

Участникам предложат решить реальные бизнес-кейсы ИТ-компаний.
На олимпиаду приглашаются школьники с 8 по 11 класс, которые знают информатику на базовом уровне и владеют аналитическим мышлением. Маскотом олимпиады стала амфибия аксолотль. Он символизирует умение справляться со сложными задачами в молодом возрасте.

Онлайн пройдут все части PROD кроме последней, на которую финалистов пригласят в Москву.

▶️Победителям PROD предоставят льготные условия для поступления в Центральный университет и НИУ ВШЭ, а также возможность пройти упрощенный процесс отбора на стажировку в Т-Банк. Регистрация на PROD продлится до 3 декабря.

🟡Страница проекта

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

18 Nov 2024 11:02

🎓Погружаемся в мир обучения с подкреплением (RL) и изучаем его применение в разработке рекомендательных систем!

⚡3 декабря в 20.00 мск приходите на открытый вебинар "Автоматизация инжениринга признаков", на котором мы разберем:

- сильные и слабые стороны алгоритмов классического RL и Deep RL.;
- постановку задачи о многоруком бандите для классического и Deep RL.
- подходы к применению задачи о многоруком бандите для разработки рекомендательных систем

👉Регистрация. Участие бесплатно https://otus.pw/Xt1t/?erid=LjN8KQXJC

Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем

#реклама
О рекламодателе

Machinelearning

17 Nov 2024 11:05

🌟 OpenCoder - модели для кодинга, cookbook обучения и датасеты.

OpenCoder - это открытое и воспроизводимое семейство LLM для программирования, включающее 1,5B и 8B базовые и instruct версии, поддерживающее английский и китайский языки.

Семейство моделей OpenCoder обучалось с нуля на 2,5 трлн. лексем, состоящих на 90 % из сырого кода и на 10 % из веб-данных, связанных с кодом, и прошло отладку на более чем 4,5 млн. высококачественных примеров SFT, в итоге достигнув производительности топовых LLM с похожей специализацией.

В открытый доступ опубликованы не только веса моделей и код для инференса, но и датасеты, полный цикл обработки данных, результаты экспериментальной абляции и подробные протоколы обучения.

OpenCoder тщательно протестирован с помощью исследований абляции на различных стратегиях очистки данных и процессах обучения, включая эксперименты по дедупликации на уровне файлов и репозиториев, что обеспечило семейству тщательную проверку производительности моделей.

OpenCoder достигает высокой производительности в различных бенчмарках, что ставит их в ряд SOTA-моделей с открытым исходным кодом для задач программирования.

▶️ Семейство моделей OpenCoder :

🟢OpenCoder-1.5B-Base, 4 тыс. токенов контекста;

🟢OpenCoder-8B-Base, 8 тыс. токенов контекста;

🟠OpenCoder-1.5B-Instruct, 4 тыс. токенов контекста;

🟠OpenCoder-8B-Instruct, 8 тыс. токенов контекста;

▶️ Датасеты:

🟢OpenCoder-SFT-Stage1, 4.21 млн. строк;

🟠OpenCoder-SFT-Stage2, 375 тыс.строк.


▶️ Пример инференса на HF Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "infly/OpenCoder-8B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name,
                                             torch_dtype=torch.bfloat16,
                                             device_map="auto",
                                             trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")

outputs = model.generate(inputs, max_new_tokens=512, do_sample=False)

result = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)

Machinelearning

16 Nov 2024 15:02

⚡️ Прими участие в хакатоне Т1 2024 в Москве и поборись за призовой фонд в 1 200 000 рублей!

Когда: 26-29 ноября 2024
Формат: гибридный
Призовой фонд: 1 200 000 рублей

🔥 Хакатон Т1 2024 создан для тебя, если ты:

– Выпускник вуза или молодой специалист;
– Студент старших курсов технических вузов;
– Специалист по frontend или backend-разработке, системный аналитик, AI-специалист.

❗️На хакатоне тебе будут предложены 2 кейса:

1. Хаб: объединение данных пользователя в золотую запись. Создайте методику, которая поможет найти "золотую запись" в большом наборе данных, используя признаки актуальности, частоты и полноты.
2. Окно знаний: цифровой ассистент базы знаний. Создайте платформу, которая позволит пользователям разрабатывать окна взаимодействия с ассистентом, интегрируя собственные базы знаний.

▶️ Регистрация открыта! Успей зарегистрироваться до 24 ноября, 23:59 МСК по ссылке.

Machinelearning

16 Nov 2024 09:11

✔️ The New York Times обвиняет OpenAI в попытке заработать на судебном разбирательстве.

NYT утверждает, что OpenAI предложила протокол проверки, ограничивающий количество запросов, которые их эксперт может сделать через API, суммой в 15 000 долларов. По словам NYT, для получения необходимых доказательств нарушения авторских прав, им потребуется кредитов на сумму 800 тыс. долларов, что, как утверждается, значительно превышает фактические затраты OpenAI.

OpenAI защищает установленный лимит, утверждая, что он необходим для снижения нагрузки на компанию. Исход этого судебного спора может иметь последствия для будущих дел, связанных с проверкой моделей ИИ.
arstechnica.com

✔️ Фильм, сценарий которого написан ИИ, открывает фестиваль IDFA.

Фильм "О герое" режиссера Петра Виневича, сценарий которого написан искусственным интеллектом, обученным на работах Вернера Херцога, открывает Международный фестиваль документального кино в Амстердаме (IDFA).

В фильме снимаются Вики Крипс и Стивен Фрай, а Вернер Херцог выступает в роли рассказчика. Фильм исследует роль технологий в кинопроизводстве и ставит вопросы об оригинальности, аутентичности и душе в эпоху ИИ. Виневич создал фильм, используя программное обеспечение Kaspar, которое обучалось на обширной фильмографии и текстах Херцога.

Процесс написания сценария был долгим и сложным: сначала ИИ генерировал поток текста, который затем редактировался Виневичем и сценаристкой Анной Джул.
hollywoodreporter.com

✔️ Hyundai разрабатывает электромобиль с ИИ, чтобы не отставать от конкурентов в Китае.

В следующем году Hyundai выпустит свой первый электромобиль с ИИ, разработанный специально для китайского рынка. Новая модель будет оснащена системой DriveGPT от китайского стартапа Haomo, которая вдохновлена ChatGPT от OpenAI.

Система способна к самообучению в режиме реального времени, оптимизируя процесс принятия решений на основе анализа данных о дорожном движении. Уровень автономного вождения новой модели будет находиться между 2 и 2.5, что сравнимо с автопилотом Tesla.

Hyundai надеется, что новый электромобиль поможет увеличить продажи на китайском рынке электромобилей, где BYD лидирует с долей рынка 32,9%.
electrek.co

✔️ Apple M4 Max транскрибирует аудио в 2 раза быстрее, чем RTX A5000, потребляя при этом в 8 раз меньше энергии.

В пользовательском тесте, проведенном Toms hardware M4 Max транскрибировал 3-х часовой аудиофайл с помощью Whisper V3 Turbo всего за 2 минуты 29 секунд, потребляя 25 Вт, в то время как RTX A5000 затратил на ту же задачу 4 минуты 33 секунды, потребляя 190 Вт.

Преимущество M4 Max объясняется наличием четырех аппаратных кодеров, включая два специализированных для ProRes, что позволяет ему эффективно обрабатывать видео и аудио. В тесте использовалась сбалансированная настройка M4 Max, а при увеличении скорости вентиляторов время транскрипции сократилось еще на 10 секунд.
tomshardware.com

✔️ Новая модель Gemini от Google возглавляет рейтинг LLM в СhatbotArena.

Последняя версия Gemini попала на вершину рейтинга Chatbot Arena, обогнав последнюю версию GPT-4o от OpenAI. Новая модель от Google DeepMind называется Gemini-Exp-1114. она сравнялась с последней версией GPT-4o, превзойдя возможности модели o1-preview reasoning от OpenAI.

Gemini-Exp-1114 пока недоступна в приложении или на веб-сайте Gemini. Получить к ней доступ можно только зарегистрировав бесплатную учетную запись Google AI Studio.
tomsguide.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

15 Nov 2024 11:38

🌟 Athene-V2: диалоговая и агентная модели от Nexusflow с 72 млрд. параметров.

Nexusflow представила семейство Athene-V2 из двух специализированных моделей: Athene-V2-Chat-72B, оптимизированную для чат-диалогов, и Athene-V2-Agent-72B, предназначенную для работы в качестве агента.

Обе модели построены на базе Qwen 2.5-72B-Instruct. Ключевая особенность Athene-V2 - концепция "границы Парето" в постобработке LLM.

По мере обучения модели с помощью RLHF на качественных данных достигается оптимальный баланс между метриками производительности, формируя "границу Парето". Дальнейшее улучшение отдельных характеристик становится возможным только за счет снижения других показателей.

Athene-V2-Chat-72B демонстрирует конкурентоспособные результаты по сравнению с GPT-4o в бенчмарках, превосходя его в задачах чата (Arena-Hard), завершения кода (bigcode-bench-hard) и математических задачах (MATH).

Athene-V2-Agent-72B превосходит GPT-4o в бенчмарках Nexus-V2, ориентированных на сложные сценарии вызова функций в корпоративной среде.

Athene-V2-Chat-72B использует шаблон чата Qwen2.5-72B-Instruct. Пример инференса с помощью библиотеки Transformers.

Athene-V2-Agent-72B можно использовать в любой совместимой с OpenAI API среде с помощью docker-образа VLLM. Примеры запуска погодного и RAG-агента.

⚠️ Athene-V2-Agent использует уникальный стиль промптов, который включен в docker-образ, поскольку исполняемые вызовы извлекаются из сгенерированного планирования модели.
Использование шаблона чата HuggingFace приведет к неоптимальным результатам в случае использования Athene-V2-Agent .

▶️На HF доступны неофициальные квантованные версии в формате GGUF c диапазоном разрядности от 3 до 8 bit:

🟠Athene-V2-Chat-72B

🟠Athene-V2-Agent-72B


📌Лицензирование: Nexusflow Research License


🟡Страница проекта
🟡Набор моделей
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #AtheneV2 #Nexusflow

Machinelearning

14 Nov 2024 13:02

⚡️ JanusFlow: унифицированная MMLM понимания и генерации изображений от DeepSeekAI.

JanusFlow - уникальная комбинация LLM с Rectified Flow и SDXL-VAE для задач понимания и генерации изображений.

Архитектура JanusFlow построена на улучшенной версии DeepSeek-LLM-1.3B, дополненной двумя специализированными энкодерами изображений: SigLIP для задач понимания и ConvNeXt для задач генерации. Разделение энкодеров предотвращает интерференцию задач и повышает эффективность модели.

JanusFlow обучалась в 3 этапа. На первом этапе адаптировались линейные слои, энкодер и декодер генерации.

На втором этапе - унифицированное предварительное обучение всей модели, за исключением визуального энкодера.

На третьем этапе - SFT с использованием инструкций, диалогов и примеров генерации изображений.

В тестах генерации изображений MJHQ FID-30k, GenEval и DPG-Bench, JanusFlow превосходит SD1.5 и SDXL. В тестах понимания MMBench, SeedBench и GQA, JanusFlow превосходит LLaVA-v1.5 и Qwen-VL-Chat.

Локальный запуск возможен в CLI на Transformers и с webUI на Gradio. Примеры CLI-инференса для задач понимания и генерации можно найти в репозитории проекта.

▶️Установка и запуск с GradioUI:

# install the necessary dependencies
pip install -e .
pip install diffusers[torch]

# run local gradio demo
pip install -e .[gradio]

python demo/app_janusflow.py

Machinelearning

23 Nov 2024 14:01

🌟 Boltz-1: открытая модель для предсказания структуры биомолекулярных комплексов.

Boltz-1 - первая доступная модель с открытым исходным кодом, которая достигает точности AlphaFold3 в прогнозировании 3D-структур белков, РНК, ДНК и небольших молекул. Boltz-1 основана на архитектуре AlphaFold3, но включает ряд модификаций, повышающих точность и общую эффективность модели.

Архитектура состоит из модуля множественного выравнивания последовательностей (MSA), модуля PairFormer и диффузионной модели, работающую на двух уровнях разрешения: тяжелые атомы и токены. Токены представляют собой аминокислоты для белков, основания для РНК и ДНК, а также отдельные тяжелые атомы для других молекул.

Boltz-1 использует диффузионную модель, аналогичную AlphaFold3, но Boltz-1 использует жесткое выравнивание с помощью алгоритма Кабша после каждого шага процедуры вывода, чтобы гарантировать, что интерполированная структура более похожа на очищенную от шума выборку. Это уменьшает дисперсию потерь денойзинга и предотвращает переобучение модели.

Обучение модели проводилось на структурных данных из PDB, выпущенных до 30 сентября 2021 года, с разрешением не менее 9Å. Чтобы ускорить обучение, разработчики Boltz-1 применили алгоритм сопряжения MSA с использованием таксономической информации, унифицированный алгоритм кадрирования и алгоритм определения кармана связывания. Обучение модели заняло 68 тысяч шагов с размером пакета 128, что меньше, чем у AlphaFold3.

Оценка Boltz-1 была выполнена на датасете CASP15 и на наборе PDB, специально созданном разработчиками для тестирования.

Результаты показали, что Boltz-1 сопоставима по точности с Chai-1, закрытой репликацией AlphaFold3. Обе модели демонстрируют схожие показатели среднего LDDT и среднего TM-score.

Boltz-1 продемонстрировала преимущество в предсказании взаимодействия белок-лиганд на наборе данных CASP15.

Прикладная реализация инференса, доступная в репозитории на Github, может принимать на вход форматы:

🟢Fasta file, для большинства кейсов использования;
🟢Комплексная YAML-схема для более сложных случаев;
🟢Каталог с файлами для пакетной обработки.

Подробные инструкции для процесса прогнозирования и дообучения опубликованы в репозитории с кодом.

▶️Локальный инференс:

# Install boltz with PyPI
pip install boltz

# run inference
boltz predict input_path

Machinelearning

22 Nov 2024 16:29

🌟 Marco-o1: модель рассуждений от Alibaba.

Marco-o1 – LLM, файнтюн-версия Qwen2-7B-Instruct для решения сложных задач, требующих рассуждений. В создании модели использовались методики Chain-of-Thought (CoT), поиска по дереву Монте-Карло (MCTS) и уникальные стратегии регулирования действий при рассуждении.

Marco-o1 обучалась на 3 датасетах: отфильтрованный набор данных Open-O1 CoT, синтетический набор Marco-o1 CoT и собственный набор инструкций Marco.

В модели реализованы 2 стратегии действий: "шаг как действие" и "мини-шаг как действие" (32 или 64 токена соответственно). Мини-шаг как действие обеспечивает более детальное исследование пространства решений.

В Marco-o1 был внедрен механизм рефлексии, который побуждает модель переосмысливать свои рассуждения, что улучшает результаты инференса, особенно в сложных составных задачах.

Модель оценивалась на наборах данных MGSM (английский и китайский). Результаты показали, что Marco-o1 превосходит Qwen2-7B-Instruct и демонстрирует улучшение точности на 6,17% для английского набора данных и 5,60% для китайского. Модель превзошла Google Translate в задачах языкового перевода, особенно при переводе разговорных выражений.

В ближайших планах:

🟠Обучаются версии модели вознаграждения за результат (ORM) и вознаграждения за процесс (PRM).
🟠Reinforcement Learning: обучение с подкреплением для совершенствования рассуждений.

▶️Установка и локальный инференс:

# Clone the repository
git clone https://github.com/AIDC-AI/Marco-o1

# Change to the Macaw-LLM directory
cd Marco-o1

# Install required packages
pip install -r requirements.txt

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AIDC-AI/Marco-o1")
model = AutoModelForCausalLM.from_pretrained("AIDC-AI/Marco-o1")

# Run Inference
./src/talk_with_model.py

Machinelearning

22 Nov 2024 13:00

🌟 Yandex B2B Tech представила новый сервис AI Assistant API. Этот инструмент позволит компаниям ускорить внедрение языковых моделей в свои процессы на более чем 30%.

В AI Assistant API не нужно писать специальный код для кастомизации, что делает его доступным для компаний, у которых нет выделенных команд data science. В настоящее время сервис доступен всем пользователям платформы Yandex Cloud без SLA, но в будущем планируется расширение функционала за счет поддержки дополнительных языковых моделей, включая открытые решения. Кроме того, сервис поддерживает работу с последними версиями языковых моделей YandexGPT 4, которые способны обрабатывать значительно более сложные запросы.

🟡Статья на сайте

@ai_machinelearning_big_data

#news #AI

Machinelearning

22 Nov 2024 07:20

✔️ Deus in machina: Швейцарская церковь установила Jesus-AI.

В старейшей церкви швейцарского города Люцерн, часовне Святого Петра, появился AI Jesus, способный общаться на 100 языках. Проект под названием Deus in Machina, был запущен в августе 2024 года в рамках многолетнего сотрудничества с местной университетской исследовательской лабораторией по виртуальной реальности.

AI Jesus был установлен в исповедальне, где посетители могли задавать ему вопросы через решетчатый экран, получая ответы в режиме реального времени. Программа ИИ была обучена на богословских текстах. За двухмесячный период эксперимента более 1000 человек пообщались с аватаром. Две трети пользователей оценили этот опыт как "духовный". Однако, некоторые люди критиковали эксперимент, находя невозможным разговор с машиной, а ответы ИИ - банальными и поверхностными.
theguardian.com

✔️ Samsung Electronics и LG Uplus совместно разрабатывают смартфон ixi-O AI.

Samsung Electronics и мобильный оператор LG Uplus объединили усилия для создания смартфона с искусственным интеллектом, оснащенного цифровым помощником. Компании планируют выпустить "настоящий AI-телефон", который выйдет за рамки простой интеграции сервисов AI-помощника в смартфон.

В рамках этого партнерства Samsung и LG Uplus будут совместно разрабатывать смартфоны Galaxy, интегрируя возможности AI от LG уже на этапе разработки. Основное внимание будет уделено объединению AI-помощника LG Uplus ixi-O с сервисом Samsung Galaxy AI.

Новый AI-смартфон, предварительно названный Galaxy ixi-O, будет ориентирован в первую очередь на пользователей LG Uplus. Ожидается, что смартфон появится в следующем году.
kedglobal.com

✔️ OpenAI запускает бесплатный учебный курс по искусственному интеллекту для учителей.

OpenAI совместно с некоммерческой организацией Common Sense Media запустила бесплатный обучающий курс для учителей, посвященный ИИ и промпт-инжинирингу. Курс должен помочь учителям разобраться в возможностях чат-бота ChatGPT.

Обучение демонстрирует, как использовать ChatGPT для создания учебных материалов и оптимизации рабочих процессов. Курс доступен на сайте Common Sense Media. OpenAI создала специальную команду под руководством бывшего руководителя Coursera Лии Белски, чтобы поддержать ответственное использование ИИ в образовании.

Белски отметила высокий уровень использования ChatGPT среди учеников и поддержку со стороны родителей, которые считают навыки работы с ИИ необходимыми для будущей карьеры.
reuters.com

✔️ Nvidia представляет новый гибрид на базе CPU и GPU - GB200 Grace Blackwell NVL4 Superchip.

Nvidia анонсировала GB200 NVL4, модуль с 4 графическими процессорами B200 и 2 процессорами Grace на одной материнской плате. Решение предназначено для высокопроизводительных вычислений и гибридных рабочих нагрузок ИИ, предлагая 1,3 ТБ когерентной памяти.

По заявлению Nvidia, GB200 NVL4 эффективней в 2,2 раза в задачах моделирования, в 1,8 раза - в обучении ИИ и в 1,8 раза в инференсе по сравнению с Nvidia GH200 NVL4 Grace Hopper Superchip.

GB200 NVL4 будет доступен до конца 2024 года от различных производителей: MSI, Asus, Gigabyte, Wistron, Pegatron, ASRock Rack, Lenovo, HP Enterprise и другие.
tomshardware.com

✔️ Немецкий стартап Gemesys привлек 8,6 млн евро на разработку ИИ-чипов, имитирующих работу человеческого мозга.

Gemesys разрабатывает ИИ-чипы нового поколения с использованием мемристоров — электронных компонентов, которые взаимодействуют с нейронными сетями в автономном режиме и с минимальным использованием пропускной способности. Компания Gemesys была основана в 2021 году как спин-офф Рурского университета в Бохуме, Германия.

Финансирование Gemesys возглавил фонд Amadeus APEX Technology Fund совместно с Atlantic Labs при участии NRW.BANK, Sony Innovation Fund и калифорнийского Plug and Play Tech Center.
techfundingnews.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

21 Nov 2024 14:30

🌟 TinyTroupe: мультиагентное моделирование личностей.

TinyTroupe - экспериментальная библиотека Python от Microsoft, которая симулирует поведение людей с определенными личностями, интересами и целями. Эти агенты, TinyPerson, могут слушать нас и друг друга, отвечать и жить своей жизнью в симулированных средах TinyWorld.

Симуляция реалистичного имитационного поведения достигается за счет использования возможностей LLM (GPT-4) . С помощью TinyTroupe можно создать свои собственные сценарии и изучать, как личности с разными характерами будут взаимодействовать и реагировать в разных ситуациях.

Библиотека TinyTroupe помогает понять поведенческие факторы персоналий, но не пытается напрямую им помочь (в отличие от виртуальных помощников). Вместо этого она создает специальные инструменты, которые работают только в смоделированных условиях. TinyTroupe отличается от других ролевых инструментов тем, что она направлена на решение реальных бизнес-задач и повышение эффективности проектов, а не просто на игру.

Как и любая мультиагентная система, TinyTroupe предоставляет 2 ключевые абстракции:

🟢TinyPerson - агенты (смоделированные личности) с определенными чертами характера, интересами и целями.

🟢TinyWorld - среда, в которой агенты существуют и взаимодействуют.

Обе сущности настраиваются через различные параметры в config.ini, там же - тип API (Azure OpenAI Service или OpenAI API), параметры модели и уровень логирования.

TinyTroupe предлагает ряд утилит, которые облегчают создание симуляций и извлечение ценной информации из них:

🟠TinyPersonFactory для генерации новых TinyPerson с использованием LLM;

🟠TinyTool - симулированные инструменты, которые могут использоваться TinyPerson;

🟠TinyStory для создания и управления историей, рассказываемой через симуляции;

🟠TinyPersonValidator для проверки поведения TinyPerson;

🟠ResultsExtractor и ResultsReducer для извлечения и сокращения результатов взаимодействия между агентами.

Чтобы получить представление о том, на что способен TinyTroupe, в репозитории опубликовано несколько примеров его использования. Эти примеры находятся в папке examples/, и, на выбор, можно просмотреть предварительно скомпилированные Jupyter-блокноты, либо запустить их самостоятельно локально.

⚠️ TinyTroupe находится на ранней стадии разработки и API библиотеки может меняться.

⚠️ Для использования TinyTroupe нужен OpenAI API Key или Azure OpenAI Service API KEY.


▶️Установка:

# Create & activate conda env
conda create -n tinytroupe python=3.10
conda activate tinytroupe

# Clone the repository
git clone https://github.com/microsoft/tinytroupe
cd tinytroupe

# Create and run TinyPerson
from tinytroupe.examples import create_lisa_the_data_scientist

lisa = create_lisa_the_data_scientist() # instantiate a Lisa from the example builder
lisa.listen_and_act("Tell me about your life.")

Machinelearning

20 Nov 2024 14:17

🌟 Генеративные агенты: моделирование поведения 1000 человек.

Stanford University, Northwestern University и University of Washington, совместно с Google Deepmind, при участии социологов, разработали архитектуру, которая позволяет симулировать поведение более 1000 реальных людей с помощью LLM, обученных на транскрипции двухчасовых интервью с добровольцами-участниками.

Архитектура использует метод "экспертных размышлений", где LLM генерирует выводы о каждом участнике, принимая на себя роли различных специалистов социальных наук (психолога, экономиста, политолога, демографа).

Процесс создания агентов начинался со стратифицированного отбора 1052 участников, репрезентирующих население США по возрасту, полу, расе, региону, образованию и политическим взглядам. Масштабирование сбора данных проводилось агентом-интервьюером на основе GPT-4o, который динамически генерировал уточняющие вопросы, адаптируясь к ответам участников.

Оценка точности агентов проводилась с помощью сравнения их ответов с ответами реальных участников на вопросы из Общего социального опроса (GSS), опросника "Большая пятерка" (BFI-44), 5 экономических игр и 5 социальных экспериментов. Для учета непостоянства человеческого поведения точность агентов нормализовали с помощью сравнения с тем, насколько последовательно сами участники воспроизводили свои ответы через две недели.

Результаты оценки показали высокую точность прогнозирования агентов, обученных на интервью. Они смогли предсказать ответы на вопросы GSS с нормализованной точностью 0.85, а черты личности по BFI-44 - с нормализованной корреляцией 0.80. Использование интервью значительно повысило точность по сравнению с агентами, использующими только демографические данные или краткие описания личности.

В экспериментах агенты успешно воспроизвели 4 из 5 личностных особенностей, наблюдавшихся у реальных участников, а оценки размеров этих особенностей показали высокую корреляцию (r = 0.98).

Доступ к банку агентов двухуровневый:

🟢открытый доступ к агрегированным ответам на фиксированные задачи и репозиторий с кодом для воспроизведения

🟠ограниченный доступ к индивидуальным ответам на открытые задачи по запросу.


📌 Лицензирование: MIT License.


🟡Arxiv
🟡Dataset
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Agents #Social

Machinelearning

19 Nov 2024 14:00

📌Туториал по файнтюну Qwen2-VL-7B с использованием экосистемы Hugging Face.

Статья на HF из цикла Open-Source AI Cookbook c подробным пошаговым описанием и примерами кода процесса тонкой настройки VLM Qwen2-VL-7B в области ответов на вопросы по изображениям с использованием библиотеки Transformer Reinforcement Learning (TRL). В качестве целевого датасета используется ChartQA, который содержит диаграммы разных типов в паре с вопросами и ответами.

Для обучения модели демонстрируется методы Supervised Fine-Tuning (SFT) с использованием библиотеки TRL, QLoRA, которая квантует веса LoRA, обеспечивая более низкие требования к памяти и повышенную эффективность обучения.

Отдельным разделом выделен процесс подготовки данных к обучению с помощью функции collate_fn, которая выполняет корректное извлечение и пакетную обработку данных и их форматирование для модели. Обучение модели осуществляется с помощью класса SFTTrainer.

В результате модель научилась отвечать на вопросы в соответствии с используемым датасетом. Оценить готовый файнтюн можно в демо на HF Space.

Дополнительно, в качестве альтернативы тонкой настройке, рассматривается использование промтинга с добавлением системного сообщения для контекстуализации ввода для модели, чтобы улучшить точность ее ответов.

▶️ Блокнот на Google Collab для практических экспериментов. Для его запуска понадобится платный тариф с GPU А100.


▶️Структура туториала по разделам:

🟢Установка среды

🟢Загрузка датасета

🟢Загрузка модели и проверка производительности

🟢Файнтюн модели с помощью TRL

🟠Загрузка квантованной модели для обучения
🟠Настройка QLoRA и SFTConfig
🟠Обучение модели

🟢Тестирование готовой модели

🟢Сравнение обученной модели с базовой + промптинг

🟢Дополнительные ресурсы для более глубокого изучения VLM


🔜 Статья на HuggingFace


@ai_machinelearning_big_data

#AI #ML #VLM #HuggingFace #Tutorial

Machinelearning

18 Nov 2024 18:01

🌟 Aioli: фреймворк для алгоритмического смешивания данных обучения LLM.

Производительность LLM напрямую зависит от правильного выбора и пропорций наборов данных для обучения, например, юридических текстов, кода, математических формул.

Существующие методы выбора оптимального соотношения данных для обучения (data mixing) варьируются от подбора регрессионных моделей на основе результатов обучения до динамического обновления пропорций в процессе обучения.

Эмпирические исследования показывают, что ни один из существующих методов по отдельности не превосходит простую базовую стратифицированную выборку по среднему значению перплексии.

Linear Mixing Optimization (LMO) - унифицированный алгоритм, который объединяет существующие методы data mixing. В рамках LMO задача data mixing формулируется как оптимизационная задача, цель которой - минимизация средних потерь для каждой группы данных.

AIOLI - прикладной фреймворк, основанный на LMO.

AIOLI динамически оценивает параметры смешивания в процессе обучения, используя историю значений потерь и динамические пропорции смеси.

Тесты на 6 различных наборах данных SlimPajama показали, что AIOLI превосходит стратифицированную выборку, улучшая среднюю перплексию на тестовых данных на 0.28 балла.

AIOLI особенно эффективен в условиях ограниченных вычислительных ресурсов. В ситуациях, когда пропорции смеси данных определяются на основе коротких циклов обучения, AIOLI может динамически корректировать эти пропорции на протяжении всего цикла обучения.

⚠️ В репозитории AIOLI доступны примеры скриптов запуска и подробное описание ключей запуска.

▶️Установка и запуск:

# Clone repo
git clone https://github.com/HazyResearch/aioli.git
cd aioli

# Install requirements
pip install -r requirements.txt

# Run 
python main.py \ # add parameters

Machinelearning

18 Nov 2024 12:00

⚡️ BRIA Background Removal v2.0 Model.

RMBG v2.0 - новая модель удаления фона, предназначенная для эффективного отделения переднего плана от фона в различных категориях и типах изображений. Точность, эффективность и универсальность RMBG v2.0 конкурирует с ведущими SOTA-моделями.

RMBG-2.0 разработана на основе архитектуры BiRefNet и обучена на более чем 15 000 высококачественных, высокого разрешения, вручную маркированных (с точностью до пикселя), полностью лицензированных изображений.

Модель доступна на HF в двух версиях : pytorch и safetensors. Демо можно попробовать на HF Space.

▶️Пример кода запуска на Transformers:

from PIL import Image
import matplotlib.pyplot as plt
import torch
from torchvision import transforms
from transformers import AutoModelForImageSegmentation

model = AutoModelForImageSegmentation.from_pretrained('briaai/RMBG-2.0', trust_remote_code=True)
torch.set_float32_matmul_precision(['high', 'highest'][0])
model.to('cuda')
model.eval()

# Data settings
image_size = (1024, 1024)
transform_image = transforms.Compose([
    transforms.Resize(image_size),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

image = Image.open(input_image_path)
input_images = transform_image(image).unsqueeze(0).to('cuda')

# Prediction
with torch.no_grad():
    preds = model(input_images)[-1].sigmoid().cpu()
pred = preds[0].squeeze()
pred_pil = transforms.ToPILImage()(pred)
mask = pred_pil.resize(image.size)
image.putalpha(mask)

image.save("no_bg_image.png")

Machinelearning

18 Nov 2024 07:15

📎 ML в медицине: дайджест за 11 - 17 ноября 2024 г.


▶️Модели, бенчмарки и датасеты

🔘EHRNoteQA: бенчмарк для оценки LLM в клинической практике.
Оценки LLM в контексте ответов на вопросы врачей, основанных на выписных эпикризах пациентов.

🔘ClinicalBench: сравнение LLM и традиционных ML-моделей в клиническом прогнозировании.
Бенчмарк сравнения эффективности языковых моделей с XGBoost, Logistic Regression, Decision Tree, Random Forest, AdaBoost, SVM, Naive Bayes, MLP, Transformer и RNN.

🔘Комплексная оценка RAG-систем с LLM в задачах медицинского QA.
Датасет, содержащий дополнительные элементы информации, знаний для обеспечения устойчивости к ошибкам.

🔘DAHL: автоматизированная оценка на галлюцинации в медицинских текстах.
Набор данных и методика для оценки галлюцинаций в длинных текстах, генерируемых LLM, с особым акцентом на медицинскую область.


▶️Фреймворки и методологии

🔘TranspNet: конвейер повышения прозрачности и достоверности LLM.
Интегрирация LLM с символическим ИИ, чтобы повысить прозрачность и достоверность их работы.

🔘ClinRaGen: система понимания мультимодальных электронных медицинских карт и обоснования диагнозов.
Система на основе SLM и методики ризонинга, разработанная для улучшения диагностики острых заболеваний с использованием мультимодальных электронных медицинских карт.

🔘GuidelineGuard: агентная платформа для оценки медицинских записей на соответствие рекомендациям.
Платформа на основе агентов LLM, которая автоматически анализирует выписки из больницы и записи офисных визитов.

🔘Автоматическое обобщение длинных медицинских карт с помощью динамического расширения контекста.
Методика автоматического реферирования, основанная на LLM open-calm-7b с использованием Native Bayes Context Extend (NBCE) и модифицированного механизма декодирования.


▶️Медицинские LLM-приложения

🔘LLAMA-2 для автоматической классификации кодов МКБ.
Классификации кодов Международной классификации болезней (МКБ) на основе медицинских текстов.

🔘PortalGen: фреймворк для синтеза реалистичных сообщений пациентов.
Метод контекстного обучения, который позволяет LLM лучше соответствовать стилю и тону реальных данных, используя небольшое количество деперсонализированных сообщений пациентов.

🔘Voice EHR: голосовая электронная медицинская карта.
Система сбора данных, которая фиксирует медицинскую информацию с помощью голосовых записей, сделанных через мобильное приложение.


▶️Исследования и обзоры

*️⃣Мультимодальные модели в диагностики болезни Альцгеймера.
Генерация синтетических диагностических отчетов, чтобы решить проблему недостатка текстовых данных в нейровизуальных датасетах для диагностики болезни Альцгеймера.

*️⃣Ограниченное влияние медицинской адаптации на LLM и VLM.
Исследуется эффективности DAPT для создания специализированных медицинских LLM и VLM, пригодных для решения задач (визуального) вопрос-ответа в медицине. Спойлер: LLM и без DAPT неплохо разбираются в медицине.


🔜 Читать полный дайджест


@ai_machinelearning_big_data

Machinelearning

16 Nov 2024 16:01

🌟 Контекстуальные эмбединги для повышения эффективности поиска.

Contextual Document Embeddings (CDE) - это метод векторных эмбедингов, разработанный в Cornell University, который учитывает дополнительный контекст из "соседних" документов целевого набора данных.

Метод CDE предлагает добавить к функции встраивания зависимость не только от запроса или документа, но и от всех других документов в наборе данных. Чтобы создать такую функцию с осведомленностью о своем окружении, предлагаются две взаимодополняющих техники:

🟢Контекстуальное обучение, которое основано на кластеризации документов и запросов для формирования групп тематически схожих псевдообластей данных. Обучение на этих группах позволяет эмбединг-модели различать документы в сложных контекстах.

🟠Контекстуальная архитектура. Дополняет стандартный BERT-подобный энкодер дополнительными токенами из агрегированной информации о соседних документах. Эта информация позволяет модели учитывать относительную частоту терминов в контексте, аналогично тому, как это делается в статистических моделях поиска.

Тестирование CDE показало, что обе техники улучшают производительность в задачах поиска вне предметной области, а контекстуальная архитектура эффективнее традиционных эмбедингов в специализированных областях: финансах, юриспруденции и медицине.

Для практических экспериментов предлагается блокнот ipynb (или его версия для Google Collab) в котором используется эмбединг-модель cde-small-v1 с 281 млн. параметров, получившая средний балл 65.00 в бенчмарке MTEB leaderboard в категории моделей до 400 млн. параметров. Этот блокнот научит создавать свои собственные эмбединги в контексте вашего набора данных или просто использовать модель как есть.


🟡Модель
🟡Arxiv
🟡Ipynb блокнот
🟡Google Collab
🖥Github

@ai_machinelearning_big_data

#AI #ML #Embeddings #Retrieval #CDE

Machinelearning

16 Nov 2024 13:15

🌟 Языки программирования в 50 строк кода Python.

Репозиторий на Github c микрореализацией фундаментальных языков программирования, по мотивам серии статей "Tiny Great Languages"

Все написано на Python, код намеренно краток, чтобы не превышать ~50 строк кода для каждого языка.

Используется только стандартная библиотека Python, да и то в очень скромных пределах (sys, иногда re, редко itertool и т.д.).

▶️ Реализованы языки:

asm.py - ассемблер. Компилирует "Python-ассемблер" в байткод и выполняет его;

basic.py - бейсик. Подмножество TinyBASIC, но с настоящим редактором строк BASIC!

lisp.py - Lisp 1.5. Классика, автор - Джон Маккарти, достаточен, чтобы интерпретировать самого себя (мета-циклический интерпретатор);

apl.py - интерпретатор k/simple, написанный Артуром Уитни, представляет собой диалект языка программирования K (array processing language), который является вариантом APL.

mouse.py - язык конкатенативного программирования MOUSE, опубликованный в журнале BYTE в 1979 году.

pl0.py - переводчик с языка PL/0, автор Никлаус Вирт.

tcl.py - крошечный интерпретатор командного языка (TCL).


📌Лицензирование: MIT License.


🖥Github

#Python #TinyLanguage

Machinelearning

15 Nov 2024 18:22

🌟 LLaMA-Mesh: метод генерации 3D-мешей с помощью LLM.

LLaMA-Mesh - метод, разработанный NVIDIA Labs, позволяющий генерировать 3D-модели с помощью текстовых инструкций, используя LLM. В отличие от других методов, LLaMA-Mesh представляет координаты вершин и определения граней 3D-сеток в виде простого текста, что позволяет напрямую интегрировать их с LLM без расширения словаря, минимизируя дополнительные затраты на обучение и позволяя использовать знания, которые уже имеют LLM.

Метод основан на файнтюне LLaMA-3.1-8B-Instruct на специальном наборе данных., который состоит из пар "текст-3D" и интерактивных диалогов, содержащих текст и 3D-модели.

В результате этого обучения, LLaMA-Mesh получает способность генерировать высококачественные 3D-сетки с различной топологией, сопоставимые по качеству с моделями, обученными с нуля, при этом сохраняя языковые способности, обеспечивая понимание сложных инструкций и ведения контекстуально-зависимых диалогов.

Оценка LLaMA-Mesh проводилась на качественных и количественных экспериментах.

Результаты качественных тестов демонстрируют высокую точность, качество и разнообразие сгенерированных 3D-моделей, а также сохраненные языковые возможности модели.

Количественные тесты в бенчмарках MMLU, PIQA, HellaSwag и GSM8K подтвердили сохранение языковых способностей, сравнимые с фундаментальными моделями LLaMA.

⚠️ Код и предварительно обученные веса обещают опубликовать в ближайшее время.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #3DGen #LlamaMesh #NVIDIA

Machinelearning

15 Nov 2024 07:15

✔️ Nous Research запустил бета-версию Forge Reasoning API.

Forge Reasoning API позволяет улучшить возможности популярных LLM, добавив интерпретатор кода и расширенные возможности рассуждений. API использует три архитектуры: поиск по древу Монте-Карло (MCTS), цепочка кода (CoC) и смесь агентов (MoA).

Forge совместим с Hermes 3, Claude Sonnet 3.5, Gemini и GPT 4 и может комбинировать несколько языковых моделей для повышения разнообразия выходных данных. Beta-тестирование API будет сосредоточено на тестировании архитектуры системы рассуждений.
nousresearch.com

✔️ Google устраняет уязвимости в Vertex AI, которые могли привести к утечке моделей ИИ.

Уязвимости, обнаруженные Palo Alto Networks Unit 42, позволяли злоумышленникам получать несанкционированный доступ к данным и извлекать корпоративные модели из системы.

Первая уязвимость, связанная с функцией "пользовательские задания", позволяла повышать привилегии и получать доступ ко всем сервисам данных в проекте. Вторая уязвимость, связанная с функцией "вредоносные модели", позволяла развертывать вредоносные модели и получать доступ ко всем другим настроенным моделям, что создавало серьезный риск утечки конфиденциальных данных.
Google уже установила исправления для устранения этих уязвимостей.
darkreading.com

✔️ JetBrains выпустила обновление 2024.3 для AI Assistant и IDEs.

AI Assistant 2024.3 теперь поддерживает модели Gemini, предоставляя пользователям возможность выбирать между моделями Gemini, OpenAI или локальными моделями. Ассистент также предлагает улучшенное автозавершение кода, расширенное управление контекстом и встроенную генерацию подсказок.

Обновления коснулись IDE JetBrains: PyCharm (добавлена функция AI-внутристроковых подсказок) , WebStorm (реализована улучшенная навигация по компонентам), GoLand (добавлены многострочное завершение, новая функция встроенной подсказки и новые языковые возможности из последних релизов Go), PhpStorm( новые проверки и быстрые исправления для обновления до PHP 8.4) и RubyMine(поддержка Rail 8, более быстрое завершение кода с учетом контекста и улучшенная интеграция модульных тестов).
sdtimes.com

✔️ Red Hat приобретает технологию для снижения стоимости машинного обучения.

Red Hat объявила о намерении приобрести Neural Magic, разработчика проекта vLLM с открытым исходным кодом. Цель приобретения в том, чтобы Red Hat и ее материнская компания IBM могли снизить барьер для входа организаций, желающих запускать рабочие нагрузки машинного обучения без необходимости развертывания серверов, оснащенных GPU.

Neural Magic разработала способ запуска алгоритмов машинного обучения без GPU. Вместо этого компания методы обрезки и квантования для оптимизации моделей, позволяя им работать на доступных процессорах без ущерба для производительности.
computerweekly.com

✔️ Франсуа Шолле покидает Google.

Французский разработчик Франсуа Шолле, создатель Keras, покидает Google после почти 10 лет работы. Keras лежит в основе ряда технологических продуктов: беспилотные автомобили Waymo, рекомендательные системы на YouTube, Netflix и Spotify.

В 2019 году Шолле опубликовал тест Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI), который измеряет способность систем ИИ решать новые задачи на рассуждение. Шолле неоднократно утверждал, что подход, принятый многими крупными лабораториями, разрабатывающими ИИ (внедрение все большего количества данных и вычислительных ресурсов в модели), не позволит достичь ИИ, который будет таким же «умным», как люди.

34-летний Франсуа сообщил в посте X, что он создает новую компанию вместе с «другом», но отказался раскрывать подробности.
techcrunch.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

14 Nov 2024 07:19

✔️ FrontierMath: набор тестов по математике, который ставит в тупик модели ИИ и кандидатов наук.

Epoch AI представила FrontierMath, математический тест, который содержит сотни задач экспертного уровня. Claude 3.5 Sonnet, GPT-4o, o1-preview и Gemini 1.5 Pro показали крайне низкие результаты - менее 2%, а для решения задач теста математикам-специалистам обычно требуются часы или дни.

Набор задач в FrontierMath остается закрытым и неопубликованным, чтобы предотвратить загрязнение данных. Задачи охватывают несколько математических дисциплин, от вычислительной теории чисел до абстрактной алгебраической геометрии.
Epoch AI планирует проводить регулярную оценку моделей ИИ с помощью теста, одновременно расширяя набор задач.
epoch.ai

✔️ Лаборатория искусственного интеллекта на защите людей искусства от генеративного ИИ.

Ученые из SAND Lab Чикагского университета разработали два инструмента, Glaze и Nightshade, которые защищают цифровое искусство от несанкционированного использования в обучении моделей.

Glaze изменяет изображения таким образом, чтобы алгоритмы ИИ не могли распознать стиль художника, а Nightshade добавляет в изображения «яд», нарушающий работу моделей ИИ. Оба инструмента были загружены миллионы раз и используются художниками для защиты своих работ от копирования и использования без их согласия.

Nightshade может нанести серьезный ущерб моделям ИИ, заставив их интерпретировать изображения неправильно, например, принимать собак за кошек. Разработчики инструментов надеются, что они заставят компании, занимающиеся ИИ, вести переговоры с художниками о лицензировании и справедливой компенсации.
technologyreview.com

✔️ OpenAI представит план развития инфраструктуры ИИ в США для конкуренции с Китаем.

OpenAI разработала план развития инфраструктуры ИИ в США, который включает создание специальных экономических зон для ИИ, использование опыта ВМС США в области ядерной энергетики и финансирование государственных проектов частными инвесторами. План также предусматривает создание североамериканского альянса по ИИ для конкуренции с китайскими инициативами.

Компания считает, что инвестиции в ИИ в США приведут к созданию десятков тысяч рабочих мест, росту ВВП, модернизации энергосистемы, появлению новых заводов по производству чипов и привлечению миллиардов долларов инвестиций из глобальных фондов.

В плане также прогнозируется принятие закона о национальной транспортной магистрали, который позволит расширить строительство линий электропередач, волоконно-оптических сетей и газопроводов.
cnbc.com

✔️ YouTube тестирует функцию ремиксов песен с помощью ИИ.

YouTube тестирует новую функцию в наборе инструментов Dream Track, которая позволяет авторам ремиксовать треки с помощью опции «Restyle a track» и описать текстом, как они хотят изменить стиль песни. Restyle a track сгенерирует 30-секундный фрагмент, который авторы смогут использовать в Shorts.

Ремикшированные фрагменты будут содержать информацию об оригинальной песне на странице Shorts audio pivot. Ремиксы также будут иметь соответствующую метку, указывающую на то, что трек был изменен с помощью ИИ.
techcrunch.com

✔️ Сверхчеловеческое зрение для роботов благодаря ИИ и радиоволнам.

Исследователи из Университета Пенсильвании разработали систему PanoRadar, которая использует радиоволны и ИИ, чтобы обеспечить роботов трехмерным зрением, подобным LiDAR, но по более низкой цене.

PanoRadar работает как маяк, вращаясь и излучая радиоволны, отражения которых обрабатываются ИИ для создания точного 3D-изображения окружающей среды. Эта технология позволяет роботам видеть сквозь препятствия, дым и туман. PanoRadar использует алгоритмы машинного обучения для интерпретации сложных сигналов радиоволн и достижения высокого разрешения, сравнимого с LiDAR.
interestingengineering.com

@ai_machinelearning_big_data

#news #ai #ml