⚡️ CtrLoRA: Расширяемая и эффективная платформа для генерации управляемых изображений

Сперва обучается ControlNet с LORA, настроенный на конкретные задачи, с использованием крупномасштабного датасета.

Затем базовая сеть ControlNet может быть эффективно адаптирована к новым задачам с помощью новой LoRa, которой необходимо всего 1000 изображений и менее 1 часа на одном графическом процессоре.

Это сокращает количество параметров на 90%, что значительно упрощает создание новых условий управления.

▪️Github
▪️Статья
▪️Модель

@data_analysis_ml

Читать полностью…

⚡️ FatLlama-1.7T

Зачем кому-то создавать FatLlama-1.7T? Серьезно, в чем смысл?

Однажды вы просыпаетесь и думаете: "Знаете, что нам нужно? Такая огромная модель, чтобы даже облака занервничали". Это все равно что решить построить ракету только для того, чтобы сгонять в супермаркет.

Конечно, это впечатляет, но кто будет ее запускать? Скорее всего, не вы, если только ваш ПК не является нелегальным ядерным реактором.

И что же она умеет? Может быть, предсказывать ваши электронные письма еще до того, как вы подумаете их написать, или просто станет очень хорошо находить в сети видео с котами, кто ж знает...

Вопрос в том, создаем ли мы эти гигантские модели, потому что можем или потому что нам есть что показать Вселенной?

FatLlama-1.7T - это не столько ИИ, сколько "подержите мое пиво, я собираюсь запустить эту штуку".

И вот она, FatLlama-1.7T, которая займет ВСЕ место на вашем жестком диске. Забудьте о сохранении семейных фотографий или драгоценном архиве книг, которые вы никогда не прочитаете. Вам же не так уж и нужны были эти жалкие 3 ТБ свободного места, правда? Зато теперь у вас есть цифровой гигант.

Квантованные версии? Да не вопрос, удачи с запуском, держитесь там.

Даже если каким-то чудом вам удастся запустить FatLlama-1.7T, не спешите расслабляться, ведь вы знаете, что будет дальше, верно? FatLlama 3T.

К тому времени, когда вы выработаете максимум энергии и превратите свой дом в центр обработки данных, чтобы запустить свежую FatLlama 3T, я перейду к FatLlama 5.8T, для которой, вероятно, потребуется маленькая галактика в качестве источника энергии.

Вызов принят? 😁

🟡Модель
🟡Набор GGUF

@ai_machinelearning_big_data

#AI #ML #LLM

Читать полностью…

🔥 В этом гайде показано как использовать Qwen-2.5 в качестве интерпретатора кода.

🌟 Модель способна обрабатывать запросы, генерировать и интерпретировать код для различных вычислительных задач и анализа данных.

Этот инструмент особенно полезен для тестирования моделей и работы с данными.

🔗 Ссылка: *клик*

@data_analysis_ml

Читать полностью…

🖥 ChatGPT попросили написать SQL запросы для работы с базой данных магазина.

Ответ убил

🌟 Кажется, ии медленно уничтожает человечество...

@data_analysis_ml

Читать полностью…

🌟 LayerSkip: метод ускорения инференса в LLM.

LayerSkip - это способ ускорить LLM, уменьшая количество вычислений, необходимых для обработки каждого слова (токена) текста.

Основная идея LayerSkip - научить модель "угадывать" результат раньше, не проходя все слои. Для этого во время обучения модели некоторые слои "исключаются" (layer dropout) случайным образом. Помимо исключения слоев, LayerSkip использует специальную функцию потерь, которая помогает модели "понимать" результаты вычислений на более ранних слоях.

В отличие от других методов, LayerSkip использует одну и ту же LM head для всех слоев модели. Это упрощает обучение и уменьшает потребление памяти при инференсе.

Во время инференса LayerSkip обрабатывает текст только первыми "E" слоями, а затем сразу переходит к LM head, чтобы получить результат. Это называется "ранний выход" (early exit).

Чтобы повысить точность при раннем выходе, LayerSkip использует метод "самоспекулятивного декодирования". Модель сначала "угадывает" несколько следующих токенов, используя ранний выход. Затем она проверяет эти токены, используя оставшиеся слои, и исправляет ошибки.

LayerSkip был протестирован на различных наборах данных: Llama, CodeLlama и TOPv2. Результаты показали, что LayerSkip может ускорить работу LLM до 2 раз без значительного снижения точности.

Чтобы попробовать LayerSkip локально, разработчики предлагают использовать любую из 6 предобученных моделей:

🟢Llama2 - 7B и 13B;
🟢Codellama-7B или 34В;
🟢Llama3-8B:
🟢Llama3.2-1B.

⚠️ Для локального запуска будет нужен Huggingface API KEY.

▶️Локальный запуск:

# Clone repo
git clone git@github.com:facebookresearch/LayerSkip.git
cd LayerSkip

# Create env
conda create --name layer_skip python=3.10
conda activate layer_skip

# Install requirements
$ pip install -r requirements.txt

#Inference with self speculative 
$ torchrun generate.py --model facebook/layerskip-llama2-7B \
    --sample True \
    --max_steps 512 \
    --generation_strategy self_speculative \
    --exit_layer 8 \
    --num_speculations 6

▶️Ключи запуска:

--model: имя модели на HuggingFace;
--sample: включение/выключение семплирования (по умолчанию: True);
--max_steps: максимальное количество генерируемых токенов;
--generation_strategy: стратегия генерации (по умолчанию: 'greedy', для LayerSkip: 'self_speculative');
--exit_layer: номер слоя для раннего выхода;
--num_speculations: количество спекулятивных токенов;


🟡Коллекция моделей на HF
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #MetaAI #LayerSkip

Читать полностью…

Что такое эксперименты в ML и чем они отличаются от «фичей» в обычной разработке?

🔹Расскажем на открытом уроке «MLFlow и переобучение ML-моделей» почему важно переобучать (retrain) свои модели, чтобы держать их «в тонусе».

Разберем какую роль инструменты, такие как MLFlow, играют в процессах регулярного переобучения

✅ Практика: Изучим как выбирать лучшие варианты для отправки в Prod / Staging среду и всегда знать, что у вас «на проде»

Урок приурочен курсу «MLOps» от Otus.

👉 Регистрация и подробности:
https://otus.pw/EokQ/?erid=LjN8KE8WR

#реклама
О рекламодателе

Читать полностью…

Яндекс Игры пришли к нам с запросом:

SELECT * 
FROM subscribers 
WHERE channel_name = 'data_analysis_ml'
AND technical_skills IN ('SQL', 'Airflow', 'MapReduce', 'DataLens') 
AND data_driven_approach = true 
AND analytical_mindset = true 
AND years_of_experience >= 2 
AND fit = true;

Ребята ищут аналитика в свою команду. Яндекс Игры посещают более 40 млн пользователей в месяц, поэтому можно проверять кучу гипотез на крупных выборках и экспериментировать.

ВАЖНО. Проверенные гипотезы не пойдут «в стол», а будут помогать команде принимать взвешенные решения и влиять на развитие продукта.

Если у тебя есть опыт работы с продуктами, аналитический склад ума и необходимые навыки, — это отличный шанс быстро вырасти и прокачаться на интересных задачах.

Описание вакансии здесь, но лучше сразу пишите рекрутеру и договаривайтесь о собеседовании: @danny_md1

Читать полностью…

Приглашаем погрузиться в аналитику данных вместе с Яндексом!

Data Driven — это наша ежегодная конференция для тех, кто анализирует данные, чтобы принимать бизнес-решения.

26 октября приглашаем дата-сайентистов и всех, кто интересуется Big Data, послушать спикеров из Крауда, Рекламы, Алисы и других команд.

В программе: доклады о фичах на основе пользовательских отзывов, машинном переводе, обучении YandexGPT, метриках KPI и многом другом.

📍Место: Москва, ст. м. «Парк культуры»

📅 Дата: 26 октября в 12:00

💻 Регистрация

Реклама. ООО "Яндекс", ИНН 7736207543.

Читать полностью…

⚡️ Metalingus - это минимальная и быстрая библиотека для обучения LLM и логических выводов, предназначенная для научных исследований

📊 Ключевые особенности

- Мощная и быстрая библиотека для обучения LLM и логических выводов для научных исследований
- Использует модифицируемые компоненты PyTorch для экспериментов с архитектурами и моделями
- Предоставляет инструменты для понимания скорости и стабильности работы ваших приложений
- Структурирован с использованием базовой библиотеки "lingua" и "приложений"

🚀 Сравнение производительности Lingua с другими моделями

- Модели 1B, обученные на токенах 60B, соответствуют производительности DCLM (DataComp-LM) по многим задачам
- Модели 7B (Mamba, Llama) показывают высокие результаты в таких тестах, как ARC, MMLU, BBH
- Модель токенов Llama 7B в квадрате ReLU 1T позволяет получать высокие баллы за выполнение заданий

▪ Github

@data_analysis_ml

Читать полностью…

Каждый день мы наблюдаем за ростом возможностей искусственного интеллекта, и новости о его прорывах появляются все чаще. Но что это значит для профессионалов, чья работа, казалось бы, может быть автоматизирована? 🤔

Некоторые специалисты беспокоятся, что AI может вскоре занять их места. Однако нам кажется, что AI — это не замена, а инструмент, который помогает достигать новых высот в аналитике, видеомонтаже, копирайтинге и других сферах.

А что думаете вы? Какие инструменты и технологии помогают вам в работе, и как вы их оцениваете?

Пройдите опрос, который займет всего 5 минут ⏳ и поможет разработчикам генеративных нейросетей улучшить их инструменты.

Как бонус, мы разыгрываем среди участников:
👾 годовой доступ к Telegram Premium
👾месяц премиум-подписки на ChatGPT
👾 подписку на два месяца в Альпина Digital

Участвуйте, и давайте вместе строить будущее технологий!

Erid: 2VtzqwE1B4P

Читать полностью…

🔥 Deep seek только что выпустили Janus, модель "Any-to Any" (мультимодальный ввод и вывод!)

🚀 Janus: революционная платформу авторегрессии для мультимодального ИИ!

Она превосходит предыдущие модели как в понимании, так и в генерации.

🤗 Hf: https://huggingface.co/deepseek-ai/Janus-1.3B
📄 Paper: https://arxiv.org/abs/2410.13848
💻 Project page: https://github.com/deepseek-ai/Janus

@data_analysis_ml

Читать полностью…

🖥 TensorRT Model Optimizer — это библиотека от NVIDIA для оптимизации глубоких нейросетей с помощью современных методов, таких как квантование, прунинг и дистилляция.

Цель оптимизатора — уменьшить размер моделей и повысить скорость их выполнения на GPU

🌟 Библиотека поддерживает TensorRT и TensorRT-LLM для ускорения работы с большими языковыми моделями и генеративными ИИ. Библиотека предоставялет Python API для упрощенной интеграции и развертывания моделей.

▪️Github

@data_analysis_ml

Читать полностью…

⚡️ Mistral AI представила новые модели 3B и 8B.

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.

Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.

Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.

Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.

▶️ Ministral 3B доступна для некоммерческого использования по запросу через форму.

▶️ Ministral 8B-Instruct опубликована в отрытом доступе:

🟢Architecture: Transformer
🟢Parameters: 8B
🟢Layers: 36
🟢Heads: 32
🟢Dim: 4096
🟢Hidden Dim: 12288
🟢Vocab Size: 131K
🟢Context Length: 128K
🟢Tokenizer: V3-Tekken
🟢Language: multilingual

Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.

⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.

⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM


📌Лицензирование : MRL-0.1


🟡Страница проекта
🟡Модель
🟡Demo Ministral 8B-Instruct


@ai_machinelearning_big_data

#AI #ML #LLM #Ministraux #MistralAI

Читать полностью…

🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5.

🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face

https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8

@data_analysis_ml

Читать полностью…

🔥 Руководство по оценке больших языковых моделей (LLM), созданное командой Hugging Face. Оно включает как практические советы, так и теоретические знания, собранные при управлении Open LLM Leaderboard и разработке инструмента lighteval

Hugging Face выложила на Github руководство по оценке LLM.

В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.

Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.

Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.

Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.

▶️Оглавление:

🟢Автоматические бенчмарки
🟢Оценка человеком
🟢LLM-судья
🟢Устранение неполадок
🟢Базовые знания

📌 Планы на будущие гайды:

🟠Описание автоматических метрик;
🟠Какие основные моменты вы всегда должны учитывать при построении задачи;
🟠Зачем нужна оценка LLM;
🟠Почему сравнивать модели между собой - это сложно.

▪️Github

@data_analysis_ml

Читать полностью…

🔥 Видео от университета Стэнфорда о создании больших языковых моделей!

💡 Это видео — краткий обзор создания модели, подобной ChatGPT, охватывающий как предварительное обучение модели, так и последующее обучение (SFT/RLHF).

В видео рассматриваются общие практики сбора данных, алгоритмы и методы оценки модели.

🕞 Продолжительность: 1:44:30

🔗 Ссылка: *клик*

Читать полностью…

🤗 Вышла Transformers.js версия 3!

⚡ Поддержка веб-графических процессоров (до 100 раз быстрее, чем WASM)
🔢 Новые форматы квантования (dtypes)
Всего поддерживается 120 архитектур
📂 25 новых примеров проектов и шаблонов
✅ Более 1200 предварительно сконвертированных моделей
✅ Node.js Совместимость с ESM + CJS, Deno и Bun

Начните работу с npm i @huggingface/transformers

https://huggingface.co/blog/transformersjs-v3

@data_analysis_ml

Читать полностью…

🔥 arXiver — это огромный датасет на Hugging Face, который содержит 138 тысяч научных статей, загруженных с сайта arXiv.org!

🌟 Этот набор данных предназначен для анализа и обработки научных публикаций с использованием методов машинного обучения. Он охватывает статьи из разных областей, таких как физика, математика, компьютерные науки, и предоставляет возможность для создания NLP моделей на основе научного текста.

🔗 Ссылка: *клик*

@data_analysis_ml

Читать полностью…

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее мероприятие:

• 9-11 ноября — для продуктовых и аналитиков данных, офер за 3 дня в команды Финтеха и Яндекс Практикума.

Зарегистрироваться

Читать полностью…

🌟 Интересная статья, которая посвящена методу под названием Self-Taught Reasoner (STaR), который улучшает способность языковых моделей выполнять сложные задачи, требующие пошагового рассуждения

🌟 STaR использует небольшое количество примеров рассуждений и большое количество данных без них для обучения модели. Этот метод включает в себя генерацию обоснований, исправление ошибок и дообучение модели на правильных результатах. STaR показал значительное улучшение по сравнению с обычными моделями в задачах на логику и здравый смысл

🔗 Ссылка: *клик*

@data_analysis_ml

Читать полностью…

🖥 financial-data-analyst — набор советов и гайдов для быстрого старта работы с Claude AI для анализа финансовых данных.

Он показывает, как использовать возможности ИИ для обработки и анализа финансовой информации с помощью Claude, предлагая готовые к работе шаблоны и сценарии для анализа

▪️Github

@data_analysis_ml

Читать полностью…

🖥 Новые модификации архитектуры трансформеров от исследователей NVIDIA

nGPT: Трансформер на основе гиперсферы, обеспечивающий в 4-20 раз более быстрое обучение и улучшенную стабильность для LLM

🔗 Читать подробнее: *клик*

@data_analysis_ml

Читать полностью…

🖥 AdalFlow — это библиотека для создания и автоматической оптимизации задач, связанных с большими языковыми моделями (LLM).


Легкий, модульный и не зависящий от модели конвейер задач
LLM ; AdalFlow помогает разработчикам быстро создавать из них любые приложения, от приложений GenAI, перевод, обобщение, генерация кода, RAG и автономные агенты, до классических задач NLP, таких как классификация текста и распознавание именованных объектов.

🌟Содержит два фундаментальных, но мощных базовых класса: Component для конвейера и Data Class для взаимодействия с LLMS. В результате получилась библиотека с минимумом абстракции, предоставляющая разработчикам максимальную настраиваемость.

🔐 Лицензия: MIT

▪️GitHub

@data_analysis_ml

Читать полностью…

🖥 optillm — инструмент для оптимизации процесса вывода языковых моделей (LLM) через прокси-сервер. Он поддерживает различные подходы к оптимизации, такие как цепочки размышлений (CoT), самоотражение, алгоритм R* и другие. Этот инструмент позволяет использовать модели, совместимые с OpenAI API, и позволяет легко интегрировать их с существующими инструментами и фреймворками.

🌟 Основная цель — упростить работу с крупными языковыми моделями, обеспечивая их более эффективное использование, включая поддержку нескольких техник вывода и оптимизации

🔐 Лицензия: Apache-2.0

▪️Github

@data_analysis_ml

Читать полностью…

🔥 Lightning Thunder — компилятор для PyTorch, который позволяет ускорить выполнение моделей до 40%

🌟 Thunder компилирует код PyTorch, объединяя и оптимизируя операции, что повышает производительность на различных аппаратных платформах, таких как GPU, и поддерживает как одиночные, так и многопроцессорные конфигурации. Он работает с множеством исполнительных механизмов, включая такие технологии, как nvFuser, torch.compile и cuDNN и позволяет распределённые вычисления для больших моделей с использованием стратегий DDP и FSDP

🔐 Лицензия: Apache-2.0

▪️Github

@data_analysis_ml

Читать полностью…

Вышел PyTorch 2.5 🔥

Выпуск #PyTorch 2.5, в котором представлена новая серверная часть cuDNN для SDPA, компиляция torch.compile и ускорения производительности серверной части TorchInductor CPP

Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/

@data_analysis_ml

Читать полностью…

⚡️ Компания Open Sora Plan выпустила версию 1.3 своей модели генерации видео.

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md

@data_analysis_ml

Читать полностью…

🤗 Большое обновление для локальных LLM!

⚡️ Ollama получила поддержку запуска моделей GGUF с Huggingface.

Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.

На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.

▶️Быстрый запуск:

ollama run hf.co/{username}/{repository}
▶️Запуск с выбором типа квантования:

ollama run hf.co/{username}/{repository}:{quantization}
По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.

Он создается на основе встроенных метаданных tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template.

Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Например:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

📌 Список всех доступных параметров доступен в документации репозитория Ollama.

⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как hf.co, так и huggingface.co.


🟡Документация
🖥GitHub


Документация: https://huggingface.co/docs/hub/ollama

@data_analysis_ml

Читать полностью…

🖥 awesome-ai-agents — полезный репозиторий, который содержит список различных автономных ИИ-агентов, таких как AutoGPT, BabyAGI, GPT Engineer и других!

🌟 Здесь представлены библиотеки и инструменты для работы с искусственным интеллектом, включая автономные агенты и разработки на основе GPT. Репозиторий служит полезным ресурсом для тех, кто хочет исследовать или создавать ИИ-агентов для различных задач!

▪ 150+ ИИ-агентов и фреймворков.
▪ Фильтр по сценариям использования.
▪ Фильтр по открытому/закрытому исходному коду.
▪ Фильтр новых продуктов ИИ
▪ Возможность получать обновления о конкретном агенте ИИ.

▪️Github

@data_analysis_ml

Читать полностью…

Бизнесу данные нужны как воздух📊

На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы.

Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио.

Вы научитесь:

- использовать Python для анализа данных;
- применять методы ИИ в своих задачах;
- работать с базами данных;
- визуализировать данные.

После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.

Освойте профессию на стыке IT и бизнеса

Реклама. ООО "Нетология". Erid 2VSb5xPwBwn

Читать полностью…