🌟LongVILA: Масштабирование VLM с длинным контекстом для обработки длинных видео.

LongVILA, полнофункциональное решение на основе LLaVA, разработанное NVLabs, для длинноконтекстных VLM, включающее программный набор, претрейн-моделей и разработку набора данных для обучения.

Программная реализация основывается на Multi-Modal Sequence Parallelism (MM-SP).
Это распределенный фреймворк для обучения и вывода, который предназначен для визуальных языковых моделей (VLM) с длинным контекстом. Он решает сложную задачу обработки огромных объемов данных и вычислений, необходимых для обучения и развертывания VLM на длинных видео.

Ядром MM-SP является двухэтапная стратегия шардинга и механизм 2D-внимания.
На первом этапе изображения равномерно распределяются по устройствам, обеспечивая сбалансированное кодирование изображений.
Второй этап включает в себя шардинг токенов уровня глобального зрения и текстовых входных данных с добавлением фиктивных токенов для совместимости с кольцевым вниманием.
Механизм 2D-внимания повышает эффективность в MM-SP, объединяя кольцевой стиль и стиль Улисса (Ulysses) последовательного параллелизма, используя внутриузловое общение All-2-All и межузловое общение P2P.

MM-SP распределяет вычислительную нагрузку по нескольким устройствам позволяя проводить обучение и вывод на чрезвычайно длинных последовательностях. Кроме того гибридная стратегия параллелизма минимизирует накладные расходы на связь еще больше улучшая пропускную способность обучения и сокращая время вывода.

Полный стек решения LongVILA расширяет число возможных кадров VILA в 128 раз (с 8 до 1024 кадров) и улучшает оценку аннотирования длинных видео с 2,00 до 3,26 (в 1,6 раза), демонстрируя 99,5% точности в 1400-кадровом видео (длина контекста 274k).

Претрейн модели основаны на Llama-3-8B и предназначены для рассуждений с использованием нескольких изображений и имеют навык визуальной цепочки мышления.
Опубликованы 3 модели:

🟢Llama-3-LongVILA-8B-128Frames;
🟢Llama-3-LongVILA-8B-256Frames;
🟢Llama-3-LongVILA-8B-512Frames.

Эти модели были обучены на 53 миллионах пар "изображение-текст" и могут быть развернуты на конечных устройствах от Jetson Orin для FP16 версий до потребительских ноутбуков в квантованной 4-bit размерности через TinyChat.


📌Лицензирование кода : Apache 2.0 license.

📌Лицензирование моделей: CC-BY-NC-SA-4.0 license.


🟡Arxiv
🟡Набор моделей
🖥Github [ Stars: 1.2K | Issues: 33 | Forks: 92]


@ai_machinelearning_big_data

#AI #NVLab #VLM #ML

Читать полностью…

🌟Zamba2-mini: компактная и производительная модель с гибридной архитектурой.

Zamba2-mini - гибридная модель c 1.2B параметров, построенная из блоков state-space Mamba (SSM) и transformer.

Модель создана на общей архитектуре Zamba, но отличается от большей модели 2.7B тремя особенностями:

🟢добавлены rotary position embeddings;

🟢чередующиеся трансформерные блоки заменены одним общим;

🟢вместо LoRA на блоке MLP добавлены проекторы LoRA в блоки внимания.

Zamba2-mini использует токенизатор Mistral v0.1 и была предварительно обучена на 3 триллионах токенов текстовых данных и коде различных языков программирования, полученных из открытых веб-наборов данных, к которым был добавлен собственный корпу данных Zyda.

Впоследствии, на втором этапе Zamba2-mini была подвергнута дополнительной фазе агрессивного снижения скорости обучения на смеси из 100B высококачественных токенов.

Zamba2-mini показала в тестах результаты, сопоставимые с моделями с параметрами <2B и может конкурировать с некоторыми LLM большего размера.

Благодаря уникальной гибридной архитектуре SSM Zamba2-mini демонстрирует низкие задержки логического вывода и быструю генерацию при значительно меньшем потреблении VRAM, чем другие модели такой же плотности параметров на основе трансформеров.
Такие характеристики делает ее идеальной универсальной моделью для приложений на устройствах.

⚠️ Примечание: Zamba2-mini еще не полностью совместима со всеми фреймворками и инструментами HuggingFace.

Реализацию Zamba2-1.2B для Pytorch можно найти здесь.

▶️Локальная установка и инференс:

# Clone repositiry
git clone https://github.com/Zyphra/transformers_zamba2.git

#Install requirments:
cd transformers_zamba2
pip install -e .
pip install accelerate

#Inference
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-1.2B")
model = AutoModelForCausalLM.from_pretrained("Zyphra/Zamba2-1.2B", device_map="cuda", torch_dtype=torch.bfloat16)

input_text = "A funny prompt would be "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

▶️Для запуске на CPU - only, укажите use_mamba_kernels=False при загрузке модели с помощью AutoModelForCausalLM.from_pretrained.


📌Лицензирование : Apache 2.0 License.


🟡Страница проекта
🟡Arxiv
🟡Модель


@ai_machinelearning_big_data

#AI #SLM #Mamba #ML #Zamba2mini

Читать полностью…

⚡️ CogVideoX: Модель CogVideoX-5B теперь в открытом доступе

Tsinghua University (THUDM) выложили в открытый доступ более крупную модель генерации Text-to-Video серии CogVideoX - CogVideoX-5B, которая ранее была доступна только по API.

Помимо публикации большей модели, значительно оптимизирована производительность вычислений обеих моделей: CogVideoX-2B и CogVideoX-5B, изменена лицензия у младшей 2B модели на Apache 2.0 License и усовершенствован код в репозитории на Github

Теперь вы можете запускать CogVideoX-2B на более ранних GPU, например GTX 1080TI и CogVideoX-5B на современных GPU, таких как RTX 3060.


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование модели CogVideoX-2B: Apache 2.0 License.

📌Лицензирование модели CogVideoX-5B: CogVideoX License (бесплатно для академических целей, регистрация и получение базовой лицензии - для коммерческой эксплуатации до 1млн. в мес. активных посещений. Свыше 1 млн. в мес. - получение дополнительной лицензии).


🟡Модель
🟡Arxiv
🟡Сообщество в Discord
🟡Demo
🖥Github [ Stars: 5.9K | Issues: 19 | Forks: 543]


@ai_machinelearning_big_data

#AI #Text2Video #Cogvideo #ML

Читать полностью…

⚡️ Новостной дайджест

✔️ Anthropic опубликовала system prompts для Claude всех версий.

Anthropic опубликовала системные подсказки для своих моделей Claude 3.5 Opus, Sonnet и Haiku, стремясь к большей прозрачности в области ИИ.
Это системные промпты, которые определяют основные качества моделей и их поведение. Они указывают, что Claude не может открывать ссылки или идентифицировать людей на изображениях. Например, модель должна вести себя так, как будто она "полностью слепа к лицам".
Также указаны характеристики, которые модели должны демонстрировать, такие как интеллектуальное любопытство и беспристрастность при обсуждении спорных тем.
techcrunch.com

✔️ Китайские компании обходят экспортные ограничения США на чипы искусственного интеллекта, используя сервисы Amazon AWS.

За последние два года правительство США ужесточило правила, запрещающие продажу высокопроизводительных ИИ-чипов Nvidia и AMD, в Китай, чтобы ограничить технологические достижения китайских военных.
Доступ к этим чипам через облачные сервисы не нарушает американские законы, поскольку они касаются только прямого экспорта физических товаров. По данным Reuters, по меньшей мере 11 китайских организаций искали доступ к ограниченным технологиям через облачные сервисы, среди которых четыре явно указали на Amazon Web Services (AWS).
Например, Шэньчжэньский университет потратил 200,000 юаней (около $28,000) через посредника для доступа к серверам AWS с чипами Nvidia A100 и H100, запрещенными для прямого экспорта в Китай.
В ответ на это в Конгрессе был предложен законопроект, который даст Министерству торговли США полномочия регулировать удаленный доступ к американским технологиям.
cio.com

✔️ Salesforce готовит к релизу модель Tex-2-Video.

Salesforce опубликовала технический отчет о xGen-VideoSyn-1, модели T2V, которая генерирует реалистичные сцены из текстовых описаний.
Модель использует видео-вариационный автоэнкодер (VidVAE) для сжатия видеоданных и снижения вычислительные требования, и диффузионный трансформер (DiT) для улучшения временной согласованности и обобщения.
Репозиторий Selesforce на Github, указанный в отчете ограничен для доступа с определенных IP-адресов, что говорит о последних подготовках к релизу.
arxiv.org

✔️ На Huggingface Spaces появился генератор синтетических текстовых датасетов на любую тематику.

Генератор работает на базе phi-3-mini, генерирует 99 строк за одну итерацию в формате таблицы в большинстве случаев, формата Title, Text, Label.
У генератора есть поиск по ключевому слову для темы для дальнейшего выбора предустановленных шаблонов.
Он не самый точный, но быстрый и производительный.
huggingface.co

✔️Модель для поиска новых лекарств и биоактивных комбинаций.

ActFound - модель искусственного интеллекта, которая предназначена для проектирования биоактивности соединений была разработана совместными усилиями ученых из Китая и США. Модель сочетает метаобучение и парное обучение, чтобы преодолеть ограничения в нехватке данных и несовместимые измерения при поиске новых химических соединений.

ActFound была обучена на ~35 000 проб из популярной химической базы данных и 1,6 млн экспериментально измеренных биоактивностей.
По завершении обучения, ActFound был протестирован на 6 реальных наборах данных о биологической активности и превзошел 9 конкурирующих моделей для прогнозирования в своей области.
scmp.com

✔️ IBM представила новый чип Spyre для IBM Z для масштабирования корпоративных ИИ-нагрузок будущего.

Spyre включает 32 ядра ускорителей и 25.6 миллиарда транзисторов, производясь по 5-нм технологии. Чипы могут быть установлены на PCIe-карты, которые можно объединять для увеличения вычислительных мощностей.
Архитектура чипа оптимизирована для выполнения матричных операций, что энергоэффективней по сравнению с традиционными процессорами.
IBM планирует дальнейшую разработку Spyre с учетом возможности обучения моделей ИИ на своих мейнфреймах.
research.ibm.com

✔️ Google представляет GameNGen, первый игровой движок, полностью основанный на нейронных сетях.

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

⚡️ Vikhr-Gemma-2B-instruct: Инструктивная русскоязычная версия Gemma2.

Vikhr models - команда энтузиастов, занимающихся созданием и развитием русифицированных моделей искусственного интеллекта выпустила инструктивную модель Vikhr-Gemma-2B-instruct, построенную на базе Gemma2-2B, которая была дообучена на русскоязычном корпусе данных GrandMaster-PRO-MAX.

Датасет GrandMaster-PRO-MAX - собственный русскоязычный датасет проекта Vikhr models в формате вопрос-ответ, собранных из различных источников.

Характерной особенностью датасета является, то, что модели обученные на этом наборе данных будут иметь способность к Chain-Of-Thought (CoT), за счет использования более сложного промпта для генерации большинства ответов датасета.

Авторы опубликовали квантованные GGUF-версии модели в разрядности от 1-bit (832 MB) до 32-bit (10.5 GB).

Наиболее низкие показатели Perplexity, полученные в тестах на датасетах Veles и Wikitext-2 у GGUF-версий FP32, FP16, BF16, Q8_0 и Q5_K.


▶️Пример запуска модели на Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

# Загрузка модели и токенизатора
model_name = "Vikhrmodels/Vikhr-Gemma-2B-instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Подготовка входного текста
input_text = "Напиши стихотворение о весне в России."

# Токенизация и генерация текста
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=200, num_return_sequences=1, no_repeat_ngram_size=2)

# Декодирование и вывод результата
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

📌Лицензирование : Apache 2.0 License (при обороте до 20млн.руб\год)


🟡Модель
🟡Набор GGUF
🟡Датасет
🟡Google Collab (инференс)


@ai_machinelearning_big_data

#AI #LLM #Vikhr #ML

Читать полностью…

⚡️ Liger Kernel: Эффективные ядра Triton для обучения LLM

Liger (Linkedin GPU Efficient Runtime) Kernel — набор оптимизированных ядер Triton, применение которых в задачах обучения LLM на нескольких GPU повышает производительность на 20 % и снижает потребление VRAM на 60%. Это дает возможность использовать более длинные контексты, более крупные размеры пакетов и увеличенные словари в обучении.

Liger предоставляет простой API для операций с оптимизированными ядрами и совместим с Hugging Face: RMSNorm, RoPE, SwiGLU, CrossEntropy, FusedLinearCrossEntropy

Liger работает с Flash Attention, PyTorch FSDP и Microsoft DeepSpeed без необходимости дополнительной настройки.

Зависимости:

🟢PyTorch: 2.1.2 или выше.
🟢Triton: 2.3.0 или выше
🟢Transformers: 4.40.1 или выше.

Liger Kernel доступен в pip. Выберите стабильную версию для продакшена или nightly c последними новыми функциями и исправлениями:

# Stable version
pip install liger-kernel

# Nightly version
pip install liger-kernel-nightly

Патч существующей модели с Hugging Face:

# Import modules
import transformers
from liger_kernel.transformers import apply_liger_kernel_to_llama

# Load Hugging Face model:
model = transformers.AutoModelForCausalLM.from_pretrained("<some llama model>")

# Apply Liger Kernel patches:
apply_liger_kernel_to_llama(model)

После установки патча, модель будет использовать операции ядра Liger для поддерживаемых слоев, что приведет к повышению производительности и снижению потребления VRAM.

Если вы хотите построить собственные модели с помощью Liger Kernel, вы можете импортировать отдельные модули ядра и использовать их в качестве строительных блоков. Например:

# Import the Liger Kernel module:
from liger_kernel.transformers import LigerFusedLinearCrossEntropyLoss

#Create your model:
import torch.nn as nn
import torch
model = nn.Linear(128, 256).cuda()
loss_fn = LigerFusedLinearCrossEntropyLoss()

#Use the model:
input = torch.randn(4, 128, requires_grad=True, device="cuda")
target = torch.randint(256, (4, ), device="cuda")
loss = loss_fn(model.weight, input, target)
loss.backward()

Модель пропатчена, вы можете продолжить обучение как обычно. Liger Kernel будет автоматически выполнять оптимизированные операции во время обучения.


📌Лицензирование: BSD 2-CLAUSE LICENSE (as is и необходимо указывать авторство при копировании и модификации).


🖥Github [ Stars: 767 | Issues: 14 | Forks: 35 ]

Читать полностью…

🚀 Новостной дайджест.

✔️ Появилось определение, что такое ИИ с открытым исходным кодом.

Open Source Initiative (OSI) представила определение, разработанное группой из 70 экспертов, включая ученых и представителей крупных технологических компаний. Согласно этому определению, открытый ИИ может использоваться без разрешения авторов, его компоненты подлежат инспекции создателями, а система может модифицироваться и не иметь ограничения на передачу от от одного лица другому.

OSI планирует создать механизм контроля, который будет выявлять модели, не соответствующие новому определению и публиковать список соответствующих моделей, среди которых ожидаются Pythia от Eleuther, OLMo от Ai2 и модели от коллектива LLM360.
technologyreview.com

✔️ Google запустила бесплатную "Галерею промптов" в AI Studio.

Функциональное бновление AI Studio, анонсированное Логаном Килпатриком, предлагает предустановленные промпты, которые демонстрируют возможности моделей семейства Gemini.
В "Prompt Gallery" уже доступны: генератор рецептов на основе схемы JSON, математический репетитор для квадратных уравнений, генератор рабочих листов для начальных классов, а также инструменты для тестирования кода на Python и анализа временной сложности функций.
venturebeat.com

✔️ Ресечеры борются с галлюцинациями ИИ в математике.

Исследователи из Беркли работают над проблемой "галлюцинаций" ИИ в математике, когда модели, такие как ChatGPT, генерируют неверные или вымышленные ответы. В экспериментах они обнаружили, что ChatGPT ошибался в решении алгебраических задач в одной трети случаев, но после применения метода "самосогласованности" (self-consistency) точность возросла до 70%. В статистике ошибки снизились с 29% до 13%, что все еще слишком много.

В другом исследовании 274 участника, использовавшие решения ChatGPT в качестве подсказок, показали прирост в 17% на тестах, в то время как группа с подсказками от людей улучшилась лишь на 12%. Исследование привело к прогнозам о возможности создания эффективных репетиторов на основе ИИ, однако необходимо больше данных о реальном использовании таких систем учащимися
hechingerreport.org

✔️ Путь к эффективным вычислениям в эпоху ИИ: охлаждение теплой водой.

Lenovo представила 6-е поколение технологии жидкостного охлаждения Neptune™, которая позволяет запускать серверные стойки мощностью более 100 кВт без необходимости в специализированном кондиционировании. Эта система обеспечивает до 40% снижение потребления энергии и 3,5-кратное улучшение термальной эффективности по сравнению с традиционными воздушными системами охлаждения. Технология использует теплую воду для охлаждения компонентов, уменьшая потребность в мощных вентиляторах.
csrwire.com

✔️ SyncWaveX: сервис автоматического липсинка для видео.

SyncWaveX автоматически синхронизирует движения губ и лица с аудио, позволяя создавать реалистичные видео с минимальными усилиями. Технология прямого синтеза аудио в видео позволяет генерировать контент, основываясь на аудиопотоке, без необходимости в 3D-моделировании.

SyncWaveX использует интеллектуальные технологии синтеза голоса и распознавания речи, которые позволяют генерировать новые треки, имитирующие оригинальный голос. Пользователи сервиса могут создавать неограниченное количество видео из одного шаблона. В ходе предзапуска уже было создано более 10,000 видео, попробовать можно тут
globenewswire.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Яндекс разработал нейросеть, которая помогает врачам своевременно обнаружить признаки spina bifida — редкую патологию развития при беременности.

Идея применять ИИ для диагностики spina bifida возникла в ходе обсуждений между специалистами НМИЦ АГП им. В. И. Кулакова и основательницей фонда «Спина бифида» Инной Инюшкиной. Так появился проект, к которому присоединились специалисты Yandex Cloud и студенты ШАДа.

Spina bifida — расщепление позвоночника и грыжа спинного мозга у плода. Самая тяжёлая форма — миеломенингоцеле — часто вызывает инвалидность. От 68 до 80% людей с миеломенингоцеле нуждаются в установке шунта для лечения гидроцефалии.

Патологию легко пропустить на первом скрининге из-за размеров плода и сложности оценки позвоночника и спинного мозга. Если недуг выявляют на втором скрининге, то завершить обследование для предоперационной подготовки чаще всего не удается. Нейросеть позволяет своевременно обнаружить патологию на ранних сроках беременности, подсвечивая зоны интереса на УЗИ-снимках. Это позволяет даже менее опытным врачам вовремя принимать меры для лечения.

Разработка полностью открыта и доступна в OpenSource. Это значит, что любой разработчик или специалист может присоединиться к проекту, внести свой вклад и помочь улучшить модель. В будущем нейросеть сможет диагностировать другие патологии, включая редкие заболевания.

При создании проекта специалисты обучили не одну, а сразу несколько моделей:

- YOLOv10 для поиска зоны интереса и категоризации её плоскости;

- по две модели DenseNet121 для определения корректности изображения и поиска патологии отдельно для аксиальной и сагиттальной плоскости.

Весь процесс, включая аугментацию данных, обучение модели, инференс и интерпретацию результатов через GradCAM был реализован с помощью библиотеки MONAI, что значительно ускорило эксперименты и разработку прототипа.

В результате модели по качеству распознавания превзошли остальные специализированные решения. Они эффективно выделяли ключевые зоны и проводили классификацию.

Читать полностью…

Что такое API модели и какие существуют инструменты для его создания?

🔹Разберёмся на практическом открытом уроке «Развертывания моделей машинного обучения - создание API». Рассмотрим как перейти от модели в Jupyter notebook к модели, подготовленной для внедрения

✅ Практика: Реализуем API нашей модели с использованием фреймворка FastAPI и запустим ее в виде web-сервиса.

Урок приурочен продвинотому курсу «Machine Learning. Advanced» от Otus.

👉 Регистрация и подробности:
https://otus.pw/A4sN/?erid=LjN8K4Tis

Читать полностью…

⚡️ Sapiens: Семейство ViT-моделей для визуальных задач c изображениями человека.

Meta Reality Labs выпустила семейство моделей Sapiens, предназначенных для операций с изображениями или видео людей:

🟢вычисления 2D-позы (17, 133 и 308 ключевых точек);
🟢сегментации частей тела (28 категорий);
🟢оценки карты глубины;
🟢извлечения нормалей поверхности.

Модели могут работать с разрешением 1K (1024х1024) и легко адаптируются под специфические задачи путем тонкой настройки моделей. Семейство было обучено на предварительно отобранном корпусе данных в 300 млн изображений, из которого были удалены изображения с водяными знаками, художественной стилизацией, снимки плохого качества и содержащие размытие в движении.

Опубликованные модели разделяются по назначению : sapiens_lite_host - предназначены для инференса, а sapiens_host - длясамостоятельного обучения на ваших данных. Для обеих вариантов наборов выпущены градации плотности:

🟢Sapiens 0.3B
🟢Sapiens 0.6B
🟢Sapiens 1B
🟢Sapiens 2B

Разработчики рекомендуют lite-установку для инференса, она оптимизирована для быстрого запуска с минимальными зависимостями и возможностью запуска на нескольких GPU.

▶️Установка и запуск на примере Depth Estimation:

# Clone repository
git clone git@github.com:facebookresearch/sapiens.git
export SAPIENS_ROOT=/path/to/sapiens

# Set up a venv:
conda create -n sapiens_lite python=3.10
conda activate sapiens_lite

# Install dependencies
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
pip install opencv-python tqdm json-tricks

# Navigate to your script directory
  cd $SAPIENS_LITE_ROOT/scripts/demo/[torchscript,bfloat16,float16]
  
# Uncomment your model config line first
./depth.sh

📌 Лицензирование : CC-BY-NC-SA-4.0 License


▪Страница проекта
▪Набор моделей
▪Arxiv
▪Github [ Stars: 75 | Issues: 0 | Forks: 0]


@ai_machinelearning_big_data

#AI #Vision #ViT #ML #CV

Читать полностью…

⚡️ Новостной дайджест

✔️ Perplexity AI запустит рекламу на своей платформе в четвертом квартале 2024.

Инициатива направлена на создание нового источника дохода для компании, которая уже привлекла 26 миллионов долларов в рамках раунда финансирования, завершившегося в июле.
Реклама будет интегрирована в существующий поисковый сервис и будет отображаться блоками в результатах поиска. Это необходимый шаг в сторону монетизации, поскольку Perplexity AI стремится расширить свою аудиторию и улучшить финансовые показатели.
Компания также рассматривает возможность добавления новых функций: интеграция с другими сервисами и улучшение пользовательского интерфейса, основная цель которых - повысить привлекательность платформы для рекламодателей и пользователей.
reuters.com


✔️ ИИ поможет совершить прорыв в солнечных технологиях и вычислительной химии.

Ученые разработали новый метод на основе ИИ: "NES-VMC (Natural excited states variational Monte Carlo)", который может точно рассчитать возбужденные состояния атомов и молекул - проблема в физике и химии, которая ранее задерживала усовершенствование солнечных технологий.
Метод точно предсказывает квантовые возбужденные состояния в системах от отдельных атомов до молекул размером с бензол. NES-VMC превосходит существующие в вычислительной химии подходы, часто достигая химической точности. Возбужденные состояния имеют решающее значение для понимания взаимодействия света и вещества, что , в свою очередь, является ключевым фактором к улучшению солнечных батарей, светодиодов, лазеров и многого другого.
Эффект может быть огромным: снижение стоимости электроэнергии, увеличение времени работы аккумуляторов и дисплеев телефонов и ноутбуков и более быстрый оптоволоконный интернет.
science.org


✔️ Сотрудники Google DeepMind призывают прекратить военные контракты.

Около 200 сотрудников Google DeepMind (примерно 5% от всего числа подразделения) подписали письмо к руководству Google в котором призывают прекратить контракты компании с военными организациями.
В письме, отправленном 16 мая 2024 года, они выражают обеспокоенность использованием технологий искусственного интеллекта в военных действиях: применение в массовом наблюдении и выбор целей в конфликтах,.
В письме также подчеркивается, что беспокойство не связано с конкретными геополитическими конфликтами, а касается этических принципов компании, которые противоречат участию в военных разработках.
Отдельным пунктом, они просят руководство Google провести расследование по поводу использования облачных услуг компании военными и создать новый орган управления для предотвращения будущего использования технологий DeepMind в военных целях.
На данный момент компания не дала четкого ответа на письмо.
theverge.com


✔️ Линус Торвальдс рассказал об отношении к Ai, внедрении Rust и о том, почему ядро Linux - это "единственное, что имеет значение".

На конференции Open Source Summit China Линус Торвальдс обсудил текущее состояние и будущее ядра Linux. Он рассказал, что расширяемый планировщик sched_ext не будет включен в следующий релиз ядра, но ожидается его добавление в версии 6.12.
Он так же отметил отметил, что даже спустя 33 года разработки, базовые проблемы, такие как управление памятью, все еще актуальны.
Процесс разработки ядра стал более структурированным, с релизами каждые девять недель, а количество релизов не имеет значения. Обсуждая безопасность, он отметил, что уязвимости — это просто ошибки, и порекомендовал пользователям обновлять ядро для повышения безопасности.
Что касается внедрения языка Rust, Торвальдс выразил разочарование медленным темпом его принятия, объясняя это тем, что многие разработчики не знакомы с новым языком. Он также высказал скептицизм по поводу текущего хайпа вокруг ИИ, но надеется, что ИИ может помочь в ревью кода и обнаружении ошибок.
zdnet.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

🌟 Jamba 1.5: Семейство моделей на архитектуре SSM-Transformer с большим контекстным окном.

AI21 Labs опубликовала в открытом доступе семейство моделей Jamba 1.5. Модели позиционированы для использования в бизнесе для задач анализа документов, рабочих процессов RAG, поддержки клиентов и обладают возможностями вызова функций, структурированного вывода (JSON) и генерации текстовых данных.

Семейство демонстрирует хорошую управляемость в длительном контексте, скорость и качество. Это первый кейс успешного масштабирования не трансформерной модели до уровня качества топовых открытых моделей.

Архитектура Jamba состоит из гибридного сочетания Transformers и Mamba, что позволило создать модели, которые требуют меньший объем VRAM, чем трансформерные аналоги и могут обрабатывать контексты длиной до 140 тысяч токенов на одном GPU в квантованной версии.

Чтобы сделать модели удобными в использовании, была разработана новая техника квантования ExpertsInt8. Она квантует только веса, которые являются частью слоев MoE, и сохраняет их в формате INT8.
ExpertsInt8 быстрее других методов квантования, не требует калибровки и дает возможность использования BF16 для хранения больших активаций и позволяет загружать Large модель на одном узле из 8 GPU.

Jamba 1.5 Large:

🟠total params - 399B;
🟠active non-embedding params - 94B;
🟠context - 256К.

Jamba 1.5 Mini:

🟢total params - 52B;
🟢active non-embedding params - 12B;
🟢context - 256К;
🟢Int8 context - 140К.

Запуск моделей возможен на платформах AI21 Studio, Google Cloud, Azure, Hugging Face, NVIDIA NIM.
Протестировать возможности обеих моделей можно онлайн в сервисе AI21 Studio .
Доступен вход с Gmail и Github, на бесплатный тестовый период дается 10$ на три месяца при тарификации:

🟠Jamba 1.5 Large - 2 $ / 8$ Input / Output за 1 млн токенов.
🟠Jamba 1.5 Mini - 0.2 $ / 0.4$ Input / Output за 1 млн токенов.


📌Лицензирование: Jamba Open Model License

🟢Бесплатно для некоммерческих проектов и личного использования
🟠Бесплатно для коммерческого использования при годовом доходе до 50 млн USD, если больше - заключение отдельного договора.


🟡Страница проекта
🟡Набор моделей
🟡Demo

@ai_machinelearning_big_data

#AI #Jamba #LLM #ML #SSM

Читать полностью…

🌟 iMESA:  распределенный алгоритм совместной одновременной локализации и картографирования (C-SLAM) для групп рoботов.


iMESA расширяет алгоритм MESA, используя согласованный метод множителей с переменным направлением (C-ADMM) для пакетных задач C-SLAM.
Он дает возможность роботам обновлять свои локальные решения по мере поступления новых измерений и взаимодействовать друг с другом для поддержания согласованности, предоставляя точные оценки состояния в режиме реального времени при незначительном количестве спораидальных взаимодействий между собой.

iMESA использует возможности оптимизации iSAM2, обеспечивая согласованность оценок состояния с помощью смещенных априорных значений.
Алгоритм масштабируем, хорошо справляется с различными размерами групп и сложностью задач. Он подходит для разработки мультироботных систем в условиях, связанных с развертыванием групп роботов в реальном мире при ограниченных коммуникационных и вычислительные ресурсах.

Программная реализация iMESA выполнена в виде библиотеки C++ с классом IMESAAgent для использования на борту каждого робота. iMESA имеет зависимость от GTSAM версии 4.2.0. Специфические функции разработки, необходимые для iMESA, доступны в ветке 4.2.0-imesa. Тестовые проекты для запуска можно найти в репозитории imesa-experiments.

Поскольку этот пакет представляет собой только библиотеку, чаще всего он будет использоваться в качестве сторонней зависимости в вашем проекте. Используйте FetchContext для доступа к библиотеке iMESA, включите iMESA как зависимость в свой проект, добавив в файл CMakeLists.txt:

include(FetchContent)
FetchContent_Declare(
  imesa
  GIT_REPOSITORY  https://github.com/rpl-cmu/imesa.git 
  GIT_TAG         main
)
FetchContent_MakeAvailable(imesa)

📌Лицензирование : MIT license


🟡Arxiv
🖥Github [ Stars: 69 | Issues: 1 | Forks: 4]


@ai_machinelearning_big_data

#AI #MESA #Robots #ML

Читать полностью…

⚡️ Mistral-NeMo-Minitron-8B-Base: Базовая Minitron 8B от Nvidia

NVIDIA и Mistral AI представили модель Mistral-NeMo-Minitron 8B, одну из наиболее точных открытых моделей в своем классе для генерации текста.

Mistral-NeMo-Minitron-8B-Base получена в результате обрезки (pruning) и дистилляции Mistral-NeMo 12B. В процессе создания была урезана размерность эмбеддинга и промежуточная размерность MLP (с 14336 до 11520).
Комбинация применяемых методов позволила оставить количество attention heads и слоев неизменным.

После обрезки было продолжено обучение с дистилляцией, используя корпус данных от Nemotron-4 15B размером 380 миллиардов токенов для получения окончательной модели, что примерно в 40 раз меньше, чем необходимо для тренировки модели такой же плотности с нуля.

Корпус обучения (набор данных) по структуре точно такой же, как в недавно представленной другой модели, собранной по такой же методике обрезки и дистилляции.
Дата актуальности корпуса обучения - июнь 2023 года.

При создании Mistral-NeMo-Minitron 8B использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE).
Архитектурные характеристики:

🟢total params - 8B;
🟢active non-embedding params - 7.3B;
🟢embedding size - 4096;
🟢attention heads - 32;
🟢MLP intermediate dimension - 11520;
🟢number of layers - 40;
🟢input context - 8000.

Поддержка Mistral-NeMo-Minitron-8B-Base в Hugging Face Transformers будет реализована в ближайшем обновлении.
Для инференса модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05

Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 1-bit (2. 12 Gb) до 16-bit (16.08 Gb).


📌Лицензирование : NVIDIA Open Model License.


🟡Страница проекта
🟡Модель
🟡Набор GGUF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #NVIDIA #LLM #ML #Minitron

Читать полностью…

🔥 Дайджест самых интересных новостей

✔️ Файнтюн на собственных данных доступнен в GPT-4o.

OpenAI запустила возможность файнтюна GPT-4o, позволяющую разработчикам настраивать модель для конкретных случаев использования с помощью собственных наборов данных.

✔️ Meta's Self-Taught Evaluator создает датасеты для обучения LLM.

Self-Taught Evaluator - новый метод обучения для оценочных LLM без необходимости аннотировать датасет с участием человека.
Используя концепцию LLM-as-a-Judge, он итеративно генерирует и уточняет ответы для создания обучающего набора данных. Высокая производительность метода подтверждена вRewardBench. Эта методика даст возможность предприятиям использовать неразмеченные данные для настройки LLM, при условии хорошо согласованной базовой модели.


✔️ Авторы книг подали в суд на Anthropic за нарушение авторских прав при обучении искусственного интеллекта.

Компания Anthropic стала объектом коллективного иска в федеральном суде Калифорнии. Три автора - Андреа Бартц, Чарльз Грейбер и Кирк Уоллес Джонсон - обвиняют компанию в незаконном использовании их книг и сотен тысяч других произведений для обучения чат-бота Claude.

✔️ Symphonic открывает каталог для обучения моделей искусственного интеллекта.

Компания Symphonic Distribution заключила партнерство с Musical AI, чтобы создать лицензированный набор данных для обучения искусственного интеллекта.

✔️ Модель ИИ от Nvidia предсказывает грозы за несколько километров.

Модель предсказывает более 100 переменных, включая температуру и влажность. Такой набор аналитических данных дает возможность наблюдать за развитием шторма в трехмерном пространстве.

✔️ Юридический факультет Университета Беркли запустил новую магистерскую программу, посвященную праву и управлению искусственным интеллектом.

Факультет начинает прием заявок на новую программу магистратуры, которая будет сосредоточена на искусственном интеллекте. Программа рассчитана на практикующих юристов и ученых, уже получивших степень доктора права (JD).

✔️ Stability AI назначила ветерана индустрии развлечений Ханно Бассе (Hanno Basse) новым директором по технологиям.

Ханно Бассе ранее занимал должности технического директора (CTO) в Digital Domain, Microsoft Azure Media & Entertainment и 20th Century Fox Film Corp.

Он является действительным членом Академии кинематографических искусств и наук и обладателем 30 патентов.

✔️ Google Cloud открыла ранний доступ к NVIDIA L4 для разработчиков.

Nvidia L4 GPU Cloud Run позволит разработчикам AI разворачивать в облаке Google языковые модели плотностью до 8B для создания пользовательских чат-ботов или мгновенного резюмирования документов с возможностью масштабирования для обработки пиковой нагрузки от пользователей.

✔️ Midjourney вновь открыл free-tial использование своего сервиса.

Функция доступна на web-сайте сервиса для всех зарегистированных и новых пользователей. На ознакомление с возможностями платформы дают 25 кредитов (1 кредит = 1 генерация из 4 вариантов изображения).
Помимо генерации, появился доступ к галерее генераций других пользователей, выполненной в виде полотна.

⚡️ Подробнее

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

⚡️ Новостной дайджест.

✔️ NVIDIA запускает NIM Agent Blueprints для предприятий, чтобы помочь им создать свой корпоративный ИИ.

Компания NVIDIA объявила о выпуске каталога готовых ИИ-решений под названием NVIDIA NIM Agent Blueprints, который позволит разработчикам создавать и развертывать генеративные ИИ-приложения для различных отраслей.

NIM Agent Blueprints представляет собой набор предварительно обученных, настраиваемых рабочих процессов, которые могут быть использованы для создания приложений для обслуживание клиентов, автоматизации рабочих процессов и извлечение данных из PDF-файлов.

NVIDIA также объявила о сотрудничестве с Accenture, Cisco, Dell Technologies, Deloitte, Hewlett Packard Enterprise, Lenovo, SoftServe и World Wide Technology, которые будут использовать NIM Agent Blueprints для создания и развертывания генеративных ИИ-приложений для своих клиентов.
nvidianews.nvidia.com

✔️ Claude.ai сделала доступной функцию Artifacts для всех пользователей.

Компания Claude.ai объявила о доступности функции Artifacts для всех пользователей, включая владельцев бесплатных, профессиональных и командных планов. Теперь пользователи могут создавать и просматривать Artifacts в мобильных приложениях для iOS и Android.
anthropic.com

✔️ Cerebras Inference: самый быстрый инференс для языковых моделей.

Компания Cerebras Systems представила сервис для инференса LLM, который показывает рекордную производительность и скорость. Движок, работающий на базе третьего поколения процессора Wafer Scale Engine, способен обрабатывать до 1800 токенов в секунду для модели Llama3.1 8B и до 450 токенов в секунду для модели Llama3.1 70B. Это в 20 раз быстрее, чем решения на базе графических процессоров NVIDIA.

Онлайн-сервис Cerebras предлагает лучшую цену в отрасли - 10 центов за миллион токенов для модели Llama 3.1 8B и 60 центов за миллион токенов для модели Llama 3 70B. Разработчикам уже доступен API для работы с сервисом.
В планах компании - поддержка моделей Llama3 405B и Mistral Large 2 в ближайшие недели.
cerebras.ai

✔️ Закрыта студия дополненной реальности MetaSpark.

Компания объявила о закрытии платформы MetaSpark для сторонних дополнений и контента с 14 января 2025 года. Это означает, что AR решения, созданные сторонними разработчиками, включая бренды и сообщество AR-создателей, больше не будут доступны.

Однако, AR инструменты, принадлежащие Meta, продолжат быть доступны пользователям во всех приложениях компании.
Это решение является частью дорожной карты по приоритезации продуктов, которые лучше всего будут отвечать будущим потребностям потребителей и бизнес-клиентов.
spark.meta.com

@ai_machinelearning_big_data

#news #ai #ml

Читать полностью…

Как увеличить производительность DBaaS в 10 раз?

Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS.

Преимущества DBaaS на выделенном облачном сервере:
- Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с.
- Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса.
- Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД.
- Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018.

Разверните базу данных на выделенном облачном сервере: https://slc.tl/o74tm

Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqwjvKoT

Читать полностью…

В OTUS стартует курс «Искусственный интеллект (AI) в медицине», на котором студенты смогут обучиться создавать качественные мультимодальные медицинские датасеты, осуществлять техническую поддержку разметки данных, уметь анализировать и ориентироваться в зоопарке современных подходов к машинному обучению. 

2 сентября в 20:00 по мск. приглашаем на открытый вебинар курса «Как ИИ меняет диагностику заболеваний: примеры и перспективы», на котором рассмотрим как ИИ используется для анализа медицинских изображений, распознавания симптомов заболеваний и предсказания исходов лечения.

Для участия пройдите регистрацию https://otus.pw/NZ1w/

При поступлении в группу обучения после вебинара вы получите специальную цену на курс, а так же разные способы оплаты и рассрочка платежа.

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KXw2V

Читать полностью…

🌟 OCRonos-Vintage: специализированная модель для коррекции OCR.

OCRonos-Vintage — это небольшая модель со 124 миллионами параметров и небольшим контекстным окном в 1024 токена, которая была предварительно обучена с нуля на 18 миллиардах токенов датасета материалов архивов культурного наследия для задачи коррекции OCR. Несмотря на свой небольшой размер, она обеспечивает качество коррекции, сопоставимое с большими моделями, такими как GPT-4, при этом эффективна для работы на CPU.

Модель обучалась в течение 2 эпох с использованием фреймворка обучения llm.c на наборе данных из Library of Congress, Internet Archive и Hathi Trust. Обучение проводилось на 4 графических процессорах H100 и заняло два с половиной часа. OCRonos-Vintage использует токенизатор GPT-2.

OCRonos-Vintage можно загрузить и использовать для инференса так же, как модель GPT-2. Она принимает OCR-текст в качестве входных данных и генерирует исправленный текст. Входные данные и данные инференса разделяются специальными тегами: "### Text ###" и "### Correction ###".
Модель также можно использовать для генерации стилизованного исторического текста, если дать подсказку, начинающуюся с ### Text ###. Это позволяет имитировать исторические стили письма и содержание.

▶️Квантованная 5-bit GGUF версия модели размером всего 127 МБ для локального запуска на llama.cpp


📌Лицензирование : Apache 2.0 License


🟡Модель
🟡Google Collab (инференс)
🟡Demo


@ai_machinelearning_big_data

#AI #SLM #ML #OCR

Читать полностью…

VK и ИТМО провели опрос более 300 ML-специалистов и выяснили важнейшие особенности сферы

Часть результатов не была опубликована: например, рейтинги компаний и размер ЗП, однако в карточках вы найдете много интересного о перспективах в отрасли и возможностях для личного роста

Читать полностью…

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:

Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
Общение на «ты». Так проще.
Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.

Больше о вакансиях ML-разработчиков — здесь.

Erid:2Vtzqv88JHB

Читать полностью…

🌟 Lite Oute 2 Mamba2Attn: базовая и инструктивная SLM на архитектуре Mamba2.


OuteAI выпустила второе поколение легких моделей на 250М параметров каждая :

🟢 Lite Oute 2 Mamba2Attn 250M Base
🟢 Lite Oute 2 Mamba2Attn 250M-Instruct

В модели интегрирован механизм Mamba2Attn - усовершенствованный метод внимания, который повышает способность модели фокусироваться на важных частях входных данных. Этот механизм особенно полезен для задач NLP, требующих понимания сложных закономерностей или взаимосвязей в данных.

Интегрировав Mamba2Attn, разработчикам удалось сохранить релевантную для своего класса малых моделей производительность, уменьшив при этом ее размер и вычислительные требования.

Базовая модель была обучена на 30 миллиардах токенов из корпуса данных, структура которого - 50% датасета dclm-baseline-1.0 b 50% fineweb-edu. Инструктивная версия прошла дообучение с SFT и DPO.

Обе модели имеют 4 слоя внимания из общего количества 32, такая конфигурация позволяет минимизировать потери при проверке, что подтверждено исследованием о соотношении слоев самовнимания к MLP.

▶️ Рекомендованные параметры для Instruct - модели:

🟢Temperature: 0.1 - 0.4
🟢Repetition Penalty: 1.10 - 1.12

▶️Ограничения:

🟠Непоследовательная точность. Примите во внимание, что обе модели - малого размера, инференс в некорорых задачах может быть неполным или неточным;
🟠Отсутствие глубины контекста. В некоторых задачах, модели могут не соответствовать ожиданиям глубины запоминания контекста;
🟠Баланс лаконичности. Модель иногда испытывает трудности с балансом между краткостью и детализацией, давая либо слишком краткие ответы, либо излишне повторяя заданную информацию.


📌Лицензирование : Apache 2.0 License


🟡Страница проекта
🟡Набор моделей
🟡Arxiv
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #SLM #Mamba2 #ML #Oute

Читать полностью…

🌟 Hibou: Семейство ViT-моделей для патологии.

Hibou - это новое семейство фундаментальных ViT-моделей, специально разработанных для работы с цифровыми изображениями патологий тканей.

Hibou использует возможности самоконтролируемого обучения (self-supervised learning) - метода, при котором модель учится на огромном количестве немаркированных данных. Это особенно ценно для патологии, где аннотированные наборы данных часто скудны и дороги в создании.

Обучаясь на большом собственном наборе данных из более чем 1 миллиона изображений препаратов с различными типами тканей и методами окрашивания, модели Hibou научились извлекать надежные и обобщаемые признаки.

Представлено три модели: Hibou-B, Hibou-L и CellVit-Hibou-L:

🟢Hibou-B и Hibou-L различаются по размеру и сложности, они основаны на ViT-B/14 и ViT-L/14 архитектурах соответственно.
Они созданы на фреймворке DINOv2 на специальном наборе аугментированных данных, адаптированных для лучшего обобщения (случайные вращения, перевороты, дрожание цвета и технику вариативного окрашивания тканей RandStainNA)

🟠CellVit-Hibou-L - дополнительно обученная на фреймфорке CellViT Hibou-L с использованием корпуса данных PanNuke для сегментации и классификации клеток тканей. Модель может применятся для идентификации отдельных ядер клеток и анализа ядерной морфологии.

Семейство Hibou достиглj SOTA-результатов в задачах классификации на фрагментарном уровне, продемонстрировав способность точно классифицировать различные типы тканей и выявлять тонкие аномалии.


▶️ Использование моделей Hibou-B и Hibou-L возможно с HuggingFace Transformers или прямым инференсом модуля hibou.

▶️Для использование гибридной модели CellVit-Hibou-L следуйте последовательности из этого ipynb.


📌Лицензирование кода : Apache 2.0 License.

📌Лицензирование моделей:  Apache 2.0 License и CC-BY-NC-SA-4.0 License (CellVit-Hibou-L) .



🟡Arxiv
🟡Набор моделей
🖥Github [ Stars: 39 | Issues: 0 | Forks: 4]


@ai_machinelearning_big_data

#AI #HIBOU #ViT #ML #Histopathology

Читать полностью…

🌟 Aurora: Набор фундаментальных моделей ML от Microsoft Research for Science для прогнозирования атмосферных явлений.

Архитектура базовой Aurora построена на 3D Swin Transformer. Модель обучалась более миллиона часов на корпусе данных о погоде и климате: прогнозах, параметрическом анализе и данных моделирования климата.

Длительное и обширное обучение позволило изучить модели общее представление динамики атмосферы, адаптироваться к широкому спектру задач прогнозирования: задачам с ограниченными входными данными, гетерогенными переменными и экстремальными событиями.

Aurora прошла двухэтапный процесс тонкой настройки. Предварительно настроенные веса сначала настраивались на короткое время прогнозирования (до 15 дней), а затем Aurora была интегрирована с LoRA комбинированных математических моделей длительного прогнозирования.

В наборе представлены три специализированных версии: одна для прогнозирования атмосферных явлений со средним разрешением, одна для прогнозирования с высоким разрешением и одна модель для прогнозирования загрязнения воздуха:

🟢Aurora 0.1 - большая модель для прогнозов IFS HRES T0 c разрешением 0.1°;
🟢Aurora 0.25 Pretrained - версия, обученная на обобщенном спектре параметров для использования в случае, если для целевого набора данных нету, например, для прогнозов на данных ERA5 с точностью 0.25°;
🟢Aurora 0.25 Fine-Tuned - версия Aurora 0.25 Pretrained , дополнительно обученная на данных IFS HRES T0. Рекомендуется для прогнозирования на основе данных IFS HRES с разрешением 0.25°;
🟢Aurora 0.25 Pretrained Small - уменьшенная версия Aurora 0.25 для процедур отладки. Не рекомендуется использовать для иных целей, кроме дебага;
🟠Aurora air pollution forecasting - модель прогноза загрязнения воздуха, еще не опубликована, ее разработка активно ведется.


Модели семейства Aurora совместимы с данными прогнозных моделей ERA5 и HRES Европейского центра среднесрочных прогнозов погоды (ECMWF).

▶️Установка и пример запуска c малой моделью и рандомными данными:

# Install with pip
pip install microsoft-aurora

#create a new venv & install the reqs:
virtualenv venv -p python3.10
source venv/bin/activate
make install

# Run the pretrained small model on random data:
from datetime import datetime
import torch
from aurora import AuroraSmall, Batch, Metadata
model = AuroraSmall()
model.load_checkpoint("microsoft/aurora", "aurora-0.25-small-pretrained.ckpt")

batch = Batch(
    surf_vars={k: torch.randn(1, 2, 17, 32) for k in ("2t", "10u", "10v", "msl")},
    static_vars={k: torch.randn(17, 32) for k in ("lsm", "z", "slt")},
    atmos_vars={k: torch.randn(1, 2, 4, 17, 32) for k in ("z", "u", "v", "t", "q")},
    metadata=Metadata(
        lat=torch.linspace(90, -90, 17),
        lon=torch.linspace(0, 360, 32 + 1)[:-1],
        time=(datetime(2020, 6, 1, 12, 0),),
        atmos_levels=(100, 250, 500, 850),
    ),
)

prediction = model.forward(batch)

print(prediction.surf_vars["2t"])

📌Лицензирование кода : MIT License.

📌Лицензирование моделей: CC-BY-NC-SA-4.0 License.



🟡Набор моделей
🟡Dev документация
🟡Arxiv
🖥Github [ Stars: 120 | Issues: 1 | Forks: 12]


@ai_machinelearning_big_data

#AI #Microsoft #Aurora #ML #Weather

Читать полностью…

🔥 Weekly Tutorials Digest

🔘Туториал: очистка и предварительная обработка текстовых данных в Pandas для задач NLP.

В туториале приведены практические примеры операций по удалению пропущенных значений, нормализации текста, удалению шумов, токенизации, удаления стоп-слов, техники стемминга и лемматизации, преобразования текста в числовые представления с использованием TF-IDF векторизации.

🔘Статья в блоге: Марковские цепи лучше в задачах генерации юмора, чем LLM

Статья обсуждает уникальное чувство юмора, генерируемое Марковскими цепями по сравнению с крупными LLM, такими как ChatGPT.
Автор утверждает, что Марковские цепи, хотя и примитивны, могут создавать неожиданные и забавные фразы благодаря своей простоте. В отличие от них, LLM более предсказуемы и в меньшей степени подходят для создания юмора.

🔘Статья: Семь основных правил причинно-следственного инференса.

Автор подробно и лаконично рассматривает семь ключевых правил, которые помогают понять, как причинно-следственные механизмы в реальности отражаются в данных.
В статье описаны фундаментальные структуры причинных графов и продемонстрированы примеры кода на R для иллюстрации каждого правила.

🔘Практический кейс: Классификация большого набора PDF-документов.

Подробное описание процесса классификации огромного набора PDF-документов с помощью LLM - эмбеддингов и XGBoost.
Автор проводит несколько экспериментов по созданию и обучению эмбеддингов и делает акцент на сложности обработки 8,4 миллиона PDF-файлов.

@ai_machinelearning_big_data

#Tutorials #ml

Читать полностью…

⚡️ OmniCast — технология, которая повышает точность прогноза погоды

В Яндексе подробно рассказали про новую технологию, которую стали использовать в Яндекс Погоде. OmniCast работает на основе нейросетей, которые рассчитывают температуру воздуха, учитывая множество факторов, в том числе один совершенно новый — любительские метеостанции.

OmniCast помогает решать проблему точности прогноза в разных локальных районах мегаполисов. Подробнее про то, как работает метод, написано в статье.

▪️Хабр

@ai_machinelearning_big_data

#AI #ML #OmniCast

Читать полностью…

⚡️ Новостной МЛ дайджест 22 августа 2024.

✔️ Epic Systems создает более 100 новых функций ИИ для врачей и пациентов.

Epic Systems, ведущий поставщик программного обеспечения в сфере здравоохранения, интегрирует более 100 новых функций ИИ в свои платформы MyChart и Cosmos.

✔️ Новый веб-бот Werth,thuf незаметно собирает в интернете данные для обучения ИИ.

Новый веб-сканер под названием External Agent для сбора данных из интернета с целью обучения своих моделей. Бот начал свою работу в прошлом месяце, он сканирует открытые данные на сайтах, тексты новостных статей и обсуждения в онлайн-группах. External Agent пока блокируется лишь на 2% популярных сайтов, в то время как аналогичный по назначению бот OpenAI, GPTBot — на 25%.

✔️ Sapiens: новая SOTA ViTs для задач CV, связанных с обнаружением людей

✔️ Запущен Ideogram 2.0.

Новая txt-2-img модель превосходит предыдущие по качеству, точнее следуют промпту и корректней генерирует тест на изображениях.

✔️ Опубликован регулярный рейтинг "Top 100 Gen AI Consumer Apps" венчурного фонда Andreessen Horowitz.
четом за март 2024 г.

В первую десятку рейтинга веб-продуктов вошли : ChatGPT, character.ai, perplexity, Claude, SUNO, JanitorAI, QuillBot, Poe, liner и Civitai.

Десятка лучших мобильных приложений с ИИ: ChatGPT, Microsoft Edge, photomath, NOVA, Bing, Remini, Chat&Ask AI, BRAINLY, meitu и character.ai.

✔️ Neuroplatform: "Живые компьютеры", созданные из человеческих нейронов.

Органоиды, размером 0,5 миллиметра, соединены с электродами, которые стимулируют нейроны и имитируют естественные процессы, например, выделение дофамина.

FinalSpark предоставляет доступ к своим "биокомпьютерам" для исследователей из 34 университетов.


✔️ Skyfire запускает систему, позволяющую автономным агентам ИИ тратить деньги от вашего имени.

Компания, получившая 8,5 миллиона долларов в рамках начального раунда финансирования, стремится стать "Visa для ИИ", предоставляя ИИ-агентам возможность управлять балансами счетов, отправляя и принимая платежи.

Платформа уже доступна для разработчиков агентного ИИ и интеграции с различными сервисами.

✔️ Виртуальная fashion-модель Mango, созданная с помощью ИИ, стала вирусной в социальных сетях.

Модель "Mango AI", демонстрирующая коллекцию осень-зима 2024 года испанского бренда Mango привлекла внимание пользователей благодаря своей реалистичности и стилю.

✔️ D-ID запустила перевод видео с помощью ИИ, включающий Voice Clone и Lipsync.

Новый инструмент, доступный для подписчиков D-ID, представлен в D-ID Studio и по API, он поддерживает 30 языков, включая русский, мандаринский, японский, хинди, испанский и французский. Технология основана на собственных разработках D-ID.

✔️ Игровой ИИ-стартап анонсировал инструменты для gamedev на базе GenAI.

ИИ-стартап Exists анонсировал платформу "text-to-game", которая позволяет создавать компьютерные 3D-игры на основе текстовых подсказок, не требуя навыков в написании кода.

Анонсированный сервис использует запатентованные модели генеративного GenAI Exists для создания игрового окружения, персонажей и механики. Интегрируя архитектуру нейронных сетей с возможностями игрового движка, компания стремится упростить процесс создания игр.

✔️ Napkin AI: дешевая и простая альтернатива Adobe и Canva.

Napkin AI - это инструмент для заметок и генерации визуальных материалов из текста, который можно использовать для презентаций, статей, отчетов. Сервис быстро создает уникальные графические элементы за 10-30 секунд и поддерживает несколько языков - английский, немецкий, французский, японский и китайский.

📌 Подробнее

@ai_machinelearning_big_data

#news #ai #ml #tech

Читать полностью…

⚡️ YaFDP: библиотека, ускоряющая обучение LLM

ML-инженеры Яндекса рассказали, как создавали YaFDP — алгоритм, который помогает ускорить процесс обучения больших языковых моделей и сократить расходы на GPU.

Специалисты раскрыли алгоритм-референс, на который ориентировались при создании, и назвали основные трудности, возникшие в процессе.


🟡 Разбор инструмента
🖥Github

@ai_machinelearning_big_data

#AI #LLM #ML

Читать полностью…

🔥Осваиваем алгоритмы обучения с подкреплением и получаем ценные навыки в ML!

⚡29 августа в 20:00 мск. приглашаем на открытый урок "Основные алгоритмы обучения с подкреплением SARSA и Q-learning", где мы разберём:

- обучение с подкреплением и его отличия от других подходов ML;
- функцию ценности состояния и ценности действия-состояния, их связь и как они помогают агенту учиться;
- уравнение Беллмана;
- метод SARSA;- метод Q-learning. 

На практической части мы на Python, «с нуля», без использования каких-либо фреймворков, реализуем два алгоритма обучения с подкреплением и убедимся, что наш агент успешно обучается.

👉Регистрация https://otus.pw/BtdM/?erid=LjN8Juyxw

Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Все участники вебинара получат специальную цену на обучение!

Читать полностью…

🌟 MFLUX (MacFLUX): MLX-порт FLUX, основанный на Huggingface Diffusers.

MFLUX (MacFLUX) - это построчный порт реализации FLUX в библиотеке Huggingface Diffusers на Apple MLX.
Цель проекта состоит в том, чтобы иметь минимальный набор кода, избегая слишком большого количества абстракций.

Пайплайн инференса моделей реализован с нуля на MLX, токенизаторы используются через библиотеку Huggingface Transformers и минимальные зависимости Numpy и Pillow.

Поддерживаемые модели :

🟢FLUX.1-Scnhell
🟢FLUX.1-Dev

Проект гарантированно работает на чипах M1-M3 всех версий (Pro | Max | Ultra), количество оперативной памяти Mac влияет на скорость инференса.
Ориентировочные бенчмарки времени генерации на FLUX-schnell:

2020 M1 (8GB) - 335 секунд (512х512)
2021 M1 Pro (32GB) - 160 секунд (1024х1024)
2023 M2 Max (32GB) - 70 секунд (1024х1024)
2023 M2 Max (96GB) - 25 секунд (1024х1024)
2023 M3 Pro (36GB) - 80 секунд (1024х1024)
2023 M3 Max (неизвестно) - 20 секунд (1024х1024)

▶️Ограничения:

🟠Изображения генерируются по одному, нет пакетного режима;
🟠Негативный промпт не поддерживается;
🟠При первом запуске, если модели не скачаны заранее, происходит загрузка ~34 Gb;
🟠FLUX.1-dev требует авторизации к репозиторию Huggingface, для исключения ошибок доступа используйте huggingface-cli с вашим API-ключом от HF;
🟢Поддержка LoRA - в ближайших планах.

▶️Установка:

# Clone repository
git clone git@github.com:filipstrand/mflux.git

# Navigate to the project and set up a venv:
cd mflux 
python3 -m venv .venv 
source .venv/bin/activate

# Install dependencies
pip install -r requirements.txt

▶️Инференс скриптом:

import sys

sys.path.append("/path/to/mflux/src")

from flux_1.config.config import Config
from flux_1.flux import Flux1
from flux_1.post_processing.image_util import ImageUtil

flux = Flux1.from_alias("schnell")  # "schnell" or "dev"

image = flux.generate_image(
   seed=3,
   prompt="TEXT_YOUR_PROMPT.",
   config=Config(
      num_inference_steps=2,  # Schnell works well with 2-4 steps, Dev works well with 20-25 steps
      height=768,
      width=1360,
   )
)

ImageUtil.save_image(image, "image.png")

🖥Github [ Stars: 272 | Issues: 2 | Forks: 16]

Читать полностью…