Анализ данных (Data analysis)

08 Dec 2024 14:00

🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени!

🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных.

🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных.

🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

07 Dec 2024 09:31

⚡️ Новый искусственный интеллект DeepMind для игр Делает Невозможное!

Google DeepMind совершила значительный прорыв, представив Genie 2 – модель, которая способна создавать бесконечное множество интерактивных 3D-миров.

Genie 2 представляет собой мировую модель с автогрессивной латентной диффузией, обученную на большом объеме видеоданных. Модель умеет строить играбельные миры всего лишь на основе одного изображения, а также реагировать на действия пользователя с помощью клавиатуры и мыши.

Основные возможности системы включают:

🔹Создание последовательных миров продолжительностью до одной минуты
🔹Запоминание и точное воспроизведение частей мира, которые временно выходят за пределы видимости
🔹Моделирование сложных физических процессов, таких как гравитация, дым, вода и освещение
🔹Анимация персонажей и их взаимодействия с окружающей средой
🔹Генерация NPC с продвинутыми поведенческими моделями
🔹Поддержка различных перспектив, начиная от вида от первого лица и заканчивая изометрическим видом

Особо стоит отметить возможность быстрого прототипирования. Дизайнерам теперь легко преобразовывать концептуальные рисунки в полноценные интерактивные среды, что значительно ускоряет процесс создания игр. Кроме того, Genie 2 способна работать с реальными фотографиями, воссоздавая мелкие детали вроде колеблющейся травы или текущей воды.

Мы собрали для вас целую коллекцию примеров – это просто невероятно!

Несмотря на то, что технология пока находится на начальной стадии развития, мы уверены, что через несколько лет она произведет настоящую революцию в индустрии компьютерных игр.

🎯Разбор статьи
🎯Статья

@data_analysis_ml

Анализ данных (Data analysis)

06 Dec 2024 13:20

🔥 Make-It-Animatable — ИИ-утилита, которая позволяет легко и быстро создать любую 3D-анимацию гуманоида!

🔗 Попробовать: *клик*
🔗 Страница проекта: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

05 Dec 2024 20:12

🔥 Google только что выпустила новые языковые модели PaliGemma 2 - 3B, 10B и 28B Vision!

> 9 предварительно обученных моделей: 3B, 10B и 28B с разрешением 224x224, 448x448 и 896x896
> ВI 2 модели Image-text поддерживающие формат 3B и 10B (448x448)

https://huggingface.co/collections/google/paligemma-2-release-67500e1e1dbfdd4dee27ba48

@data_analysis_ml

Анализ данных (Data analysis)

05 Dec 2024 14:02

🌟 LLaMA-O1: модели ризонинга на базе Llama-3.1-8B-Instruct.

Набор моделей ризонинга от SimpleBerry Research Lab на Hugging face, полученные с использованием методик:

🟢LlaMA-Berry - попарная оптимизация для решения математических задач олимпиадного уровня с помощью поиска Монте-Карло;

🟢Critic-V - методика подключения внешней модели-критика;

🟢MCTSr - метод интеграции LLM с алгоритмом поиска по дереву Монте-Карло для повышения точности решения математических задач.

▶️ LLaMA-O1-Base-1127 - базовая модель ризонинга, файнтюн Llama-3.1-8B-Instruct на датасете longcot_pt. Квантованные версии в формате GGUF.

▶️ LLaMA-O1-Supervised-1129 - файнтюн базовой модели LLaMA-O1-Base-1127 на датасете OpenLongCoT-SFT с использованием комбинаций методов Critic-V и MCTSr. Квантованные версии в формате GGUF.


⚠️ Тестов и бенчмарков официально не предоставлено, демо модели LLaMA-O1-Supervised-1129 можно попробовать в этом HF Space


🟡Набор моделей и датасетов
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #Resoning #LlaMA_O1

Анализ данных (Data analysis)

04 Dec 2024 22:11

🗣 Fish Speech v1.5 - многоязычная модель преобразования текста в речь и клонирования голоса с низкой задержкой 🔥

🌟 Fish Speech V1.5: обновление Text-To-Speech модели.

Fish Speech - модель генерации TTS обновилась до версии 1.5. Эта версия обучалась на 1 млн.часов мультиязычных аудиоданных и заняла 2 место в бенчмарке TTS-Arena (как "Anonymous Sparkle").

Заявлена задержка <150 мс с высококачественным мгновенным клонированием голоса.

▶️Языковая структура обучающего корпуса версии 1.5:

🟢Английский (en) >300 тыс. часов
🟢Китайский (zh) >300 тыс. часов
🟢Японский (ja) >100 тыс. часов
🟢Немецкий (de) ~20 тыс. часов
🟢Французский (fr) ~20 тыс. часов
🟢Испанский (es) ~20 тыс. часов
🟢Корейский (ko) ~20 тыс. часов
🟢Арабский (ar) ~20 тыс. часов
🟠Русский (ru) ~20 тыс. часов
🟢Голландский (nl) <10 тыс. часов
🟢Итальянский (it) <10 тыс. часов
🟢Польский (pl) <10 тыс. часов
🟢Португальский (pt) <10 тыс. часов

Fish Speech для локального инференса требует 4Gb GPU и 8 BG GPU для файнтюна. Запуск возможен на MacOS, Linux и Windows в режимах CLI, GUI и WebUI и Docker.

Подробные инструкции по установке, инференсу в различных режимах для каждой платформы, туториал по файнтюну и примеры доступны в документации проекта Fish Speech.

⚠️ Репозиторий на Github еще не обновлен информацией о версии 1.5, а официальное демо от разработчиков поддерживает синтез только на английском, китайском и японском.

> Всего 500 миллионов параметров
> Обучена на 1 миллионе часов аудио
> Поддерживает 13 языков
> Низкая задержка (<150 мс)
> Открытая модель 🤗
> Лучшая часть: занимает 2-е место на TTS Arena (предварительные результаты)


📌Лицензирование: CC-BY-NC-SA-4.0 License.


🟡Модель
🟡Demo
🟡Документация
🟡Сообщество в Discord
🖥GitHub

@data_analysis_ml

Анализ данных (Data analysis)

03 Dec 2024 19:05

EuroLLM-9B: Мощная многоязычная модель для европейских языков! 🌍🤖

Основные характеристики:
🌐 Поддержка 35 языков: охватывает все 24 официальных языка ЕС
🏆 Высочайшая производительность: конкурирует с Gemma и Mistral
✅ 4 триллиона токенов: Обучение с использованием высококачественных многоязычных данных.
✅ Открытый исходный код: Доступен на Hugging Face!

https://huggingface.co/utter-project/EuroLLM-9B

Анализ данных (Data analysis)

03 Dec 2024 15:01

🔥 AI Video Composer — полезный бесплатный инструмент, который позволяет создавать видео из ваших фотографий и аудиофайлов с помощью текстового запроса!

🔗 HuggingFace: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

02 Dec 2024 18:33

ConsisID может генерировать видео, используя входное изображение и текстовый промыт! 🤩 🚀

Apache 2.0 Лицензия.

🔗 Hf: https://huggingface.co/spaces/BestWishYsh/ConsisID-preview-Space
🔗 Github: github.com/PKU-YuanGroup/ConsisID
🔗 Demo: https://huggingface.co/spaces/BestWishYsh/ConsisID-preview-Space

@data_analysis_ml

Анализ данных (Data analysis)

02 Dec 2024 12:37

🔥 MagicDriveDiT — отличная модель, которая может генерировать видеоролики уличных сцен в высоком разрешении для обучения беспилотных автомобилей!

🔗 Страница проекта: *клик*
🖥 Исходный код на Github (скоро)

@data_analysis_ml

Анализ данных (Data analysis)

01 Dec 2024 13:00

📕 Свежий интерактивный учебник по работе с Ollama с использованием Qwen 2.5 14B! 3 главы готовы и еще больше на подходе 🔥

Учение был вдохновлен урокам от Anthropic.

📌 Github

@data_analysis_ml

Анализ данных (Data analysis)

30 Nov 2024 12:53

🔥 С помощью ComfyUI + Jupyter Notebook теперь можно копировать стиль от рисунка к рисунку

🍇runpod: https://github.com/camenduru/sdxl-line-art-style-transfer-tost
🍊запускаем jupyter с помощью http://modelslab: https://github.com/camenduru/sdxl-line-art-style-transfer-jupyter
🍊 workflow: https://github.com/camenduru/sdxl-line-art-style-transfer-tost/blob/main/sdxl-line-art-style-transfer.json

@data_analysis_ml

Анализ данных (Data analysis)

29 Nov 2024 16:02

🌟 Wavehax: нейросетевой вокодер без эффекта наложения частот.

Wavehax - нейросетевой вокодер, который синтезирует аудиосигналы без искажений, вызванных наложением частот. Эта проблема часто возникает в моделях, работающих во временной области, где нелинейные операции и слои повышения дискретизации могут привести к наложению высокочастотных компонентов на низкочастотный диапазон.

Wavehax работает в частотно-временной области, оценивая комплексные спектрограммы и преобразуя их во временные сигналы с помощью кратковременного преобразования Фурье (STFT). Использование STFT позволяет получать более высокое качество синтезированной речи, особенно при экстраполяции на высокие значения основной частоты (F0).

Архитектура Wavehax построена на 2D CNN и специальном гармоническом априоре. Априор представляет собой комплексную спектрограмму, полученную из гармонического сигнала, который помогает модели генерировать высококачественные и согласованные по фазе гармонические компоненты.

В экспериментах, проведённых на корпусе японской речи JVS, Wavehax продемонстрировал качество речи, сравнимое с HiFi-GAN V1, при этом значительно сократив количество операций умножения-накопления и параметров модели.

Wavehax работает в 4 раза быстрее HiFi-GAN V1 на CPU и устойчив к экстраполяции на высокие значения F0, где эффект наложения частот становится особенно заметным.

▶️ Пример трейна и инференса с датасетом JVS:

# Set up the env
cd wavehax
pip install -e .

# Extract F0 and mel-spectrogram.
wavehax-extract-features audio=data/scp/jvs_all.scp

# Compute statistics of the training data
wavehax-compute-statistics feats=data/scp/train_no_dev.list stats=data/stats/train_no_dev.joblib

# Train the vocoder model
wavehax-train generator=wavehax discriminator=univnet train=wavehax train.train_max_steps=500000 data=jvs out_dir=exp/wavehax

# Inference via generate speech waveforms
wavehax-decode generator=wavehax data=jvs out_dir=exp/wavehax ckpt_steps=500000

Анализ данных (Data analysis)

28 Nov 2024 18:01

🚀 Научитесь создавать базы данных для веб-приложений на Go! Присоединяйтесь к открытому вебинару «Взаимодействие с базой данных и миграции на Go».

📅 Дата: 2 декабря в 20:00 МСК
 
🔎 Что вы узнаете:
- как создавать таблицы и структурировать базы данных;
- как разрабатывать базу для веб-приложений на Go;
- как работать с ОРМ и SQL-запросами.

❗ Почему это важно: Golang — язык будущего. После вебинара вы сможете создавать и мигрировать базы данных, что станет вашим преимуществом в IT.

💻 Действуйте! Нажмите на ссылку, чтобы зарегистрироваться и получите скидку на участие в большом курсе «Go (Golang) Developer Basic»: 👉ссылка

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

Анализ данных (Data analysis)

28 Nov 2024 15:01

⚡️ Владение BI-аналитикой сегодня становится все более востребованным навыком

⌨️ Это новый уровень практически для всех, кто работает с данными: продуктовых и маркетинговых аналитиков, аналитиков данных, Product Owner’ов и Project Manager’ов, Data Scientist’ов и Data Engineer’ов.

Пройдите тест онлайн-курса «BI-аналитика» и получите скидку до 15% 💣на обучение в OTUS.

➡️ ПРОЙТИ ТЕСТ: https://otus.pw/cWjf/?erid=LjN8KND4L

🔥 Все, кто успешно пройдет тест, получит доступ к нескольким открытым урокам курса для знакомства с форматом обучения и спец. цену на курс.

После обучения вы сможете:
💛визуализировать метрики и данные с помощью Power BI и Tableau и отечественной системой Analytic Workspace
💛строить кастомные интерактивные дашборды и аналитические панели с помощью Python в библиотеках Dash, Numpy, Pandas, Matplotlib, Seaborn и Plotly
💛работать с Big Data и выявлять данные, которые помогут принимать бизнес-решения
💛использовать в BI-аналитике решения с открытым исходным кодом
💛обрабатывать и трансформировать данные в Power Query, создавать модели данных в Power Pivot
💛работать с DAX-формулами

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Анализ данных (Data analysis)

07 Dec 2024 14:02

🔍 Agenta — платформа для работы с приложениями, основанными на LLM!

🌟 Agenta помогает разработчикам тестировать, сравнивать и внедрять LLM-решения, упрощая процесс оценки производительности различных моделей и их версий. Основные функции включают создание экспериментов, настройку конфигураций, управление тестовыми данными и анализ результатов.

🌟 Платформа поддерживает интеграцию с популярными фреймворками, такими как FastAPI, и включает API для автоматизации задач. Agenta разработан для тех, кто активно работает с генеративными моделями и их оптимизацией, предоставляя инструменты для повышения точности и эффективности приложений, основанных на искусственном интеллекте.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

06 Dec 2024 19:14

⚡️ Llama 3.3 70B.

Модель доступна в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.

Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.

Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.

Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.

▶️ Пример инфренса на Transformers:

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

Анализ данных (Data analysis)

06 Dec 2024 11:18

Пишите код быстрее и оставляйте больше времени на творчество вместе с AI-ассистентом разработчика

Устали от рутины? Отдайте ее AI!
Заходите на платформу GitVerse и пишите код вместе с AI-ассистентом GigaCode. Он поддерживает более 35 языков, умеет анализировать контекст, дописывать строки и функции в автоматическом и ручном режимах, а еще — писать код по комментариям и делать рефакторинг с помощью коротких команд. Всего за пару минут AI-помощник может оценить проект и трудозатраты на его создание.

Внутри AI есть функция CodeChat — с ней можно оптимизировать или отрефакторить имеющийся код, сгенерировать тесты и документацию, а также объяснить фрагмент кода. Задавать вопросы можно и по всему открытому файлу, и по конкретному фрагменту — просто выделите его в редакторе и сформулируйте запрос к CodeChat.

Хорошие новости — недавно GigaCode обновился и стал еще лучше справляться с задачами разработки: теперь наиболее вероятные продолжения кода будут генерироваться с учётом контекста всего проекта. Не забудьте обновить плагин GigaCode :)

Зарегистрироваться на GitVerse.

Анализ данных (Data analysis)

05 Dec 2024 18:01

📖 Эта статья представляет новую архитектуру под названием Mixture-of-Transformers (MoT), ориентированную на работу с мультимодальными моделями!

🌟 Такие модели способны обрабатывать текст, изображения и аудио в единой системе. MoT решает проблемы масштабирования, связанные с обучением больших языковых моделей (LLM), предлагая более экономичный подход, уменьшающий вычислительные затраты на этапе предварительного обучения.

🌟 Основное новшество MoT заключается в раздельной обработке параметров для каждого типа данных (текста, изображений, звука), что позволяет сократить использование ресурсов без потери качества. Например, в задачах генерации текста и изображений MoT достигает производительности стандартных моделей при использовании лишь 55,8% их вычислительных операций. Кроме того, модель демонстрирует улучшенные показатели в задачах, где необходимо объединение нескольких модальностей, при меньших временных и вычислительных затратах

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

05 Dec 2024 11:15

⚡️ DeepThought-8B: новая модель рассуждений построенная на LLaMA-3.1 с масштабированием вычислений.

Внутри:
- Структурированные в формате JSON цепочки рассуждений и управляемые пути вывода.
- ~16 ГБ видеопамяти для запуска модели объемом 70B.
- Опенсорс

https://huggingface.co/ruliad/deepthought-8b-llama-v0.01-alpha

@data_analysis_ml

Анализ данных (Data analysis)

04 Dec 2024 14:00

🔍 Helicone — инструмент для интеграции и управления запросами к крупным языковым моделям (LLM), таким как OpenAI API!

🌟 Он предоставляет инструменты для анализа и мониторинга использования LLM в приложениях. Helicone собирает метрики, отслеживает затраты на запросы и позволяет разработчикам оптимизировать работу с языковыми моделями.

🌟 Кроме аналитики, Helicone поддерживает такие функции, как отслеживание запросов в реальном времени, настройка логирования, а также интеграция с базами данных и инструментами визуализации данных. Это делает его полезным инструментом для разработчиков, активно использующих генеративный ИИ в своих проектах, например, в чат-ботах или системах рекомендаций.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

03 Dec 2024 17:15

🌟 HDR-GS: скоростной синтез HDR-изображений с помощью гауссовой spline-интерполяции.

HDR-GS — это метод рендеринга, который использует гауссову сплайн-интерполяцию для создания изображений с расширенным динамическим диапазоном и изображений со стандартным динамическим диапазоном (LDR) с заданным временем экспозиции.

HDR-GS превосходит NeRF на 1,91 и 3,84 дБ при рендеринге HDR- и LDR-видов, при этом обеспечивает 1000-кратное увеличение скорости инференса и требует всего 6,3% от времени обучения, которое требуется методу HDR-NeRF.

Пайплайн HDR-GS состоит из модели точечного облака DDR, которая использует сферические гармоники для HDR-цвета и 3 MLP для тональной компрессии, параллельной растеризации рендеринга HDR- и LDR-цветов и алгоритма Structure-from-Motion (SfM), который инициирует гауссово облако точек.

Тестирование HDR-GS проводилось на датасетах с 4 реальными сценами и 8 синтетическими, созданными в Blender. По результатам тестирования, HDR-GS значительно превзошел NeRF, NeRF-W, HDR-NeRF и 3DGS как по качеству, так и по эффективности.

⚠️ Рекомендаций по требованиям к GPU в репозитории проекта нет, тесты проводились на 1 GPU A5000.


▶️ Установка и тестовый инференс с предобученными весами сета bathroom:

# Clone repo:
git clone https://github.com/caiyuanhao1998/HDR-GS --recursive

# Windows only
SET DISTUTILS_USE_SDK=1

# install environment of 3DGS
cd HDR-GS
conda env create --file environment.yml
conda activate hdr_gs

# Synthetic scenes
python3 train_synthetic.py --config config/bathroom.yaml --eval --gpu_id 0 --syn --load_path output/mlp/bathroom/exp-time/point_cloud/interation_x  --test_only

Анализ данных (Data analysis)

03 Dec 2024 11:15

⚡️ LLaMA-O1 🦙 Новый член семейства моделей O1

Команда выпустила: базовую и тюненную модель; наборы данных для работы и точной настройки и демонстрацию 🔥

https://huggingface.co/collections/qq8933/llama-o1-1129-datasets-models-codes-and-papers-674d4083d393cca8324d7b61

@data_analysis_ml

Анализ данных (Data analysis)

02 Dec 2024 12:38

🗣 GaussianSpeech: Гауссовские аватары, управляемые звуком

«По входному аудио GaussianSpeech может синтезировать фотореалистичные 3D-согласованные говорящие аватары человеческой головы.

Метод позволяет генерировать реалистичные и высококачественные анимации, включая внутреннюю часть рта: зубы, морщины и блики в глазах»

🔗Статья: https://arxiv.org/abs/2411.18675
🔗Проект: https://shivangi-aneja.github.io/projects/gaussianspeech/

@data_analysis_ml

Анализ данных (Data analysis)

01 Dec 2024 16:58

🔍 Полезный инструмент, который преобразовывает ваши jpg фото в высококачественные svg изображения!

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

01 Dec 2024 12:01

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/golang_interview
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

29 Nov 2024 17:01

📖 Эта статья представляет новую архитектуру под названием Mixture-of-Transformers (MoT), ориентированную на работу с мультимодальными моделями!

🌟 Такие модели способны обрабатывать текст, изображения и аудио в единой системе. MoT решает проблемы масштабирования, связанные с обучением больших языковых моделей (LLM), предлагая более экономичный подход, уменьшающий вычислительные затраты на этапе предварительного обучения.

🌟 Основное новшество MoT заключается в раздельной обработке параметров для каждого типа данных (текста, изображений, звука), что позволяет сократить использование ресурсов без потери качества. Например, в задачах генерации текста и изображений MoT достигает производительности стандартных моделей при использовании лишь 55,8% их вычислительных операций. Кроме того, модель демонстрирует улучшенные показатели в задачах, где необходимо объединение нескольких модальностей, при меньших временных и вычислительных затратах

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

28 Nov 2024 19:15

🌟 FastDraft: ускорение инференса LLM с помощью спекулятивного декодирования.

Спекулятивное декодирование (или вспомогательная генерация) — это техника, которая ускоряет генерацию токенов при использовании дополнительной, SLM модели-черновика.

Техника работает следующим образом: модель-черновик предсказывает следующие K-токенов один за другим авторегрессионным способом, а основная LLM проверяет эти предсказания и исправляет их при необходимости.

Процесс проходит по каждому предсказанному токену, и, если обнаруживается разница между SLM-черновиком и LLM, останавливается и сохраняет последний токен, предсказанный основной моделью. Затем SLM-черновик получает последнее предсказание LLM и снова пытается предсказать следующие K-токенов, повторяя цикл.

FastDraft — метод для обучения и согласования модели-черновика с любой LLM для использования со спекулятивным декодированием путем тонкой настройки на синтетических датасетах, сгенерированных целевой LLM.

Предобученные модели-черновики FastDraft (Llama-3.1-8B-Instruct-FastDraft-150M-int8-ov и Phi-3-mini-FastDraft-50M-int8-ov) до 3 раз эффективнее по сравнению с инференсом одиночной LLM в задачах завершения кода и до 2 раз в задачах обобщения, завершения текста и инструкций.


🟡Набор моделей
🟡Ipynb блокнот
🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #LLM #Intel #FastDraft

Анализ данных (Data analysis)

28 Nov 2024 16:51

👩‍💻 Flexx — это фреймворк для создания графических интерфейсов на чистом Python с использованием веб-технологий!

💡 Он позволяет разработчикам создавать приложения, которые работают как на настольных компьютерах, так и в браузерах. Основная идея Flexx — это использование Python для описания логики интерфейса, при этом взаимодействие с пользователем реализуется через HTML, CSS и JavaScript, сгенерированные автоматически.

🌟 Ключевая особенность фреймворка — возможность создавать приложения с использованием декларативного подхода. Flexx поддерживает функционально-реактивное программирование (FRP) и предоставляет инструменты для управления состоянием и событийной моделью. Это делает его подходящим выбором для приложений, где требуется динамическое взаимодействие и высокая интерактивность.

🔐 Лицензия: BSD-2-Clause

🖥 Github


@data_analysis_ml

Анализ данных (Data analysis)

28 Nov 2024 15:00

📖 Эта статья исследует способности крупных языковых моделей (LLMs) к логическому рассуждению, включая их склонность к запоминанию!

🌟 Основной гипотезой авторов является то, что высокий уровень точности моделей на логических задачах может быть обусловлен не столько умением рассуждать, сколько запоминанием схожих примеров из данных для обучения.

🌟 Для проверки гипотезы исследователи использовали динамически генерируемый набор логических задач на основе головоломок "Knights and Knaves" (рыцари и лжецы). Они выявили, что модели могут успешно справляться с задачами, подобными обучающим, но их точность снижается при небольших изменениях в формулировке. Однако, несмотря на это, модели показали улучшение в генерализации после дообучения, что свидетельствует о сложном взаимодействии между способностью к рассуждению и запоминанием.

🌟 Дополнительно авторы проанализировали, как LLM переключаются между запоминанием и логическим анализом, что даёт понимание о методах их дальнейшей оптимизации. Исследование включает методы создания и модификации логических задач, а также оценку поведения моделей с использованием метрик запоминания и обобщения.

🔗 Ссылка: *клик*

@data_analysis_ml