Machinelearning

26 Sep 2024 19:01

🌟 Show-me: альтернатива ChatGPT-O1 на Сhat-Gpt-4o-mini.

Show-Me — это проект, который использует LangChain для связи с gpt-4o-mini и визуализирует процесс рассуждений в виде динамического графического интерфейса.

Ключевая особенность Show-Me - алгоритм «Reasoning, Refinement, and Update» (RRU), который обрабатывает запросы.

Этот алгоритм работает следующим образом: сначала LLM оценивает сложность задачи и, если это необходимо, разбивает её на подзадачи. Затем она генерирует ответы для каждой подзадачи, а система автоматически проверяет их. Если ответ не проходит проверку, LLM уточняет его, основываясь на результатах.

Этот процесс продолжается до тех пор, пока ответ не будет соответствовать всем критериям. Наконец, результаты подзадач объединяются для получения окончательного ответа.

Весь процесс отображается в реальном времени с помощью динамического графика, что делает процесс рассуждений LLM понятным и наглядным.

Show-Me имеет модульную архитектуру, состоящую из frontend на основе React и backend на базе Flask. Frontend отвечает за взаимодействие с пользователем, визуализацию графика рассуждений и отправку запросов на backend.

Backend обрабатывает взаимодействие сgpt-4o-mini, выполняет алгоритм RRU, управляет разбиением задач, агрегирует ответы и отправляет обновления на frontend через SocketIO.

В будущем разработчики планируют расширить возможности Show-Me, добавив поддержку большего количества языков программирования, улучшив визуализацию и позволив пользователям выбирать различные LLM.

▶️Установка и запуск:

# Clone the Repository
git clone https://github.com/marlaman/show-me.git

# Backend Setup
cd backend
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# Create a .env file and add your OpenAI API Key: 
# OPENAI_API_KEY=[your key]

# Frontend Setup:
cd .. # poject root
npm install # or yarn install

# Run Backend
python app.py #or flask run

# Run Frontend
npm start # or yarn start

Machinelearning

26 Sep 2024 15:21

⚡️ Molmo: семейство state-of-art MMLM.

Molmo (Multimodal Open Language Model) - это семейство VLM, разработанных в Институте искусственного интеллекта Аллена, для решения задач обработки изображений и текста - создание подробных описаний изображений и выполнение комплексных визуальных операций, например:

🟢ответы на вопросы;
🟢обнаружение и сегментация по текстовому запросу;
🟢подсчет объектов или элементов;
🟢использование в сфере робототехники для изображений или видео;
🟢расширение возможностей VR.

▶️Molmo 72B - флагманская модель на базе Qwen2-72B в роли LLM и ViT-L/14 336px CLIP в роли visial-энкодера. Molmo-72B достигает наивысшего балла в бенчмарках и занимает второе место по человеческой оценке, лишь немного уступая GPT-4o.

▶️Molmo 7B-D и Molmo 7B-O - более утилитарные модели с разницей в исходных LLM (Qwen2-7B и OLMo-7B-1124 соответственно) и все тем же ViT-L/14 336px в качестве энкодера.

▶️ MolmoE 1B - компактная модель на архитектуре Mixture-of-Experts, основанная на OLMoE-1B-7B с 1.5B активных и 7.2B общих параметров, с производительностью, сравнимой с GPT-4V.

Обучение семейства выполнялось в 2 этапа: предварительное обучение на наборе данных PixMo-Cap для генерации аннотаций к изображениям и этап SFT с использованием комбинации академических наборов данных и наборов данных PixMo (PixMo-AskModelAnything, PixMo-Points, PixMo-CapQA, PixMo-Docs, PixMo-Clocks).

Тестирование модели проводилось на 11 бенчмарках: AI2D, ChartQA, VQA v2, DocVQA, InfographicVQA, TextVQA, RealWorldQA, MMMU, Math-Vista, CountBenchQA и Flickr Count.

Результаты показали, что Molmo, особенно модель Molmo-72B, демонстрирует производительность на уровне GPT-4o, превосходя Gemini 1.5 Pro, Flash и Claude 3.5 Sonnet.

⚠️ Модели Molmo могут испытывать трудности с прозрачными изображениями. В качестве решения, разработчики рекомендуют добавлять белый или темный фон к изображениям перед передачей их в модель, например, с помощью библиотеки PIL.


📌Лицензирование : Apache 2.0


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #ML #Molmo #MoE #MMLM

Machinelearning

26 Sep 2024 08:40

✔️ Джеймс Кэмерон присоединился к совету директоров Stability AI.

Stability AI объявила о том, что легендарный режиссер Джеймс Кэмерон вошел в совет директоров компании. Это следующий шаг в реализации миссии Stability AI по трансформации визуальных медиа после назначения Hanno Basse на позицию CTO в августе этого года .

"Опыт Кэмерона в сочетании с его деловыми и техническими скиллами поможет Stability AI продолжить открывать новые возможности, позволяющие создателям рассказывать истории такими способами, которые раньше были немыслимы" (с) .
stability.ai

✔️ Google снизила цены на Gemini и представила обновление моделей.

Google выпускает две обновленные модели Gemini: Gemini-1.5-Pro-002 и Gemini-1.5-Flash-002. Разработчики могут бесплатно получить доступ к последним моделям через Google AI Studio и API Gemini. Для крупных организаций и клиентов Google Cloud модели также доступны на Vertex AI.

Обновления включают в себя снижение цены на 1.5 Pro на 50%, увеличение лимитов скорости в 2 раза для 1.5 Flash и примерно в 3 раза для 1.5 Pro, увеличение скорости вывода в 2 раза и снижение задержки в 3 раза, а также обновленные настройки фильтра по умолчанию.

1.5 Pro и Flash теперь стали лучше, быстрее и экономичнее. Google наблюдает увеличение примерно на 7% в MMLU-Pro. В бенчмарках MATH и HiddenMath обе модели добились значительного улучшения примерно на 20%.
developers.googleblog.com

✔️ Warner Bros. Discovery будет использовать ИИ Google для субтитров.

Warner Bros. Discovery заключила партнерство с Google Cloud, чтобы использовать инструмент на основе ИИ для создания субтитров для своих контент-платформ.

Caption AI использует платформу Vertex AI от Google Cloud и будет развернут в первую очередь для несценарийных программ (спортивных и реалити-шоу), чтобы сократить время и производственные затраты на создание субтитров .

WBD добавил, что реальные люди по-прежнему будут следить за использованием Caption AI для обеспечения качества на студийных каналах Max, CNN и Discovery+.
hollywoodreporter.com

✔️ Intel представила новые серверные процессоры Xeon 6900P.

Серия Xeon 6900P обещает обеспечить примерно вдвое большую производительность на ватт по сравнению с предыдущим поколением. Согласно Intel, серия Xeon 6900P также значительно лучше справляется с рабочими нагрузками искусственного интеллекта. Чипы в линейке могут выполнять некоторые задачи логического вывода в 2,3 раза быстрее, чем их предшественники.

В процессорах Xeon 6900P используются только ядра, оптимизированные для повышения производительности. Флагманский процессор серии, Xeon 6980P, поставляется с кэшем L3 объемом 504 МБ и 128 ядрами, работающими на базовой частоте 2 ГГц. При выполнении ресурсоемких рабочих нагрузок они могут почти удваивать эту скорость до 3,9 ГГц в течение коротких периодов времени.
siliconangle.com

✔️AutoToS cделает планирование LLM быстрым, точным и недорогим.

Исследователи из Корнельского университета и IBM Research представили AutoToS, новую методику, которая сочетает в себе возможности LLM по планированию со скоростью и точностью алгоритмов поиска на основе правил. AutoToS устраняет необходимость вмешательства человека и значительно снижает вычислительные затраты на решение задач планирования.

AutoToS работает в несколько этапов. Сначала он предоставляет LLM описание проблемы и предлагает сгенерировать код для функций-преемников и целевых функций. Затем он запускает модульные тесты целевой функции и предоставляет модели обратную связь в случае сбоя.

Далее модель использует эту обратную связь для исправления своего кода. После того как целевая функция проходит тесты, алгоритм запускает ограниченный поиск в ширину, чтобы проверить, являются ли функции надежными и полными. Этот процесс повторяется до тех пор, пока сгенерированные функции не пройдут все тесты. Наконец, проверенные функции подключаются к классическому алгоритму поиска для эффективного выполнения полного поиска.
venturebeat.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

25 Sep 2024 21:01

🌟 Параллельные стратегии с Jax: обучающий туториал.

Обучение LLM требует огромных вычислительных ресурсов. Поскольку размеры моделей исчисляются миллиардами параметров, специализированные методы распараллеливания необходимы для того, чтобы сделать обучение выполнимым.

В статье "Исследование параллельных стратегий с Jax" подробно рассматривается реализация некоторых стратегий масштабирования в Jax - фреймворке Python, предназначенном для высокопроизводительных численных вычислений с поддержкой ускорителей GPU и TPU.

Стратегии, описанные в туториале с примерами кода и иллюстрациями:

🟢Data Parallelism - распределение данных между несколькими устройствами, которые одновременно обучают модель;  

🟢Tensor Parallelism - распределение весов модели между устройствами, позволяет каждому устройству обрабатывать свою часть тензора параллельно; 

🟢Pipeline Parallelism разделяет модель на этапы, которые выполняются последовательно на разных устройствах; 

🟢Mixture-of-Experts использует множество специализированных экспертов для обработки различных частей входных данных, что позволяет масштабировать модель до огромных размеров.


▶️ Автор статьи - Александр Самарин, Lead ML Engineer в Huawei c 5-ти летнем опытом в глубоком обучении.


@ai_machinelearning_big_data

#AI #ML #LLM #JAX #Tutorial

Machinelearning

25 Sep 2024 14:01

⚡️ Llama 3.1-Nemotron-51B-Instruct: модель от NVIDIA по методу Neural Architecture Search.

Llama 3.1-Nemotron-51B-Instruct основана на Llama 3.1-70B и предназначена для NLP-задач генерации текста, чата, рассуждения и обобщения. Мультиязычность наследована от родительская модель. Llama 3.1-Nemotron-51B-Instruct также умеет обрабатывать языки программирования.

Архитектура модели построена с использованием методологии Neural Architecture Search (NAS) и блочной дистилляции.

NAS позволяет отобрать наиболее эффективные блоки трансформера для каждого слоя модели, а блочная дистилляция обеспечивает перенос знаний от исходной модели Llama 3.1-70B к более компактной Llama 3.1-Nemotron-51B-Instruct.

Полученная архитектура имеет нерегулярную структуру блоков с уменьшенным количеством операций внимания и полносвязных слоев, что существенно снижает вычислительную сложность и объем используемой памяти.

В процессе обучения модели использовались бенчмаркиMT-Bench и MMLU. Тестирование проводилось на задачах генерации текста, перевода и ответов на вопросы.

Результаты показали, что инференс Llama 3.1-Nemotron-51B-Instruct в 2.2 раза быстрее "родительской" модели (Llama 3.1-70B) при сохранении практически той же точности.

Благодаря сниженным требованиям к памяти, модель может обрабатывать в 4 раза большие объемы данных на одном GPU.


▶️Рекомендованные аппаратные конфигурации:

🟠FP8 - H100-80GB (версии FP8 пока нет в открытом доступе);

🟢BF16 - 2x H100-80GB GPU или 2x A100-80GB GPU.

▶️Пример инференса на Transformers (версия 4.44.2 или выше):

import torch
import transformers

model_id = "nvidia/Llama-3_1-Nemotron-51B-Instruct"
model_kwargs = {"torch_dtype": torch.bfloat16, "trust_remote_code": True, "device_map": "auto"}
tokenizer = transformers.AutoTokenizer.from_pretrained(model_id)
tokenizer.pad_token_id = tokenizer.eos_token_id

pipeline = transformers.pipeline(
    "text-generation", 
    model=model_id, 
    tokenizer=tokenizer, 
    max_new_tokens=20, 
    **model_kwargs
)
print(pipeline([{"role": "user", "content": "Hey how are you?"}]))

Machinelearning

25 Sep 2024 09:10

✔️ Лаборатория NASA SPAR Lab представила ИИ для космических аппаратов.

Инженеры NASA разработали OnAIR, который делает космические аппараты более автономными и отказоустойчивыми. OnAIR — это программный комплекс с открытым исходным кодом на платформе GitHub для разработки и развертывания алгоритмов ИИ.

Прототип OnAIR был протестирован в миссии NASA NAMASTE, где дроны измеряли выбросы метана в районах вечной мерзлоты на Аляске. Он позволил дронам оптимизировать сбор данных, обрабатывая информацию с датчиков и корректируя маршрут в реальном времени.

OnAIR также был протестирован на Международной космической станции (МКС) с использованием платформы SpaceCube.

Инженеры NASA интегрировали его с основной системой управления SpaceCube, преодолев технические сложности - ограниченная вычислительная мощность и адаптация ПО к архитектуре процессора.
spacenews.com

✔️ AI-чатбот от команды Facebook начнет говорить голосами Джуди Денч, Джона Сины и других знаменитостей.

Разработчики готовится представить на этой неделе голосовой чат-бот с голосами известных актеров, включая Джуди Денч, Кристен Белл и Джона Сину. Пользователи смогут выбирать голос знаменитости для взаимодействия с цифровым помощником Meta, аналогичным ChatGPT.

Запуск функции запланирован в США и других англоязычных странах и будет доступен в приложениях компании, включая Facebook, Instagram и WhatsApp.

В прошлом году Meta уже экспериментировала с добавлением элементов звездности в чат-бот, запустив текстовые версии с образами Пэрис Хилтон и Снуп Дога, но они не получили большой популярности.
reuters.com


✔️ ruMorpheme: реализация метода морфемного анализа для русского языка.

Проект на Github представляет собой программную реализацию метода "Deep Convolutional Networks for Supervised Morpheme Segmentation of Russian Language" для проведения морфемного анализа и сегментации слов русского языка.

Обученная модель проекта способна сегментировать слова на приставки, корни, соединительные гласные, дефисы, суффиксы, постфиксы и окончания.

Проект, помимо инференса, укомплектован скриптами для самостоятельной тренировки и валидации модели.
ruMorpheme

✔️ Customer Engagement Suite with Google AI: клиентский офис как сервис.

Customer Engagement Suite (CES) с Google AI — комплексное решение, которое сочетает в себе функции ИИ (Gemini Flash 1.5) для контакт-центров. CES формирует целостный и последовательный подход к обслуживанию клиентов с широким спектром сторонних решений: телефонию, CRM и HR.

Customer Engagement Suite включает в себя : Conversational Agents для создания виртуальных агентов с детерминированной (основанной на правилах) и GenAI функциональностью, Agent Assist для оказания поддержки в реальном времени, Conversational Insights для анализа данных о взаимодействии с клиентами и выявления областей для улучшения.

Платформа поддерживает многоканальное взаимодействие через веб-интерфейсы, мобильные устройства, голосовые каналы, электронную почту и приложения, и работает с текстовой, голосовой и визуальной информацией.
cloud.google.com


@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

24 Sep 2024 15:28

🥥 Kokoc Hackathon 2024: Объединяй технологии, спорт и бизнес!

Прими участие в Kokoc Hackathon 2024 – событии, где спорт, e-commerce и технологии сливаются воедино! С 3 по 18 октября ты сможешь решить реальные кейсы и побороться за призовой фонд в 1 000 000 рублей.

💼 Приглашаем аналитиков, ML-специалистов, Product-менеджеров, Backend и Frontend-разработчиков (знание Python, Django и/или PHP будет преимуществом), UI/UX-дизайнеров, студентов и выпускников технических вузов.

🎯 Задачи хакатона:
1. Веб-платформа для футбольного клуба – создай платформу для взаимодействия клуба и болельщиков.
2. Интеллектуальная рекомендательная система – создай ML-модель, прогнозирующую действия пользователей интернет-магазина.

📅 Таймлайн:
🔸 3 сентября - 30 сентября: Регистрация
🔸 3 октября: Открытие и задачи
🔸 4 - 10 октября: Чек-поинты с экспертами
🔸 18 октября: Питчинг и награждение

👉 Регистрируйся до 30 сентября! https://cnrlink.com/kokochack2024mlbigdata

Реклама. ООО «Эдбокс». ИНН: 9702043065. erid: LjN8KXx1z

Machinelearning

23 Sep 2024 18:01

🌟 PDLP: метод быстрого решения задач линейного программирования.

PDLP (PDHG для LP) - это метод быстрого решения задач линейного программирования с высокой точностью, что важно для многих областей применения - от машинного обучения до оптимизации бизнес-процессов.

PDLP ориентирован на решение крупномасштабных задач, где традиционные методы, такие как симплекс-метод и метод внутренних точек, становятся неэффективными из-за необходимости факторизации матриц.

В основе PDLP лежит принцип primaldual hybrid gradient (PDHG), примененный к задаче седловой точки, эквивалентной исходной задаче ЛП. Для повышения эффективности PDHG в PDLP реализован ряд усовершенствований:

🟢адаптивный выбор шага;
🟢адаптивный перезапуск;
🟢динамическое обновление весов первичных переменных;
🟢предварительное решение;
🟢диагональное предобуславливание.

Алгоритм PDLP начинает работу с предварительного решения и диагонального предобуславливания. Предварительное решение упрощает задачу путем выявления и устранения избыточных ограничений, переменных и других упрощений.

Диагональное предобуславливание масштабирует матрицу ограничений для улучшения сходимости алгоритма. После выполнения этих операций запускается основной итерационный процесс PDHG с адаптивным выбором шага и перезапусками.

Для оценки эффективности алгоритма PDLP использовались три набора данных: MIP Relaxations, LP benchmark и Netlib. Результаты сравнивались с baseline PDHG и с другими методами первого порядка: SCS (в прямом и матрично-свободном режимах) и улучшенной реализацией метода экстраградиента.

Эксперименты показали, что PDLP значительно превосходит baseline PDHG по скорости решения задач и количеству решенных задач. При этом PDLP на некоторых задачах показывает производительность, сопоставимую с коммерческим решателем линейного программирования Gurobi.

Важным результатом является успешное применение PDLP для решения задачи ранжирования веб-страниц PageRank, где традиционные методы не справляются из-за больших размеров задачи.

Тестирование проводилось на случайных графах типа Barabási-Albert с макс. количеством узлов до 10^7.

PDLP успешно решил задачи PageRank за 5.4 часа (граф 10^7 узлов с точностью 10^-8), в то время как Gurobi столкнулся с ошибками нехватки памяти.

▶️ Экспериментальная реализация для решения задач линейного программирования методами PDLP на графических процессорах NVIDIA в среде языка программирования Julia:

# set up the necessary packages:
$ julia --project -e 'import Pkg; Pkg.instantiate()'

# run solve.jl script
$ julia --project scripts/solve.jl \
--instance_path=INSTANCE_PATH --output_directory=OUTPUT_DIRECTORY \
--tolerance=TOLERANCE --time_sec_limit=TIME_SEC_LIMIT

# The results are written to JSON and text files
# in is the working directory.

Machinelearning

23 Sep 2024 13:01

⚡️ Vikhr: новые модели на 12B и 8B для русского языка с уникальным методом выравнивания.

Vikhr Team — сообщество энтузиастов, занимающихся созданием и развитием русифицированных LLM, выпустили две новые модели, оптимизированные для русского языка в задачах генерации кода, решения математических задач, обобщения, ответов на вопросы и построения логических выводов. Обе модели адаптированы для RAG и могут выступать реранкером на уровне LLM.

▶️ Vikhr-Nemo-12B-Instruct-R-21-09-24 — инструктивная модель на базе Mistral-Nemo-Instruct-2407 с 12 млрд. параметров и контекстным окном в 128К токенов.
В бенчмарке Ru-Arena General, Vikhr-Nemo-12B-Instruct-R-21-09-24 достигла результата в 79.8, уступая только двум моделям семейства GPT-4 .

🟢Версии квантования Vikhr-Nemo-12B-Instruct-R-21-09-24 в разрядности от 3-bit (6.08 Gb) до 16-bit (24.5 GB) в GGUF формате.

▶️ Vikhr-Llama3.1-8B-Instruct-R-21-09-24 — инструктивная модель на базе Meta-Llama-3.1-8B-Instruct с 8 млрд. параметров, контекстным окном в 128К токенов. В Ru-Arena General она показала значение winrate 63.4. По словам Vikhr Team — это лучший результат среди 8B моделей с поддержкой русского языка.

🟠Версии квантования Vikhr-Llama3.1-8B-Instruct-R-21-09-24 в разрядности от 3-bit (4.02 Gb) до 16-bit (16.1 GB) в GGUF формате.

Для файнтюна базовых моделей Mistral-Nemo-12B и Llama-3.1-8B, Vikhr Team разработали уникальный метод выравнивания — Simple Margin Preference Optimization (SMPO).

Он представляет собой микс из техник, заимствованных из CRLFT, IPO и SimPO, с добавлением своей функции потерь. Метод опубликован в репозитории на GitHub в комплекте тулкита скриптов и конфигураций, использовавшихся для обучения представленных моделей.

В процессе обучения моделей использовался кастомный SFT-датасет GrandMaster-PRO-MAX, собранный Vikhr Team самостоятельно, для следования самым разным наборам инструкций на разных языках (в основном на русском) и отвечать также - на русском языке. В него была включена CoT-способность.


📌Лицензирование : Apache 2.0 License.



🟡Модель Vikhr-Nemo-12B-Instruct
🟡Модель Vikhr-Llama3.1-8B-Instruct
🟡GGUF Vikhr-Nemo-12B-Instruct
🟡GGUF Vikhr-Llama3.1-8B-Instruct
🟡Датасет
🟡Demo Vikhr-Nemo-12B-Instruct
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Vikhr

Machinelearning

23 Sep 2024 11:00

🔹 Мощная техника решения ML задач - Ансамбли моделей

Изучите популярные методы ансамблирования: Бэггинг, Случайный лес и Стекинг на открытом уроке Otus

✅ Практика: Применение ансамблей моделей для решения задач ML

Научитесь работать с важнейшими моделями машинного обучения, NLP, DL, рекомендательными системами на практике с реальными данными на курсе «Machine Learning. Professional»

👉 Регистрация на урок и подробности:
https://otus.pw/taxS/?erid=LjN8KZus1

О рекламодателе

Machinelearning

22 Sep 2024 11:31

🌟 WordLlama: простой тулкит для NLP.

WordLlama — это быстрый и легкий набор инструментов для обработки естественного языка для задач нечеткой дедупликации, оценки сходства и ранжирования слов.

Он оптимизирован для CPU и способен создавать эффективные представления текстовых лексем, используя компоненты из больших языковых моделей, например LLama3.

Ключевые особенности WordLlama:

🟢Представления матрешки: пользователь могут обрезать измерения эмбеддинга по мере необходимости, 1024-dim может быть усечена до 64, 128, 256 или 512.

🟢Низкие требования к ресурсам: WordLlama эффективно работает на CPU, выполняя быстрый поиск токенов со средним пулом.

🟢Бинаризация: будущие обновления будут включать модели, которые можно упаковать в небольшие целочисленные массивы для более быстрых вычислений с использованием расстояния Хэмминга.

🟢Инференс только на основе NumPy: конструкция легкая и простая, что позволяет легко интегрировать ее в существующие рабочие процессы.

Эксперименты на наборе данных MTEB показывают, что WordLlama превосходит GloVe 300d по всем показателям, несмотря на значительно меньший размер (16 МБ против >2 ГБ).

WordLlama демонстрирует высокую производительность в задачах кластеризации, реранжирования, классификации текстов и семантического поиска.

В будущем разработчики планируют добавить функции для семантического разделения текста, а также примеры блокнотов и конвейеры RAG.


📌Лицензирование : MIT License.


🟡Demo
🖥Github


@ai_machinelearning_big_data

#AI #ML #Toolkit #NLP #WordLlama

Machinelearning

21 Sep 2024 19:45

Группа «Интер РАО» запустила ТурбоХакатон по обработке данных в сфере электроэнергетики. Участвуйте в соревновании с 10 октября по 26 ноября и получите шанс разделить призовой фонд в 500 000 рублей.

Регистрация уже открыта

Приглашаем на хакатон специалистов в области Data Science и Machine Learning от 18 лет. Участвовать можно индивидуально или в команде до 5 человек.

Задачи ТурбоХакатона:
1️⃣ Цифровой ассистент – система «вопрос\ответ» для быстрого поиска ответов во внутренней документации компании через вопросы, заданные в свободной форме
2️⃣ Система рекомендации технологических параметров для оптимизации режимов работы ТЭС
3️⃣ Анализ аномалий в платежах за тепловую энергию
4️⃣ Оптимизация маршрутов обхода многоквартирных домов для проверки состояния приборов учета и контроля достоверности показаний
5️⃣ Оптимизация процесса планирования закупки топлива на электростанциях на основе прогнозирования цены электричества и объемов его выработки

Расписание мероприятия:
🔹 08.10 – старт ТурбоХакатона и открытие задач;
🔹 10.10-04.11 – работа над задачей;
🔹 08.11-12.11 – отбор лучших решений для участия в финальном питчинге;
🔹 19.11 – итоговая питч-сессия и презентация решений для жюри ТурбоХакатона;
🔹 26.11 – объявление результатов и награждение победителей.

Успейте подать заявку до 4 октября

Реклама. Фонд «Энергия без Границ». ИНН 7704278904. erid: LjN8JuF3i

Machinelearning

20 Sep 2024 19:00

🌟 Агенты GenAI: Репозиторий Github c обширной базой знаний и примерами.

GenAI-агенты - это системы ИИ, способные взаимодействовать с окружающим миром и выполнять разнообразные задачи, подобно человеку. В отличие от традиционных систем ИИ, GenAI-агенты обладают большей гибкостью, адаптивностью и способностью к обучению.

Репозиторий - кладезь теоретических и практических знаний: примеры, начиная от простых разговорных ботов до сложных многоагентных систем, обучающие материалы для всех уровней — от начинающих до опытных пользователей, заинтересованных в изучении и применении современных технологий GenAI.

Простые агенты:

🟢простые диалоговые агентов и агенты для ответов на вопросы;
🟢агенты для анализа данных;

Агенты для конкретных задач:

🟠клиентская поддержка;
🟠оценка эссе и сочинений;
🟠планировщик путешествий;

Творческие агенты:

🟢агент генерации GIF-анимации;
🟢агент для генерации речи на основе текста;
🟢агент для генерации музыкальных композиций;

Сложные системы агентов:

🟠разговорный агент с расширенной памятью;
🟠многоагентные системы;
🟠самосовершенствующиеся агенты;
🟠агенты, ориентированные на выполнение задач;
🟠агенты для поиска и обобщения информации в Интернете;
🟠 исследовательские группы агентов на базе Autogen;

Специальные сложные агенты:

🟢агент для комплексных задач с использованием RAG.


▶️Практическое изучение и создание агентов GenAI::

# Клонируйте репозиторий
git clone https://github.com/NirDiamant/GenAI_Agents.git

#Перейдите к интересующей вас технике
cd all_agents_tutorials/technique-name

#Следуйте подробному руководству по применению в каталоге каждой техники.

Machinelearning

20 Sep 2024 12:19

🌟 jina-embeddings-v3: мультиязычная модель эмбединга текста.

jina-embeddings-v3 - мультиязычная (89 языков, включая русский) многозадачная модель текстового эмбединга с 570M параметров, предназначенная для задач NLP.

Модель построена на архитектуре Jina-XLM-RoBERTa, поддерживает Rotary Position Embeddings для обработки длинных входных последовательностей до 8192 токенов. Она оснащена 5 адаптерами LoRA для генерации эмбедингов, специфичных для конкретной задачи:

🟢retrieval.query: эмбединг запросов в задачах асимметричного поиска;

🟢retrieval.passage: эмбединг фрагментов текста в задачах асимметричного поиска;

🟢separation: для эмбедингов в приложениях для кластеризации и повторного ранжирования;

🟢classification: эмбединг в задачах классификации;

🟢text-matching: используется для эмбедингов в задачах, которые количественно оценивают сходство между двумя текстами, например, STS или симметричный поиск.

Адаптеры LoRA составляют менее 3% от общего числа параметров, обеспечивая минимальные расходы на вычисления.

Имея размерность вывода по умолчанию 1024, пользователи могут произвольно сократить размерность эмбедингов вплоть до 32 без ущерба для производительности благодаря интеграции Matryoshka Representation Learning.

Модель доступна через API Jina, а также в ближайшее время будет доступна на Azure Marketplace и AWS SageMaker.

Jina AI сотрудничает с поставщиками векторных баз данных (Pinecone, Qdrant и Milvus), с платформами оркестрации LLM (LlamaIndex, Haystack и Dify), чтобы обеспечить интеграцию с Jina Embeddings V3.

Jina Embeddings V3 можно использовать локально через Transformers или SentenceTransformers. Модель также поддерживает формат ONNX.


📌Лицензирование : CC BY-NC 4.0 License. Для коммерческих проектов - свяжитесь с разработчиком.


🟡Страница проекта
🟡Arxiv
🟡Модель
🟡Demo
🟡Сообщество в Discord


@ai_machinelearning_big_data

#AI #ML #LLM #Embedding #JinaAI

Machinelearning

20 Sep 2024 09:07

Новостной дайджест

✔️ YouTube анонсировала AI функции для создателей контента и зрителей.

СEO YouTube Нил Мохан объявил о запуске набора новых функций на основе искусственного интеллекта, которые будут внедрены на платформе до конца года.

Среди новых возможностей - функция создания шестисекундных видеороликов на основе текста, которые можно будет использовать в YouTube Shorts. Функция будет работать на базе технологии ИИ Google DeepMind.

Все видео, созданные с помощью ИИ, будут помечены водяным знаком SynthID, разработанным DeepMind . Эта технология позволяет идентифицировать материалы, созданные ИИ, чтобы помочь зрителям отличать их от контента, созданного людьми.

Помимо генерации видео, YouTube внедрит функции Dream Track, позволяющую создавать инструментальные треки для Shorts и Music AI Sandbox для создания музыкальных “лупов”.

Платформа расширит возможности автоматического дубляжа видео на другие языки, а обновление “выразительной речи” сделает дубляж более естественным.

Новая кнопка “Хайп” позволит зрителям предлагать видео для включения в новый раздел трендов.
Для авторов контента будут внедрены новые способы монетизации во время прямых трансляций, аналогичные TikTok Live и Twitch.
nbcnews.com

✔️ Co-LLM: алгоритм для повышения точности инференса моделей.

В MiT разработали новый алгоритм Co-LLM, который позволяет большой языковой модели общего назначения LLM сотрудничать со специализированной моделью для повышения точности ответов. Co-LLM анализирует каждое слово в ответе базовой LLM и определяет, когда следует обратиться к экспертной модели для получения более точного ответа. Алгоритм использует "переключающую переменную", обученную на данных предметной области, чтобы определить, какая из моделей обладает большей компетентностью в конкретной части ответа.

Co-LLM показал эффективность в различных сферах: медицинские вопросы, математические задачи и вопросы на рассуждение. Например, при ответе на вопрос о составе лекарственного препарата, базовая LLM может допустить ошибку, в то время как Co-LLM, обратившись к специализированной модели Meditron, предоставит верный ответ.
news.mit.edu

✔️ Fal.ai привлекла $23 млн. от a16z и других венчурных компаний.

Fal.ai - платформа, которая специализируется на генерации аудио, видео и изображений. Компания объявила о привлечении $23 млн инвестиций от Andreessen Horowitz (a16z), сооснователя Black Forest Labs Робина Ромбаха, генерального директора Perplexity Аравинда Сриниваса и других. $14 млн были получены в рамках раунда серии A под руководством Kindred Ventures, а остальные $9 млн – в рамках ранее не объявленного раунда начального финансирования под руководством a16z.

Fal.ai предлагает два основных продукта: частные вычислительные мощности и рабочие процессы для запуска моделей, а также API для моделей с открытым исходным кодом, которые генерируют изображения, аудио и видео. Платформа была одной из первых, кто разместил Flux от Black Forest Labs.

Компания планирует направить большую часть полученных средств на модернизацию своего продукта и на создание исследовательской группы, которая сосредоточится на оптимизации моделей
techcrunch.com

✔️ Sonarworks выпустил SoundID VoiceAI 2.0 с новыми пресетами и локальной обработкой.

SoundID VoiceAI - это плагин для преобразования голоса, разработанный Sonarworks для DAW. Он позволяет легко изменять записанный певческий голос в голос другого человека с помощью технологии ИИ. Обновленная версия 2.0 добавляет новые функции, включая 50 высококачественных пресетов для голоса и инструментов.

Одним из ключевых преимуществ SoundID VoiceAI 2.0 является новый тип лицензирования - Perpetual Mode. С ним пользователи могут обрабатывать неограниченное количество аудиотреков локально на своем компьютере без каких-либо дополнительных затрат. Бесплатную пробную версию (7дней) SoundID VoiceAI 2.0 можно загрузить на сайте Sonarworks.
mixdownmag.com.au

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

26 Sep 2024 18:01

🌟 Как связать тяжелые процессинги и инференс моделей, даже если нагрузка в процессинге превышает возможности вашего сервиса

Разработчик из Яндекса рассказывает, как решали задачу генерации миллиардов рекламных объявлений на малом количестве GPU. Команда разработала сервис для инференса, причём как для моделей GPU‑intensive, так и для тех, которые считаются на ядре. Равномерное распределение нагрузки в момент обработки событий помогло утилизировать внутренние ресурсы полностью и экономить ресурсы во внешних сервисах, не получая даунтайм при наплыве новых клиентов или событий.

🟡 Habr

@ai_machinelearning_big_data

#ml #ai

Machinelearning

26 Sep 2024 10:19

🖥 CUDA Programming Course – High-Performance Computing with GPUs

Свежий Бесплатный курс от freeCodeCamp по программированию CUDA.
Этот 12 -ти часовой видео курс научит вас программировать с помощью Nvidia CUDA и использовать графические процессоры для высокопроизводительных вычислений и Deep learning.

Содержание:
🔜 (0:00:00) Вступление
🔜 (0:16:52) Глава 1 (Экосистема глубокого обучения)
🔜 (0:37:43) Глава 2 (Настройка CUDA)
🔜 (0:47:03) Глава 3 (Обзор C/C++)
🔜(1:35:47) Глава 4 (Введение в графические процессоры)
🔜 (1:51:40) Глава 5 (Написание ваших первых ядер)
🔜 (3:55:26) Глава 6 (CUDA API)
🔜 (5:35:22) Глава 7 (Быстрое умножение матриц)
🔜 (8:22:36) Глава 8 (Triton)
🔜 (9:04:43) Глава 9 (Расширения PyTorch)
🔜 (9:18:10) Глава 10 (Многослойный персептрон MNIST)
🔜 (11:41:13) Глава 11 (Что изучать дальше?)
🔜 (11:54:38) Заключение

▪Video: https://www.youtube.com/watch?v=86FAWCzIe_4
▪Code: https://github.com/Infatoshi/cuda-course
▪Github https://github.com/Infatoshi/mnist-cuda
▪Nvidia CUDA in 100 Seconds: https://youtu.be/pPStdjuYzSI?si=WIUc--IpgN-Qi2AP

#cuda #deeplearning #cpp #c #bigdata #courses #бесплатныйкурс

@ai_machinelearning_big_data

Machinelearning

25 Sep 2024 21:58

⚡️ Llama 3.2 : релиз VLM, SLM моделей и дистрибутива Llama Stack.

Только что были опубликованы набор моделей семейства Lllama 3.2.

Семейство Llama 3.2 разработано для решения мультимодальных задач: понимание документов с графиками и диаграммами, создание аннотаций к изображениям, локализация объектов на изображениях по текстовому описанию.

Список моделей релиза:

🟢Llama-3.2-90B-Vision и версия Instruct;

🟢Llama-3.2-11B-Vision и версии Instruct и Guard-3;

🟢Llama-3.2-3B и версия Instruct;

🟢Llama-3.2-1B и версии - Instruct, INT4 и Guard-3.

Малые модели (1B и 3B) созданы методом обрезки и дистилляции знаний на основе модели Llama-3.1-8B. Они оптимизированы для работы на мобильных устройствах и предназначены для обобщения текста, обработка инструкций и генерации текста.

Модели были дополнительно настроены для обработки контекста длиной до 128 тыс. токенов. Эти модели протестированы на оборудовании Qualcomm и MediaTek и оптимизированы для процессоров Arm.

Архитектура больших моделей (11B и 90B) основана на предобученных текстовых моделях Llama 3.1, дополненных адаптерами и энкодерами для обработки изображений.

Результаты тестирования показали, что vision-модели Llama 3.2 сопоставимы с Claude 3 Haiku и GPT4o-mini, в задачах распознавания изображений и визуального понимания.

Модель 3B превосходит модели Gemma 2 2.6B и Phi 3.5-mini в обработке инструкций, обобщения, генерации текста и использования инструментов.

▶️ Llama Stack - дистрибутив, который значительно упростит усилия разработчиков с моделями Llama в различных средах: одноузловые, локальные, облачные и на носимых устройствах, позволяя развертывать "под ключ" RAG и приложения с поддержкой инструментов с интегрированной системой безопасности.

Развертывание на устройствах осуществляется с помощью PyTorch ExecuTorch, а распространение на одном узле - с помощью Ollama. В родительском репозитории дополнительно опубликованы клиентские SDK на NodeJS, Python, Swift, Kotlin.

Все модели Llama 3.2 доступными для скачивания на llama.com и Hugging Face, а также на партнерских платформах : AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake и др.


📌Лицензирование :

🟢Код Llama Stack: MIT License.

🟠Модели : Lama3.2


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Demo Llama-1B
🟡Demo Llama-3B
🖥GitHub Llama-Stack


@ai_machinelearning_big_data

#AI #ML #LLM #Llama

Machinelearning

25 Sep 2024 19:01

Учитесь в универе и давно хотите попробовать свои силы в решении реальных кейсов по машинному обучению и нейросетям? Международные олимпиады — отличный способ проверить свои знания и выйти на новый уровень!

Одна из таких олимпиад — AIDAO от Яндекса и НИУ ВШЭ. Участникам предстоит решать IT-задачи в команде из 2-3 человек, а победители получат денежные призы до 600 тысяч рублей!

Выполнять задания олимпиады нужно на английском, но разрешено пользоваться переводчиком. Если у вас нет команды, то вам помогут её найти во время регистрации.

Чтобы принять участие, надо:

- быть студентом бакалавриата или магистратуры в российском или зарубежном вузе;
- разбираться в ML, алгоритмах и работе с данными;
- подать заявку на сайте до 5 октября.

Не упустите шанс применить свои навыки на практике и посоревноваться со студентами со всего мира!

Machinelearning

25 Sep 2024 12:02

erid:2VtzqviDi7A

Как устроена работа ИТ-специалистов в Т-Банке?

Загляните в канал T-Crew — тут показывают будни команды и делятся полезным:

— Дайджесты вакансий, регистрация на fast track и приглашения от руководителей.
— Анонсы мероприятий. Например, когда пройдет следующий ИТ-каток, ИТ-пикник и другие нашумевшие ивенты.
— Кейсы, статьи и лайфхаки для работы — от методов планирования до карьерного роста.

Подписаться на T-Crew

Machinelearning

24 Sep 2024 16:31

🌟 CUTLASS Tutorial: Быстрое матричное умножение с WGMMA на GPU NVIDIA Hopper.

Большой, подробный и лаконичный туториал в 2-х частях по оптимизации матричного умножения на микроархитектуре Hopper (H100) с использованием библиотеки CUTLASS.

CUTLASS - это набор реализаций алгоритмов линейной алгебры (шаблонов) для использования на CUDA в задачах глубокого обучения, инженерных расчетах и научных исследованиях.

▶️Первая часть посвящена инструкции WGMMA (asynchronous warpgroup matrix-multiply and accumulate) - как она работает, какие ограничения имеет на размер и расположение данных в памяти и как использовать синхронизацию для правильного выполнения операций.

В этой части подробно рассматривается концепция «ядерных матриц» и «матричных дескрипторов», которые нужны для эффективной работы с WGMMA.

✔️ Вторая часть про умножение матриц(GEMM) и методы повышения эффективности GEMM-ядра путем конвейеризации. Рассматриваются две стратегии пайплайна : многоступенчатую и warp-specialization, с подробным описанием их концепции, применением CUTLASS для их построения и сравнивается производительность стратегий.

В конце туториала кратко описывается реализация конвейеризации в GEMM-ядрах для архитектуры Ampere.


@ai_machinelearning_big_data

#AI #ML #CUTLASS #Tutorial

Machinelearning

24 Sep 2024 09:42

Новостной дайджест

✔️ Cloudflare позволит сайтам взимать плату с AI-ботов за скрапинг.

В следующем году Cloudflare планирует запустить торговую площадку, на которой владельцы веб-сайтов смогут продавать разработчикам моделей ИИ доступ к своему контенту для обучения. Это решение является частью стратегии компании, направленной на предоставление владельцам сайтов большего контроля над ИИ-ботами.

Новая торговая площадка предложит различные варианты оплаты: от фиксированной платы до модели, основанной на количестве запросов.

Многие разработчики ИИ используют контент небольших веб-сайтов без соответствующей компенсации, что негативно отражается на бизнес-моделях этих сайтов, а также приводит к увеличению нагрузки на серверы и росту расходов.
techcrunch.com

✔️ AnySkin - универсальный сменный тактильный датчик для роботов.

AnySkin - это новый сенсорный датчик для роботов, который легко собирается, совместим с различными манипуляторами и может быть использован на разных типах поверхностей.

Датчик работает за счет измерения искажений магнитного поля, создаваемого намагниченными железными частицами на сенсорной поверхности.

Благодаря гибкой и легко заменяемой конструкции AnySkin решает проблему долговечности и универсальности, которая долгое время препятствовала развитию эффективных тактильных сенсоров для роботов.
any-skin.github.io

✔️ В Китае открылась первая в мире больница с AI - врачами.

«Agent Hospital» - детище Tsinghua University открылся в Пекине. В клинике "работают" 14 ИИ-врачей и 4 виртуальные медсестры. Agent Hospital может обслуживать 10 000 пациентов всего за несколько дней, в то время как у врачей-людей на это ушло бы до двух лет.

Интеграция ИИ в медицинское обслуживание должна повысить доступность, скорость и оперативность реагирования на потребности пациентов.

С ростом спроса на медицинские услуги и увеличением нагрузки на медицинских работников, решения по типу такой клиники может снизить нагрузку на врачей и медсестер, предоставляя при этом быстрый и точный уход за пациентами.
thedailycpec.com

✔️ Intel Gaudi 3 выйдет на следующей неделе.

Intel готовится выпустить на следующей неделе свой новый ИИ-ускоритель Gaudi 3, который, по заявлению компании, превосходит по энергоэффективности своего предшественника более чем в два раза и способен запускать ИИ-модели в 1,5 раза быстрее, чем GPU Nvidia H100.

Ускоритель был протестирован на Llama от Meta и Falcon от TII, и продемонстрировал способность эффективно обучать и развертывать языковые и мультимодальные модели.

В 2025 году Intel планирует выпустить Falcon Shores – преемника Gaudi 3, который объединит ИИ-возможности Gaudi с мощными GPU Intel в одном корпусе.
analyticsindiamag.com

✔️ В Калифорнии принят закон, защищающий наследие умерших артистов.

Сенат Калифорнии принял законопроект №1836, который запрещает использование "цифровых копий" умерших артистов без согласия их наследников.

Закон распространяется на фильмы, телепередачи, видеоигры, аудиокниги, звукозаписи и другие медиа. Эта инициатива стала результатом протестов профсоюза актеров SAG-AFTRA против использования ИИ без контроля со стороны артистов.

Закон определяет «цифровую копию» как созданное компьютером, очень реалистичное электронное медиа, которое легко идентифицируется как голос или образ человека.

Новая правовая мера направлена на то, чтобы помочь наследникам умерших артистов контролировать использование их наследия. Ожидается, что закон в ближайшее время подпишет губернатор Гэвин Ньюсом.
miamarket.it

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

23 Sep 2024 16:00

Эксперты ИТМО составили рейтинг игроков, активно развивающих open-source проекты в Data/ML.

Участники оценивались по количеству опенсорс-проектов, их популярности, качеству репозиториев и активности контрибьюторов. Первое место занял Яндекс, следом за ним — Сбер и Т-банк.

Вот что обеспечило лидеру рейтинга первое место:
— Широкий спектр активных open-source проектов по различным направлениям Data/ML, включая модели и открытые данные.
— Высокий интерес пользователей к проектам компании, что подтверждается рейтингами, форками и скачиваниями на таких платформах, как GitHub. Особо выделяется CatBoost (библиотека для градиентного бустинга на дереве решений), который используется по всему миру.
— Высокое качество репозиториев и активная поддержка контрибьюторов.
— Поддержка open-source сообщества через мероприятия и гранты для независимых разработчиков.

В топе также оказались VK и МТС, а среди вузов — ИТМО, Сколтех, ВШЭ и AIRI.

Machinelearning

23 Sep 2024 12:00

🌟 Как Яндекс Браузер научил LLM-модели помогать пользователям с текстами

Нейроредактор в Браузере — это отдельный инструмент, который может создавать и редактировать тексты прямо там с помощью YandexGPT. При его улучшении команда разработки экспериментировала с различными подходами к обучению моделей:

🟢В качестве стартовой точки для офлайн-метрик использовалась диффалка, написанная на Go. Она работает на основе алгоритма поиска LCS-индексов, позволяя искать наидлиннейшие общие подпоследовательности между версиями текста. Это дало возможность проверять гипотезы о качестве и экономить время.

🟢Переход от архитектуры Decoder к Encoder-Decoder. Кодировщик понимает исходный текст, а декодер генерирует правильный вариант. Это сократило время генерации в 2 раза без потери качества.

🟢Использование Curriculum learning для постепенного увеличения сложности примеров. Примеры сортировались по расстоянию Левенштейна как показателю сложности.

🟢Фаза претрейна на большом "грязном" наборе данных перед тонкой настройкой на меньшем чистом наборе. Данные для предобучения собирались прогоном текста через существующую модель и добавлением искусственных ошибок. Это стабилизировало поведение на длинных текстах.

Эксперименты привели к ускорению в 2 раза и среднему улучшению качества на 10% на открытых наборах данных.

В Нейроредакторе расширили поддержку Маркдауна. Исходные модели могли непредсказуемо убрать часть спецсимволов или, наоборот, добавить. Это было исправлено путем восстановления разметки и переобучения модели.

🟡Статья

@ai_machinelearning_big_data

#AI #ML #LLM

Machinelearning

23 Sep 2024 09:10

⚡️ Machine Learning: Медицинский дайджест за период 7.09 - 14.09 2024 года

🟩 GP-GPT: LLM для сопоставления генов и фенотипов.

Результаты показывают, что GP-GPT превосходит по производительности Llama2/3 и GPT-4, в задачах, связанных с извлечением информации о генах и заболеваниях.

🟩 GMISeg: сегментация медицинских изображений без переобучения.

GMISeg (General Medical Image Segmentation) - модель для решения задач сегментации медицинских изображений без необходимости переобучения. Модель использует предварительно обученный на ImageNet энкодер изображений ViT и low-rank стратегию тонкой настройки к энкодеру подсказок и декодеру маски для эффективного обучения.

🟦 CoD: повышение интерпретируемости медицинских LLM.

Chain of Diagnoses (CoD) — это метод, который направлен на повышение прозрачности и объяснимости процесса диагностики с помощью больших языковых моделей. CoD разбивает процесс постановки диагноза на пять этапов, имитируя действия врача.

🔸Arxiv 🔸Github 🔸DiagnosisGPT-7B 🔸DiagnosisGPT-34B

🟦 AI Virtual Cell: Как создать виртуальную клетку с помощью ИИ.

AIVC — концепция модели, которая способна имитировать поведение молекул, клеток и тканей. Эта модель обучается на огромном количестве биологических данных, включая геномную информацию, изображения и результаты экспериментов.

Главная особенность AIVC — универсальные представления (UR). Они располагают биологические данные в многомерном пространстве, сохраняя при этом важные связи и закономерности.

🟦 Диагностика кожных заболеваний: интерпретируемое визуальное обнаружение концепций с SAM.

В исследовании рассматривается проблема диагностики кожных заболеваний на основе анализа клинических фотографий, полученных с помощью смартфонов. Авторы предлагают методику, основанную на использовании модели сегментации изображений SAM и cross-attention архитектуры.

🟦 Explicd:объяснимый диагноз на основе классификации медицинских изображений.

Explicd — модель, разработанная для объяснимой классификации медицинских изображений. Она способна не только делать точные описания, но и предоставлять обоснование своих решений, понятное для человека.

В основе архитектуры Explicd лежит интеграция диагностических критериев, сформулированных на естественном языке, с визуальными концепциями, извлеченными из изображений. Вначале Explicd запрашивает соответствующие знания из LLM (GPT-4) или получает их от экспертов. Эти знания преобразуются в текстовые диагностические критерии: цвет, форму, текстуру или специфические паттерны, характерные для анализируемого заболевания.

🟦 ReXErr: генерация клинических ошибок в отчетах по диагностической радиологии.

ReXErr продемонстрировал способность создавать различные типы ошибок в одном отчете с вариациями в пределах каждого подтипа ошибки. В выборке из 100 исходных отчетов с ошибками, рассмотренных клиницистом, 83 модифицированных отчета были признаны правдоподобными, в то время как только 17 содержали ошибки, которые были неправдоподобны в отчетах, сгенерированных LLM, или в отчетах, написанных врачом.

🟦 Тонкая настройка LLM для медицины: роль DPO.

В исследовании Стэнфордского университета изучается важность точной настройки LLM для задач клинической обработки естественного языка. Авторы сравнивают две распространенные методики: контролируемую точную настройку (SFT) и прямую оптимизацию параметров (DPO).

Результаты показали, что для простой классификации текста SFT достаточно, в то время как для более сложных задач - клиническое рассуждение, суммирование и сортировка, DPO значительно улучшает производительность. Авторы связывают это с тем, что DPO позволяет модели обучаться на контрасте между желательными и нежелательными ответами, что способствует более глубокому пониманию контекста.

📌 Подробности

#news #ai #ml #medtech

@ai_machinelearning_big_data

Machinelearning

21 Sep 2024 20:47

🌟 Local Knowledge Graph: создания графа знаний для изучения связанных вопросов и ответов.

Local Knowledge Graph - это простое веб-приложение на Flask, которое использует локальную языковую модель Llama для обработки запросов, создания пошаговых рассуждений и визуализации процесса мышления в виде интерактивного графа знаний.
Local Knowledge Graph также умеет отображать связанные вопросы и ответы на основе семантического сходства.

Возможности:

🟢интерактивный веб-интерфейс для запросов;

🟢пошаговый процесс рассуждения, который отображается в реальном времени;

🟢динамическая визуализация графа знаний этапов рассуждения;

🟢расчет и отображение лучшего пути рассуждения;

🟢связанные вопросы и ответы на основе семантического сходства;

🟢локальная обработка с использованием языковой модели Llama.


⚠️ Перед запуском приложения убедитесь, что у вас запущена языковая модель Llama (на любом бэкэенде) на порту 11434.
Возможность работы с другими семействами LLM автором репозитория не уточнялась.

▶️Установка и запуск:

# Clone repository:
git clone 
https://github.com/punnerud/Local_Knowledge_Graph.git

cd Local_Knowledge_Graph

# Install requirements
pip install -r requirements.txt

# Run the Flask app
python app.py

# Open a web browser and go to http://localhost:5100

Machinelearning

21 Sep 2024 09:50

Новостной дайджест

✔️ Google создал инструмент ИИ для мониторинга состояния зданий в городах.

Google выпустила инструмент на основе ИИ - Open Buildings 2.5D Temporal Dataset, отслеживающий визуальные изменения зданий. Набор данных охватывает территорию площадью 82 миллиона кв. км в Африке, Латинской Америке, Южной и Юго-Восточной Азии. Отслеживание изменений включает в себя оценку наличия, количества и высоты зданий за период с 2016 по 2023 г. Для обнаружения зданий использовались снимки со спутника Sentinel-2, который позволяет снимать заданный регион Земли примерно каждые пять дней, причем каждый пиксель на снимке представляет собой квадрат размером 10 м на реальной поверхности.
readwrite.com

✔️ АЭС в Пенсильвании будет перезапущена для обеспечения энергией дата-центров Microsoft.

Компания Constellation Energy объявила о планах по перезапуску закрытой атомной электростанции Три-Майл-Айленд в Пенсильвании. Перезапуск стал возможным благодаря соглашению с Microsoft, которая обязалась закупать электроэнергию, вырабатываемую станцией, в течение 20 лет. Данное решение является знаковым событием, демонстрирующим возобновление интереса к атомной энергетике на фоне растущих опасений по поводу изменения климата и необходимости обеспечения стабильных поставок электроэнергии.

Constellation Energy намерена инвестировать 1,6 миллиарда долларов в модернизацию реактора, включая замену главного силового трансформатора, восстановление турбин и систем охлаждения. Ожидается, что модернизированный реактор будет иметь мощность 835 мегаватт.
nytimes.com

✔️ Wordfreq, проект, анализирующий использование человеческого языка, закрывается из-за загрязнения данных генеративным ИИ.

Проект wordfreq, который предоставлял данные о состоянии языка на основе различных онлайн-источников, больше не будет обновляться. Это решение обусловлено из-за влияния генеративного ИИ и изменениями в доступности данных.
Генеративный ИИ загрязняет источники данных, они становятся ненадежными. Интернет, являвшийся важным источником информации для wordfreq, теперь переполнен контентом, созданным большими языковыми моделями. Этот контент часто не имеет подлинного человеческого намерения или коммуникации, искажая частоту слов.

Доступ к данным, которые раньше были бесплатными, теперь стал платным. Twitter и Reddit, ранее являвшиеся ценными источниками разговорного языка для wordfreq, больше не предоставляют открытые API.
edworking.com

✔️ Индийский режиссер Рам Гопал Варма отказывается от музыкантов в пользу музыки, созданной искусственным интеллектом.

Индийский режиссер Рам Гопал Варма, заявил, что будет использовать только музыку, созданную искусственным интеллектом в своих будущих проектах. Варма запустил проект под названием RGV Den Music, который будет использовать музыку, созданную Suno и Udio. Он утверждает, что ИИ обеспечивает мгновенное создание музыки с «нулевой стоимостью».
Варма раскритиковал композиторов за частые срывы сроков и конфликты в расписании, а авторов текстов обвинил в неспособности уловить суть песен.
techcrunch.com

✔️ Amazon запустил сервис генерации видеорекламы.

Amazon Ads запустил новую функцию - "Video Generator", которая использует генеративный ИИ для создания визуально привлекательных видеореклам за несколько минут. Инструмент предназначен для повышения креативности рекламодателей и создания контента.

Video Generator создает персонализированные видео по одному изображению продукта, подчеркивая особенности и преимущества товара. Он является дополнением к существующим инструментам Amazon Ads, которые позволяют рекламодателям генерировать изображения в разных стилях.
aboutamazon.com

@ai_machinelearning_big_data

#news #ai #ml

Machinelearning

20 Sep 2024 18:01

Если чувствуете, что хотите сделать следующий шаг в IT, то самое время действовать! Не ждите выпускного из школы или колледжа — развивайтесь в интересующем направлении прямо сейчас 🚀🌟

Помимо самообучения, стоит воспользоваться поддержкой опытных менторов и преподавателей. Яндекс Лицей, проект Яндекс Образования, предлагает именно такую возможность. На бесплатных онлайн-специализациях вы сможете углубить свои знания в одном из востребованных направлений:
- Веб-разработка на Django.
- Большие данные.
- Машинное обучение.
- Анализ данных.
- Веб-разработка на GO.

Специализации длятся 3 месяца и ориентированы на подростков 13-20 лет, у которых уже есть опыт в программировании. Во время онлайн-обучения вы прокачаете свои навыки, поработаете над реальными задачами и групповыми проектами, пообщаетесь со специалистами из индустрии… в общем, сделаете всё, чтобы подготовиться к карьере в IT!

Подайте заявку на специализации до 24 сентября и выйдите на новый уровень в IT!

Machinelearning

20 Sep 2024 11:02

Приглашение на открытый вебинар: Разметка данных с помощью CVAT

На данном открытом уроке вы узнаете:
- Как осуществляется разметка в CVAT.
- Как интегрировать собственную авторазметку.
- Про разные виды конвертеров готовой разметки.

В результате вебинара вы сможете:
- Начать использовать CVAT в своих проектах.
- Ускорить процесс разметки в десятки раз.
- Стать опытными пользователями CVAT.

Для кого это занятие:
Этот вебинар будет особенно интересен начинающим и продвинутым разработчикам компьютерного зрения, разметчикам.

Присоединяйтесь к открытому вебинару 23 сентября в 20:00 мск!

Встречаемся в преддверии старта курса «Компьютерное зрение». Все участники вебинара получат специальную цену на обучение!

Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие: https://clck.ru/3DNk6F

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ", ИНН: 9705100963

Machinelearning

19 Sep 2024 22:07

🌟 GRIN MoE: Mixture-of-Experts от Microsoft.

Модель GRIN (GRadient-INformed) MoE разработана Microsoft для использования в ИИ-системах и приложениях, где требуется мышление (задачи программирования, математики и логики), в сценариях с ограниченным временем ожидания и средах с ограниченным объемом ресурсов.

Модель построена на архитектуре Transformer. Отличительной чертой GRIN MoE является использование слоя Mixture-of-Experts (MoE) в качестве слоя feedforward.

Модель оперирует 16 экспертами и использует top-2 маршрутизацию, активируя два эксперта для каждого токена на каждом слое. GRIN MoE использует алгоритм SparseMixer-v2 для оценки градиента и обучения маршрутизации экспертов.

В отличие от традиционных MoE моделей, GRIN MoE не использует распараллеливание по экспертам и отбрасывание токенов во время обучения.

Технические характеристики модели:

🟢total parameters: 16x3.8B;
🟢active parameters: 6.6B;
🟢context length: 4096;
🟢number of embeddings 4096;
🟢number of layers: 32;

Для обучения GRIN MoE использовался набор данных из 4 трллн. токенов, состоящий из общедоступных документов, образовательных материалов, кода и синтетических данных для обучения математике, программированию и рассуждению.

Тестирование GRIN MoE проводилось на наборе данных Phi-3 в популярных бенчмарках. Модель показала высокие результаты, превзойдя 7B модель и сравнявшись по метрикам с 14B моделью.

GRIN MoE набрала 79.4 балла в тесте MMLU, 74.4 - в HumanEval и 58.9 - в MATH. Несмотря на высокую эффективность в задачах, связанных с кодом и математикой, GRIN MoE показала более низкие результаты в задачах обработки языка, что может быть связано с особенностями обучающего корпуса.

📌Лицензирование : MIT License.


🟡Arxiv
🟡Модель
🟡Demo
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #MoE #Microsoft