Анализ данных (Data analysis)

20 Oct 2024 14:01

🖥 AdalFlow — это библиотека для создания и автоматической оптимизации задач, связанных с большими языковыми моделями (LLM).


Легкий, модульный и не зависящий от модели конвейер задач
LLM ; AdalFlow помогает разработчикам быстро создавать из них любые приложения, от приложений GenAI, перевод, обобщение, генерация кода, RAG и автономные агенты, до классических задач NLP, таких как классификация текста и распознавание именованных объектов.

🌟Содержит два фундаментальных, но мощных базовых класса: Component для конвейера и Data Class для взаимодействия с LLMS. В результате получилась библиотека с минимумом абстракции, предоставляющая разработчикам максимальную настраиваемость.

🔐 Лицензия: MIT

▪️GitHub

@data_analysis_ml

Анализ данных (Data analysis)

19 Oct 2024 17:01

🖥 optillm — инструмент для оптимизации процесса вывода языковых моделей (LLM) через прокси-сервер. Он поддерживает различные подходы к оптимизации, такие как цепочки размышлений (CoT), самоотражение, алгоритм R* и другие. Этот инструмент позволяет использовать модели, совместимые с OpenAI API, и позволяет легко интегрировать их с существующими инструментами и фреймворками.

🌟 Основная цель — упростить работу с крупными языковыми моделями, обеспечивая их более эффективное использование, включая поддержку нескольких техник вывода и оптимизации

🔐 Лицензия: Apache-2.0

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

19 Oct 2024 10:58

🔥 Lightning Thunder — компилятор для PyTorch, который позволяет ускорить выполнение моделей до 40%

🌟 Thunder компилирует код PyTorch, объединяя и оптимизируя операции, что повышает производительность на различных аппаратных платформах, таких как GPU, и поддерживает как одиночные, так и многопроцессорные конфигурации. Он работает с множеством исполнительных механизмов, включая такие технологии, как nvFuser, torch.compile и cuDNN и позволяет распределённые вычисления для больших моделей с использованием стратегий DDP и FSDP

🔐 Лицензия: Apache-2.0

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

17 Oct 2024 22:54

Вышел PyTorch 2.5 🔥

Выпуск #PyTorch 2.5, в котором представлена новая серверная часть cuDNN для SDPA, компиляция torch.compile и ускорения производительности серверной части TorchInductor CPP

Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/

@data_analysis_ml

Анализ данных (Data analysis)

17 Oct 2024 11:49

⚡️ Компания Open Sora Plan выпустила версию 1.3 своей модели генерации видео.

https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.3.0.md

@data_analysis_ml

Анализ данных (Data analysis)

16 Oct 2024 16:47

🤗 Большое обновление для локальных LLM!

⚡️ Ollama получила поддержку запуска моделей GGUF с Huggingface.

Ollama, приложение, основанное на llama.cpp, для локального взаимодействия с LLM получила возможность запускать одной командой любую GGUF модель, размещенную на Huggingface без создания нового Modelfile.

На сегодняшний день на HF около 45 тысяч моделей в формате GGUF, и теперь можно запустить любую из них одной командой ollama run. Также доступна настройка параметров запуска: выбор типа квантования и системного промпта.

▶️Быстрый запуск:

ollama run hf.co/{username}/{repository}
▶️Запуск с выбором типа квантования:

ollama run hf.co/{username}/{repository}:{quantization}
По умолчанию шаблон чата будет выбран автоматически из списка часто используемых шаблонов.

Он создается на основе встроенных метаданных tokenizer.chat_template, хранящихся в файле GGUF. Если в GGUF нет встроенного шаблона или необходимо настроить свой шаблон чата, нужно создать новый файл с именем template.

Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Например:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

📌 Список всех доступных параметров доступен в документации репозитория Ollama.

⚠️ В качестве доменного имени в команде запуска можно использовать доменные имена как hf.co, так и huggingface.co.


🟡Документация
🖥GitHub


Документация: https://huggingface.co/docs/hub/ollama

@data_analysis_ml

Анализ данных (Data analysis)

16 Oct 2024 11:06

🖥 awesome-ai-agents — полезный репозиторий, который содержит список различных автономных ИИ-агентов, таких как AutoGPT, BabyAGI, GPT Engineer и других!

🌟 Здесь представлены библиотеки и инструменты для работы с искусственным интеллектом, включая автономные агенты и разработки на основе GPT. Репозиторий служит полезным ресурсом для тех, кто хочет исследовать или создавать ИИ-агентов для различных задач!

▪ 150+ ИИ-агентов и фреймворков.
▪ Фильтр по сценариям использования.
▪ Фильтр по открытому/закрытому исходному коду.
▪ Фильтр новых продуктов ИИ
▪ Возможность получать обновления о конкретном агенте ИИ.

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

15 Oct 2024 18:01

Бизнесу данные нужны как воздух📊

На их основе компании принимают важные стратегические решения. Поэтому специалисты, которые собирают, обрабатывают и анализируют данные, всегда востребованы.

Таких профессионалов готовят на курсе «Аналитик данных» от МФТИ и Нетологии. За 10 месяцев вы получите фундаментальные знания, актуальные навыки и кейсы в портфолио.

Вы научитесь:

- использовать Python для анализа данных;
- применять методы ИИ в своих задачах;
- работать с базами данных;
- визуализировать данные.

После обучения получите дипломы о профессиональной переподготовке от МФТИ и Нетологии. Центр развития карьеры поможет с трудоустройством, резюме и портфолио.

Освойте профессию на стыке IT и бизнеса

Реклама. ООО "Нетология". Erid 2VSb5xPwBwn

Анализ данных (Data analysis)

15 Oct 2024 10:35

Как стать высокооплачиваемым специалистов в ML?

Изучать тренды в Data Science с экспертами топовых компаний на продвинутом курсе «Machine Learning. Professional» от OTUS 

Приглашаем на открытый урок, где рассмотрим современную модель TSMixter от Google которая умеет автоматически раскладывать временной ряд на сложные компоненты и строить прогноз на их основе.

✅ Изучение и практика: научимся загружать и работать с моделью

Сравним ее с более сложными трансформенными моделями, такими как NBEATS, NHITS, iTransformers, PatchTST и TimesNet.

👇 Регистрация на урок: 
https://otus.pw/OdX9/?erid=LjN8KLFMu

#реклама
О рекламодателе

Анализ данных (Data analysis)

14 Oct 2024 17:56

Вечерний митап для ML-инженеров в Белграде и онлайн

📅 17 октября в 18:00 собираемся в хабе «Сербская Роза», чтобы обсудить тренды, новые подходы, решения и вызовы индустрии в неформальной обстановке.

Спикеры и темы докладов:

🔸 Илья Ирхин, руководитель подразделения аналитики в Яндекс Еде. Подробно рассмотрит рекламу ресторанов в сервисе: аукцион, ранжирование, ценообразование

🔸 Дмитрий Солодуха, руководитель группы в Алисе и Умных устройствах Яндекса. Покажет, как мы учим Алису откликаться без имени

🔸 Антон Клочков, руководитель подгруппы распознавания текста в VLM в Яндекс Поиске. Расскажет о развитии навыков распознавания текста в VLM

🔸 Пётр Вытовтов, руководитель группы в Яндекс Погоде. Рассмотрит трансформеры сервиса и расскажет, как начать прогнозировать до миллиметра осадков

После докладов офлайн-участников ждёт нетворкинг с экспертами из разных компаний!

📎 Регистрация и подробности тут.

Ждём вас на ML Party в Белграде!

Реклама. ООО "Яндекс", ИНН 7736207543.

Анализ данных (Data analysis)

14 Oct 2024 10:01

МТС True Tech Champ

Прими участие в чемпионате от МТС, запрограммируй робота и поборись за главный приз 4000 0000 руб. Участникам будет предложено просканировать виртуальный лабиринт, получить массив данных о расположении стен и создать алгоритм для самого быстрого поиска оптимального маршрута робота-мыши. Финал чемпионата пройдет в формате зрелищной гонки роботов.

Регистрация: до 15 октября
Доступ к промежуточным онлайн заданиям: до 16 октября
Финал в МТС Live Холл: 8 ноября

Трек по программированию роботов будет интересен разработчикам Python, JS, Java, C#, С++, Go и не только. Для участия не обязательно разбираться в устройстве роботов: эксперты трека уже сконструировали их и создали прошивку.

Успей зарегистрироваться до 15 октября по ссылке.

Анализ данных (Data analysis)

13 Oct 2024 10:58

🖥 anthropic-gradio — интерфейс для взаимодействия с моделями Anthropic через платформу Gradio.

Он позволяет пользователям легко подключать и тестировать модели искусственного интеллекта от Anthropic в интерактивной среде Gradio, которая предназначена для создания пользовательских интерфейсов.

🌟 Инструмент помогает разработчикам быстрее интегрировать AI-модели в свои приложения, упрощая взаимодействие с этими моделями через простые интерфейсы.

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

12 Oct 2024 14:02

🖥 MLE-bench — новый бенчмарк от OpenAI для оценки того, как хорошо ИИ-агенты справляются с задачами машинного обучения. Для этого были собраны 75 соревнований с Kaggle, где проверяются такие навыки, как подготовка данных, тренировка моделей, работа с алгоритмами.

🌟 Лучшая конфигурация — OpenAI o1-preview с AIDE — достигла уровня бронзовой медали в 16.9% конкурсов.

📖 Arxiv: *клик*
▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

11 Oct 2024 21:44

🖥 open-webui — это проект, ориентированный на взаимодействие с большими языковыми моделями (LLM) через веб-интерфейс. Он представляет собой платформу для создания пользовательских интерфейсов, которые упрощают взаимодействие с различными AI-моделями в режиме реального времени. Основной акцент делается на поддержку многомодальных возможностей и интеграцию с популярными моделями для обработки текста и других типов данных.

🌟 Платформа предназначена для упрощения работы разработчиков и исследователей, которые хотят создать удобные интерфейсы для взаимодействия с мощными AI-моделями, не углубляясь в сложные настройки и конфигурации

🔐 Лицензия: MIT

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

11 Oct 2024 11:24

🎓 DepthCrafter – это проект, который создает карты глубины для видео с открытым миром.

Основным преимуществом данного инструмента является высокая детализация без необходимости использования данных о позах камеры или оптического потока.

Проект направлен на упрощение обработки видео, предоставляя как высококачественные, так и ускоренные режимы обработки, требующие видеокарт с объемом памяти от 9 до 26 ГБ.

Ссылка на GitHub проекта: https://github.com/Tencent/DepthCrafter

@data_analysis_ml

Анализ данных (Data analysis)

20 Oct 2024 13:07

⚡️ Metalingus - это минимальная и быстрая библиотека для обучения LLM и логических выводов, предназначенная для научных исследований

📊 Ключевые особенности

- Мощная и быстрая библиотека для обучения LLM и логических выводов для научных исследований
- Использует модифицируемые компоненты PyTorch для экспериментов с архитектурами и моделями
- Предоставляет инструменты для понимания скорости и стабильности работы ваших приложений
- Структурирован с использованием базовой библиотеки "lingua" и "приложений"

🚀 Сравнение производительности Lingua с другими моделями

- Модели 1B, обученные на токенах 60B, соответствуют производительности DCLM (DataComp-LM) по многим задачам
- Модели 7B (Mamba, Llama) показывают высокие результаты в таких тестах, как ARC, MMLU, BBH
- Модель токенов Llama 7B в квадрате ReLU 1T позволяет получать высокие баллы за выполнение заданий

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

19 Oct 2024 14:55

Каждый день мы наблюдаем за ростом возможностей искусственного интеллекта, и новости о его прорывах появляются все чаще. Но что это значит для профессионалов, чья работа, казалось бы, может быть автоматизирована? 🤔

Некоторые специалисты беспокоятся, что AI может вскоре занять их места. Однако нам кажется, что AI — это не замена, а инструмент, который помогает достигать новых высот в аналитике, видеомонтаже, копирайтинге и других сферах.

А что думаете вы? Какие инструменты и технологии помогают вам в работе, и как вы их оцениваете?

Пройдите опрос, который займет всего 5 минут ⏳ и поможет разработчикам генеративных нейросетей улучшить их инструменты.

Как бонус, мы разыгрываем среди участников:
👾 годовой доступ к Telegram Premium
👾месяц премиум-подписки на ChatGPT
👾 подписку на два месяца в Альпина Digital

Участвуйте, и давайте вместе строить будущее технологий!

Erid: 2VtzqwE1B4P

Анализ данных (Data analysis)

18 Oct 2024 13:13

🔥 Deep seek только что выпустили Janus, модель "Any-to Any" (мультимодальный ввод и вывод!)

🚀 Janus: революционная платформу авторегрессии для мультимодального ИИ!

Она превосходит предыдущие модели как в понимании, так и в генерации.

🤗 Hf: https://huggingface.co/deepseek-ai/Janus-1.3B
📄 Paper: https://arxiv.org/abs/2410.13848
💻 Project page: https://github.com/deepseek-ai/Janus

@data_analysis_ml

Анализ данных (Data analysis)

17 Oct 2024 18:01

🖥 TensorRT Model Optimizer — это библиотека от NVIDIA для оптимизации глубоких нейросетей с помощью современных методов, таких как квантование, прунинг и дистилляция.

Цель оптимизатора — уменьшить размер моделей и повысить скорость их выполнения на GPU

🌟 Библиотека поддерживает TensorRT и TensorRT-LLM для ускорения работы с большими языковыми моделями и генеративными ИИ. Библиотека предоставялет Python API для упрощенной интеграции и развертывания моделей.

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

16 Oct 2024 22:27

⚡️ Mistral AI представила новые модели 3B и 8B.

Mistral AI, отмечая годовщину выпуска Mistral 7B, представила две новые модели: Ministral 3B и Ministral 8B.

Семейство этих моделей получило название «Ministraux», они отличаются высокой производительностью в области знаний, рассуждений, вызова функций и эффективности среди аналогичных моделей категории менее 10 млрд. параметров.

Обе модели Ministraux поддерживают контекстную длину до 128 тыс. токенов (32 тыс. токенов на vLLM), а Ministral 8B использует специальную схему чередующегося скользящего окна внимания для более быстрого и эффективного инференса.

Модели предназначены для использования в различных сценариях, от робототехники до автономных интеллектуальных помощников без подключения к интернету.

Обе модели в ближайшее время будут доступны в сервисе La Plateforme и в облачных сервисах партнеров MistalAI. Цены: 0.1$/M (input and output) для Ministral 8B и 0.04$ /M (input and output) для Ministral 3B.

▶️ Ministral 3B доступна для некоммерческого использования по запросу через форму.

▶️ Ministral 8B-Instruct опубликована в отрытом доступе:

🟢Architecture: Transformer
🟢Parameters: 8B
🟢Layers: 36
🟢Heads: 32
🟢Dim: 4096
🟢Hidden Dim: 12288
🟢Vocab Size: 131K
🟢Context Length: 128K
🟢Tokenizer: V3-Tekken
🟢Language: multilingual

Локальный запуск рекомендуется выполнять в среде vLLM, воспользоваться docker или библиотекой Mistral Inference.

⚠️ vLLM имеет ограничение на размер контекста 32k, поскольку поддержка interleaved attention kernels for paged attention в нем пока еще не реализована.

⚠️ Для локального запуска Ministral 8B-Instruct понадобится 24 Gb VRAM


📌Лицензирование : MRL-0.1


🟡Страница проекта
🟡Модель
🟡Demo Ministral 8B-Instruct


@ai_machinelearning_big_data

#AI #ML #LLM #Ministraux #MistralAI

Анализ данных (Data analysis)

16 Oct 2024 14:41

🏆 NVIDIA молча выпустила файнтюн модели Llama 3.1 70B, которая превзошла по производительности GPT-4o и AnthropicAI Claude Sonnet 3.5.

🏆 85.0 на Arena Hard, 57.6 на AlpacaEval 2 LC, и 8.98 MT-Bench
🥇 Превосходит GPT-4o и Claude 3.5 Sonnet на Нескольких бенчмарках
🦙 Основан на Llama-3.1-70B-Instruct и обучен с помощью RLHF (REINFORCE)
🧠 Выпущена также Llama-3.1-Nemotron-70B-Reward #2 на RewardBench
🤗 Доступно на Hugging Face

https://huggingface.co/collections/nvidia/llama-31-nemotron-70b-670e93cd366feea16abc13d8

@data_analysis_ml

Анализ данных (Data analysis)

15 Oct 2024 20:00

🔥 Руководство по оценке больших языковых моделей (LLM), созданное командой Hugging Face. Оно включает как практические советы, так и теоретические знания, собранные при управлении Open LLM Leaderboard и разработке инструмента lighteval

Hugging Face выложила на Github руководство по оценке LLM.

В нем собраны различные способы оценки модели, руководства по разработке собственных оценок, а также советы и рекомендации из практического опыта. В руководстве рассказывается о разных способах оценки: с помощью автоматических тестов, людей или других моделей.

Особое внимание уделяется тому, как избежать проблем с инференсом модели и сделать результаты одинаковыми. В руководстве есть советы о том, как сделать данные чистыми, как использовать шаблоны для общения с LLM и как анализировать неожиданные плохие результаты.

Если вы ничего не знаете об оценке и бенчмарках, вам следует начать с разделов Basics в каждой главе, прежде чем погружаться глубже. В разделе базовые знания вы также найдете пояснения, которые помогут вам разобраться в важных темах LLM: например, как работает инференс модели и что такое токенизация.

Более прикладными разделы: советы и рекомендации, устранение неполадок и разделы, посвященные дизайну.

▶️Оглавление:

🟢Автоматические бенчмарки
🟢Оценка человеком
🟢LLM-судья
🟢Устранение неполадок
🟢Базовые знания

📌 Планы на будущие гайды:

🟠Описание автоматических метрик;
🟠Какие основные моменты вы всегда должны учитывать при построении задачи;
🟠Зачем нужна оценка LLM;
🟠Почему сравнивать модели между собой - это сложно.

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

15 Oct 2024 11:40

🔥 awesome-llm-powered-agent — полезный репозиторий, который содержит подборку различных проектов, библиотек и ресурсов, которые связаны с агентами, работающими на основе больших языковых моделей (LLM, large language models)

🌟 Здесь собраны инструменты и проекты, которые помогают разрабатывать или использовать интеллектуальных агентов для автоматизации задач и взаимодействия с окружающей средой через языковые модели

🔐 Лицензия: MIT

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

14 Oct 2024 20:01

🖥 ChatHub — получайте ответ от ChatGPT, Claude, Gemini и других моделей разом!

💡 С ChatHub вы можете легко задать один и тот же вопрос нескольким чат-ботам на основе искусственного интеллекта и сравнить их ответы бок о бок! Также в этом сервисе можно генерировать картинки и проводить поиск ресурсов в интернете!

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

14 Oct 2024 12:01

📖 AI-Scientist — это проект, направленный на создание системы для автоматизации научных открытий и исследований. Использует модели обработки естественного языка, обучение с подкреплением и графовые нейронные сети для чтения научной литературы, генерации гипотез, проектирования экспериментов и анализа результатов

🌟 Цель — помочь исследователям находить новые направления и автоматизировать рутинные задачи, делая научный процесс более эффективным

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

14 Oct 2024 08:10

🤗 Hugging Face Llama Recipes

Целый репозиторий, который содержит полезные рецепты и советы для быстрого работы с моделями Llama 3.x, включая Llama 3.1 и Llama 3.2.

▪️Github

@data_analysis_ml

Анализ данных (Data analysis)

12 Oct 2024 18:00

@data_analysis_ml

Анализ данных (Data analysis)

12 Oct 2024 13:00

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/dataanlitics
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

11 Oct 2024 18:09

В России впервые реализовали новый метод тренировки ML-моделей, который позволит участвовать в совместных проектах организациям, которые раньше не могли сотрудничать из-за рисков, связанных с передачей чувствительных данных.

Это стало возможно благодаря федеративному обучению - подходу, в котором участники могут коллективно обучать модель, не передавая свои данные внешним подрядчикам.  Вместо передачи исходных данных на централизованный сервер для обработки, обучающие узлы обмениваются только обновленными параметрами модели. Подобная техника очень актуальна для отраслей, где имеют дело с чувствительной информацией.

Немного о том, как работает новый метод

При обучении ML-моделей данные, как правило, собираются из архивов медицинских учреждений и баз пациентов, и передаются на центральный сервер, где и происходит обучение.  Однако при таком подходе велик риск утечек конфиденциальной информации, особенно если речь идет, например, о сфере медицины. Федеративный подход работает иначе. 

Модель обучается на локальном сервере клиента и является частью распределённой системы обучения. Данные остаются у клиента, а на центральный сервер отправляются только обновленные параметры модели. Задача федеративного центрального сервера в таком случае — не обработка и хранение исходных данных, а координация обучения. При этом сервер агрегирует параметры для улучшения общей модели, обеспечивая конфиденциальность данных.

После того, как параметры модели от всех клиентов объединяются на центральном федеративном сервере, её обновлённая версия возвращается на устройства клиентов, чтобы учиться на новых данных. Таким образом, модель учитывает изменения и особенности каждого клиента, становясь точнее и эффективнее.

Первый кейс использования подхода в России в медицине

Метод реализовал Центр технологий для общества Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН. Эксперимент  заключался в обучении ML-модели, чтобы распознавать патологии сердца на основе данных ЭКГ. Для этого использовали фреймворк NVFlare, который поддерживает федеративное обучение с использованием GPU.  Сам обучение провели на датасете из 47 тысяч двенадцатиканальных ЭКГ. В ходе эксперимента специалисты обучали модель диагностировать фибрилляцию предсердий по ЭКГ.

Чувствительность (способность выявлять патологию) модели составила 99%, а специфичность (способность не давать ложных результатов при отсутствии заболевания) — 95%.​ Результаты работы модели проверили трое врачей функциональной диагностики, чтобы убедиться в её точности и клинической применимости.

Федеративное обучение будет полезно не только в медицине. В перспективе такой подход можно использовать в финансовой отрасли для обнаружения мошенничества. При этом данные пользователей останутся защищенными.

@data_analysis_ml

Анализ данных (Data analysis)

11 Oct 2024 09:24

Полезный контент по машинному обучению с Practical ML Conf 2024. Рекомендуем обратить внимание на доклад Саввы Степурина. Он был посвящен тому, как предлагать пользователям незнакомый контент. Савва подробно рассказал о переходе от традиционных фильтров к отдельным моделям выбора кандидатов и ранжирования, представил особые подходы в отборе кандидатов и моделей ранжирования, а также показал результаты внедрения этих подходов.

Также советуем вам ознакомиться с другими интересными темами:

⚙️ Как научить языковые модели работать с кодом. Руководитель лаборатории машинного обучения в Yandex Platform Engineering подробно рассказал об этом процессе и объяснил, почему исследователи решили прогнозировать стейтменты и как это повлияло на качество онлайн-метриков.

⚙️ Создание виртуального рассказчика для синтеза аудиокниг в Яндексе. В этом докладе раскрывается процесс внедрения длительного контекста в низкоресурсную модель реального времени и упоминаются особенности использования диффузионных моделей.

Помимо этого, были представлены интересные доклады о бенчмаркинге, синтетических данных, оптимизации RAG-систем, VLM и, конечно же, о рекомендательных системах. Все видео можно посмотреть здесь.