devsp | Unsorted

Telegram-канал devsp - Data Science | Machinelearning [ru]

19745

Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD

Subscribe to a channel

Data Science | Machinelearning [ru]

​​🤖Нейросети для написания текстов: обзор и сравнение моделей

В этой статье мы рассмотрим работу различных ИИ-моделей на примере четырех нестандартных промтов, анализируя их сильные стороны, слабости и потенциал для дальнейшего развития.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🐈‍⬛️MLSecOps: почему, зачем и кому это нужно?

В этой статье я расскажу о сравнительно новой концепции, которая становится все более актуальной и использование которой совершенно точно необходимо в больших промышленных ML-проектах, — MLSecOps.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​😍ML в маркетинге: как модели делают банк более чутким к негативу

В статье мы подробно рассмотрим общую концепцию response-модели, а также технические аспекты ее стратегии обучения, которая показала статистически значимое уменьшение негатива от маркетинга на боевом A/B-тесте.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные статьи за последние дни:

• Оптимизация запросов к нейросетям: стратегии и советы

• Введение в MLflow

• DeepSeek-Prover-V1.5: использование обратной связи помощника по доказательствам для обучения с подкреплением и поиска по дереву Монте-Карло

Читать полностью…

Data Science | Machinelearning [ru]

Совмещайте очную магистратуру и работу комфортно

Яндекс Практикум и РАНХиГС заканчивают набор на онлайн-программу «Data Science в экономике»:
— учёба полностью онлайн, включая сессии;
— очное обучение с дипломом РАНХиГС и всеми льготами;
— фундаментальные знания от Института ЭМИТ РАНХиГС, который находится на 5-м месте в рейтинге SuperJob по уровню зарплат выпускников;
— практический опыт экспертов Яндекса.

Оплатить учёбу можно разными способами: всю сумму сразу, по семестрам или с помощью госкредита — тогда ежемесячный платёж составит от 500 ₽, а государство погасит часть кредита за вас.

→ Узнать подробности и подать заявку

Реклама. ООО «Яндекс». ИНН 7736207543

Читать полностью…

Data Science | Machinelearning [ru]

​​🚀Оптимизация запросов к нейросетям: стратегии и советы

В этой статье мы рассмотрим, как оптимизировать запросы, чтобы извлечь максимум из взаимодействия с нейросетями, особенно с моделями языковых нейросетей (LLM) таких как ChatGPT, а также мы обсудим, какие параметры учитывать при создании промптов, как задавать вопросы и использовать контекст, чтобы получать ответы, соответствующие вашим нуждам.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​😎Введение в MLflow

В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры, а также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

Вебинар «От сырых данных до готового AI-сервиса за 10 минут»

30 августа в 17:00 будем разбирать и выполнять тестовое задание ML-инженера в BigTech.

На собеседованиях в ИТ часто встречаются задания в стиле «описать путь от модели в локальном Jupyter-ноутбуке до готового сервиса, к которому можно обращаться по API».

На вебинаре поговорим о способах решения подобных задач и о том, как сделать из любой ML-модели готовый сервис. Дополнительно разберем основные принципы и инструменты MLOps.

Вебинар будет полезен ML и MLOps-инженерам, Data Scientists, DevOps- и Data-инженерам, менеджерам технических продуктов.

Программа

🔹 Создаем готовый ML API в Jupyter-ноутбуке.

🔹 Проводим версионирование модели, разбираем возможности и функции MLflow.

🔹 Налаживаем жизненный цикл модели.

🔹 Организовываем хранение ML-артефактов и пространство для командной работы над библиотекой моделей для разных задач.

Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.

Зарегистрироваться бесплатно

Читать полностью…

Data Science | Machinelearning [ru]

​​🤔Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен

В этой статье вы узнаете о том, как применить метод софтмакса Гумбеля для решения проблемы градиентного спуска в контексте дискретных выборов, что особенно важно в задачах, таких как обучение рекомендательных систем.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🦾Введение в Weight & Biases

В этой статье я кратко расскажу о таком инструменте компании Weight & Biases, незаслуженно обойденным вниманием на просторах рускоязычного пространства.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

🔥 Прикладная независимая конференция по data science

Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров.

➡️ Среди тем конференции:
- Работа со звуком
- Компьютерное зрение и генерация изображений
- Обработка естественного языка
- Рекомендательные системы и поиск
- Умные механизмы
- Дискуссии на тему "ML будущего"
- Оптимизация использования железа

➡️ На AiConf 2024 вас ждут:
-Более 700 участников
- Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова
- Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора 
- Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук
— Неформальное общение на afterparty 

❗️Кстати, ребята в своем телеграм-канале (/channel/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать.

До встречи на AiConf 2024!

Читать полностью…

Data Science | Machinelearning [ru]

Встречаемся 14 сентября на Practical ML Conf в Москве и онлайн!

Machine learning, проверенный практикой*
* Сгенерировано YandexGPT

Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении.

Ключевые темы конференции:
CV / NLP / Speech / RecSys / MLOps / Data science

В числе спикеров:
– Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи;
– Дмитрий Антипов — Сбер, АБТ, тимлид разработки;
– Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering.

Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров.

Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн.

Реклама. ООО "Яндекс", ИНН 7736207543.

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️Рекурсивный отбор признаков. Динамический шаг в танце feature selection

В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE), а также предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🤖UniT: унифицированное тактильное представление для обучения роботов

Новый подход к обучению тактильному представлению, использующий VQVAE для изучения компактного скрытого пространства и служащий тактильным представлением.

Он использует тактильные изображения, полученные от одного простого объекта, для обучения представлению с возможностью переноса и обобщения.

Эффективность UniT в обучении политике продемонстрирована на трех реальных задачах, включающих разнообразные манипулируемые объекты и сложные взаимодействия робота-объекта-среды.

Благодаря обширным экспериментам UniT показал себя простым в обучении, подключаемым и работающим, но широко эффективным методом обучения тактильному представлению.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

AI помогает бизнесу анализировать большие объемы данных, чтобы принимать обоснованные решения и повышать эффективность процессов.

➡️Сервисы речевой аналитики позволяют распознавать и глубоко анализировать голосовые и текстовые диалоги с помощью технологий машинного обучения и искусственного интеллекта.

✔️22 августа в 11.00 МСК MWS проведет вебинар о сервисе речевой аналитики, который они развернули в своем облаке совместно с UKTECH LAB.

↘️ На вебинаре вы узнаете, как MWS внедрили сервис речевой аналитики для сети клиник «Кремлёвская стоматология».

В эфире расскажут:

🔴Что компании уже сегодня получают с помощью речевой аналитики в облаке.

🔴Как AI в облаке помог компании:
- на 20% увеличить конверсию из обращений в запись,
- на 14% снизить время на постобработку звонков.

🔴Какие облачные решения обеспечивают надёжное хранение и безопасную обработку персональных данных.

Приходите на вебинар и задавайте свои вопросы - за лучший вопрос в чате трансляции - будет подарок :)

Реклама. Информация о рекламодателе.

Читать полностью…

Data Science | Machinelearning [ru]

​​👀Sapiens: Foundation for Human Vision Models

Семейство моделей для четырех основных задач, связанных с зрением человека: оценка позы в 2D, сегментация частей тела, оценка глубины и прогнозирование нормалей поверхности.

Модели изначально поддерживают вывод высокого разрешения 1K и чрезвычайно легко адаптируются для отдельных задач путем простой тонкой настройки моделей, предварительно обученных на более чем 300 миллионах изображений человека в дикой природе.

Простая конструкция модели также обеспечивает масштабируемость — производительность модели для разных задач улучшается по мере того, как мы масштабируем количество параметров с 0,3 до 2 миллиардов.

Sapiens постоянно превосходит существующие базовые показатели по различным бенчмаркам, связанным с зрением человека.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​👌Практический кейс реализации AutoML в банке

В этой статье мы расскажем, как выстроен наш процесс, как мы к этому пришли, с какими проблемами столкнулись, как их решили и как в дальнейшем планируем тиражировать на другие продукты банка.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️MeshFormer: High-Quality Mesh Generation with 3D-Guided Reconstruction Model

Модель реконструкции с разреженным видом, использующая явную 3D-структуру, входное руководство и контроль обучения.

Вместо трипланового представления модель сохраняет признаки в 3D-вокселях, комбинируя трансформаторы и 3D-свертки для интеграции проективного смещения.

Она обрабатывает RGB-вход и генерирует карты нормалей, предсказываемые с помощью 2D-моделей диффузии, что улучшает обучение геометрии.

Кроме того, использование Signed Distance Function (SDF) с рендерингом поверхности позволяет напрямую создавать качественные сетки, избегая сложных алгоритмов.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​👤Вызов функций с помощью LLM

В этой статье мы поговорим о вызове функций с помощью больших языковых моделей, рассмотрим некоторые проприетарные и открытые модели, связанные исследования, а затем проведем небольшой эксперимент с отправкой электронной почты при помощи LLM.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

😀 Эмоциональный синтез в Алисе: как устроен

В этой статье вы узнаете, как команда Яндекса работала над обновлением Алисы в части выражения эмоций. Для этого в Алису внедрили технологию эмоционального синтеза, позволяющую ассистенту голосом выражать широкий диапазон эмоций. Такая обновленная Алиса пока живет только в Станции Лайт 2, а позже появится и на других умных устройствах.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

❓Базы данных не справляются с нагрузкой? Ищете способы улучшить их производительность и надежность?

Ждем вас на открытом вебинаре «Кластерные возможности MongoDB» 21 августа в 20:00 мск, где мы разберём:

- варианты репликации MongoDB для надежного хранения данных;
- как шардировать кластер MongoDB для эффективного распределения нагрузки;
- как выбрать ключ шардирования для оптимальной работы.

Урок будет полезен разработчикам, администраторам баз данных и DevOps-инженерам.

Спикер Николай Лапшин — опытный разработчик, архитектор, тимлид, ментор и преподаватель.

Встречаемся в преддверии старта курса «Базы данных». Все участники вебинара получат специальную цену на обучение!

👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/8k0t/

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Читать полностью…

Data Science | Machinelearning [ru]

​​🤩DeepSeek-Prover-V1.5: использование обратной связи помощника по доказательствам для обучения с подкреплением и поиска по дереву Монте-Карло

Языковая модель с открытым исходным кодом, разработанную для доказательства теорем в Lean 4, которая улучшает DeepSeek-Prover-V1 за счет оптимизации как процессов обучения, так и вывода.

Предварительно обученная на DeepSeekMath-Base со специализацией на формальных математических языках, модель проходит контролируемую тонкую настройку с использованием улучшенного набора данных для формального доказательства теорем, полученного из DeepSeek-Prover-V1.

Дальнейшее уточнение достигается за счет обучения с подкреплением с обратной связью помощника по доказательству (RLPAF).

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные статьи за последние дни:

• Ликбез по компьютерному зрению в банках. Как технологии ИИ защищают ваши деньги

• Реконсиляция в иерархическом прогнозировании временных рядов

• Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен

Читать полностью…

Data Science | Machinelearning [ru]

​​🎃Реконсиляция в иерархическом прогнозировании временных рядов

В этой статье коснемся особенностей иерархического прогнозирования (форекастинга), разберем, что значит термин реконсиляция, рассмотрим его математическую формализацию, а также несколько популярных методов реконсиляции.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🔍OpenResearcher: использование ИИ для ускоренных научных исследований

Инновационная платформа, которая использует методы искусственного интеллекта (ИИ) для ускорения процесса исследования, отвечая на разнообразные вопросы исследователей.

Он создан на основе Retrieval-Augmented Generation (RAG) для интеграции больших языковых моделей (LLM) с актуальными знаниями, специфичными для предметной области.

OpenResearcher позволяет исследователям экономить время и повышать свой потенциал для открытия новых идей и осуществления научных прорывов.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🏦Ликбез по компьютерному зрению в банках. Как технологии ИИ защищают ваши деньги

В этой статье я на примере нескольких кейсов наших клиентов расскажу, как в банках и других финансовых организациях используют компьютерное зрение и чем оно полезно для конечных пользователей.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🧐InfinityMATH: масштабируемый набор данных для настройки инструкций в программных математических рассуждениях

Конвейер построения делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений.

Эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH.

Эти тонко настроенные модели показали значительные относительные улучшения как в области, так и вне области бенчмарков, в среднем от 184,7% до 514,3%.

Кроме того, эти модели продемонстрировали высокую надежность на тестах GSM8K+ и MATH+, которые являются улучшенной версией тестовых наборов с простыми вариациями чисел.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

Как подготовить данные без пропусков, дубликатов и некорректных значений? 

Расскажем как предварительно обработать сырые данные на открытом уроке «Подготовка данных в Pandas» 

🔹Последовательно рассмотрим этапы обработки пропусков, дубликатов и  поиск аномалий. 

✅ Практика: Чистка данных при помощи библиотеки Pandas


Урок приурочен курсу «Machine Learning» от Otus. По окончанию обучение получите диплом государственного образца.


👉 Регистрация и подробности:
https://otus.pw/7xOF/

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Читать полностью…

Data Science | Machinelearning [ru]

​​😉Уроки, извлеченные из масштабирования до многотерабайтных датасетов

В этой статье я расскажу, с какими сложностями столкнулся при увеличении масштабов датасета и как их удалось решить.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🦾ControlNeXt: Powerful and Efficient Control for Image and Video Generation

ControlNeXt — мощный и эффективный метод для контролируемой генерации изображений и видео.

Метод легко интегрируется с другими весами LoRA, позволяя изменять стиль без необходимости дополнительного обучения.

Были проведены различные эксперименты с различными базовыми моделями для изображений и видео, продемонстрировав надежность нашего метода.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…
Subscribe to a channel