19745
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD
🤖Нейросети для написания текстов: обзор и сравнение моделей
В этой статье мы рассмотрим работу различных ИИ-моделей на примере четырех нестандартных промтов, анализируя их сильные стороны, слабости и потенциал для дальнейшего развития.
Читать...
🐈⬛️MLSecOps: почему, зачем и кому это нужно?
В этой статье я расскажу о сравнительно новой концепции, которая становится все более актуальной и использование которой совершенно точно необходимо в больших промышленных ML-проектах, — MLSecOps.
Читать...
😍ML в маркетинге: как модели делают банк более чутким к негативу
В статье мы подробно рассмотрим общую концепцию response-модели, а также технические аспекты ее стратегии обучения, которая показала статистически значимое уменьшение негатива от маркетинга на боевом A/B-тесте.
Читать...
🖥 Самые интересные статьи за последние дни:
• Оптимизация запросов к нейросетям: стратегии и советы
• Введение в MLflow
• DeepSeek-Prover-V1.5: использование обратной связи помощника по доказательствам для обучения с подкреплением и поиска по дереву Монте-Карло
Совмещайте очную магистратуру и работу комфортно
Яндекс Практикум и РАНХиГС заканчивают набор на онлайн-программу «Data Science в экономике»:
— учёба полностью онлайн, включая сессии;
— очное обучение с дипломом РАНХиГС и всеми льготами;
— фундаментальные знания от Института ЭМИТ РАНХиГС, который находится на 5-м месте в рейтинге SuperJob по уровню зарплат выпускников;
— практический опыт экспертов Яндекса.
Оплатить учёбу можно разными способами: всю сумму сразу, по семестрам или с помощью госкредита — тогда ежемесячный платёж составит от 500 ₽, а государство погасит часть кредита за вас.
→ Узнать подробности и подать заявку
Реклама. ООО «Яндекс». ИНН 7736207543
🚀Оптимизация запросов к нейросетям: стратегии и советы
В этой статье мы рассмотрим, как оптимизировать запросы, чтобы извлечь максимум из взаимодействия с нейросетями, особенно с моделями языковых нейросетей (LLM) таких как ChatGPT, а также мы обсудим, какие параметры учитывать при создании промптов, как задавать вопросы и использовать контекст, чтобы получать ответы, соответствующие вашим нуждам.
Читать...
😎Введение в MLflow
В этом руководстве мы посмотрим, как организовать эксперименты и запуски, оптимизировать гиперпараметры с помощью optuna, сравнивать модели и выбирать лучшие параметры, а также рассмотрим логирование моделей, использование их в разных форматах, упаковку проекта в MLproject и установку удаленного Tracking Server MLflow.
Читать...
Вебинар «От сырых данных до готового AI-сервиса за 10 минут»
30 августа в 17:00 будем разбирать и выполнять тестовое задание ML-инженера в BigTech.
На собеседованиях в ИТ часто встречаются задания в стиле «описать путь от модели в локальном Jupyter-ноутбуке до готового сервиса, к которому можно обращаться по API».
На вебинаре поговорим о способах решения подобных задач и о том, как сделать из любой ML-модели готовый сервис. Дополнительно разберем основные принципы и инструменты MLOps.
Вебинар будет полезен ML и MLOps-инженерам, Data Scientists, DevOps- и Data-инженерам, менеджерам технических продуктов.
Программа
🔹 Создаем готовый ML API в Jupyter-ноутбуке.
🔹 Проводим версионирование модели, разбираем возможности и функции MLflow.
🔹 Налаживаем жизненный цикл модели.
🔹 Организовываем хранение ML-артефактов и пространство для командной работы над библиотекой моделей для разных задач.
Регистрируйтесь на вебинар — мы пришлем ссылку на трансляцию в день мероприятия, а после вышлем запись.
Зарегистрироваться бесплатно
🤔Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен
В этой статье вы узнаете о том, как применить метод софтмакса Гумбеля для решения проблемы градиентного спуска в контексте дискретных выборов, что особенно важно в задачах, таких как обучение рекомендательных систем.
Читать...
🦾Введение в Weight & Biases
В этой статье я кратко расскажу о таком инструменте компании Weight & Biases, незаслуженно обойденным вниманием на просторах рускоязычного пространства.
Читать...
🔥 Прикладная независимая конференция по data science
Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров.
➡️ Среди тем конференции:
- Работа со звуком
- Компьютерное зрение и генерация изображений
- Обработка естественного языка
- Рекомендательные системы и поиск
- Умные механизмы
- Дискуссии на тему "ML будущего"
- Оптимизация использования железа
➡️ На AiConf 2024 вас ждут:
-Более 700 участников
- Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова
- Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора
- Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук
— Неформальное общение на afterparty
❗️Кстати, ребята в своем телеграм-канале (/channel/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать.
До встречи на AiConf 2024!
Встречаемся 14 сентября на Practical ML Conf в Москве и онлайн!
Machine learning, проверенный практикой*
* Сгенерировано YandexGPT
Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении.
Ключевые темы конференции:
CV / NLP / Speech / RecSys / MLOps / Data science
В числе спикеров:
– Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи;
– Дмитрий Антипов — Сбер, АБТ, тимлид разработки;
– Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering.
Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров.
Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн.
Реклама. ООО "Яндекс", ИНН 7736207543.
⚡️Рекурсивный отбор признаков. Динамический шаг в танце feature selection
В статье рассматривается выбор оптимального шага при рекурсивном отборе признаков (RFE), а также предлагаются три подхода: фиксированный шаг, динамический шаг, зависящий от количества признаков, и динамический шаг, основанный на значимости признаков.
Читать...
🤖UniT: унифицированное тактильное представление для обучения роботов
Новый подход к обучению тактильному представлению, использующий VQVAE для изучения компактного скрытого пространства и служащий тактильным представлением.
Он использует тактильные изображения, полученные от одного простого объекта, для обучения представлению с возможностью переноса и обобщения.
Эффективность UniT в обучении политике продемонстрирована на трех реальных задачах, включающих разнообразные манипулируемые объекты и сложные взаимодействия робота-объекта-среды.
Благодаря обширным экспериментам UniT показал себя простым в обучении, подключаемым и работающим, но широко эффективным методом обучения тактильному представлению.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
AI помогает бизнесу анализировать большие объемы данных, чтобы принимать обоснованные решения и повышать эффективность процессов.
➡️Сервисы речевой аналитики позволяют распознавать и глубоко анализировать голосовые и текстовые диалоги с помощью технологий машинного обучения и искусственного интеллекта.
✔️22 августа в 11.00 МСК MWS проведет вебинар о сервисе речевой аналитики, который они развернули в своем облаке совместно с UKTECH LAB.
↘️ На вебинаре вы узнаете, как MWS внедрили сервис речевой аналитики для сети клиник «Кремлёвская стоматология».
В эфире расскажут:
🔴Что компании уже сегодня получают с помощью речевой аналитики в облаке.
🔴Как AI в облаке помог компании:
- на 20% увеличить конверсию из обращений в запись,
- на 14% снизить время на постобработку звонков.
🔴Какие облачные решения обеспечивают надёжное хранение и безопасную обработку персональных данных.
Приходите на вебинар и задавайте свои вопросы - за лучший вопрос в чате трансляции - будет подарок :)
Реклама. Информация о рекламодателе.
👀Sapiens: Foundation for Human Vision Models
Семейство моделей для четырех основных задач, связанных с зрением человека: оценка позы в 2D, сегментация частей тела, оценка глубины и прогнозирование нормалей поверхности.
Модели изначально поддерживают вывод высокого разрешения 1K и чрезвычайно легко адаптируются для отдельных задач путем простой тонкой настройки моделей, предварительно обученных на более чем 300 миллионах изображений человека в дикой природе.
Простая конструкция модели также обеспечивает масштабируемость — производительность модели для разных задач улучшается по мере того, как мы масштабируем количество параметров с 0,3 до 2 миллиардов.
Sapiens постоянно превосходит существующие базовые показатели по различным бенчмаркам, связанным с зрением человека.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
👌Практический кейс реализации AutoML в банке
В этой статье мы расскажем, как выстроен наш процесс, как мы к этому пришли, с какими проблемами столкнулись, как их решили и как в дальнейшем планируем тиражировать на другие продукты банка.
Читать...
⚡️MeshFormer: High-Quality Mesh Generation with 3D-Guided Reconstruction Model
Модель реконструкции с разреженным видом, использующая явную 3D-структуру, входное руководство и контроль обучения.
Вместо трипланового представления модель сохраняет признаки в 3D-вокселях, комбинируя трансформаторы и 3D-свертки для интеграции проективного смещения.
Она обрабатывает RGB-вход и генерирует карты нормалей, предсказываемые с помощью 2D-моделей диффузии, что улучшает обучение геометрии.
Кроме того, использование Signed Distance Function (SDF) с рендерингом поверхности позволяет напрямую создавать качественные сетки, избегая сложных алгоритмов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
👤Вызов функций с помощью LLM
В этой статье мы поговорим о вызове функций с помощью больших языковых моделей, рассмотрим некоторые проприетарные и открытые модели, связанные исследования, а затем проведем небольшой эксперимент с отправкой электронной почты при помощи LLM.
Читать...
😀 Эмоциональный синтез в Алисе: как устроен
В этой статье вы узнаете, как команда Яндекса работала над обновлением Алисы в части выражения эмоций. Для этого в Алису внедрили технологию эмоционального синтеза, позволяющую ассистенту голосом выражать широкий диапазон эмоций. Такая обновленная Алиса пока живет только в Станции Лайт 2, а позже появится и на других умных устройствах.
Читать...
❓Базы данных не справляются с нагрузкой? Ищете способы улучшить их производительность и надежность?
Ждем вас на открытом вебинаре «Кластерные возможности MongoDB» 21 августа в 20:00 мск, где мы разберём:
- варианты репликации MongoDB для надежного хранения данных;
- как шардировать кластер MongoDB для эффективного распределения нагрузки;
- как выбрать ключ шардирования для оптимальной работы.
Урок будет полезен разработчикам, администраторам баз данных и DevOps-инженерам.
Спикер Николай Лапшин — опытный разработчик, архитектор, тимлид, ментор и преподаватель.
Встречаемся в преддверии старта курса «Базы данных». Все участники вебинара получат специальную цену на обучение!
👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/8k0t/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
🤩DeepSeek-Prover-V1.5: использование обратной связи помощника по доказательствам для обучения с подкреплением и поиска по дереву Монте-Карло
Языковая модель с открытым исходным кодом, разработанную для доказательства теорем в Lean 4, которая улучшает DeepSeek-Prover-V1 за счет оптимизации как процессов обучения, так и вывода.
Предварительно обученная на DeepSeekMath-Base со специализацией на формальных математических языках, модель проходит контролируемую тонкую настройку с использованием улучшенного набора данных для формального доказательства теорем, полученного из DeepSeek-Prover-V1.
Дальнейшее уточнение достигается за счет обучения с подкреплением с обратной связью помощника по доказательству (RLPAF).
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
🖥 Самые интересные статьи за последние дни:
• Ликбез по компьютерному зрению в банках. Как технологии ИИ защищают ваши деньги
• Реконсиляция в иерархическом прогнозировании временных рядов
• Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен
🎃Реконсиляция в иерархическом прогнозировании временных рядов
В этой статье коснемся особенностей иерархического прогнозирования (форекастинга), разберем, что значит термин реконсиляция, рассмотрим его математическую формализацию, а также несколько популярных методов реконсиляции.
Читать...
🔍OpenResearcher: использование ИИ для ускоренных научных исследований
Инновационная платформа, которая использует методы искусственного интеллекта (ИИ) для ускорения процесса исследования, отвечая на разнообразные вопросы исследователей.
Он создан на основе Retrieval-Augmented Generation (RAG) для интеграции больших языковых моделей (LLM) с актуальными знаниями, специфичными для предметной области.
OpenResearcher позволяет исследователям экономить время и повышать свой потенциал для открытия новых идей и осуществления научных прорывов.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
🏦Ликбез по компьютерному зрению в банках. Как технологии ИИ защищают ваши деньги
В этой статье я на примере нескольких кейсов наших клиентов расскажу, как в банках и других финансовых организациях используют компьютерное зрение и чем оно полезно для конечных пользователей.
Читать...
🧐InfinityMATH: масштабируемый набор данных для настройки инструкций в программных математических рассуждениях
Конвейер построения делает акцент на разделении чисел от математических задач для синтеза независимых от чисел программ, что обеспечивает эффективное и гибкое масштабирование при минимизации зависимости от конкретных числовых значений.
Эксперименты по тонкой настройке с открытым исходным кодом языковых и кодовых моделей, таких как Llama2 и CodeLlama, демонстрируют практические преимущества InfinityMATH.
Эти тонко настроенные модели показали значительные относительные улучшения как в области, так и вне области бенчмарков, в среднем от 184,7% до 514,3%.
Кроме того, эти модели продемонстрировали высокую надежность на тестах GSM8K+ и MATH+, которые являются улучшенной версией тестовых наборов с простыми вариациями чисел.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться
Как подготовить данные без пропусков, дубликатов и некорректных значений?
Расскажем как предварительно обработать сырые данные на открытом уроке «Подготовка данных в Pandas»
🔹Последовательно рассмотрим этапы обработки пропусков, дубликатов и поиск аномалий.
✅ Практика: Чистка данных при помощи библиотеки Pandas
😉Уроки, извлеченные из масштабирования до многотерабайтных датасетов
В этой статье я расскажу, с какими сложностями столкнулся при увеличении масштабов датасета и как их удалось решить.
Читать...
🦾ControlNeXt: Powerful and Efficient Control for Image and Video Generation
ControlNeXt — мощный и эффективный метод для контролируемой генерации изображений и видео.
Метод легко интегрируется с другими весами LoRA, позволяя изменять стиль без необходимости дополнительного обучения.
Были проведены различные эксперименты с различными базовыми моделями для изображений и видео, продемонстрировав надежность нашего метода.
🤗 Hugging Face
💾 Arxiv
📂 PDF
@Devsp — Подписаться