19745
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD
🖥 Дайджест самых интересных публикаций за последние дни:
• SF-V — новый метод генерации видео от Snapchat
• Простые способы ускорения обучения PyTorch-моделей
• L-MAGIC: Language Model Assisted Generation of Images with Coherence
Как использовать нейросети в обучении с подкреплением?
В чем недостатки классических алгоритмов и как нейросети помогают их решить? Узнайте на открытом практическом уроке от OTUS, где мы разберем:
- как реализовать алгоритм Q-learning на базе нейросети и что нам это даст;
- различные виды функции потерь и реализацию для алгоритма DQN (Deep Q-learning);
- дополнительные условия архитектуры нейросети, моделирующей поведение агента в алгоритме DQN.
Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд и преподаватель.
Встречаемся 13 июня в 20:00 мск в рамках курса «Reinforcement Learning». Все участники вебинара получат специальную цену на обучение!
Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/oVnA/
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
⚡️L-MAGIC: Language Model Assisted Generation of Images with Coherence
Новая модель может создавать качественные панорамные сцены на основе одного входного изображения и текстового промпта!
L-MAGIC использует предварительно обученные модели распространения и языка без тонкой настройки, обеспечивая нулевую производительность.
В сочетании с моделями условного распространения он может принимать различные способы ввода, включая, помимо прочего, текст, карты глубины, эскизы и цветные сценарии.
▪️Github: https://github.com/IntelLabs/MMPano
▪️Paper: https://arxiv.org/abs/2406.01843
▪️Project: https://zhipengcai.github.io/MMPano/
▪️Video: https://youtu.be/XDMNEzH4-Ec
@Devsp — Подписаться
🚀Простые способы ускорения обучения PyTorch-моделей
В этой статье автор рассмотрит Docker-контейнеры для репродуктируемости окружения модели обучения, а также профайлер PyTorch для анализа производительности кода обучения и identification bottlenecks.
Читать...
🖥 Самые интересные публикации за последние дни:
• Мультиплеер Stable Audio, который можно запустить на Hugging Face
• NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения
• Omost — использование мощи LLM, пишущих код, для генерации изображений
😎NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения
NeRF-Insert позволяет добавлять объект в 3D сцену с помощью мультимодальных входных сигналов.
Вставленный объект может быть описан с помощью текстовой строки или ссылочного изображения.
Пользователь может определить область закрашивания, нарисовав всего 2-3 ручные маски.
▶️Страничка NeRF-Insert
🟡Arxiv
@Devsp — Подписаться
⚡️ Qwen2 - самый крутой релиз откртых LLM со времен Llama 3!
Alibaba только что выпустили свое новое семейство мультиязычных моделей, которых превосходят по производительности Llama 3 по многим параметрам.
Серия Qwen2 включает базовые и настроенные по инструкции модели 5 размеров, включая Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, Qwen2-72B.
📖 BLOG: https://qwenlm.github.io/blog/qwen2/
🤗 HF collection: https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
🤖 https://modelscope.cn/organization/qwen
💻 GitHub: https://github.com/QwenLM/Qwen2
@Devsp — Подписаться
🦾 Коннектор ADB-TO-ADB
В этой статье рассматриваются детали предлагаемой нами реализации коннектора для выполнения так называемых гетерогенных запросов в рамках разных кластеров Arenadata DB и/или Greenplum.
Читать...
Давайте поможем Даше найти... что угодно
27 июня в 19:00 Data Science Meetup: Поиск от команды СберМаркета!
Соберёмся в нашем офисе, чтобы рассказать о секретах алгоритмов поиска: как разрабатывали и улучшали модель по исправлению опечаток, что такое межретейлерный поиск, и как он работает у нас.
В программе доклады и QA-сессия:
🔎 Как устроен Поиск в СберМаркете. Владимир Бугаевский, ML Team Lead в СберМаркете, поделится тем, как поисковые технологии улучшают пользовательский опыт в СберМаркете.
🔎 Нейросетевая модель для исправления опечаток в поисковых запросах. Анна Власова, ML-инженер в СберМаркете, расскажет о новой нейросетевой модели для исправления опечаток.
🔎 Ранжирование магазинов в межретейлерном поиске. Анна Южанина, ML-инженер в СберМаркете, расскажет о модели для ранжирования магазинов в зависимости от намерения и предпочтения пользователя.
Регистрируйтесь, количество мест в офлайне ограничено!
Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8KZXna
😉Использование генеративного ИИ для автоматизации дата инжиниринга
В этой статье автор расскажет о генеративном искусственном интеллекте (Gen AI) и его использовании в инженерии данных, а также о LLM и ее характеристиках, способах использования в различных приложениях и важности качества данных и дизайна платформы данных для эффективного использования LLM-моделей.
Читать...
🫥 Как устроен Representation Finetuning, родившийся из идеи интерпретируемости LLM
В этой статье мы расскажем о том, к каким конструктивным идеям приводит исследование интерпретируемости.
Читать...
Покупай сейчас, а плати потом с кешбэком до 25%
Больше не нужно ждать и откладывать, чтобы купить желаемую вещь.
Ведь дополнительные деньги всегда будут под рукой вместе с CASHBACK картой от МТS
Теперь ты можешь совершать срочные покупки, когда это нужно, а расплачиваться за них в течение 111 дней! Без процентов и дополнительных платежей.
А еще на каждую покупку по карте есть щедрый кешбэк:
◾ Каждую неделю на разные категории: 10%
◾ В супермаркетах: 5%
◾ На доставку еды, в кафе и ресторанах: 5%
◾ Магазины одежды: 5%
◾ Покупки у партнеров сервиса МТС Cashback: до 25% Платите любыми картами за косметику, технику, одежду и многое другое
Обслуживание по карте бесплатно.
Не откладывай покупки на потом, оформляй CASHBACK карту от МТS и покупай любимые товары уже сейчас.
🤖Обзор новых Open Source LLM. Или как локально запустить аналог ChatGPT
В этой статье мы расскажем что в них особенного, а также как и зачем их запускать локально.
Читать...
⚡️ Хабр подвел итоги конкурса «Технотекст», в тройку лидеров в номинации ML попали:
• Статья Виктора Юрченко из Яндекса с рассказом о том, как нейросети помогают беспилотным автомобилям планировать своё движение
• Научно-популярная статья Игоря Котенкова из Open Data Science с разбором работы ChatGPT
• Статья Мурата Апишева о методах позиционного кодирования в Transformer.
@Devsp — Подписаться
🔥MiniCPM-Llama3-V 2.5 — мультимодальная LLM-ка уровня GPT-4 (почти), которую можно запустить на телефоне
MiniCPM-V — это серия конечных мультимодальных LLM (MLLM), предназначенных для понимания визуального языка.
Модели принимают изображение и текст в качестве входных данных и обеспечивают высококачественный текстовый вывод.
Модель может обрабатывать изображения с количеством пикселей до 1.8 млн, показывает всего 10.3% галлюцинаций на Object HalBench, поддерживает ~30 языков, активно используется квантование для общей оптимизации.
🖥GitHub
@Devsp — Подписаться
🌟 SF-V — новый метод генерации видео от Snapchat
Новый метод генерации видео позволяет генерировать динамические и согласованные видео за 1 проход.
Обширные эксперименты показывают, что метод обеспечивает конкурентоспособное качество генерации синтезированных видео со значительно меньшими вычислительными затратами для процесса шумоподавления.
🟡Страничка SF-V
🖥GitHub
@Devsp — Подписаться
🌟 Новый этап в обучении LLM. Представили YaFSDP — это собственная разработка Яндекса для ускорения обучения больших языковых моделей
Её использование поможет ускорить обучение LLM с открытым исходным кодом до 25%. Кроме того, решение поможет оптимизировать использование графических процессоров (GPU).
Читать…
VK ищет ML-лида для команды ранжирования видео и клипов
Обязанности: конструирование признаков для ранжирования, разработка и внедрение новых алгоритмов, работа с MapReduce и нейросетевое ранжирование.
Условия: гибкий график, топовая команда, возможность влиять на продукт, красивый офис и другие бонусы.
Откликнуться на вакансию можно на сайте или написать напрямую в телеграме /channel/ellinatsyra
🎙 Real-time in-browser speech recognition
Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper!
Модель распознавания речи с 73 миллионами параметров, оптимизированная для вывода в Интернете.
▪️Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪️Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu
@Devsp — Подписаться
🎙 Real-time in-browser speech recognition
Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper!
Модель распознавания речи с 73 миллионами параметров, оптимизированная для вывода в Интернете.
▪️Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪️Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu
@Devsp — Подписаться
⭐️Мультиплеер Stable Audio, который можно запустить на Hugging Face
Генерируйте аудио из текстового описания, делитесь и учитесь у других, как наилучшим образом использовать эту новую модель.
🤗 Попробовать на Hugging Face
@Devsp — Подписаться
⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон!
🏆Гранты на 1 200 000 рублей!
Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу.
👨💻Кейсы:
- Инструмент для анонимизации документов пользователей сервиса «Просто спросить»;
- Алгоритм для систематизации архивных материалов;
- Сервис сбора информации для профилактики социально значимых заболеваний;
- Сервис для онлайн-записи на музейные мероприятия.
📆Даты хакатона: C 10 по 18 Июня 2024 г
📍Формат: Онлайн/Офлайн
🔥Дедлайн регистрации: 8 Июня, 23:59 (МСК)
Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/43c37e2edbcd
🚀Сделай Добро – помоги НКО!
🌟Omost — использование мощи LLM, пишущих код, для генерации изображений
Omost — это проект по преобразованию возможностей кодирования LLM в возможности генерации изображений (или, точнее, создания изображений).
Он предоставляет модели LLM, которые будут писать коды для составления визуального содержимого изображений с помощью виртуального агента Omost Canvas.
В настоящее время мы предоставляем 3 предварительно обученные модели LLM, основанные на вариациях Llama3 и Phi3 (см. также примечания к модели в конце этой страницы).
🖥GitHub
🤗 Попробовать на Hugging Face
@Devsp — Подписаться
🌟Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами
Dot — это автономное приложение с открытым исходным кодом, предназначенное для беспрепятственного взаимодействия с документами и файлами с использованием локальных LLM и поисковой дополненной генерации (RAG).
Он вдохновлен такими решениями, как Chat with RTX от Nvidia, обеспечивающими удобный интерфейс для тех, у кого нет опыта программирования.
Используя Phi-3 LLM по умолчанию, Dot обеспечивает доступность и простоту сразу после установки.
🖥GitHub
🟡Страничка Dot
@Devsp — Подписаться
Приглашаем Data Engineer на проект «Прикладная аналитическая платформа Сбер B2C» ⚡️
Платформа позволяет создавать аналитические витрины на Data Lake по различным направлениям бизнеса. Мы анализируем клиентские пути, создаём синергию в продуктах и сервисах и формируем целостное предложение для сегментов.
Какие задачи будут в вашем планере:
👉 Ведение стримов разработки витрин.
👉 Управление жизненным циклом разработки витрин, умение находить правильный баланс между скоростью и качеством разработки.
👉 Организация внутрикомандных взаимодействий и мотивация.
Мы активно расширяемся и усиливаем нашу команду, поэтому сейчас ищем талантливых Lead/Senior/Middle Data Engineer с опытом разработки приложений на Spark от двух лет, Scala/Java, знанием конвейеров и инструментов CI/CD.
Читайте подробности и откликайтесь по ссылке 😉
⏳Как построить MVP AI-сервис и сэкономить время
В этой статье мы расскажем, как и зачем нужно генерировать картинки, в нашем случае реалистичные концепты архитектурных объектов, с помощью ИИ и за минимальное количество ресурсов.
Читать...
🔥Burn — свежий open-source фреймворк для Deep Learning на Rust с упором на гибкость, эффективность вычислений и переносимость
Весь рабочий процесс глубокого обучения упрощается с помощью Burn, поскольку вы можете отслеживать прогресс своего обучения с помощью эргономичной панели управления и выполнять логические выводы повсюду, от встроенных устройств до больших кластеров графических процессоров.
Burn был создан с нуля с учетом обучения и умозаключений. Также стоит отметить, насколько Burn по сравнению с такими фреймворками, как PyTorch, упрощает переход от обучения к развертыванию, устраняя необходимость изменения кода.
🖥GitHub
🟡Доки
@Devsp — Подписаться
⚡️ Cortex — AI-движок для создания LLM-приложений
Cortex — это open-source AI-движок для создания LLM-приложений.
Можно импортировать в виде библиотеки Cortex или использовать как сервер.
🖥GitHub
🟡Доки
@Devsp — Подписаться
⚡️Scribble SDXL — позволяет превратить каракули в шедевр
Scribble SDXL создан на основе SDXL ControlNet и его можно без проблем запустить на Hugging Face.
Можно выбирать разные стили и экспериментировать.
🤗 Scribble SDXL
@Devsp — Подписаться
👾 Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend
В этой статье автор расскажет как можно объединить GPT-4 с бэкендом машинного обучения (ML Backend) Label Studio.
Читать...