devsp | Unsorted

Telegram-канал devsp - Data Science | Machinelearning [ru]

19745

Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD

Subscribe to a channel

Data Science | Machinelearning [ru]

​​🖥 Дайджест самых интересных публикаций за последние дни:

• SF-V — новый метод генерации видео от Snapchat

• Простые способы ускорения обучения PyTorch-моделей

• L-MAGIC: Language Model Assisted Generation of Images with Coherence

Читать полностью…

Data Science | Machinelearning [ru]

Как использовать нейросети в обучении с подкреплением?

В чем недостатки классических алгоритмов и как нейросети помогают их решить? Узнайте на открытом практическом уроке от OTUS, где мы разберем:

- как реализовать алгоритм Q-learning на базе нейросети и что нам это даст;
- различные виды функции потерь и реализацию для алгоритма DQN (Deep Q-learning);
- дополнительные условия архитектуры нейросети, моделирующей поведение агента в алгоритме DQN.

Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences, опытный руководитель команд и преподаватель.

Встречаемся 13 июня в 20:00 мск в рамках курса «Reinforcement Learning». Все участники вебинара получат специальную цену на обучение!

Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/oVnA/

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️L-MAGIC: Language Model Assisted Generation of Images with Coherence

Новая модель может создавать качественные панорамные сцены на основе одного входного изображения и текстового промпта!

L-MAGIC использует предварительно обученные модели распространения и языка без тонкой настройки, обеспечивая нулевую производительность.

В сочетании с моделями условного распространения он может принимать различные способы ввода, включая, помимо прочего, текст, карты глубины, эскизы и цветные сценарии.

▪️Github: https://github.com/IntelLabs/MMPano
▪️Paper: https://arxiv.org/abs/2406.01843
▪️Project: https://zhipengcai.github.io/MMPano/
▪️Video: https://youtu.be/XDMNEzH4-Ec

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🚀Простые способы ускорения обучения PyTorch-моделей

В этой статье автор рассмотрит Docker-контейнеры для репродуктируемости окружения модели обучения, а также профайлер PyTorch для анализа производительности кода обучения и identification bottlenecks.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные публикации за последние дни:

• Мультиплеер Stable Audio, который можно запустить на Hugging Face

• NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

• Omost — использование мощи LLM, пишущих код, для генерации изображений

Читать полностью…

Data Science | Machinelearning [ru]

​​😎NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

NeRF-Insert позволяет добавлять объект в 3D сцену с помощью мультимодальных входных сигналов.

Вставленный объект может быть описан с помощью текстовой строки или ссылочного изображения.

Пользователь может определить область закрашивания, нарисовав всего 2-3 ручные маски.

▶️Страничка NeRF-Insert
🟡Arxiv

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️ Qwen2 - самый крутой релиз откртых LLM со времен Llama 3!

Alibaba только что выпустили свое новое семейство мультиязычных моделей, которых превосходят по производительности Llama 3 по многим параметрам.

Серия Qwen2 включает базовые и настроенные по инструкции модели 5 размеров, включая Qwen2-0.5B, Qwen2-1.5B, Qwen2-7B, Qwen2-57B-A14B, Qwen2-72B.

📖 BLOG: https://qwenlm.github.io/blog/qwen2/
🤗 HF collection: https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
🤖 https://modelscope.cn/organization/qwen
💻 GitHub: https://github.com/QwenLM/Qwen2

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🦾 Коннектор ADB-TO-ADB

В этой статье рассматриваются детали предлагаемой нами реализации коннектора для выполнения так называемых гетерогенных запросов в рамках разных кластеров Arenadata DB и/или Greenplum.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

Давайте поможем Даше найти... что угодно

27 июня в 19:00 Data Science Meetup: Поиск от команды СберМаркета!

Соберёмся в нашем офисе, чтобы рассказать о секретах алгоритмов поиска: как разрабатывали и улучшали модель по исправлению опечаток, что такое межретейлерный поиск, и как он работает у нас.

В программе доклады и QA-сессия:

🔎 Как устроен Поиск в СберМаркете. Владимир Бугаевский, ML Team Lead в СберМаркете, поделится тем, как поисковые технологии улучшают пользовательский опыт в СберМаркете.

🔎 Нейросетевая модель для исправления опечаток в поисковых запросах. Анна Власова, ML-инженер в СберМаркете, расскажет о новой нейросетевой модели для исправления опечаток.

🔎 Ранжирование магазинов в межретейлерном поиске. Анна Южанина, ML-инженер в СберМаркете, расскажет о модели для ранжирования магазинов в зависимости от намерения и предпочтения пользователя.

Регистрируйтесь, количество мест в офлайне ограничено!

Реклама. ООО «ИНСТАМАРТ СЕРВИС», ИНН: 9705118142. Ерид: LjN8KZXna

Читать полностью…

Data Science | Machinelearning [ru]

​​😉Использование генеративного ИИ для автоматизации дата инжиниринга

В этой статье автор расскажет о генеративном искусственном интеллекте (Gen AI) и его использовании в инженерии данных, а также о LLM и ее характеристиках, способах использования в различных приложениях и важности качества данных и дизайна платформы данных для эффективного использования LLM-моделей.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🫥 Как устроен Representation Finetuning, родившийся из идеи интерпретируемости LLM

В этой статье мы расскажем о том, к каким конструктивным идеям приводит исследование интерпретируемости.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

Покупай сейчас, а плати потом с кешбэком до 25%

Больше не нужно ждать и откладывать, чтобы купить желаемую вещь.
Ведь дополнительные деньги всегда будут под рукой вместе с CASHBACK картой от МТS

Теперь ты можешь совершать срочные покупки, когда это нужно, а расплачиваться за них в течение 111 дней! Без процентов и дополнительных платежей.

А еще на каждую покупку по карте есть щедрый кешбэк:
◾ Каждую неделю на разные категории: 10%
◾ В супермаркетах: 5%
◾ На доставку еды, в кафе и ресторанах: 5%
◾ Магазины одежды: 5%
◾ Покупки у партнеров сервиса МТС Cashback: до 25% Платите любыми картами за косметику, технику, одежду и многое другое

Обслуживание по карте бесплатно.

Не откладывай покупки на потом, оформляй CASHBACK карту от МТS и покупай любимые товары уже сейчас.

Читать полностью…

Data Science | Machinelearning [ru]

​​🤖Обзор новых Open Source LLM. Или как локально запустить аналог ChatGPT

В этой статье мы расскажем что в них особенного, а также как и зачем их запускать локально.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

⚡️ Хабр подвел итоги конкурса «Технотекст», в тройку лидеров в номинации ML попали:

• Статья Виктора Юрченко из Яндекса с рассказом о том, как нейросети помогают беспилотным автомобилям планировать своё движение
• Научно-популярная статья Игоря Котенкова из Open Data Science с разбором работы ChatGPT
• Статья Мурата Апишева о методах позиционного кодирования в Transformer.

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🔥MiniCPM-Llama3-V 2.5 — мультимодальная LLM-ка уровня GPT-4 (почти), которую можно запустить на телефоне

MiniCPM-V — это серия конечных мультимодальных LLM (MLLM), предназначенных для понимания визуального языка.

Модели принимают изображение и текст в качестве входных данных и обеспечивают высококачественный текстовый вывод.

Модель может обрабатывать изображения с количеством пикселей до 1.8 млн, показывает всего 10.3% галлюцинаций на Object HalBench, поддерживает ~30 языков, активно используется квантование для общей оптимизации.

🖥GitHub

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🌟 SF-V — новый метод генерации видео от Snapchat

Новый метод генерации видео позволяет генерировать динамические и согласованные видео за 1 проход.

Обширные эксперименты показывают, что метод обеспечивает конкурентоспособное качество генерации синтезированных видео со значительно меньшими вычислительными затратами для процесса шумоподавления.

🟡Страничка SF-V
🖥GitHub

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🌟 Новый этап в обучении LLM. Представили YaFSDP — это собственная разработка Яндекса для ускорения обучения больших языковых моделей
 
Её использование поможет ускорить обучение LLM с открытым исходным кодом до 25%. Кроме того, решение поможет оптимизировать использование графических процессоров (GPU). 
 
Читать…

Читать полностью…

Data Science | Machinelearning [ru]

VK ищет ML-лида для команды ранжирования видео и клипов

Обязанности: конструирование признаков для ранжирования, разработка и внедрение новых алгоритмов, работа с MapReduce и нейросетевое ранжирование.

Условия:
гибкий график, топовая команда, возможность влиять на продукт, красивый офис и другие бонусы.

Откликнуться на вакансию можно на сайте или написать напрямую в телеграме /channel/ellinatsyra

Читать полностью…

Data Science | Machinelearning [ru]

​​🎙 Real-time in-browser speech recognition

Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper!

Модель распознавания речи с 73 миллионами параметров, оптимизированная для вывода в Интернете.

▪️Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪️Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🎙 Real-time in-browser speech recognition

Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper!

Модель распознавания речи с 73 миллионами параметров, оптимизированная для вывода в Интернете.

▪️Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪️Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​⭐️Мультиплеер Stable Audio, который можно запустить на Hugging Face

Генерируйте аудио из текстового описания, делитесь и учитесь у других, как наилучшим образом использовать эту новую модель.

🤗 Попробовать на Hugging Face

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

⚡️Хочешь разработать решение технологического кейса для внедрения в работу НКО? Тогда регистрируйся на Smart Social: Хакатон!

🏆Гранты на 1 200 000 рублей!

Smart Social: Хакатон – это командное соревнование для программистов, дизайнеров, менеджеров, аналитиков и других IT-специалистов, которые в сжатые сроки решают технологическую задачу.

👨‍💻Кейсы:
- Инструмент для анонимизации документов пользователей сервиса «Просто спросить»;
- Алгоритм для систематизации архивных материалов;
- Сервис сбора информации для профилактики социально значимых заболеваний;
- Сервис для онлайн-записи на музейные мероприятия.

📆Даты хакатона: C 10 по 18 Июня 2024 г
📍Формат: Онлайн/Офлайн
🔥Дедлайн регистрации: 8 Июня, 23:59 (МСК)

Не нашел для себя задачу? Смотри еще кейсы по ссылке: https://tglink.io/43c37e2edbcd

🚀Сделай Добро – помоги НКО!

Читать полностью…

Data Science | Machinelearning [ru]

​​🌟Omost — использование мощи LLM, пишущих код, для генерации изображений

Omost — это проект по преобразованию возможностей кодирования LLM в возможности генерации изображений (или, точнее, создания изображений).

Он предоставляет модели LLM, которые будут писать коды для составления визуального содержимого изображений с помощью виртуального агента Omost Canvas.

В настоящее время мы предоставляем 3 предварительно обученные модели LLM, основанные на вариациях Llama3 и Phi3 (см. также примечания к модели в конце этой страницы).

🖥GitHub
🤗 Попробовать на Hugging Face

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🌟Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами

Dot — это автономное приложение с открытым исходным кодом, предназначенное для беспрепятственного взаимодействия с документами и файлами с использованием локальных LLM и поисковой дополненной генерации (RAG).

Он вдохновлен такими решениями, как Chat with RTX от Nvidia, обеспечивающими удобный интерфейс для тех, у кого нет опыта программирования.

Используя Phi-3 LLM по умолчанию, Dot обеспечивает доступность и простоту сразу после установки.

🖥GitHub
🟡Страничка Dot

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

Приглашаем Data Engineer на проект «Прикладная аналитическая платформа Сбер B2C» ⚡️

Платформа позволяет создавать аналитические витрины на Data Lake по различным направлениям бизнеса. Мы анализируем клиентские пути, создаём синергию в продуктах и сервисах и формируем целостное предложение для сегментов.

Какие задачи будут в вашем планере:

👉 Ведение стримов разработки витрин.
👉 Управление жизненным циклом разработки витрин, умение находить правильный баланс между скоростью и качеством разработки.
👉 Организация внутрикомандных взаимодействий и мотивация.

Мы активно расширяемся и усиливаем нашу команду, поэтому сейчас ищем талантливых Lead/Senior/Middle Data Engineer с опытом разработки приложений на Spark от двух лет, Scala/Java, знанием конвейеров и инструментов CI/CD.

Читайте подробности и откликайтесь по ссылке 😉

Читать полностью…

Data Science | Machinelearning [ru]

​​⏳Как построить MVP AI-сервис и сэкономить время

В этой статье мы расскажем, как и зачем нужно генерировать картинки, в нашем случае реалистичные концепты архитектурных объектов, с помощью ИИ и за минимальное количество ресурсов.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🔥Burn — свежий open-source фреймворк для Deep Learning на Rust с упором на гибкость, эффективность вычислений и переносимость

Весь рабочий процесс глубокого обучения упрощается с помощью Burn, поскольку вы можете отслеживать прогресс своего обучения с помощью эргономичной панели управления и выполнять логические выводы повсюду, от встроенных устройств до больших кластеров графических процессоров.

Burn был создан с нуля с учетом обучения и умозаключений. Также стоит отметить, насколько Burn по сравнению с такими фреймворками, как PyTorch, упрощает переход от обучения к развертыванию, устраняя необходимость изменения кода.

🖥GitHub
🟡Доки

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️ Cortex — AI-движок для создания LLM-приложений

Cortex — это open-source AI-движок для создания LLM-приложений.

Можно импортировать в виде библиотеки Cortex или использовать как сервер.

🖥GitHub
🟡Доки

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️Scribble SDXL — позволяет превратить каракули в шедевр

Scribble SDXL создан на основе SDXL ControlNet и его можно без проблем запустить на Hugging Face.

Можно выбирать разные стили и экспериментировать.

🤗 Scribble SDXL

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​👾 Разметка данных в Label Studio при помощи GPT-4: интеграция ML Backend

В этой статье автор расскажет как можно объединить GPT-4 с бэкендом машинного обучения (ML Backend) Label Studio.

Читать...

Читать полностью…
Subscribe to a channel