devsp | Unsorted

Telegram-канал devsp - Data Science | Machinelearning [ru]

19745

Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM. MAX - https://max.ru/devsp Личный блог - @just_genych По вопросам рекламы или разработки - @g_abashkin РКН: https://vk.cc/cJPGXD

Subscribe to a channel

Data Science | Machinelearning [ru]

В чём особенность рекламы на маркетплейсах и как она связана с ранжированием и продвижением — обсуждают эксперты бигтехов в подкасте «Рандомные дрова» от Ozon Tech.

Слушайте, чтобы узнать, как работает механизм аукциона изнутри, как ML-модели учитывают конверсию и какие метрики нужны для измерения качества рекламы в e-com.

🎧 Приятного прослушивания на любимой площадке!

Читать полностью…

Data Science | Machinelearning [ru]

​​🔥VITA: Towards Open-Source Interactive Omni Multimodal LLM

Мультимодальная большая языковая модель (MLLM) с открытым исходным кодом, которая способна одновременно обрабатывать и анализировать модальности видео, изображений, текста и аудио, и в то же время обладает передовым мультимодальным интерактивным опытом.

Она демонстрирует надежные базовые возможности многоязычного, визуального и аудиопонимания, о чем свидетельствует ее высокая производительность в ряде как унимодальных, так и мультимодальных тестов.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

❓Ваши системы падают при любой удобной возможности? Хотите узнать, как обеспечить непрерывную работу с помощью PostgreSQL-кластера?

Ждем вас на открытом вебинаре 15 августа в 20:00 мск, где мы разберём:

- что такое доступность и как она достигается;
- как построение архитектуры связано с доступностью;
- реализацию failover в PostgreSQL и настройку кластера для обеспечения отказоустойчивости.

Вы получите ценные знания и практические навыки, которые помогут вам настроить кластер так, чтобы падение одной из нод не приводило к сбоям всей системы.

Спикер Антон Герасименко — опытный разработчик и преподаватель, .net developer + lead.

Встречаемся в преддверии старта курса «Базы данных». Все участники вебинара получат специальную цену на обучение!

👉 Регистрируйтесь прямо сейчас, чтобы не пропустить бесплатный урок: https://otus.pw/436ki/

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Читать полностью…

Data Science | Machinelearning [ru]

​​🦙Опенсорс на арене: правда ли так хороша Llama 3.1 405B?

В этой статье мы проведем независимое расследование: сравним возможности Llama 3.1 405B с GPT-4o и Claude 3.5 Sonnet на ряду задач, от программирования до творческого письма, и попробуем понять, насколько она готова к практическому применению.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​👍Оценка LLM с большим окном контекста

В этой статье мы расскажем как получилось достичь уровня gpt-4 на собственном ограниченном датасете большого контекста.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🔍Как мы построили сервис, который поможет сократить поиск видео контента в огромной базе данных

В этой статье мы расскажем, как мы использовали современные AI-технологии, чтобы сделать поиск видео быстрым и точным.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🗣Как мы сломали языковой барьер с помощью одной модели?

В этой статье я расскажу о реализации моего бесшовного модуля мультиязычности.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные статьи за последние дни:

• Атрибутивное распознавание документов

• Маршрутизация обращений: автоматизация в ИТ-поддержке с помощью ИИ и языковых моделей

• Как анализировать тысячи отзывов с ChatGPT? Частые ошибки и пример на реальных данных

Читать полностью…

Data Science | Machinelearning [ru]

​​✉️Маршрутизация обращений: автоматизация в ИТ-поддержке с помощью ИИ и языковых моделей

В этой статье я расскажу, как нам удалось преобразовать подход к обслуживанию ИT‑запросов поддержки пользователей через проект интеллектуальной классификации и маршрутизации.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​📇Атрибутивное распознавание документов

В этой статье хочу обсудить подходы к решению задачи атрибутивного распознавания, а также проблемы с которыми я сталкивался за 10 лет практики в этой области.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🤔Real AI Семантический Анализатор и решение задачи по извлечению поручений из распорядительных документов

В этой статье мы расскажем о практической задаче – автоматическом заполнении карточек поручений в системе электронного документооборота путем анализа распорядительных документов, а также о нашем подходе к ее решению.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🦙ИИ LLama3 без ограничений: локальный запуск, GROQ и интеграция в Телеграм бота с помощью Python

В этой статье я расскажу, как использовать LLAMA3 ИИ в своих проектах. После небольшой подготовки мы приступим к созданию полноценного Telegram бота.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

Осталось меньше месяца до окончания отбора научных статей по искусственному интеллекту и машинному обучению для публикации в журнале конференции AI Journey. Приз за лучшую статью составляет один миллион рублей.

Ключевые исследования будут опубликованы в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления», а также в его англоязычной версии Doklady Mathematics. Научное издание выходит в рамках международной конференции AI Journey и доступно на мировых электронных библиотечных платформах, индексируясь в ведущих библиографических базах данных научного цитирования.

Заявки на участие в конкурсе принимаются до 20 августа. Статьи должны быть оформлены в соответствии с Правилами отбора, написаны на русском или английском языках и содержать оригинальные, ранее не опубликованные данные. Решение о публикации и выборе победителя принимается экспертной комиссией.

Не упустите возможность представить свои исследования на AI Journey 2024 и выиграть один миллион рублей! Ознакомьтесь с Правилами и отправьте свою статью на сайте AI Journey.

Читать полностью…

Data Science | Machinelearning [ru]

📸 YandexART теперь может реставрировать архивные видеозаписи и кинохронику

Этот навык будет полезен для кинокомпаний, музеев, историков и других специалистов, работающих с историческим наследием.

С помощью нейросетевых технологий и компьютерной графики, команды компьютерного зрения Яндекса, Yandex Research и Плюс Студии уже смогли улучшить качество старых видеоматериалов для сериала «Игры» про Олимпиаду-80.

Нейросеть научилась добавлять фактуру и недостающие детали на размытые и нечёткие кадры, такие как кирпичная кладка на стенах, узоры на женском платье, фары и поворотники у автомобилей.

Особое внимание было уделено проблеме галлюцинаций — тенденции генеративных моделей добавлять несуществующие детали. Для её решения применили метод поэтапного обучения на данных низкого качества, что позволило повысить точность реконструкции.

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​👤Диалекты, зумеры и боты: секреты тестирования NLU-систем

В этой статье обсуждаются проблемы, с которыми сталкиваются QA-инженеры при тестировании чат-ботов и голосовых помощников, а также методы, которые можно использовать для повышения эффективности этого процесса.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🗣Fine-tuning больших языковых моделей в 2024 году

В этой статье мы рассмотрим жизненный цикл LLM, включая этапы концепции, выбора модели и оценки точности.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​👾Transfer learning: подробный гайд для начинающих

В этой статье мы расскажем, как работает TL, где оно используется, и разберем конкретные кейсы.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные статьи за последние дни:

• Как мы построили сервис, который поможет сократить поиск видео контента в огромной базе данных

• Опенсорс на арене: правда ли так хороша Llama 3.1 405B?

• Оценка LLM с большим окном контекста

Читать полностью…

Data Science | Machinelearning [ru]

​​🤖Transformer Explainer: Интерактивное обучение текстогенерирующим моделям

Этот инструмент помогает пользователям понять сложные концепции трансформеров, интегрируя обзор модели и обеспечивая плавные переходы между уровнями абстракции математических операций и структур моделей.

Он запускает живой экземпляр GPT-2 локально в браузере пользователя, позволяя пользователям экспериментировать с собственным вводом и наблюдать в реальном времени, как внутренние компоненты и параметры трансформера работают вместе, чтобы предсказывать следующие токены.

Инструмент не требует установки или специального оборудования, расширяя образовательный доступ общественности к современным генеративным методам ИИ.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​⚡️LLM-DetectAIve: инструмент для точного машинного обнаружения текста

Система, разработанная для детального обнаружения MGT.

Она способна классифицировать тексты по четырем категориям: написанные человеком, сгенерированные машиной, написанные машиной-очеловеченные и написанные машиной-отшлифованные.

В отличие от предыдущих детекторов MGT, которые выполняют бинарную классификацию, введение двух дополнительных категорий в LLM-DetectiAIve дает представление о различных степенях вмешательства LLM во время создания текста.

Это может быть полезно в некоторых областях, таких как образование, где любое вмешательство LLM обычно запрещено.

Эксперименты показывают, что LLM-DetectAIve может эффективно определять авторство текстового контента, доказывая его полезность для повышения целостности в образовании, академической среде и других областях.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🚀LLaVA-OneVision: простая визуальная передача задач

LLaVA-OneVision — семейство открытых больших мультимодальных моделей (LMM), разработанных путем консолидации наших идей в области данных, моделей и визуальных представлений в серии блогов LLaVA-NeXT.

Модель, которая может одновременно раздвигать границы производительности открытых LMM в трех важных сценариях компьютерного зрения: сценарии с одним изображением, несколькими изображениями и видео.

Важно отметить, что конструкция LLaVA-OneVision допускает сильный перенос обучения между различными модальностями/сценариями, что дает новые появляющиеся возможности.

В частности, сильное понимание видео и возможности кросс-сценариев демонстрируются посредством переноса задач с изображений на видео.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

Хотите зарабатывать на создании сайтов больше?

Запускайте сайты, интернет-магазины и лендинги для заказчиков в удобном конструкторе Nethouse и получайте 30% от их оплат тарифов, услуг, продвижения и настройки рекламы. Отличное решение для веб-студий и фрилансеров.

Преимущества Nethouse:

– работает с 2011 года, более 1.5 млн пользователей;
– готовые шаблоны сайтов разных тематик;
– техподдержка без выходных и праздников;
– удобные интеграции с популярными сервисами;
– сайты отлично продвигаются в поисковых системах;
– серверы находятся в РФ, защита от DDoS-атак.

Узнать больше

Реклама. Рекламодатель: ООО «Конструктор» ИНН 7814541386, erid: 2VtzqvyNkfd

Читать полностью…

Data Science | Machinelearning [ru]

​​😵Как анализировать тысячи отзывов с ChatGPT? Частые ошибки и пример на реальных данных

В этой статье автор расскажет про свой опыт решения рабочей задачи — анализ отзывов пользователей о компании, а также мы разберём возможные ошибки и посмотрим на пример кода и реальных данных.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​🥳 TexGen: генерация 3D-текстур на основе текста с многоракурсной выборкой и повторной выборкой

Новая структура выборки и повторной выборки нескольких видов для генерации текстур, использующую предварительно обученную модель диффузии текста в изображение.

Благодаря обширному количеству качественных и количественных оценок метод обеспечивает значительно лучшее качество текстур для разнообразных 3D-объектов с высокой степенью согласованности вида и богатой детализацией внешнего вида, превосходя современные методы.

Кроме того, этот метод генерации текстур может также применяться для редактирования текстур с сохранением исходной идентичности.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные статьи за последние дни:

• Наш опыт применения AI-технологий для классификации документов для подачи в суд

• ИИ LLama3 без ограничений: локальный запуск, GROQ и интеграция в Телеграм бота с помощью Python

• Агенты расширенного распространения: структура для эффективного исследования и передачи обучения

Читать полностью…

Data Science | Machinelearning [ru]

​​😎Meltemi: первая открытая большая языковая модель для греческого языка

Модель имеет 7 миллиардов параметров и обучается на 40 миллиардах токенов греческого корпуса.

Она содержит актуальную информацию по состоянию на сентябрь 2023 года.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🥷Агенты расширенного распространения: структура для эффективного исследования и передачи обучения

Diffusion Augmented Agents (DAAG), новую структуру, которая использует большие языковые модели, модели языка видения и модели диффузии для повышения эффективности выборки и переноса обучения в обучении с подкреплением для воплощенных агентов.

DAAG hindsight перемаркирует прошлый опыт агента, используя модели диффузии для преобразования видео временно и геометрически согласованным образом для согласования с целевыми инструкциями с помощью техники, которую мы называем Hindsight Experience Augmentation.

Большая языковая модель организует этот автономный процесс, не требуя человеческого надзора, что делает его хорошо подходящим для сценариев непрерывного обучения.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​📄Наш опыт применения AI-технологий для классификации документов для подачи в суд

В этой статье мы расскажем вам об опыте разработки этого решения для автоматизации труда юристов и взыскателей и трудностях, с которыми мы столкнулись.

Читать...

Читать полностью…

Data Science | Machinelearning [ru]

​​😇ThinK: более тонкий кэш ключей с помощью отсечения на основе запросов

Новый метод обрезки кэша KV, зависящий от запроса, разработанный для минимизации потери веса внимания при выборочной обрезке наименее значимых каналов.

Подход не только сохраняет или повышает точность модели, но и обеспечивает снижение затрат памяти более чем на 20% по сравнению с ванильными методами вытеснения кэша KV.

Расширенные оценки моделей LLaMA3 и Mistral в различных наборах данных с длинными последовательностями подтверждают эффективность ThinK, устанавливая новый прецедент для эффективного развертывания LLM без ущерба для производительности.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Читать полностью…

Data Science | Machinelearning [ru]

​​🖥 Самые интересные статьи за последние дни:

• Генерация текстового контента с ИИ: обзор и сравнение моделей

• Всё что нужно знать про DuckDB

• Какие задачи сегодня решаются с помощью транспортной видеоаналитики

Читать полностью…
Subscribe to a channel