Data Science | Machinelearning [ru]

10 October 2024 22:07

🔍 Поиск дубликатов в клиентском MDM на миллиард записей

Статья расскажет о подходах к объединению крупных баз данных с клиентской информацией, несмотря на ошибки и опечатки. Описываются методы предотвращения неверных объединений, включая сложные случаи, такие как записи братьев-близнецов.

Читать...

Data Science | Machinelearning [ru]

10 October 2024 14:07

🤖 Обучение GigaChat с контекстом в сотни тысяч токенов

Статья расскажет о том, как команда SberDevices увеличивала объем контекста в диалогах для модели GigaChat, чтобы она могла учитывать реплики, сказанные сотни шагов назад. Представлена расшифровка доклада.

Читать...

Data Science | Machinelearning [ru]

09 October 2024 19:07

🥸Хочу как Гендальф: как создать бота для подбора паролей промптами

В этой статье рассказываем, как сделать такого бота, и попробовать выведать у него тайну.

Читать...

Data Science | Machinelearning [ru]

09 October 2024 09:07

❗️Устали от несогласованных, дублирующихся, неполных данных?

👉Приходите на бесплатный вебинар онлайн-курса «Архитектор Togaf 10» — «Управление основными данными организации»: https://vk.cc/cC5tFV


Отсутствие консолидации данных приводит к тому, что организация не имеет полного и точного представления о своих клиентах и процессах. TOGAF помогает в управлении основными данными, в том числе данными клиентов (CMDM) путем создания единого источника данных, разработки архитектуры и стандартов управления, интеграции систем и улучшения качества информации.

Узнайте, как создать единую архитектуру данных для централизованного хранения информации о клиентах, установить стандарты управления данными, интегрировать различные системы!

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Data Science | Machinelearning [ru]

08 October 2024 16:07

На канале Яндекса вышел новый выпуск «1x1», в котором стажеры делятся своими впечатлениями и опытом прохождения стажировки в компании.

Спойлер: можно совмещать учебу с разработкой масштабных проектов, а команда всегда готова помочь с любыми трудностями. И супербонус — стажеры могут посещать десятки ивентов, где можно нетворкать, знакомиться с разными командами сервисов и просто чиллить.

Программа стажировок работает круглый год. Оба героя выпуска занимаются машинным обучением в Яндексе. Если хочется подтянуть скиллы по ML и попробовать попасть в штат, то прямо сейчас можно записаться на Тренировки по Machine Learning 2.0.

Data Science | Machinelearning [ru]

07 October 2024 19:09

🥳Tutor CoPilot: A Human-AI Approach for Scaling Real-Time Expertise

Новый подход Human-AI, который использует модель экспертного мышления для предоставления экспертного руководства репетиторам во время их репетиторства.

Это исследование является первым рандомизированным контролируемым испытанием системы Human-AI в живом репетиторстве, в котором участвуют 900 репетиторов и 1800 учеников K-12 из исторически малообеспеченных сообществ.

Tutor CoPilot демонстрирует, как системы «человек-искусственный интеллект» могут масштабировать экспертные знания в реальных областях, устранять пробелы в навыках и создавать будущее, в котором высококачественное образование будет доступно всем учащимся.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Data Science | Machinelearning [ru]

07 October 2024 10:07

Ищем автора эталонного кода! 💎

Если вы уверены, что вашему коду подходит звание «Эталонный», а вам — звание «Автор самого красивого кода», то приглашаем принять участие в Конкурсе красоты кода 2.0 и выиграть классные призы от Сбера: iPhone 16 и умную колонку SberBoom.

Опытные эксперты определят победителей в пяти категориях: Backend, Frontend, DevOps, AI и Mobile, — а награждение пройдёт на ключевом IT-событии HighLoad в Москве, 2 и 3 декабря.

Больше 40 участников прошлого конкурса стали частью команды Сбера. Возможно, следующим станете именно вы — переходите по ссылке и изучайте подробности!

Data Science | Machinelearning [ru]

06 October 2024 14:36

💎Кратко про Ensemble методы с примерами

В этой статье мы рассмотрим три основных подхода: Bagging, Boosting и Stacking, и посмотрим, как их реализовать на Python.

Читать...

Data Science | Machinelearning [ru]

05 October 2024 19:07

🔥Depth Pro: Sharp Monocular Metric Depth in Less Than a Second

Мы представляем базовую модель для оценки глубины с помощью метрики нулевого кадра.

Модель синтезирует карты глубины высокого разрешения с непревзойденной резкостью и высокочастотными деталями.

Прогнозы являются метрическими, с абсолютным масштабом, без опоры на доступность метаданных, таких как внутренние параметры камеры.

Модель быстрая, производит карту глубины 2,25 мегапикселя за 0,3 секунды на стандартном графическом процессоре.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Data Science | Machinelearning [ru]

04 October 2024 19:17

⚡️Как за месяц научить нейросеть говорить на татарском: опыт MTS AI

В этой статье расскажу вам о том, как мы силами пяти человек за месяц научили нашу большую языковую модель Cotype Lite общаться на татарском языке.

Читать...

Data Science | Machinelearning [ru]

03 October 2024 19:07

🥳Строим ETL-конвейер для машинного обучения с помощью Kafka, Clickhouse и Go

В этой статье я поделюсь с вами своим опытом использования Golang, Kafka и Clickhouse на примере простого ETL-конвейера для параллельной передачи JSON-данных в базу данных с последующим прогнозированием температуры на основе машинного обучения.

Читать...

Data Science | Machinelearning [ru]

02 October 2024 19:07

🖥 Самые интересные статьи за последние дни:

• Эффективные запросы к ChatGPT и подобным моделям: Полное руководство по идеальной формуле

• Защита LLM в разработке чат-ботов в корпоративной среде: как избежать утечек данных и других угроз

• Как оценить качество LLM модели

Data Science | Machinelearning [ru]

02 October 2024 14:07

🗣Как общаться с базой знаний на естественном языке с помощью LLM и объективно оценить работу полученной системы

В этой статье расскажу про особенности применения больших языковых моделей для оптимизации бизнес-процессов.

Читать...

Data Science | Machinelearning [ru]

01 October 2024 15:07

🔍 Вакансия: Data Engineer / Web Scraper Specialist 🔍

Ищем специалиста по веб-скрейпингу и работе с API для автоматизированного сбора данных о компаниях из открытых источников.

Что нужно будет делать:
- Собирать данные о компаниях через *D7 Lead Finder* (API или скрейпинг).
- Использовать *Hunter.io, LinkedIn API, Google Custom Search* для дополнительного сбора и обработки информации.
- Очистка и верификация данных, сохранение в формате *CSV/Excel*.

Что ожидаем:
- Опыт в *Python, Selenium, Beautiful Soup/Scrapy*.
- Навыки работы с API и обработки больших объемов данных.
- Умение структурировать и анализировать данные.

по всем вопросам писать: @xandersob

Data Science | Machinelearning [ru]

30 September 2024 19:07

🤩MIO: A Foundation Model on Multimodal Tokens

Новая базовая модель, построенную на многомодальных токенах, способную понимать и генерировать речь, текст, изображения и видео сквозным авторегрессивным способом.

Экспериментальные результаты показывают, что MIO демонстрирует конкурентоспособную, а в некоторых случаях и превосходящую производительность по сравнению с предыдущими двухмодальными базовыми линиями, базовыми линиями моделей any-to-any и даже базовыми линиями, специфичными для модальности.

Более того, MIO демонстрирует расширенные возможности, присущие его функции any-to-any, такие как чередующееся создание видеотекста, цепочка визуально-мысленных рассуждений, создание визуальных руководств, редактирование обучающих изображений и т. д.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться

Data Science | Machinelearning [ru]

10 October 2024 19:07

🔥Много хардовой инфы для любителей LMM: Яндекс опубликовал в все доклады с прошедшей Practical ML Conf 2024


Один из самых запоминающихся докладов — история создание Нейро (продукт синтеза поисковых и генеративных технологий компании). Екатерина Серажим, руководитель управления качества, рассказала про:

— Метрику «подверженность». Она направлена на то, чтобы максимально фокусировать и настраивать модель на извлечение информации из данных, минимизируя галлюцинации

— Выбор оптимальной архитектуры и баланса между количеством данных и необходимыми мощностями при запуске в продакшн.

— Разнообразие (снижение дисперсии) разметки текстов благодаря инструкциям. Так, модель не учит второстепенную информацию, а фокусируется на извлечении информации из инфо-контекста.

А еще были интересные доклады про оптимизацию RAG-систем, синтез речи, методики для оптимизации подсистемы генеративного ридера и рексис. Такое мы однозначно смотрим.

Data Science | Machinelearning [ru]

10 October 2024 09:07

🚀Быстрее, выше, сильнее - вместе с Greenplum!

👉Начните на бесплатном вебинаре онлайн-курса «Greenplum для разработчиков и архитекторов» - «Оптимизация производительности в аналитической СУБД Greenplum»: https://vk.cc/cC5AI3


На вебинаре вы узнаете о:
- Распределении данных: Как оптимально распределять данные по сегментам.
- Индексах и партиционировании: Их роль в ускорении запросов. Нужны ли они в Greenplum?
- Оптимизации запросов: Эффективные SQL-запросы и планировщик.

В практической части будут рассмотрены инструменты мониторинга, такие как gpperfmon и gpstate.

🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку!

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Data Science | Machinelearning [ru]

09 October 2024 14:07

🫠 ChatGPT и Gemini не могут справиться даже с простой математической задачкой на логику

Сегодня увидел на репетиторском канале простенькую задачку на логику. И решил попробовать скормить ее ChatGPT и Gemini. Просто интереса ради. Вспомнил, что когда вышла ChatGPT 4-o в демках показывали, как она якобы может заменить учителей.

Читать...

Data Science | Machinelearning [ru]

08 October 2024 19:07

🔐Безопасность в машинном обучении: от проектирования до внедрения

В этой статье описывается методология Crisp-DM, позволяющая структурировать процесс разработки, а также рассматриваются уязвимости и возможные атаки на ML-модели.

Читать...

Data Science | Machinelearning [ru]

08 October 2024 14:14

😎Пока не исправили — модифицируй, или Анализ расширений атаки уклонения для LLM

В статье рассматриваются уязвимости генеративных моделей к атакам уклонения, которые манипулируют входными данными для получения неверных ответов.

Читать...

Data Science | Machinelearning [ru]

07 October 2024 14:07

👨‍💻Хранилища данных. Обзор технологий и подходов к проектированию

В этой статье будут рассмотрены основные подходы к проектированию архитектуры хранилищ данных (DWH), эволюция архитектур, взаимосвязь Data Lake, Data Factory, Data Lakehouse, Data Mesh c DWH, преимущества и недостатки подходов к моделированию данных.

Читать...

Data Science | Machinelearning [ru]

06 October 2024 19:08

🖥 Самые интересные статьи за последние дни:

• Кратко про Ensemble методы с примерами

• Машинное обучение и криптография: знакомимся с CipherGAN

• Строим ETL-конвейер для машинного обучения с помощью Kafka, Clickhouse и Go

Data Science | Machinelearning [ru]

06 October 2024 09:07

👀Хотите освоить инструменты для построения и применения моделей машинного обучения на больших наборах данных?

Ждем вас на открытом вебинаре 8 октября в 20:00 мск, где мы разберем:

- обзор возможностей Spark;

- как разрабатывать модели на Spark ML;

- как выводить модели в промышленное использование.

Урок для инженеров данных, ML-инженеров и Data Scientist'ов.

Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах.

Встречаемся в преддверии старта курса «Spark Developer».

Все участники вебинара получат специальную цену на обучение!

▶️Регистрируйтесь прямо сейчас, чтобы не пропустить мероприятие:

https://otus.pw/6Zsv/

Data Science | Machinelearning [ru]

05 October 2024 14:07

🤔Машинное обучение и криптография: знакомимся с CipherGAN

В этой статье мы рассмотрим генеративно‑состязательную сеть CipherGAN, используемую для определения базового шифровального отображения по банкам непарного зашифрованного текста и открытого текста.

Читать...

Data Science | Machinelearning [ru]

04 October 2024 14:07

🚀Как у нейросетей работает внимание? Статья про self-attention и cross-attention

В этой статье вы узнаете о механизме внимания (attention) в нейросетях, спецификациях self-attention и cross-attention, а также их роли в генерации изображений на основе текстовых описаний.

Читать...

Data Science | Machinelearning [ru]

03 October 2024 14:07

🐍Как проверить свои модели ONNX на Python: кратко

В этой статье разберем, что такое ONNX, как экспортировать модели в этот универсальный формат и, что самое главное, как протестировать их с помощью Python.

Читать...

Data Science | Machinelearning [ru]

02 October 2024 15:07

Бесплатный мини-курс по технологии ускорения ML-моделей — Triton

В Ozon Tech 100+ дата-сайентистов. Каждый день они решают задачи поиска и диалоговых систем, чат-ботов и матчинга, анализа спроса и рекомендаций. И много-много других! Для этого наши специалисты используют огромное количество технологий. Одна из них — Triton.

Курс — это гайд в формате лонгрида, из которого вы узнаете:
— что такое Triton и как в нём происходит типизация данных;
— как собрать простую модель под любые нужды;
— как оптимизировать модель и дотащить до прода.

Чтобы пройти курс, нужно:
1) отправить заявку на этой странице;
2) иметь 2 часа свободного времени.

А после прохождения вы получите приглашение в закрытый чат с DS-экспертами Ozon.

Удачи!

Data Science | Machinelearning [ru]

01 October 2024 19:10

😎Эффективные запросы к ChatGPT и подобным моделям: Полное руководство по идеальной формуле

В этой статье я расскажу вам о единственной формуле, которую нужно знать, чтобы мастерски составлять запросы (промты) к ChatGPT и получать точные и полезные результаты.

Читать...

Data Science | Machinelearning [ru]

01 October 2024 14:07

🛡Защита LLM в разработке чат-ботов в корпоративной среде: как избежать утечек данных и других угроз

В этой статье расскажу про основные риски, связанные с использованием LLM в корпоративной среде, и способы от них защититься.

Читать...

Data Science | Machinelearning [ru]

30 September 2024 14:07

🤔Как оценить качество LLM модели

В этой статье мы представим общий обзор текущего состояния исследований оценок LLM, а также расскажем о некоторых опенсорсных реализациях в этой области.

Читать...