Анализ данных (Data analysis)

31 Oct 2024 18:01

⚡️ Яндекс объявил победителей ежегодной научной премии Yandex ML Prize. В этом году из 160 заявок выбрали 14 учёных, которые представили наиболее значимые разработки в области генеративных моделей, обработки естественного языка, компьютерного зрения, информационного поиска, распознавания и синтеза речи, когнитивной робототехники.

Вот некоторые из лауреатов:
🟢 Елена Тутубалина (Казанский федеральный университет, AIRI) занимается исследования в в области анализа естественного языка, биомедицинских и химических данных. Её разработки могут сделать процесс разработки лекарств более эффективным.

🟢 Алексей Скрынник (AIRI) разрабатывает алгоритмы многоагентного обучения, которые позволяют агентам (например, роботам) работать автономно, без центрального управления. Эти методы подходят для задач, где важна скоординированность действий, например, в логистике и на промышленных объектах.

🟢 Валерия Ефимова (ИТМО) ведет научную деятельность в области компьютерного зрения в областях медицины и промышленности. Её исследования могут повысить эффективность производства в промышленных предприятиях — находить дефекты и оценивать качество материалов.

А что они получат за свои достижения? Денежные награды, а также доступ к Yandex 360 и гранту на работу с сервисом Yandex Cloud — с его помощью можно выполнять объёмные вычисления и обрабатывать данные экспериментов.

@data_analysis_ml

Анализ данных (Data analysis)

30 Oct 2024 11:13

📖 Книга "Algorithms for Decision Making" от MIT охватывает алгоритмы и методы для принятия решений в условиях неопределённости

🌟 В книге обсуждаются такие темы как оптимизация мл-алгоритмов , машинное обучение, вероятностные модели и планирование, с акцентом на алгоритмы для принятия решений в реальном времени и под воздействием ограничений. Этот материал полезен для специалистов в областях искусственного интеллекта, дата саентистов, робототехники и инженерии, где важно оптимизировать стратегии в условиях ограниченной информации.

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

29 Oct 2024 07:15

📚 Свежие гайды от Anthropic : Реализация Contextual RAG с открытым исходным кодом

Что внутри :
1. Использование Llama 3.2 3B для эффективной генерации контекста для каждого чанка
2. Использование алгоритмов ранжирования: векторного и BM25
3. Выполнение гибридного поиска
4. Ранжирование результатов гибридного поиска
5. Генерации с помощью Llama 3.1 405B

📌 Смотреть

@data_analysis_ml

Анализ данных (Data analysis)

28 Oct 2024 16:00

Тренажёр-практикум Python и SQL
(от NumPy и OpenCV до PostgreSQL) в аналитике данных и ML

Откройте карьерные возможности в машинном обучении и аналитике данных
- Научитесь проводить анализ больших объёмов данных.
- Создавайте интерактивные и 3D-визуализации для представления данных.
- Освойте работу с SQL-базами для хранения, модификации и извлечения данных.

Для кого будет полезен этот тренажёр?

Аналитикам данных, бизнес-аналитикам и продуктовым специалистам:
Новичкам и продолжающим в области анализа и визуализации данных, которые хотят освоить ключевые инструменты для эффективного анализа и машинного обучения.

Тем, кто уже знаком с Python и стремится развиваться в аналитике данных и ML:
Разработчикам и специалистам по данным, стремящимся углубить навыки обработки данных и визуализации.

Инженерам данных и всем заинтересованным:
Тем, кто сталкивается с трудностями при предобработке данных для моделей машинного обучения и хочет выстроить системный подход к работе.

Тем, кто стремится автоматизировать процессы и управлять данными:
После курса вы научитесь эффективно работать с NumPy и Pandas, создавать визуализации через Matplotlib и Seaborn, а также управлять базами данных с PostgreSQL.

🎓 Попробуйте первые уроки бесплатно!
В демо-версии курса вы познакомитесь с основами библиотек NumPy, Pandas и Matplotlib, научитесь создавать и редактировать массивы, работать с изображениями и применять эти навыки для решения практических задач.
Пройдите 6 практических заданий сразу!
PS. В демо также доступен ИИ-бот ДуДу с code review 24/7.

👉 Регистрация на демо-доступ

Анализ данных (Data analysis)

28 Oct 2024 11:00

🖼 DreamCraft3D — метод для иерархической генерации 3D-объектов с помощью диффузионных моделей. Этот подход, разработанный для ICLR 2024, использует поэтапную генерацию форм, включая начальную грубую геометрию и уточнение деталей, что позволяет создавать высококачественные 3D-модели

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

27 Oct 2024 19:22

🔦Компания alvinzhang только что выпустила версию IC-Light v2

IC-Light v2 теперь работает на FLUX и является лучшим инструментом для редактирования освещения 🌐

Попробуйте официальную демку ✨📣 https://huggingface.co/spaces/lllyasviel/iclight-v2

@data_analysis_ml

Анализ данных (Data analysis)

27 Oct 2024 13:00

⚡️ Brush — это инструмент для создания 3D-моделей с помощью метода Gaussian splatting.

Онаработает на разных платформах: macOS, Windows, Linux и Android.

Программа позволяет создать 3D модель объекта, используя множество фотографий этого объекта под разными углами.

*Brust написан на я Rust. В нём используются библиотеки wgpu и Burn, которые позволяют создавать независимые бинарные файлы и запускать их на различных устройствах.

📌 Ссылка на репозиторий Brush

@data_analysis_ml

Анализ данных (Data analysis)

26 Oct 2024 15:25

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
АНАЛИЗ Данных: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

25 Oct 2024 14:28

🎧В чем разница между DS в банке и DS в промышленности? Рассказывает директор ИИ-департамента «Русала»

Как объединить данные со 100 региональных площадок в одну эффективную базу?
Насколько часто нужно переобучать модель в промышленности и что влияет на дрейф данных?
Кого промышленные DS хотят видеть в своей команде и похожи ли их задачи на задачи финтеха?

Ответы найдете в новом выпуске подкаста «Деньги любят техно». Общаются Юлий Шамаев, ВТБ, Михаил Граденко, «Русал», и технологический обозреватель Марина Эфендиева.
Для справки: этот сезон подкаста выходит также в видеоформате и целиком посвящен ML в разных отраслях. В прошлом эпизоде, кстати, говорили о ретейле вместе с Авито.

Послушать выпуск в аудиоверсии
Посмотреть видеоверсию в ВК

Анализ данных (Data analysis)

24 Oct 2024 22:36

⚡️ CtrLoRA: Расширяемая и эффективная платформа для генерации управляемых изображений

Сперва обучается ControlNet с LORA, настроенный на конкретные задачи, с использованием крупномасштабного датасета.

Затем базовая сеть ControlNet может быть эффективно адаптирована к новым задачам с помощью новой LoRa, которой необходимо всего 1000 изображений и менее 1 часа на одном графическом процессоре.

Это сокращает количество параметров на 90%, что значительно упрощает создание новых условий управления.

▪️Github
▪️Статья
▪️Модель

@data_analysis_ml

Анализ данных (Data analysis)

24 Oct 2024 11:14

⚡️ FatLlama-1.7T

Зачем кому-то создавать FatLlama-1.7T? Серьезно, в чем смысл?

Однажды вы просыпаетесь и думаете: "Знаете, что нам нужно? Такая огромная модель, чтобы даже облака занервничали". Это все равно что решить построить ракету только для того, чтобы сгонять в супермаркет.

Конечно, это впечатляет, но кто будет ее запускать? Скорее всего, не вы, если только ваш ПК не является нелегальным ядерным реактором.

И что же она умеет? Может быть, предсказывать ваши электронные письма еще до того, как вы подумаете их написать, или просто станет очень хорошо находить в сети видео с котами, кто ж знает...

Вопрос в том, создаем ли мы эти гигантские модели, потому что можем или потому что нам есть что показать Вселенной?

FatLlama-1.7T - это не столько ИИ, сколько "подержите мое пиво, я собираюсь запустить эту штуку".

И вот она, FatLlama-1.7T, которая займет ВСЕ место на вашем жестком диске. Забудьте о сохранении семейных фотографий или драгоценном архиве книг, которые вы никогда не прочитаете. Вам же не так уж и нужны были эти жалкие 3 ТБ свободного места, правда? Зато теперь у вас есть цифровой гигант.

Квантованные версии? Да не вопрос, удачи с запуском, держитесь там.

Даже если каким-то чудом вам удастся запустить FatLlama-1.7T, не спешите расслабляться, ведь вы знаете, что будет дальше, верно? FatLlama 3T.

К тому времени, когда вы выработаете максимум энергии и превратите свой дом в центр обработки данных, чтобы запустить свежую FatLlama 3T, я перейду к FatLlama 5.8T, для которой, вероятно, потребуется маленькая галактика в качестве источника энергии.

Вызов принят? 😁

🟡Модель
🟡Набор GGUF

@ai_machinelearning_big_data

#AI #ML #LLM

Анализ данных (Data analysis)

23 Oct 2024 15:01

🔥 В этом гайде показано как использовать Qwen-2.5 в качестве интерпретатора кода.

🌟 Модель способна обрабатывать запросы, генерировать и интерпретировать код для различных вычислительных задач и анализа данных.

Этот инструмент особенно полезен для тестирования моделей и работы с данными.

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

22 Oct 2024 20:10

🖥 ChatGPT попросили написать SQL запросы для работы с базой данных магазина.

Ответ убил

Анализ данных (Data analysis)

22 Oct 2024 13:51

🌟 LayerSkip: метод ускорения инференса в LLM.

LayerSkip - это способ ускорить LLM, уменьшая количество вычислений, необходимых для обработки каждого слова (токена) текста.

Основная идея LayerSkip - научить модель "угадывать" результат раньше, не проходя все слои. Для этого во время обучения модели некоторые слои "исключаются" (layer dropout) случайным образом. Помимо исключения слоев, LayerSkip использует специальную функцию потерь, которая помогает модели "понимать" результаты вычислений на более ранних слоях.

В отличие от других методов, LayerSkip использует одну и ту же LM head для всех слоев модели. Это упрощает обучение и уменьшает потребление памяти при инференсе.

Во время инференса LayerSkip обрабатывает текст только первыми "E" слоями, а затем сразу переходит к LM head, чтобы получить результат. Это называется "ранний выход" (early exit).

Чтобы повысить точность при раннем выходе, LayerSkip использует метод "самоспекулятивного декодирования". Модель сначала "угадывает" несколько следующих токенов, используя ранний выход. Затем она проверяет эти токены, используя оставшиеся слои, и исправляет ошибки.

LayerSkip был протестирован на различных наборах данных: Llama, CodeLlama и TOPv2. Результаты показали, что LayerSkip может ускорить работу LLM до 2 раз без значительного снижения точности.

Чтобы попробовать LayerSkip локально, разработчики предлагают использовать любую из 6 предобученных моделей:

🟢Llama2 - 7B и 13B;
🟢Codellama-7B или 34В;
🟢Llama3-8B:
🟢Llama3.2-1B.

⚠️ Для локального запуска будет нужен Huggingface API KEY.

▶️Локальный запуск:

# Clone repo
git clone git@github.com:facebookresearch/LayerSkip.git
cd LayerSkip

# Create env
conda create --name layer_skip python=3.10
conda activate layer_skip

# Install requirements
$ pip install -r requirements.txt

#Inference with self speculative 
$ torchrun generate.py --model facebook/layerskip-llama2-7B \
    --sample True \
    --max_steps 512 \
    --generation_strategy self_speculative \
    --exit_layer 8 \
    --num_speculations 6

Анализ данных (Data analysis)

22 Oct 2024 10:27

Что такое эксперименты в ML и чем они отличаются от «фичей» в обычной разработке?

🔹Расскажем на открытом уроке «MLFlow и переобучение ML-моделей» почему важно переобучать (retrain) свои модели, чтобы держать их «в тонусе».

Разберем какую роль инструменты, такие как MLFlow, играют в процессах регулярного переобучения

✅ Практика: Изучим как выбирать лучшие варианты для отправки в Prod / Staging среду и всегда знать, что у вас «на проде»

Урок приурочен курсу «MLOps» от Otus.

👉 Регистрация и подробности:
https://otus.pw/EokQ/?erid=LjN8KE8WR

#реклама
О рекламодателе

Анализ данных (Data analysis)

31 Oct 2024 08:52

💡 zerox — инструмент для извлечения текста и структурированной информации из PDF-документов с использованием методов OCR (распознавания текста) и NLP

🌟 Основной акцент сделан на поддержку zero-shot обучение (без обучения на конкретных примерах), что позволяет извлекать текстовые данные из документов без необходимости предварительной настройки или обучения на конкретных данных. Проект предназначен для автоматизации анализа и обработки PDF в бизнес-приложениях

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

30 Oct 2024 09:59

Как нужно укомплектовать команду ML для решения задачи?

🔹Расскажем на открытом уроке «Структура и построение ML команды» про композицию ML команды, различные роли в ней и их зоны ответственности

✅ Поговорим о том, зачем нужны ролы Data Scientist, Data Analyst, BI Analyst, ML Engineer, Data Engineer. Как организовать работу команды и взаимодействие внутри нее.

Урок приурочен новому курсу «ML Team Lead» от Otus.

👉 Регистрация и подробности:
https://otus.pw/P1bV/?erid=LjN8KSHoV

#реклама
О рекламодателе

Анализ данных (Data analysis)

28 Oct 2024 18:01

🔥 Rocketnotes — веб-приложение для ведения заметок с поддержкой Markdown, оснащённое инструментами генерации текста и семантического поиска на базе LLM!

🌟 Приложение полностью работает без сервера и поддерживает локальный запуск с Docker. Среди функций — иерархия документов, подсветка синтаксиса, поиск по содержимому и взаимодействие с заметками через чаты

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Oct 2024 14:38

📌Учебное пособие по диффузионным моделям для обработки изображений и СV.

Учебник Стэнли Чана, профессора кафедры электротехники, вычислительной техники и статистики Purdue University (США), содержит ультраполезные знания в области диффузионных моделей в контексте обработки изображений и CV. Он доступно и детально объясняет сложные концепции и подходит как опытным профессионалам, так и тем, кто только начинает изучать эту область.

Для профессионалов, уже работающих с диффузионными моделями или стремящихся углубить свои знания, этот учебник послужит отличным ресурсом, который предоставляет прочную основу для понимания и применения концепций в прикладных задачах.

▶️ Содержание:

Вариационный автоэнкодер (VAE)

🟢Структурные элементы VAE
🟢Нижняя граница доказательства (ELBO
🟢Оптимизация в VAE
🟢Заключение и ограничения

Вероятностная модель диффузионного денойза (DDPM)

🟠Базовые элементы DDPM
🟠Нижняя граница доказательства (ELBO)
🟠Распределение обратного процесса
🟠Обучение и инференс
🟠Предсказание шума
🟠Неявная модель диффузионного денойза (DDIM)
🟠Заключение и преимущества DDPM и DDIM

Динамика сопоставления баллов Ланжевена (SMLD)

🟢Выборка из распределения
🟢Функция оценки Штейна
🟢Методы сопоставления баллов
🟢Итоги по SMLD

Стохастическое дифференциальное уравнение (SDE)

🟠От итерационных алгоритмов к обыкновенным дифференциальным уравнениям
🟠Что такое SDE?
🟠SDE для DDPM и SMLD
🟠Численные решатели для ODE и SDE
🟠Заключение и взаимосвязь между DDPM, SMLD и SDE

Уравнения Ланжевена и Фоккера-Планка

🟢Броуновское движение
🟢Мастер-уравнение
🟢Разложение Крамерса-Мойала
🟢Уравнение Фоккера-Планка
🟢Заключение и связь между SDE и уравнением Фоккера-Планка


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #Tutorial #Duffusion

Анализ данных (Data analysis)

28 Oct 2024 09:44

❓Узнайте как построить модель финансового рынка, создать и обучить торгового агента с использованием специализированного фреймворка на открытом уроке в Otus

Моделировать финансовый рынок непростая задача, а когда мы хотим обучить торгового агента для эффективной работы, она становится непосильной для одного человека

На открытом уроке «Построение торгового агента на базе алгоритмов обучения с подкреплением» рассмотрим свободно распространяемые фреймворки для моделирования финансового рынка

✅ Сосредоточимся на финансовой стратегии, а детали реализации алгоритма фреймворк возьмет на себя 

Регистрация на урок 👇
https://otus.pw/tw3f/?erid=LjN8K5QHu

#реклама
О рекламодателе

Анализ данных (Data analysis)

27 Oct 2024 16:00

🎮 Quake3LLM - это проект, который позволяет создавать ботов для игры Quake 3 Arena, используя язык программирования C++.

Боты общаются между собой и игроками посредством Llama.cpp. В целом, тексты, генерируемые этими ботами, выглядят нормально, но иногда встречаются странные фразы.

Проект доступен на GitHub по ссылке https://github.com/jmarshall23/Quake3LLM.

@data_analysis_ml

Анализ данных (Data analysis)

26 Oct 2024 16:30

🎓 LongVU

LongVU, видеоредактор с пространственно-временным механизмом адаптивного сжатия, предназначенный для понимания видео продолжительностью в час в реальном времени. LongVU адаптивно сокращает количество видео-маркеров, используя (1) сходство функций DINOv2 в разных кадрах, (2) Кросс-модальное сходство текстовых кадров и (3) сходство временных кадров.

1. Высокое качество работы: 67,6% на EgoSchema, 66,9% на MVBench, 65,4% на MLVU и 59,5% на VideoMME long
2. повышение точности в среднем на 5% в различных тестах понимания видео по сравнению с LLaVA-OneVision и VideoChat2
3. Модель, LongVU-3B, также значительно превзошла аналоги 4B, такие как VideoChat2(Phi-3) и Phi-3.5-vision-instruct, по производительности.

📝Статья: https://huggingface.co/papers/2410.17434
💻Код: https://github.com/Vision-CAIR/LongVU
🚀Проект (демо): https://vision-cair.github.io/LongVU

@data_analysis_ml

Анализ данных (Data analysis)

25 Oct 2024 16:54

🔥 Небольшой курс от Anthropic по промпт-инженерингу!

🌟 Этот курс включает примеры, советы и задачи, направленных на улучшение точности и надежности ответов модели.

Он предназначен для того, чтобы вы могли глубже понять принципы работы с большими языковыми моделями и лучше управлять результатами генерации, повышая качество и соответствие запросов и ответов моделей!

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

25 Oct 2024 10:17

🔈 Vocal Remover — бесплатный онлайн-инструмент для разделения вокала и музыкального сопровождения в треках, улучшения качества аудио а также изменение высоты тона и скорости трека!

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

24 Oct 2024 12:01

🔥 Видео от университета Стэнфорда о создании больших языковых моделей!

💡 Это видео — краткий обзор создания модели, подобной ChatGPT, охватывающий как предварительное обучение модели, так и последующее обучение (SFT/RLHF).

В видео рассматриваются общие практики сбора данных, алгоритмы и методы оценки модели.

🕞 Продолжительность: 1:44:30

🔗 Ссылка: *клик*

Анализ данных (Data analysis)

23 Oct 2024 18:36

🤗 Вышла Transformers.js версия 3!

⚡ Поддержка веб-графических процессоров (до 100 раз быстрее, чем WASM)
🔢 Новые форматы квантования (dtypes)
Всего поддерживается 120 архитектур
📂 25 новых примеров проектов и шаблонов
✅ Более 1200 предварительно сконвертированных моделей
✅ Node.js Совместимость с ESM + CJS, Deno и Bun

Начните работу с npm i @huggingface/transformers

https://huggingface.co/blog/transformersjs-v3

@data_analysis_ml

Анализ данных (Data analysis)

22 Oct 2024 22:01

🔥 arXiver — это огромный датасет на Hugging Face, который содержит 138 тысяч научных статей, загруженных с сайта arXiv.org!

🌟 Этот набор данных предназначен для анализа и обработки научных публикаций с использованием методов машинного обучения. Он охватывает статьи из разных областей, таких как физика, математика, компьютерные науки, и предоставляет возможность для создания NLP моделей на основе научного текста.

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

22 Oct 2024 18:09

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшее мероприятие:

• 9-11 ноября — для продуктовых и аналитиков данных, офер за 3 дня в команды Финтеха и Яндекс Практикума.

Зарегистрироваться

Анализ данных (Data analysis)

22 Oct 2024 11:30

🌟 Интересная статья, которая посвящена методу под названием Self-Taught Reasoner (STaR), который улучшает способность языковых моделей выполнять сложные задачи, требующие пошагового рассуждения

🌟 STaR использует небольшое количество примеров рассуждений и большое количество данных без них для обучения модели. Этот метод включает в себя генерацию обоснований, исправление ошибок и дообучение модели на правильных результатах. STaR показал значительное улучшение по сравнению с обычными моделями в задачах на логику и здравый смысл

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

21 Oct 2024 18:02

🖥 financial-data-analyst — набор советов и гайдов для быстрого старта работы с Claude AI для анализа финансовых данных.

Он показывает, как использовать возможности ИИ для обработки и анализа финансовой информации с помощью Claude, предлагая готовые к работе шаблоны и сценарии для анализа

▪️Github

@data_analysis_ml