Анализ данных (Data analysis)

28 Jun 2024 11:43

🌟 TorchMetrics — большой набор реализованных метрик для ML-систем

— pip install torchmetrics

TorchMetrics — это коллекция из 100+ реализаций метрик PyTorch и простой в использовании API для создания собственных метрик.

Особенности API TorchMetrics:
— стандартизированный интерфейс для воспроизводимости

— можно использовать для распределенных ML-систем

— автоматическая синхронизация между несколькими устройствами

🖥 GitHub
🟡 Доки
🟡 Все метрики

@data_analysis_ml

Анализ данных (Data analysis)

27 Jun 2024 18:03

🌟 Во время GigaConf представили инновационное ПО от Cloud.ru

Модульная облачная платформа Cloud.ru Evolution Stack позволит заказчикам реализовать гибридные сценарии и гибко использовать собственные вычислительные ресурсы, а также ресурсы публичного облака. Ожидается, что ПО позволит улучшить распределение пиковых нагрузок между публичным и частным облаками для оптимизации расходов на IT-инфраструктуру.

До внедрения Evolution Stack, эксперты определят архитектуру и подходящие платформенные сервисы, осуществят установку и пуско-наладочные работы и реализуют необходимые интеграции с существующим корпоративным ПО. Ожидается, что на реализацию проекта уйдет около четырех месяцев.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

27 Jun 2024 12:22

🌟 DeepSeek-Coder-V2-Instruct-GGUF — квантизованные версии DeepSeek-Coder-V2-Instruct

pip install -U "huggingface_hub[cli]"
huggingface-cli download bartowski/DeepSeek-Coder-V2-Instruct-GGUF --include "DeepSeek-Coder-V2-Instruct-Q4_K_M.gguf" --local-dir ./

Анализ данных (Data analysis)

26 Jun 2024 19:03

⚡️ OlympicArena — бенчмарк для оценки способностей LLM решать олимпийские задачи

OlympicArena — это комплексный бенчмарк со сложным механизмом оценки LLM, предназначенный для определения возможностей AI в широком спектре задач олимпийского уровня.

🖥 GitHub
🟡 Страничка OlympicArena

@data_analysis_ml

Анализ данных (Data analysis)

25 Jun 2024 19:33

🌟 Enzyme — высокопроизводительное автоматическое дифференцирование LLVM и MLIR

— brew install enzyme

Enzyme — это инструмент, который принимает произвольный код в виде LLVM IR и вычисляет производную (и градиент) этой функции.
Это позволяет использовать Enzyme для автоматического создания градиентов своего исходного кода без лишней работы. Работая на уровне LLVM, Enzyme может дифференцировать программы на разных языках (C, C++, Swift, Julia, Rust, Fortran, TensorFlow и т. д.) с высокой производительностью.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

25 Jun 2024 13:43

⚡️ Cognitive Computations выпустиили dolphin-2.9.3-mistral-7B-32k

В 2.9.3 включен многоязычный SystemChat 2.0 - 100 языков!

Отличная базовая модель!

https://huggingface.co/cognitivecomputations/dolphin-2.9.3-mistral-7B-32k

@data_analysis_ml

Анализ данных (Data analysis)

24 Jun 2024 23:09

🌟 Создание text-to-SQL системы с Mistral AI, Neon, и LangChain

Если использовать просто LLM для генерации SQL, то может получиться синтаксически неверный SQL, усугубляет ситуацию и масса диалектов SQL в разных БД.
К тому же LLM не имеет доступа к полной схеме базы данных, именам таблиц и столбцов, а также индексам, что ограничивает его возможности по созданию точных/эффективных запросов. А передавать полную схему в промпте каждый раз дорого и неудобно.

Ок, но ведь LLM отлично обучаются в контексте, поэтому, передавая релевантную информацию в промпте, можно улучшить их результаты — так мы приходим к RAG.
И здесь по ссылке ниже разбирается построение системы RAG с использованием Mistral AI, Neon Postgres как векторной БД, и LangChain, чтобы связать всё это вместе.

🟡 Создание Text-to-SQL системы

@data_analysis_ml

Анализ данных (Data analysis)

24 Jun 2024 17:47

Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика! 🔥

Мы знаем, что разбор тестовых заданий - ваш любимый формат. Поэтому мы приглашаем вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных!

Собираемся в прямом эфире 25 июня (вт) в 19:00 (Мск). Ссылка на трансляцию придет в бота, записывайтесь!

👉🏻 Записаться на live-интенсив 👈🏻

Что будем делать на интенсиве:

◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д.
◾️ Научимся легко генерировать большой DataFrame с синтетическими данными
◾️ Посчитаем описательные статистики
◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др.
◾️ Построим интерактивные графики с помощью plotly
◾️ Научимся строить и читать необычные графики - например, violinplot

Вебинар подойдет даже если вы только-только начинаете свой путь в аналитике - будем разбирать все по шагам понятным языком 🧡

Короче, ждем всех – будет мега-круто!

👉🏻 Записаться на live-интенсив 👈🏻


Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134.
Erid:LjN8KVug9

Анализ данных (Data analysis)

24 Jun 2024 10:59

🐹 В интернете только и разговоров, что о тапанье хомяка. Превратятся ли игровые монетки в криптоденьги, пока сказать сложно. Но уже понятно, что будущее — за цифровыми валютами.

Чтобы развивать новые финансовые технологии, рынку нужны аналитики данных в финтехе. Они наиболее востребованы в сфере блокчейн-разработок, big data и цифровых валют, в госструктурах, банках и инвестиционных компаниях.

Как раз таких специалистов готовят в онлайн-магистратуре МФТИ и Нетологии «Финансовые технологии и аналитика». Вы на практике научитесь анализировать и обрабатывать big data, работать с базами данных, строить финансовые модели, применять ИИ и ML-алгоритмы.

В качестве дипломной работы сможете выбрать классическую диссертацию или разработать новое финтех-решение — корпоративный проект на основе кейса либо собственный стартап. А если оформить ООО для стартапа, можно получить финансирование от фондов и акселераторов.

Узнайте больше о программе и начните строить карьеру в перспективной сфере: https://netolo.gy/dfu6

Реклама. ООО "Нетология". Erid: 2VSb5weeNrU

Анализ данных (Data analysis)

23 Jun 2024 13:02

🌟 BM25S — очень быстрая реализация алгоритма BM25 на чистом Python

— pip install bm25s[full]

Это сверхбыстрая библиотека лексического поиска, реализующая BM25 с помощью Scipy (ускорение до 500 раз).
BM25S построена исключительно на Numpy и Scipy, с дополнительными зависимостями для stemming и selection, а также интеграцией с Huggingface Hub, позволяющей вам легко делиться и использовать другие индексы BM25.

Благодаря минимальному количеству зависимостей bm25s позволяет сделать все внутри Python всего за несколько строк.
BM25S позволяет достичь скорости, сравнимой или превышающей скорость ElasticSearch, при этом отпадает необходимость в настройке веб-серверов, установке и запуске Java и использовании абстрактных API.

На графике — относительное ускорение BM25S и Elastic по отношению к rank-bm25, самой популярной реализации BM25 на Python. Скорость рассчитывается как отношение количества запросов в секунду по отношению к rank-bm25.

🖥 GitHub
🤗 Hugging Face

@data_analysis_ml

Анализ данных (Data analysis)

22 Jun 2024 10:45

🌟 Hamilton — библиотека Python для создания направленных ациклических графов (DAG), визуализирующих потоки данных

— pip install sf-hamilton

Чтобы создать граф при помощи Hamilton, ничего особенного не требуется: нужно просто писать обычные функции Python, которые указывают свои зависимости с помощью параметров.
Как раз по этим параметрам Hamilton и построит граф, по которому можно легко увидеть, как преобразуются данные и передаются из одной функции в другую

Hamilton может быть очень полезным инструментом при работе с большими конвейерами данных и в ML-системах

🖥 GitHub
🟡 Доки
🟡 Затестить Hamilton онлайн

@data_analysis_ml

Анализ данных (Data analysis)

20 Jun 2024 18:05

🌟 Lux.jl — фреймворк Julia для Deep Learning

— import Pkg; Pkg.add("Lux")

Lux бесшовно интегрируется с CUDA и AMDGPU, также поддерживается экспериментальная поддержка Metal Hardware.
Фреймворк используется по умолчанию во многих пакетов SciML, включая DiffEqFlux.jl, NeuralPDE.jl и другие.
Lux изначально поддерживает произвольные типы параметров, что делает его совместимым с другими пакетами Julia (и даже с пакетами, не относящимися к Julia).

🖥 GitHub
🟡 Примеры использования
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

20 Jun 2024 13:03

🌟 TabuLa-8B — LLM, созданная на основе Llama 3-8B для генерации табличных данных

TabuLa-8B обучена на корпусе TabLib.
Модель подробно описана в статье "Large Scale Transfer Learning for Tabular Data through Language Modeling".

🤗 Hugging Face
🟡 Arxiv

@data_analysis_ml

Анализ данных (Data analysis)

20 Jun 2024 10:32

🔹 Как осуществлять технический анализ финансовых рынков?

Расскажем на открытом уроке от Otus, посвященный курсу «ML для финансового анализа», 24 июня в 20:00.

✅ В течении часа рассмотрим основные инструменты и техники, используемые на финансовых рынках.

Рассмотрим основы технического анализа: что такое технический анализ и почему это важный навык для всех, кто работает на рынках.

Научитесь читать и интерпретировать различные типы торговых графиков, включая линейные, столбчатые и свечные графики.

✅ Познакомьтесь с основными индикаторами, такими как скользящие средние, RSI и MACD, и узнайте, как они используются для определения тенденций и разворотов.

Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска

👉 Регистрация на урок и подробности:
https://otus.pw/LbG8/?erid=LjN8KJ52V

Анализ данных (Data analysis)

18 Jun 2024 19:04

⚡️ HelpSteer2 — открытый датасет от Nvidia

На днях Nvidia выкатили HelpSteer2, который позволяет сделать модели фактологически корректными и последовательными, плюс регулирует сложность и многословность их ответов.

При обучении базовой Llama 3 70B на HelpSteer2 модель достигает 88.8% в RewardBench, что делает ее 4-й лучшей Reward-моделью на текущий момент

🤗 Hugging Face

@data_analysis_ml

Анализ данных (Data analysis)

27 Jun 2024 20:22

🌟 Модель gte-Qwen2-7B-instruct от Alibaba

gte-Qwen2-7B-instruct — это новейшая модель из семейства моделей gte (General Text Embedding), которая занимает 1-е место по оценкам на английском и китайском языках в бенчмарке Massive Text Embedding Benchmark MTEB

gte-Qwen2-7B-instruct имеет несколько особенностей:

— механизм двунаправленного внимания, улучшающий её понимание контекста

— модель была обучена на большом многоязычном датасете текстов, охватывающем различные области

🤗 Hugging Face

@data_analysis_ml

Анализ данных (Data analysis)

27 Jun 2024 17:03

🔹 Как усилить технический анализ финансовых рынков методами машинного обучения?

Рассмотрим, как современные технологии машинного обучения могут усилить и расширить классические подходы технического анализа на финансовых рынках на открытом уроке от Otus, посвященный курсу «ML для финансового анализа», 3 июля в 20:00.

✅ В течении часа рассмотрим реальные примеры и кейсы, демонстрирующие использование машинного обучения для улучшения торговых стратегий на основе технического анализа.

Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска

👉 Регистрация на урок и подробности:
https://otus.pw/A44x/?erid=LjN8KATiv

Анализ данных (Data analysis)

27 Jun 2024 10:09

level up вашей карьеры инженера данных

У вас уже есть опыт работы, но вы хотите выделиться на фоне «джунов» и охватить всю архитектуру DWH целиком — тогда присоединяйтесь к курсу «Инженер данных» от karpov.courses и экспертов из Яндекса, Ozon, Vk и Сбера.

За 5 месяцев вы освоите все актуальные технологии. А для большего погружения в работу, вы поработаете с ETL-процессами крупной двухуровневой платформы данных, закрепите понимание инструментов Airflow, Spark + S3 и Greenplum и поймёте, как использовать их в связке друг с другом.

После обучения вы научитесь учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.

Получите скидку 5% по промокоду DAMLL до 30.06.2024 и расширяйте свои навыки: https://clc.to/erid_LjN8K78jY

Анализ данных (Data analysis)

26 Jun 2024 15:25

🌟 Evidently — фреймворк Python для оценки, тестирования и мониторинга ML-моделей в продакшене

— pip install evidently

Evidently помогает оценивать, тестировать и контролировать данные и ML-системы.
Вот некоторые из решаемых Evidently задач:

— прогностические: классификация, регрессия, ранжирование, рекомендации

— генеративные: чат-боты, RAGs, вопросно-ответные системы

— мониторинг данных: качество данных и дрейф данных для текстовых, табличных данных

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

25 Jun 2024 17:03

По данным Yandex Cloud, в 2023 году спрос на инструменты аналитики данных вырос в 1,7 раза. Но если опираться на цифры из отчёта Chief Data Officer Study, то инвестиции в дата-проекты окупились лишь у 8% CDO.

Одна из причин неудач — непонимание, как правильно оценивать эффективность таких проектов. Специалисты Yandex Cloud спросили об этом опытных CDO и директоров по данным. Своими советами о выборе метрик эффективности data-driven решений поделились эксперты Мосбиржи, УБРиР и «Альфа-Банка».

Подробности ищите в статье.

Анализ данных (Data analysis)

25 Jun 2024 11:31

🌟 4M: Massively Multimodal Masked Modeling

4M-21 — open-source фреймворк от Apple для обучения мультимодальных моделей и решения множества задач

Из-за CVPR релиз 4M-21 прошёл незаметно, а ведь фреймворк очень функциональный.

4M-21 позволяет обучать универсальные мультимодальные модели, способные выполнять разные задачи, связанные с CV.
4M-21 позволяет:
— создавать подписи к изображениям
— оценивать глубину
— обнаруживать объекты на изображении
— делать сегментацию объектов
— генерировать изображения
— и решать много других задач

🟡 Страничка 4M-21
🖥 GitHub
🟡 Arxiv
🟡 Hugging Face

@data_analysis_ml

Анализ данных (Data analysis)

24 Jun 2024 19:53

🖥 Mesop — Python фреймворк для быстрого создания UI для LLM-приложений и не только

Особенности Mesop:
— UI пишется очень идиоматично и лаконично
— масса готовых компонентов, просто plug-and-play
— поддержка горячей перезагрузки, когда браузер сам обновляет UI по мере написания; при этом сохраняется состояние
— можно работать с готовым UI как с простым наборов функций Python

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

24 Jun 2024 13:03

🌟 DataComp-LM — комплексный фреймворк, предназначенный для построения и обучения LLM на различных наборах данных

DataComp-LM предлагает стандартизированный набор из более чем 300Т нефильтрованных лексем из CommonCrawl, эффективные рецепты предварительного обучения на основе фреймворка open_lm и большой набор из более чем 50 бенчмарков.

DCLM позволяет исследователям экспериментировать с различными стратегиями построения наборов данных в различных вычислительных масштабах, от 411M до 7B моделей с параметрами.

🖥 GitHub
🟡 Arxiv

@data_analysis_ml

Анализ данных (Data analysis)

23 Jun 2024 19:04

🌟 σ-GPT — новый взгляд на авторегрессионные модели

GPT генерируют последовательности в порядке слева направо. Возможно ли по-другому?
Arnaud Pannatier и его коллеги разработали σ-GPT, способный генерировать последовательности в любом порядке, динамически выбираемом во время вывода.

🟡 Arxiv
🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

23 Jun 2024 11:04

⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

C#: t.me/csharp_ci
Машинное обучение: t.me/ai_machinelearning_big_data
АНАЛИЗ Данных: t.me/data_analysis_ml
Хакинг: t.me/linuxkalii
Linux: t.me/linuxacademiya
Базы данных: t.me/sqlhub
C++ t.me/cpluspluc
Golang: t.me/Golang_google
Java: t.me/javatg
React: t.me/react_tg
Javascript: t.me/javascriptv
Мобильная разработка: t.me/mobdevelop
Docker: t.me/+0WdB4uvOwCY0Mjdi
Python: t.me/pythonl
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Big Data: t.me/bigdatai
Devops: t.me/devOPSitsec
Собеседования МЛ: t.me/machinelearning_interview
Python подготовка с собесу: t.me/python_job_interview
МАТЕМАТИКА: t.me/data_math

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
C++ папка: /channel/addlist/CdBs5DLepLJmZjY6
C# папка: /channel/addlist/u15AMycxRMowZmRi
Java папка: /channel/addlist/ZM3J6oFNAnRlNWU6
FRONTEND папка: /channel/addlist/mzMMG3RPZhY2M2Iy
Linux папка: /channel/addlist/w4Doot-XBG4xNzYy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

21 Jun 2024 15:24

🌟 Эти 94 строки кода — всё, что нужно для обучения нейросети

Всё остальное — просто для повышения эффективности и т.д.

Это код engine.py из проекта Micrograd.
Micrograd – это небольшая реализация нейронной сети от Карпати, написанная на чистом Python без библиотек, в которой вычислительными единицами выступают не векторы и матрицы, а скалярные величины.

Micrograd представляет из себя комбинацию нескольких взаимодополняющих частей:
— небольшого построителя и оценивателя выражений на основе графа;
— автоматической дифференциации в обратном режиме для того же самого графа вычислений;
— строительных блоков нейронной сети для многослойного перцептрона

🖥 Код со скрина из micrograd
🟡 Пошаговое создание micrograd
🟡 Пост Андрея Карпати в X

@data_analysis_ml

Анализ данных (Data analysis)

20 Jun 2024 16:04

Цифры без бизнеса — это математика. Бизнес без цифр — это авантюра. Цифры в основе бизнеса — это анализ данных.

Аналитик данных собирает, анализирует, структурирует данные — и благодаря этому помогает бизнесу решать проблемы и принимать важные решения. Поэтому профессия входит в топ-5 на рынке.

Стать аналитиком данных за 5 месяцев вы можете на курсе от онлайн-школы KARPOV.COURSES.

Вас всему научат с нуля. Преподаватели — практикующие спецы, которые знают, какие навыки нужны для успешной карьеры, поэтому обучение включает в себя и теорию, и отработку знаний на практических задачах.

На курсе вы:
🔹Освоите Python и SQL;
🔹Научитесь визуализировать данные;
🔹Освоите теорию вероятности, статистику и A/B тесты;
🔹Сформируете продуктовое видение и понимание бизнеса и продукта.

Школа поможет вам с трудоустройством: подготовить резюме и получить первый оффер. Как показывает статистика, 89% студентов уже нашли интересную работу.

Присоединяйтесь к курсу со скидкой 5% по промокоду DAMML до 30.06.2024: https://clc.to/erid_LjN8JwdhF

Анализ данных (Data analysis)

20 Jun 2024 11:33

🌟 PySR — open-source инструмент для высокопроизводительной символьной регрессии на Python и Julia

— pip install pysr

PySR создан для решения задачи символьной регрессии, т.е. для нахождения интерпретируемого символьного выражения, которое корректно описывает наблюдаемые данные.

PySR был разработан с нуля, чтобы быть
(1) как можно более высокопроизводительным,
(2) как можно более настраиваемым, гибким и
(3) простым в использовании.

Параллельно с PySR развивается библиотека Julia SymbolicRegression.jl, которая отвечает за нагруженные компоненты PySR, в частности за алгортм поиска.

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

19 Jun 2024 19:02

🖥 Daft — фреймворк для ETL, аналитики и ML/AI в нагруженных системах

— pip install getdaft

Daft — это распределенный движок запросов для обработки больших данных на Python; реализован на Rust.
Многие идеи Daft позаимствовал из Apache Arrow In-Memory

Особенности Daft
— встроенный мощный оптимизатор переписывает запросы, чтобы сделать их максимально эффективными

— есть полная интеграция с такими системами как Apache Iceberg

— имеется поддержка изображений, URL, тензоров и других самых разных объектов

— рекордная производительность ввода-вывода для интеграции с облачным хранилищем S3

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

18 Jun 2024 11:33

🌟 TextGrad — open-source фреймворк для реализации обратного распространения, опирающегося на текстовую обратную связь

— pip install textgrad

TextGrad может оптимизировать неструктурированные переменные, такие как текст. Пусть у нас есть исходное решение математической задачи, мы хотим, чтобы это решение выглядело лучше. Вот как можно реализовать это в коде с помощью TextGrad и GPT-4o:

tg.set_backward_engine("gpt-4o")

initial_solution = """To solve the equation 3x^2 - 7x + 2 = 0, we use the quadratic formula:
x = (-b ± √(b^2 - 4ac)) / 2a
a = 3, b = -7, c = 2
x = (7 ± √((-7)^2 - 4 * 3(2))) / 6
x = (7 ± √(7^3) / 6
The solutions are:
x1 = (7 + √73)
x2 = (7 - √73)"""

# Define the variable to optimize, let requires_grad=True to enable gradient computation
solution = tg.Variable(initial_solution,
                       requires_grad=True,
                       role_description="solution to the math question")

# Define the optimizer, let the optimizer know which variables to optimize, and run the loss function

loss_fn = tg.TextLoss("You will evaluate a solution to a math question. Do not attempt to solve it yourself, do not give a solution, only identify errors. Be super concise.")

optimizer = tg.TGD(parameters=[solution])
loss = loss_fn(solution)