Анализ данных (Data analysis)

01 Jan 2025 11:48

Хронология самых интересных ИИ релизов в 2024 году🔥

От Gemma до Llama 3.1 405B, от Sonnet 3.5 до o3 !

https://huggingface.co/spaces/reach-vb/2024-ai-timeline

@data_analysis_ml

Анализ данных (Data analysis)

29 Dec 2024 08:39

🔥 3DTrajMaster — это инструмент, предназначенный для работы с трехмерными траекториями в контексте анализа и обработки данных движения объектов!

🌟 Данный проект предлагает инструменты для эффективной работы с данными, которые включают трехмерные координаты объектов, а также их визуализацию и анализ траекторий в 3D-пространстве.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Dec 2024 12:01

🔥 OpenCoconut — реализация парадигмы латентного рассуждения, известной как Chain of Continuous Thought (COCONUT)!

🌟 Основная идея заключается в генерации "мыслей" в латентном пространстве (состояниях модели) перед началом декодирования ответа. Этот подход использует скрытые состояния модели на этапе предварительной подготовки данных для повышения качества генерации.

🌟 Проект ориентирован на задачи, такие как математические вычисления, программирование и общий анализ данных, основываясь на синтетическом наборе данных. В будущем планируется улучшение функции потерь, добавление методов раннего завершения генерации и адаптивного переключения между латентным пространством и языковым. Это может повысить точность и гибкость моделей, работающих с последовательными задачами.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Dec 2024 09:24

⚡️ Введение в тензорные сети

📌 Урок5
📌 Урок 1 / Урок2 / Урок3 / Урок4
📌 Colab

Анализ данных (Data analysis)

26 Dec 2024 18:01

🔥 identity-rag-customer-insights-chatbot — проект для создания чат-бота, который использует систему IdentityRAG для объединения и анализа данных о клиентах!

🌟 Система решает задачи по разрешению идентификации клиентов и предоставлению единой, и актуальной информации о клиентах из различных источников.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

26 Dec 2024 15:01

🔥 InvSR — новый метод для улучшения качества изображений!

🔗 Ссылка: *клик*
🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

25 Dec 2024 14:01

🔥 agent_tutorials — серия обучающих материалов по созданию и разработке искусственных агентов с использованием различных технологий, таких как LangGraph, CrewAI и AutoGen!

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

24 Dec 2024 13:47

🖥 Эта статья объясняет концепцию машин Тьюринга, которая является основополагающей в теории вычислений и была предложена Аланом Тьюрингом в 1936 году!

🌟 В статье описывается, как работает машина Тьюринга, что она может и не может вычислять, а также как она связана с современными компьютерами.

🌟 Автор рассматривает механизмы работы машины Тьюринга, её элементы (лента, головка и состояние), а также обсуждает такие ограничения вычислений, как задача о остановке (Halting problem). Статья включает примеры программ для демонстрации возможностей машины Тьюринга и предоставляет интерактивную среду для экспериментов с программами, работающими на этой модели.

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

23 Dec 2024 13:00

🔥 QuantResearch — репозиторий, который содержит материалы, связанные с количественным анализом, стратегиями и тированием гипотез в области финансов!

🌟 Проект включает разнообразные методы, такие как машинное обучение, глубокое обучение, алгоритмическая торговля и оценка рисков.

В нем представлены примеры кода для портфельной оптимизации, алгоритмической торговли , использования машинного обучения и разработки торговых стратегий.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

22 Dec 2024 12:38

👩‍💻 Mlxtend (machine learning extensions) — это библиотека Python, предоставляющая полезные инструменты для анализа данных и задач машинного обучения!

🌟 Она включает модули для обработки данных, визуализации, построения моделей, кросс-валидации и других аспектов, упрощая выполнение повседневных задач в сфере Data Science.

🌟 Библиотека предназначена для расширения возможностей популярных инструментов, таких как scikit-learn, pandas и NumPy. Она содержит функции для построения ансамблей моделей, работы с наборами данных, выполнения статистического анализа и визуализации результатов.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

21 Dec 2024 16:11

🔥 Сводка бенчмарков o3 OpenAI !

SWE-Bench: 71.7%
Codeforces: 2727
Competition Math: 96.7%
PhD level science (GPQA): 87,7%
Frontier Math: 25.2% (previous best was 2%)
ARC-AGI: 87.5%
🤯

Анализ данных (Data analysis)

20 Dec 2024 18:01

🔈 Звук на этом видео на 100% сгенерирован с помощью MMAudio!

@data_analysis_ml

Анализ данных (Data analysis)

20 Dec 2024 15:00

🎉 BERT вернулся. 🔥

ModernBERT пересматривает традиционные модели кодеров, поддерживая последовательности 8K при скорости в 2-3 раза выше, сохраняя при этом практическую простоту BERT.

Основные моменты

→ ModernBERT представляет новое семейство моделей для Кодина, превосходящих традиционные архитектуры BERT, как в базовом варинате (139 М параметров), так и в large модели (395 М параметров) вариантах

→ Архитектура позволяет обрабатывать последовательности до 8 192 токенови

→ В бенчмарках ModernBERT демонстрирует улучшение хорошие результаты в задачах поиска, NLU и кода, при этом в 2-3 раза быстрее, чем существующие модели.

https://huggingface.co/blog/modernbert

@data_analysis_ml

Анализ данных (Data analysis)

20 Dec 2024 12:10

🔍 flow_matching — Библиотека PyTorch для реализации алгоритмов сопоставления потоков, включающая непрерывные и дискретные реализации сопоставления потоков!

🔐 Лицензия: CC BY-NC

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

19 Dec 2024 18:35

🖥 Большая шпаргалка, которая содержит исчерпывающие руководства по различным инструментам, необходимым для программирования на ассемблере, реверс-инжиниринга и бинарного анализа!

🌟 Каждая шпаргалка содержит инструкции по установке, примеры использования и расширенные советы для различных операционных систем.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

30 Dec 2024 11:40

🔥 pyRiemann — это библиотека на Python для анализа многомерных данных с использованием римановой геометрии положительно определенных матриц!

🌟 Она построена на API scikit-learn и предоставляет высокоуровневые инструменты для обработки данных, классификации и машинного обучения. Основное применение библиотеки связано с биосигналами (например, EEG, MEG, EMG), интерфейсами мозг-компьютер (BCI), а также дистанционным зондированием, включая обработку радарных изображений и гиперспектральных данных.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Dec 2024 17:03

Уголок AI-энтузиастов от Сбера 🤖

Sber AI Lab — центр экспертизы Сбера в области искусственного интеллекта и активный участник глобального научного комьюнити.

✅ Команда создаёт полезные алгоритмы, фреймворки и технологии в разных сферах: от банкинга до медицины.

✅ Топ по количеству научных статей на A*/A конференции и Q1 журналы в Сбере

✅ Среди open-source решений лаборатории ИИ: LightAutoML (победитель Kaggle Grand Prix 2024), RePlay, pytorch-lifestream, eco2ai и другие инструменты. Узнать больше о решениях можно на GitHub.

Ты можешь стать частью нашей команды и сделать свой вклад в развитие AI-проектов в интересных тебе направлениях тут.

Анализ данных (Data analysis)

28 Dec 2024 10:46

Будьте честны с собой )

@data_analysis_ml

Анализ данных (Data analysis)

27 Dec 2024 14:01

🔥 chai-lab — проект, связанный с предсказанием биомолекулярных структур!

🌟 Он включает в себя Chai-1, передовую модель для предсказания структуры биомолекул, разработанную с использованием современных методов машинного обучения, включая диффузионные модели и сверточные нейронные сети. Этот проект ориентирован на автоматизированное создание и анализ сложных молекулярных структур, что может быть полезно в биоинформатике и фармацевтических исследованиях. Программный код включает в себя инструменты для работы с различными молекулярными данными, такими как MSAs (multiple sequence alignments), атомные структуры, шаблоны и другие специфические биомолекулярные данные.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

26 Dec 2024 16:02

Позаботился о подарках для родных и близких?
Позаботься и о лучшем подарке для себя — новая работа ждёт тебя в Сбере!✨
Заходи на сайт rabota.sber.ru — здесь сбываются амбициозные проекты, классные коллеги и крутые возможности. 🔥
В Новый год — с новой работой в Сбере.💚

Анализ данных (Data analysis)

26 Dec 2024 12:57

Современные технологии все глубже интегрируют машинное обучение, которое уже давно вышло за рамки простой обработки данных. Сегодня ИИ способен анализировать поведение пользователей, адаптироваться под их требования и помогать принимать взвешенные решения. Особенно заметно это в секторе электронной коммерции, где ИИ улучшает взаимодействие между покупателями и продавцами.

Команда Авито презентовала новую версию поиска, которую получилось усовершенствовать с помощью Avito Ranker 3 — собственной технологии ранжирования. ИИ изменил логику выдачи объявлений: время размещения больше не является ключевым фактором для поиска. Вместо этого система обращает внимание на более важные для покупателя параметры: качество описания и фото, цену и хороший уровень сервиса продавца.

Благодаря этому, число показов нерелевантных и некачественных объявлений снизилось вдвое, а пользователи стали на 17% чаще переходить из поиска прямо в карточки товаров. Кроме того, конверсия покупок возросла на 25%, что свидетельствует об эффективности новой системы.

@data_analysis_ml

Анализ данных (Data analysis)

25 Dec 2024 09:19

💡 Qwen выпустил QvQ 72B OpenAI o1-мультимодальную модель с ризонингом с возможностями зрения 🔥

TLDR
🏆SoTA мультимодальный с открытым исходным кодом
🧠 Способность к пошаговому рассуждению
💪🏾 Конкурентный балл MMMU с o1, GPT-4o и Sonnet 3.5
🔥 Выигрывает у GPT-4o и Sonnet 3.5 на MathVista и MathVision

> pip install mlx-vlm

https://huggingface.co/collections/mlx-community/qvq-72b-preview-676b345a6f93172ba980c0d5

Анализ данных (Data analysis)

23 Dec 2024 15:37

⚡️ Исследователи Microsoft выпустили лабораторию AIOpsLab: Комплексный ИИ-фреймворк с открытым исходным кодом для агентов AIOps

Исследователи Microsoft совместно с группой ученых из Калифорнийского университета в Беркли, Иллинойского университета в Урбане-Шампейне, Индийского научного института и колледжа Агнес Скотт разработали AIOpsLab - систему оценки, предназначенную для систематического проектирования, разработки и развития агентов AIOps.

Эта платформа с открытым исходным кодом охватывает весь жизненный цикл облачных операций - от обнаружения неисправностей до их устранения.

Предлагая модульную и адаптируемую платформу, AIOpsLab поддерживает исследователей и практиков в повышении надежности облачных систем и снижении зависимости в системах.

Фреймворк AIOpsLab включает в себя несколько ключевых компонентов.

Центральный модуль, обеспечивает взаимодействие между агентами и облачными средами, предоставляя описания задач, API-интерфейсы действий и обратную связь.

Генераторы отказов и рабочих нагрузок воспроизводят реальные условия для испытания тестируемых агентов.

Наблюдаемость, еще один краеугольный камень структуры, обеспечивает всесторонние телеметрические данные, такие как журналы, метрики и трассировки, для помощи в диагностике неисправностей.

$ git clone <CLONE_PATH_TO_THE_REPO>
$ cd AIOpsLab
$ pip install poetry
$ poetry install -vvv
$ poetry shell

▪Github
▪Запуск
▪Статья

@data_analysis_ml

Анализ данных (Data analysis)

23 Dec 2024 09:47

🔥 MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive

Опубликован новый интересный анализ - сравнение реальных характеристик AMD MI300X и NVIDIA H100+H200 с практическими рекомендациями о том, как стек AMD ROCm может догнать CUDA от NVIDIA.

Производительность обучения, пользовательский опыт, удобство использования, Nvidia, AMD, GEMM, внимание, сетевые технологии, InfiniBand, Spectrum-X Ethernet, RoCEv2 Ethernet, SHARP, стоимость.

Отличное чтиво !

📌 Читать

@data_analysis_ml

Анализ данных (Data analysis)

22 Dec 2024 11:17

📌Топ Python-проектов для ML 2024 года.

Эти проекты были выбраны на основе их актуальности на 2024 год. Каждый из них - смесь практической полезности, новизны и, честно говоря, крутости, будь то смелый и инновационный подход, элегантное решение сложных проблем или просто умная реализация.

🟢BAML - предметно-ориентированный язык для работы с LLM.

BAML превращает текстовые промпты в многократно используемые функции LLM с типизированными переменными и обеспечивают конкретный тип выходных данных. BAML превосходит другие методы получения структурированных данных от LLM и поддерживает VS Code и Cursor.

🟢marimo - Python notebooks геймчейджер.

Новый подход к notebook, который превращает их в мощную, реактивную среду для создания удобных для совместного использования рабочих процессов. Marimo готов заменить Jupyter и Streamlit, устраняя проблемы скрытого состояния и ручного выполнения ячеек.

🟢OpenHands - мощный агент для разработки.

Безопасная изолированная среда, где AI-агенты могут выполнять код, взаимодействовать с веб-браузерами, управлять файлами, отлаживать проблемы, рефакторить код и даже сотрудничать с другими агентами. Среда включает в себя Docker-песочницу с доступом к bash-оболочке, веб-браузингом и IPython-сервером.

🟢Crawl4AI - интеллектуальный веб-скрапинг.

Библиотека, которая обрабатывает динамический контент, обходит механизмы защиты от ботов, извлекает структурированные данные и масштабирует задачи сбора массивов информации. Асинхронная архитектура дает высокую скорость работы даже со сложным JavaScript. На выходе - форматы JSON, markdown и очищенный HTML, готовые для импорта в LLM. Crawl4AI поддерживает Chromium, Firefox и WebKit через Playwright.

🟢LitServe - универсальный движок для развертывания моделей.

Детище LightningAI - мощный инструмент для развертывания моделей и сложных AI-конвейеров. Построен на базе FastAPI, поддерживает PyTorch, TensorFlow, JAX и работает с GenAI, СV, ASR и эмбедингами. LitServe умеет в KV-кэширование для LLM, и подходит как для легких приложений, так и для тяжелых корпоративных нагрузок.

🟢Mirascope - унифицированный интерфейс LLM.

Python-инструмент для упрощения извлечения структурированных данных из LLM. Он предлагает удобный интерфейс, основанный на декораторах и декларативных схемах. Mirascope поддерживает OpenAI, Anthropic и Cohere и имеет свой поисковый агент WebSearchAgent, который может автономно собирать информацию из интернета.

🟢Surya - OCR с высокой точностью.

OCR-система на 90 языках. Surya извлекает текст из сканированных изображений, PDF-файлов и других визуальных форматов с точностью, сравнимой с Google Cloud Vision. Помимо OCR, Surya проводит расширенный анализ документа, определяя заголовки, изображения, таблицы и порядок чтения, что идеально для оцифровки книг, форм и научных документов.

🟢DataChain - конвейер данных для ИИ.

Платформа для управления версиями мультимодальных наборов изображений, видео, текста и PDF-файлов. Библиотека преобразует разрозненные файлы в централизованные датасеты, которые легко запрашивать и манипулировать с помощью Python без использования Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, AI-генерацию метаданных, сериализацию инференса LLM и выполнение пакетных процедур.

🟢Narwhals - универсальный слой совместимости для DataFrame-библиотек.

Легковесный слой, который объединяет pandas, Polars, PyArrow, Modin и cuDF в Python. Он позволяет писать код, не зависящий от используемого бэкенда, используя подмножество API Polars в качестве интерфейса. Поддерживает как eager, так и lazy execution стили, включая Dask. Narwhals не имеет зависимостей и обеспечивает статическую типизацию для автозавершения и подсказок в IDE.

🟢PydanticAI - фреймворк для разработки AI-приложений.

Фреймворк агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Имеет систему внедрения зависимостей, позволяющую динамически получать контекстные данные. PydanticAI поддерживает пользовательские функции Python, вызываемые агентами для доступа к информации и выполнения вычислений.


@ai_machinelearning_big_data

Анализ данных (Data analysis)

20 Dec 2024 18:22

✅ TikTok только что выложил в открытый доступ свой фреймворк для рекомендательных систем (Monolith) - и в нем используется Keras

Это означает, что почти все основные рекомендательные системы в индустрии построены на Keras - YouTube, TikTok, Spotify, Snap, X/Twitter и многие другие.

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

20 Dec 2024 16:00

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс

Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму.

Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки.

Что будет на вебинаре:
🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла
🟠Найдём закономерности и отличия использования сервиса на мобильных устройствах и компьютерах
🟠Разберём фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

Вебинар проведет Андрон Алексанян, CEO Simulative
🕗Встречаемся 24 декабря в 19:00

🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике!

Зарегистрироваться на бесплатный вебинар

Анализ данных (Data analysis)

20 Dec 2024 14:55

🌟 FlashRNN: оптимизация RNN на современном оборудовании.

FlashRNN - библиотека, которая реализует традиционные RNN, такие как LSTM, GRU и сети Элмана, а также новейшую архитектуру sLSTM в CUDA и Triton.

В отличие от распространенных современных моделей архитектуры Transformers, RNN обладают возможностями отслеживания состояния, оставаясь актуальными для решения задач моделирования временных рядов и логического мышления.

FlashRNN предлагает два варианта оптимизации: чередующийся и объединенный.

🟢Чередующийся позволяет обрабатывать данные с большим размером скрытых состояний и значительно превосходит по скорости базовую реализацию PyTorch.

🟢Объединенный вариант агрегирует операции умножения матриц и вычисления функций в одно ядро, снижая количество обращений к памяти и позволяет хранить рекуррентные матрицы весов непосредственно в регистрах GPU.

За автоматизацию настройки параметров FlashRNN отвечает библиотека ConstrINT, которая решает задачи целочисленного удовлетворения ограничений, моделируя аппаратные ограничения в виде равенств, неравенств и ограничений делимости.

Эксперименты с FlashRNN показали существенное увеличение скорости работы: до 50 раз по сравнению с PyTorch. FlashRNN также позволяет использовать большие размеры скрытых состояний, чем нативная реализация Triton.

▶️ Локальная установка и пример запуска FlashRNN:

# Install FlashRNN
pip install flashrnn


# FlashRNN employs a functional structure, none of the parameters are tied to the `flashrnn` function:

import torch
from flashrnn import flashrnn

device = torch.device('cuda')
dtype = torch.bfloat16
B = 8        # batch size
T = 1024     # sequence length
N = 3        # number of heads
D = 256      # head dimension
G = 4        # number of gates / pre-activations for LSTM example
S = 2        # number of states

Wx = torch.randn([B, T, G, N, D], device=device, dtype=dtype, requires_grad=True)
R = torch.randn([G, N, D, D], device=device, dtype=dtype, requires_grad=True)
b = torch.randn([G, N, D], device=device, dtype=dtype, requires_grad=True)
states_initial = torch.randn([S, B, 1, N, D], device=device, dtype=dtype, requires_grad=True)

# available functions
# lstm, gru, elman, slstm

# available backend
# cuda_fused, cuda, triton and vanilla

states, last_states = flashrnn(Wx, R, b, states=states_initial, function="lstm", backend="cuda_fused")

# for LSTM the hidden h state is the first of [h, c]
# [S, B, T, N, D]
hidden_state = states[0]

Анализ данных (Data analysis)

20 Dec 2024 09:01

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT.

На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков.

Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий.

А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика.
Начните свой путь в сфере аналитики данных — присоединяйтесь к программе.

Промокод BIGDATA45 даст повышенную скидку 45% от цены курса.

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5xeTHgk

Анализ данных (Data analysis)

19 Dec 2024 16:34

В Библиотеке иностранной литературы прошел ивент для всех, кто интересуется открытым кодом — «Ночь опенсорс-библиотек».

Аналитики учились строить дашборды по опенсорсным репозиториям в DataLens (облачная BI-система для визуализации и анализа данных). А еще получили возможность понетворкать с мейнтейнерами крупных опенсорс проектов. Те, кто не сильно погружен в тему, послушали доклад о том, как сделать свой первый коммит.

Помимо хакатонов и воркшопов, гости проходили квесты с перфокартами, ходили на экскурсию в закрытые части библиотеки и отдыхали в зоне с генеративным лайф-кодингом под диджей-сеты.

Наглядный кейс про то, как важно вкладываться не только в опенсорс, но и в само сообщество. И такие ивенты — хорошая возможность обменяться опытом и заодно отдохнуть под фановые активности.