Анализ данных (Data analysis)

12 May 2024 14:02

⚡️ DeepSeek-V2 — экономичная и эффективная языковая модель Mixture-of-Experts

Встречайте DeepSeek-V2, производительную языковую модель Mixture-of-Experts (MoE), характеризующуюся экономичным обучением и эффективным выводом. Она включает в себя 236B параметров, из которых 21B активируется для каждой лексемы. По сравнению с DeepSeek 67B, DeepSeek-V2 достигает более высокой производительности, при этом экономит 42,5% затрат на обучение, сокращает кэш KV на 93,3% и увеличивает максимальную производительность генерации в 5,76 раза.

Предварительное обучение DeepSeek-V2 было проведено на разнообразном и высококачественном наборе из 8,1 триллиона лексем. После этого комплексного предварительного обучения последовал процесс Supervised Fine-Tuning (SFT) и Reinforcement Learning (RL) для полного раскрытия возможностей DeepSeek-V2.
Результаты оценок подтверждают эффективность такого подхода: DeepSeek-V2 достигает выдающихся результатов как в стандартных бенчмарках, так и в открытой системе оценивания.

🖥 GitHub
🤗 Hugging Face
🟡 Arxiv

@data_analysis_ml

Анализ данных (Data analysis)

12 May 2024 10:10

⚡️ Открытый MLOps курс от DataTalks.Club

Мощный курс по MLOps; состоит из 6 модулей, к каждому модулю прилагается подробный Jupyter Notebook со всей нужной теорией и примерами кода

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

11 May 2024 11:10

⚡️ PyWinAssistant — AI-инструмент для управления пользовательским интерфейсом

PyWinAssistant — это первый AI-фреймворк для Windows 10/11 с открытым исходным кодом для управления любыми пользовательскими интерфейсами win32api путем использования визуализации мышления (VoT) и пространственных рассуждений в LLM (без OCR / обнаружения объектов / сегментации — такой подход улучшает качество работы PyWinAssistant).

PyWinAssistant имеет встроенные опции чтобы помогать человеку пользоваться компьютером.
Он правильно понимает любые запросы на естественном языке и планирует выполнение правильных действий в ОС с учетом требований безопасности.

🖥 GitHub
🟡 Arxiv (связанное с этим исследование)

@data_analysis_ml

Анализ данных (Data analysis)

09 May 2024 09:33

📌Artificial Analysis собрали топ 100 LLM в одном месте

Компания Artificial Analysis разработала рейтинговую систему, оценивающую стоимость, производительность и качество более 100 LLM, чтобы обеспечить удобный выбор модели, соответствующей индивидуальным потребностям.

Параметры для оценивания LLM:

🟡Качество: комплексный индекс, рассчитанный на основе метрик, таких как MMLU, MT-Bench, оценки HumanEval, а также рейтинг Chatbot Arena;

🟡Цена: метрики, учитывающие цену на вход/выход на один токен, а также среднюю цену для сравнения провайдеров хостинга. Стоимость представляет собой взвешенную смесь цен на входные и выходные токены в соотношении 3:1;

🟡Окно контекста: максимальное количество комбинированных входных и выходных токенов;

🟡Скорость: токены/с, получаемые во время генерации моделью токенов. Median, P5, P25, P75 и P95;

🟡Задержка: время до первого полученного токена, измеренное в секундах, после отправки запроса через API. Median, P5, P25, P75 и P95.

@data_analysis_ml

Анализ данных (Data analysis)

08 May 2024 14:32

🌟 Новая статья на Habr: разработчики из команды AllSee поделились опытом внедрения YandexGPT API в свои проекты

Авторы пишут, что официального SDK пока нет, поэтому они создали свой. Здесь полное решение, включая создание класса YandexGPT Thread для хранения и управления отдельными чатами.

Из интересного: в начале есть сравнение эффективности YandexGPT и ChatGPT в одной из задач. Две модели показали хорошие результаты, но стоимость нейросети от Яндекса вышла значительно меньше.

https://habr.com/ru/articles/812979/

@data_analysis_ml

Анализ данных (Data analysis)

07 May 2024 16:02

🌟 LangChain-Chatchat — LLM-приложение Q&A, использующее локальную базу знаний

⏩LangChain-Chatchat (ранее Langchain-ChatGLM) — это что-то наподобие поисковой системы на основе Langchain, которая может использовать локальные файлы.

⏩Основная идея Chatchat довольно проста, вот основные этапы процесса:
загрузка файлов базы знаний ⟶ чтение текста ⟶ сегментация текста ⟶ векторизация текста ⟶ векторизация вопроса ⟶ поиск вектора текста, наиболее похожего на вектор вопроса ⟶ найденный вектор добавляется в промпт в качестве контекста и вопроса ⟶ передается в LLM для генерации ответа

⏩А вот так можно начать работу с Chatchat:

git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd Langchain-Chatchat
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b
git clone https://huggingface.co/moka-ai/m3e-base

python copy_config_example.py
python init_database.py --recreate-vs

python startup.py -a

Анализ данных (Data analysis)

07 May 2024 10:08

⚡️ Хотите эффективно обеспечивать версионирование данных и моделей? 

Освойте систему DVC на открытом практическом уроке от OTUS. Спикер Игорь Стурейко — PhD Physical and Mathematical Sciences и опытный руководитель команд.

💻 На вебинаре вы:

- научитесь настраивать в git репозитории DVC и хранить артефакты на S3;
- переключаться между версиями артефактов и загружать их во внешнее хранилище;
- создавать воспроизводимые конвейеры обучения моделей с помощью DVC Pipelines.

👉  Встречаемся 13 мая в 19:00 мск в преддверии старта курса «MLOps». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджера OTUS! 

🚀 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок: https://otus.pw/c5aJ/

Анализ данных (Data analysis)

06 May 2024 15:04

Очное обучение Data Science для начинающих в НИУ ВШЭ — старт 16 мая

«Специалист по Data Science»: первая программа переподготовки, аккредитованная Альянсом в сфере ИИ. Вы изучите все направления современного анализа данных: от основ программирования и дискретной математики до машинного обучения, нейронных сетей, обработки Big Data и не только.

Старт: 16 мая
Продолжительность: 1.5 года
Полная программа и регистрация: по ссылке.

Реклама. НИУ ВШЭ.
ИНН 7714030726
Erid: 2SDnje5sgiD

Анализ данных (Data analysis)

06 May 2024 10:02

🧠 Улучши ИИ на хакатоне X5 Tech AI Hack! У тебя будет 10 дней, чтобы избавить нейросеть от галлюцинаций или научить ее работать с конфиденциальными данными. Призовой фонд от X5 Tech – 2 000 000 рублей.

Старт ML-соревнования – 17 мая. Не жди дедлайна, регистрируйся прямо сейчас: https://cnrlink.com/x5techaihackdataanalysis

Приглашаем на хакатон экспертов по Data Science, ML-специалистов, разработчиков на Python и всех остальных, кто хочет прокачать свои знания о создании ИИ. На выбор – один из двух треков:

🥷 Трек 1. Маскирование. При использовании сторонней языковой модели нельзя передавать ей чувствительные данные организации – имена клиентов, доменные адреса и прочие. Поэтому участникам необходимо подготовить алгоритм, который заменит эти сведения в тексте без потери смысла.

🔎 Трек 2. Детекция галлюцинаций. Никто не любит, когда ИИ-ассистент в ответ на вопрос дает неправильную информацию. Задача конкурсантов – разработать систему, которая сможет эффективно выявлять аномалии в текстах, сгенерированных нейросетью.

Хакатон продлится 10 дней. У тебя будет шанс получить консультацию от крутых ML-экспертов и специалистов по Data Science, обсудить решения с единомышленниками, узнать больше о проектах X5 Tech.

28-29 мая по результатам тестирования моделей участников 5 лучших команд в каждом треке получат приглашение на финал в Москве. Церемония награждения пройдет на мероприятии X5 Future Night.

Участвуй в X5 Tech AI Hack и внеси свой вклад в развитие ML-технологий: https://cnrlink.com/x5techaihackdataanalysis

Реклама. ООО «ИТ ИКС 5 Технологии». ИНН 1615014289. erid: LjN8K8fK1

Анализ данных (Data analysis)

06 May 2024 08:36

⚡️ Таблица инференса LLM на доллар.

Самая высокая стоимость у RTX 3090 24 ГБ.

https://tensordock.com/benchmarks

@data_analysis_ml

Анализ данных (Data analysis)

05 May 2024 13:32

⚡️ Платформа для разработки LLM-решений — Dify

Dify — это open-source платформа для разработки LLM-приложений.
Имеет интуитивно понятный интерфейс, позволяет настраивать весь рабочий процесс AI, конвейер RAG, возможности агентов, управление моделями, и многое другое
Всё это позволяет быстро перейти от прототипа к продукту.

🖥 GitHub
🟡 Dify.AI

@data_analysis_ml

Анализ данных (Data analysis)

04 May 2024 18:06

Большое обновление для таблицы лидеров Massive Text Embedding Benchmark (MTEB), которое упрощает поиск нужной модели !

Добавлены фильтры для поиска моделей, по памяти, размеру и параметрам.

https://huggingface.co/spaces/mteb/leaderboard

@data_analysis_ml

Анализ данных (Data analysis)

03 May 2024 12:37

🖥 Обнаружение аномалий с помощью PyOD

— pip install pyod

PyOD — это универсальная масштабируемая библиотека Python для поиска аномалий в многомерных данных.

Содержит ряд очень полезных алгоритмов:
🟡TODS — для обнаружения выбросов временных рядов

🟡PyGOD — для обнаружения выбросов на графиках

Кстати, к PyOD прилагается 45-страничный подробный документ по эталонному обнаружению аномалий (если не открывается, вы знаете)

И да, PyOD отлично скейлится — здесь инструкция по запуску PyOD на распределенных системах и на центрах обработки данных

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

02 May 2024 21:31

📚 Anthropic-cookbook

Коллекция ноутбуков/ советов, гайдов, демонстрирующих интересные и эффективные способы использования Claude.

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

02 May 2024 08:46

💨 Scaling hierarchical agglomerative clustering to trillion-edge graphs

Кластеризация графов объединяет похожие элементы в группы, что помогает лучшему понять взаимосвязи в данных.

В этой статье инженеры Google рассказывают о ключевых методах, которые позволили им построить мощнейший алгоритм, позволяющий группировать графы с триллионами ребер.

https://research.google/blog/scaling-hierarchical-agglomerative-clustering-to-trillion-edge-graphs/

@data_analysis_ml

Анализ данных (Data analysis)

12 May 2024 11:41

🖥🖥 Решаем задачи на стажировку аналитика в яндекс. Подключаем CHATGPT и другие ИИ модели!

https://www.youtube.com/watch?v=I_6exF29t0k

#youtube #стажировка #яндекс

@data_analysis_ml

Анализ данных (Data analysis)

11 May 2024 15:03

⚡️ Marqo — векторный поиск для ML-приложений и не только

— pip install marqo

Marqo — это open-source фреймворк тензорного поиска, который обеспечивает работу приложений для поиска, извлечения информации и ML-приложений.

Особенности Marqo
— генерация, хранение и поиск векторов из коробки
— позволяет создавать приложения для поиска, разрешения сущностей и изучения данных, используя свои тексты и изображения
— можно создавать сложные семантические запросы, комбинируя взвешенные поисковые термины
— поддерживается фильтрация результатов поиска с помощью DSL запросов Marqo
— позволяет использовать ML-модели от PyTorch, Huggingface, OpenAI и не только
— можно использовать предварительно сконфигурированную модель или подключить свою собственную
— поддержка CPU и GPU
— модели хранятся в индексах HNSW в памяти, что позволяет достичь высокой скорости поиска
— масштабирование до индексов на сотни миллионов документов с помощью горизонтального чередования индексов
— асинхронная и неблокируемая загрузка данных и поиск

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

10 May 2024 09:14

🖥 SQL генератор

Выпущена Sqlcode 8b на базе Llama-3!

Вероятно, это лучшая на данный момент модель размером <10B для преобразования текста в SQL.

Работает лучше, чем gpt-4-turbo и claude opus для генерации SQL запросов.

▪Github: https://github.com/defog-ai/sql-eval
▪Weights: https://huggingface.co/defog/llama-3-sqlcoder-8b/
▪Demo (optimized for postgres): https://defog.ai/sqlcoder-demo/

@data_analysis_ml

Анализ данных (Data analysis)

08 May 2024 16:33

🌟 Статистическое моделирование с PyMC

PyMC — это пакет Python для байесовского статистического моделирования, сфокусированный на продвинутых алгоритмах Марковской цепи Монте-Карло (MCMC) и вариационного вывода (VI). Гибкость и расширяемость позволяют применять PyMC для решения большого набора задач.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

08 May 2024 09:36

🔥 LightGBM — система градиентного бустинга для решения задач ML

— pip install lightgbm

Если подробнее, то LightGBM — это фреймворк для градиентного бустинга (GBT, GBDT, GBRT, GBM или MART) на основе алгоритмов дерева решений, используемая для ранжирования, классификации и многих других задач Machine Learning.

LightGBM разработан как распределенная и эффективная система, обладающая следующими преимуществами:
— Высокая скорость обучения и эффективность.
— Низкое потребление памяти.
— Высокая точность.
— Поддержка параллельного, распределенного и GPU-обучения.
— Возможность работы с большими объемами данных.

Благодаря этим преимуществам LightGBM широко используется во многих проектах, победивших в соревнованиях по Machine Learning.

🖥 GitHub
🟡 Доки
🟡 Пример использования LightGBM на Kaggle

@data_analysis_ml

Анализ данных (Data analysis)

07 May 2024 11:12

⚡️ AnythingLLM: The all-in-one AI app you were looking for.

AnythingLLM — AI-приложение с возможностями RAG и AI Agent.

Это полнофункциональное приложение, в котором вы можете использовать коммерческие LLM или популярные open-source LLM для создания частного ChatGPT без цензуры и ограничений который можно запускать как локально, так и на сервер.


🖥 GitHub
🟡 Страничка AnythingLLM
🟡 Презентация YouTube

@data_analysis_ml

Анализ данных (Data analysis)

06 May 2024 17:03

🌟 sktime — упрощение работы с временными рядами

— pip install sktime

sktime — это Python-библиотека для анализа временных рядов, она предоставляет единый интерфейс для решения множества задач. В частности, это такие задачи как классификация, регрессия, кластеризация и прогнозирование временных рядов.
В комплект sktime входят алгоритмы изучения временных рядов и совместимые с scikit-learn инструменты для построения, настройки и проверки моделей временных рядов.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

06 May 2024 12:03

📌Julia для Data Science

Отличный ресурс о том, как использовать Julia в DS
Здесь очень подробно на примерах раскрыто всё, что нужно знать: от загрузки датасета до кластеризации/классификации

Есть целый раздел End-End, где показан весь процесс работы с данными на примере известных датасетов, вот например для Telco Churn

📎 Ноутбук

@data_analysis_ml

Анализ данных (Data analysis)

06 May 2024 10:02

🌟 Статистическое моделирование с PyMC

PyMC — это пакет Python для байесовского статистического моделирования, сфокусированный на продвинутых алгоритмах Марковской цепи Монте-Карло (MCMC) и вариационного вывода (VI). Гибкость и расширяемость позволяют применять PyMC для решения большого набора задач.

🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

05 May 2024 17:01

🌟 CUDA/C++: с чего начиналось глубокое обучение

Думаю, многие слышали про победу AlexNet в 2012 году на конкурсе ImageNet и о начавшейся тогда революции в глубоком обучении.

Менее известным является тот факт, что код для AlexNet был написан с нуля на CUDA/C++ Алексом Крижевским. Репо называлось cuda-convnet и находилось на Google Code.
Вероятно, этот репозиторий Google Code был закрыт, но есть несколько форков на GitHub, например этот.

AlexNet — это было одно из первых громких применений CUDA для глубокого обучения, и именно размер нейросети, который был обеспечен CUDA, позволил этой сети получить такую высокую производительность в бенчмарке ImageNet.
На самом деле это было довольно сложное мульти-GPU приложение, включающее, например, распараллеливание моделей, когда 2 параллельных потока свертки разделяются между 2 GPU.

Также стоит понимать, что в это время в 2012 году (~12 лет назад) большая часть глубокого обучения проводилась в Matlab, на CPU, в игрушечных условиях, с экспериментами над всевозможными алгоритмами обучения, архитектурами и идеями оптимизации. Поэтому было очень ново и неожиданно увидеть, как Алекс, Илья и Джефф говорят: забудьте про все алгоритмы, просто возьмите стандартный ConvNet, сделайте его очень большим, обучите его на большом наборе данных (ImageNet) и просто реализуйте все это на CUDA/C++. И именно таким образом глубокое обучение как область получило большую искру.

Конечно, уже были намеки на сдвиг в сторону масштабирования, например, Matlab изначально поддерживал GPU, и большая часть работы в лаборатории Эндрю Ына в Стэнфорде в это время шла в направлении использования GPU для глубокого обучения и масштабирования.

▶️ Подробнее об истоках глубокого обучения в треде X

@data_analysis_ml

Анализ данных (Data analysis)

05 May 2024 11:32

🔥Подборка лучших обучающих каналов для программистов.

➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять

⚡Машинное обучение

Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети
Ml ru - актуальные статьи, новости, код и обучающие материалы
Ml Jobs - вакансии ML
ML Книги - актуальные бесплатные книги МО
ML чат
Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду

🏆 Golang
Golang
Golang собеседование - разбор задач и вопросов с собесов
Golang вакансии -работа для Go разработчика
Golang книги библиотека книг
Golang задачи и тесты
Golang чат
Golang news - новости из мира go
Golang дайджест

💥 Linux /Этичный хакинг
Linux Academy - гайды, секреты и лучшие материалы по Linux
Kali linux - погрузись в мир этичного хакинга и кибербезопасности
linux_kal - kali чат
Информационная безопасность

🚀 Data Science

Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста
Data Jobs - ds вакансии
Аналитик данных
Data Science книги - актуальные бесплатные книги
Big data

🛢Базы данных
Sql базы данных - научим работе с базами данных профессионально
Библиотека баз данных
SQL чат
Вакансии Sql аналитик данных

#️⃣C#

С# академия - лучший канал по c#
С# заметки — код, лучшие практики, заметки программиста c#
С# задачи и тесты
С# библиотека - актуальные бесплатные книги
C# вакансии - работа

🐍 Python

Python/django - самый крупный обучающий канал по Python
Python Собеседование - подготовка к собеседовению python и разбор алгоритмов
Pro python - статьи, новости, код и обучающие материалы
Python Jobs - вакансии Python
Python чат
Python книги

☕ Java

Java академия - java от Senior разработчика
Java вакансии
Java чат
Java вопросы с собеседований
Java книги

💻 C++

C++ академия
С++ книги
C++ задачи - подготовка к собеседовению мл, алгоритмам
C++ вакансии

⚡️ Frontend
Javascript академия - крупнейший js канал
React - лучшие гайды и советы по работе с react
Frontend - тутрориалы, уроки, гайды, код
PHP
Книги frontend
Задачи frontend

🦀 Rust
Rust программирование
Rust чат
Rust книги для программистов

📲 Мобильная разработка
Android разработка
Мобильный разработчик гайды и уроки

🇬🇧 Английский для программистов

🧠 Искусственный интеллект
ИИ и технологии
Neural - нейросети для работы и жизни
Книги ИИ
Artificial Intelligence

🔥 DevOPs
Devops для программистов
Книги Devops

🌟 Docker/Kubernets
Docker
Kubernets

📓 Книги
Библиотеки Книг для программситов

💼 Папка с вакансиями:
Папка Go разработчика:
Папка Python разработчика:
Папка Data Science
Папка Java разработчика
Папка C#
Папка Frontend

💥 Бесплатный Chatgpt бот

Анализ данных (Data analysis)

04 May 2024 11:20

🌟 Большой список ресурсов для практики Data Science

Это подборка библиотек Python, ссылок на туториалы, ссылок на примеры кода для решения DS-задач.

🖥 GitHub

@data_analysis_ml

Анализ данных (Data analysis)

03 May 2024 10:36

Регистрация на «Я Железо 2024» открыта✨

Яндекс — это не только софт. Мы расскажем вам о создании умных устройств, автономного транспорта и роботов.

В этом году будет два трека:

🦾 HardWare — презентуем доклады об устройстве шасси робота, голосовом управлении в ТВ, изменениях в тестировании умных устройств, системе питания в роботе и требованиях к автомобильной электронике и её испытанию.

🌍 SoftWare — расскажем, как софт Яндекса управляет автомобилем, о локализации в беспилотных технологиях и использовании DSP и NPU-чипов, тестировании Алисы и о том, как устроен Test-driven Development в Embedded.

А еще вы сможете поболтать с Алисой, познакомиться со складскими роботами, разобраться в типах лидаров и узнать, как вас видит робот-доставщик.

В конце программы всех участников ждёт афтерпати!

Когда: 18 мая в Москве офлайн + онлайн
Зарегистрироваться и посмотреть программу мероприятия можно тут.

Реклама. ООО "Яндекс", ИНН 7736207543.

Анализ данных (Data analysis)

02 May 2024 15:03

🖥 Whisper.cpp для перевода аудио в текст

🟡Высокопроизводительный интерфейс на C++ для модели Whisper от OpenAI, которая отлично распознаёт текст.
Простая реализация на C/C++ без зависимостей.

Особенности самой модели Whisper:
— Хорошо распознает русский текст (даже с вкраплениями английского)
— Хорошо распознает цифры

🖥 GitHub
🟡 Использование

Кстати, интересный факт: Whisper.cpp был написан Георгием Гергановым всего за 5 дней

@data_analysis_ml

Анализ данных (Data analysis)

01 May 2024 18:33

🔥 Animation with text that highlights important events

Анимация является выразительным средством, оживляющим ваши данные, и Matplotlib предлагает специализированные инструменты для этой цели.

Это руководство представляет собой подробное пошаговое руководство с кодом, который вы можете воспроизвести для создания эффектных анимаций.

• Читать

@data_analysis_ml