Анализ данных (Data analysis)

10 Jan 2025 04:05

📢 Релиз Moondream 2B

Новая vision модель для эйдж девайсов

Поддерживает структурированные выводы, улучшенное понимание текста, отслежтвание взгляда.

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "vikhyatk/moondream2",
    revision="2025-01-09",
    trust_remote_code=True,
    # Uncomment to run on GPU.
    # device_map={"": "cuda"}
)

# Captioning
print("Short caption:")
print(model.caption(image, length="short")["caption"])

print("\nNormal caption:")
for t in model.caption(image, length="normal", stream=True)["caption"]:
    # Streaming generation example, supported for caption() and detect()
    print(t, end="", flush=True)
print(model.caption(image, length="normal"))

# Visual Querying
print("\nVisual query: 'How many people are in the image?'")
print(model.query(image, "How many people are in the image?")["answer"])

# Object Detection
print("\nObject detection: 'face'")
objects = model.detect(image, "face")["objects"]
print(f"Found {len(objects)} face(s)")

# Pointing
print("\nPointing: 'person'")
points = model.point(image, "person")["points"]
print(f"Found {len(points)} person(s)")


https://huggingface.co/vikhyatk/moondream2

Анализ данных (Data analysis)

08 Jan 2025 20:27

🔥 Microsoft только что выпустила Phi-4 LLM, обученный на 9,4 триллионах токенов.

Лицензия MIT!

🤗 HF: https://huggingface.co/microsoft/phi-4

🧠Demo: https://huggingface.co/spaces/Tonic/Phi-4

@ai_machinelearning_big_data

#phi4 #llm #Microsoft

Анализ данных (Data analysis)

07 Jan 2025 07:50

🎉OLMo2 установили новый стандарт для релизов с открытым исходным кодом. 🫡

Пристегните ремни -
выпущен подробный репорт о OLMo 2 . В нем 50 с лишним страниц о 4 важнейших компонентах конвейера развития LLM.

Они выпустил: Модели, датасеты, код обучения и все возможные данные. А вишенкой на торте стали журналы wandb.

Итак, если вы хотите создать современный LLM? Создатели OLMo 2 делятся полным рецептом.

-----

🔧 Ключевые методы в этой статье:

→ В OLMo 2 реализован двухэтапный подход к обучению: предварительное обучение на 4-5T токенах и обучение на специализированном Dolmino Mix 1124.

→ Архитектура отличается повышенной стабильностью благодаря RMSNorm, переупорядоченной нормализации и QK-норме для вычисления внимания.

→ Трехфазный конвейер тюнинга сочетает в себе контролируемую тонкую настройку, прямую оптимизацию предпочтений и обучение с подкреплением и проверяемым вознаграждением.

→ Инфраструктура обучения включает два кластера (Jupiter и Augusta) с оптимизированным управлением рабочей нагрузкой с помощью системы Beaker.

-----

💡 Основные выводы:

→ Стабильность обучения значительно повышается за счет фильтрации повторяющихся n-грамм и использования инициализации нормальным распределением

→ Обучение в середине обучения на высококачественных данных эффективно расширяет возможности модели

→ Усреднение веса модели неизменно повышает производительность

→ Оптимизация инфраструктуры имеет решающее значение для успешного обучения LLM

-----

📊 Результаты:

→ Модели 7B и 13B соответствуют или превосходят Llama 3.1 и Qwen 2.5, используя меньшее количество FLOPs

→ Оценки GSM8K: 67,5 для 7B, 75,1 для 13B

→ Показатели MMLU: 63,7 для 7B, 67,5 для 13B

💡Подробнее про модель
💡Paper
💡Blog
💡Demo

Анализ данных (Data analysis)

06 Jan 2025 14:10

🔥 MarS — движок для симуляции финансовых рынков, основанный на генеративной модели, называемой Large Market Model (LMM)!

🌟 Цель проекта — создание реалистичных, контролируемых сценариев торговли, которые могут моделировать рыночные ордера и их влияние. MarS позволяет исследовать законы масштабирования модели LMM в финансовых рынках и ее потенциал для реальных приложений, таких как создание рыночных моделей и генерация рыночных сценариев.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

05 Jan 2025 14:20

👩‍💻 Pathway — это фреймворк на Python для обработки данных в реальном времени, который поддерживает ETL-процессы, аналитические потоки и создание ИИ-конвейеров, включая работу с LLM и методами RAG!

🌟 Фреймворк предоставляет простой API на Python, который интегрируется с популярными ML-библиотеками и может использоваться для потоковой и пакетной обработки данных.

🔐 Лицензия: BSL-1.1

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

04 Jan 2025 18:43

🖥 CPU vs GPU

Очень хорошее и интуитивно понятное объяснение CPU vs GPU

Источник

@data_analysis_ml

Анализ данных (Data analysis)

01 Jan 2025 11:48

Хронология самых интересных ИИ релизов в 2024 году🔥

От Gemma до Llama 3.1 405B, от Sonnet 3.5 до o3 !

https://huggingface.co/spaces/reach-vb/2024-ai-timeline

@data_analysis_ml

Анализ данных (Data analysis)

29 Dec 2024 08:39

🔥 3DTrajMaster — это инструмент, предназначенный для работы с трехмерными траекториями в контексте анализа и обработки данных движения объектов!

🌟 Данный проект предлагает инструменты для эффективной работы с данными, которые включают трехмерные координаты объектов, а также их визуализацию и анализ траекторий в 3D-пространстве.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Dec 2024 12:01

🔥 OpenCoconut — реализация парадигмы латентного рассуждения, известной как Chain of Continuous Thought (COCONUT)!

🌟 Основная идея заключается в генерации "мыслей" в латентном пространстве (состояниях модели) перед началом декодирования ответа. Этот подход использует скрытые состояния модели на этапе предварительной подготовки данных для повышения качества генерации.

🌟 Проект ориентирован на задачи, такие как математические вычисления, программирование и общий анализ данных, основываясь на синтетическом наборе данных. В будущем планируется улучшение функции потерь, добавление методов раннего завершения генерации и адаптивного переключения между латентным пространством и языковым. Это может повысить точность и гибкость моделей, работающих с последовательными задачами.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Dec 2024 09:24

⚡️ Введение в тензорные сети

📌 Урок5
📌 Урок 1 / Урок2 / Урок3 / Урок4
📌 Colab

Анализ данных (Data analysis)

26 Dec 2024 18:01

🔥 identity-rag-customer-insights-chatbot — проект для создания чат-бота, который использует систему IdentityRAG для объединения и анализа данных о клиентах!

🌟 Система решает задачи по разрешению идентификации клиентов и предоставлению единой, и актуальной информации о клиентах из различных источников.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

26 Dec 2024 15:01

🔥 InvSR — новый метод для улучшения качества изображений!

🔗 Ссылка: *клик*
🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

25 Dec 2024 14:01

🔥 agent_tutorials — серия обучающих материалов по созданию и разработке искусственных агентов с использованием различных технологий, таких как LangGraph, CrewAI и AutoGen!

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

24 Dec 2024 13:47

🖥 Эта статья объясняет концепцию машин Тьюринга, которая является основополагающей в теории вычислений и была предложена Аланом Тьюрингом в 1936 году!

🌟 В статье описывается, как работает машина Тьюринга, что она может и не может вычислять, а также как она связана с современными компьютерами.

🌟 Автор рассматривает механизмы работы машины Тьюринга, её элементы (лента, головка и состояние), а также обсуждает такие ограничения вычислений, как задача о остановке (Halting problem). Статья включает примеры программ для демонстрации возможностей машины Тьюринга и предоставляет интерактивную среду для экспериментов с программами, работающими на этой модели.

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

23 Dec 2024 13:00

🔥 QuantResearch — репозиторий, который содержит материалы, связанные с количественным анализом, стратегиями и тированием гипотез в области финансов!

🌟 Проект включает разнообразные методы, такие как машинное обучение, глубокое обучение, алгоритмическая торговля и оценка рисков.

В нем представлены примеры кода для портфельной оптимизации, алгоритмической торговли , использования машинного обучения и разработки торговых стратегий.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

09 Jan 2025 05:31

👀 Ollama-OCR

Пакет для Python и приложение Streamlit, использующие модели зрения Ollama для извлечения текста из изображений различных форматов, с поддержкой пакетной обработки.

pip install ollama-ocr

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

08 Jan 2025 14:02

🔥 miniperplx — минималистичный поисковый движок, работающий на базе ИИ!

🌟 Он использует модели, такие как GPT-4o и Claude 3.5, для предоставления ответов на запросы, а также поддерживает функции веб-поиска, поиск по URL, прогноз погоды, выполнение программного кода, перевод текста и многие другие возможности.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

06 Jan 2025 17:02

💡Академия Alibaba DAMO выпустили мультимодельный Vision-language датасет

 6.5M изображений + 0.8B текста из 22k часов обучающих видео
 Охватывает такие предметы, как математика, физика и химия.
 Apache 2.0

- Датасет: https://huggingface.co/datasets/DAMO-NLP-SG/multimodal_textbook
-  Статья: https://huggingface.co/papers/2501.00958

@data_analysis_ml

Анализ данных (Data analysis)

06 Jan 2025 08:39

Большая подборка интересных статей, посвященных LLM.

-The GPT-4 barrier was comprehensively broken
- Some of those GPT-4 models run on my laptop
- LLM prices crashed, thanks to competition and increased efficiency
- Multimodal vision is common, audio and video are starting to emerge
- Voice and live camera mode are science fiction come to life
-Prompt driven app generation is a commodity already
- Universal access to the best models lasted for just a few short months
- Agents” still haven’t really happened yet
- Evals really matter
- Apple Intelligence is bad, Apple’s MLX library is excellent
- The rise of inference-scaling “reasoning” models
- Was the best currently available LLM trained in China for less than $6m?
- The environmental impact got better
- The environmental impact got much, much worse
- The year of slop
- Synthetic training data works great
- LLMs somehow got even harder to use
- Knowledge is incredibly unevenly distributed
- LLMs need better criticism

⚡️ Полный обзор

@data_analysis_ml

Анализ данных (Data analysis)

05 Jan 2025 05:48

⚡️ 50 статей/моделей/блогов по 10 направлениям в AI: LLMs, Benchmarks, Prompting, RAG, Agents, CodeGen, Vision, Voice, Diffusion, Finetuning.

Если вы начинаете изучать мл с нуля, это хороший список.

Секция 1:топовые LLMs

- GPT1, GPT2, GPT3, Codex, InstructGPT, GPT4 статьи. GPT3.5, 4o, o1, и o3.
- Claude 3 и Gemini 1, Claude 3.5 Sonnet и Gemini 2.0 Flash/Flash Thinking. Gemma 2.
LLaMA 1, Llama 2, Llama 3 статьи для понимания внутреннего устройства моделей.
- Mistral 7B, Mixtral и Pixtral
- DeepSeek V1, Coder, MoE, V2, V3.
- Apple Intelligence

Секция 2: бенчмарки

- MMLU paper - the main knowledgebenchmark, next to GPQA and BIG-Bench. In 2025 frontier labs use MMLU Pro, GPQA Diamond, and BIG-Bench Hard.
- MuSR paper - evaluating long context, next to LongBench, BABILong, and RULER. Solving Lost in The Middle and other issues with Needle in a Haystack.
- MATH paper.

🔥 Полный список

Анализ данных (Data analysis)

02 Jan 2025 10:34

🔥 eliza — это проект, направленный на создание платформы для автономных агентов, способных выполнять сложные задачи, взаимодействовать с пользователями и использовать внешние инструменты!

🌟 Цель проекта — упростить процесс разработки агентов, которые могут действовать независимо, обрабатывать команды на естественном языке и решать поставленные задачи с минимальным вмешательством человека. Такие агенты могут использоваться как чат-боты, NPC в видеоиграх, для трейдинга и многих других задач!

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

30 Dec 2024 11:40

🔥 pyRiemann — это библиотека на Python для анализа многомерных данных с использованием римановой геометрии положительно определенных матриц!

🌟 Она построена на API scikit-learn и предоставляет высокоуровневые инструменты для обработки данных, классификации и машинного обучения. Основное применение библиотеки связано с биосигналами (например, EEG, MEG, EMG), интерфейсами мозг-компьютер (BCI), а также дистанционным зондированием, включая обработку радарных изображений и гиперспектральных данных.

🔐 Лицензия: BSD-3-Clause

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

28 Dec 2024 17:03

Уголок AI-энтузиастов от Сбера 🤖

Sber AI Lab — центр экспертизы Сбера в области искусственного интеллекта и активный участник глобального научного комьюнити.

✅ Команда создаёт полезные алгоритмы, фреймворки и технологии в разных сферах: от банкинга до медицины.

✅ Топ по количеству научных статей на A*/A конференции и Q1 журналы в Сбере

✅ Среди open-source решений лаборатории ИИ: LightAutoML (победитель Kaggle Grand Prix 2024), RePlay, pytorch-lifestream, eco2ai и другие инструменты. Узнать больше о решениях можно на GitHub.

Ты можешь стать частью нашей команды и сделать свой вклад в развитие AI-проектов в интересных тебе направлениях тут.

Анализ данных (Data analysis)

28 Dec 2024 10:46

Будьте честны с собой )

@data_analysis_ml

Анализ данных (Data analysis)

27 Dec 2024 14:01

🔥 chai-lab — проект, связанный с предсказанием биомолекулярных структур!

🌟 Он включает в себя Chai-1, передовую модель для предсказания структуры биомолекул, разработанную с использованием современных методов машинного обучения, включая диффузионные модели и сверточные нейронные сети. Этот проект ориентирован на автоматизированное создание и анализ сложных молекулярных структур, что может быть полезно в биоинформатике и фармацевтических исследованиях. Программный код включает в себя инструменты для работы с различными молекулярными данными, такими как MSAs (multiple sequence alignments), атомные структуры, шаблоны и другие специфические биомолекулярные данные.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

26 Dec 2024 16:02

Позаботился о подарках для родных и близких?
Позаботься и о лучшем подарке для себя — новая работа ждёт тебя в Сбере!✨
Заходи на сайт rabota.sber.ru — здесь сбываются амбициозные проекты, классные коллеги и крутые возможности. 🔥
В Новый год — с новой работой в Сбере.💚

Анализ данных (Data analysis)

26 Dec 2024 12:57

Современные технологии все глубже интегрируют машинное обучение, которое уже давно вышло за рамки простой обработки данных. Сегодня ИИ способен анализировать поведение пользователей, адаптироваться под их требования и помогать принимать взвешенные решения. Особенно заметно это в секторе электронной коммерции, где ИИ улучшает взаимодействие между покупателями и продавцами.

Команда Авито презентовала новую версию поиска, которую получилось усовершенствовать с помощью Avito Ranker 3 — собственной технологии ранжирования. ИИ изменил логику выдачи объявлений: время размещения больше не является ключевым фактором для поиска. Вместо этого система обращает внимание на более важные для покупателя параметры: качество описания и фото, цену и хороший уровень сервиса продавца.

Благодаря этому, число показов нерелевантных и некачественных объявлений снизилось вдвое, а пользователи стали на 17% чаще переходить из поиска прямо в карточки товаров. Кроме того, конверсия покупок возросла на 25%, что свидетельствует об эффективности новой системы.

@data_analysis_ml

Анализ данных (Data analysis)

25 Dec 2024 09:19

💡 Qwen выпустил QvQ 72B OpenAI o1-мультимодальную модель с ризонингом с возможностями зрения 🔥

TLDR
🏆SoTA мультимодальный с открытым исходным кодом
🧠 Способность к пошаговому рассуждению
💪🏾 Конкурентный балл MMMU с o1, GPT-4o и Sonnet 3.5
🔥 Выигрывает у GPT-4o и Sonnet 3.5 на MathVista и MathVision

> pip install mlx-vlm

https://huggingface.co/collections/mlx-community/qvq-72b-preview-676b345a6f93172ba980c0d5

Анализ данных (Data analysis)

23 Dec 2024 15:37

⚡️ Исследователи Microsoft выпустили лабораторию AIOpsLab: Комплексный ИИ-фреймворк с открытым исходным кодом для агентов AIOps

Исследователи Microsoft совместно с группой ученых из Калифорнийского университета в Беркли, Иллинойского университета в Урбане-Шампейне, Индийского научного института и колледжа Агнес Скотт разработали AIOpsLab - систему оценки, предназначенную для систематического проектирования, разработки и развития агентов AIOps.

Эта платформа с открытым исходным кодом охватывает весь жизненный цикл облачных операций - от обнаружения неисправностей до их устранения.

Предлагая модульную и адаптируемую платформу, AIOpsLab поддерживает исследователей и практиков в повышении надежности облачных систем и снижении зависимости в системах.

Фреймворк AIOpsLab включает в себя несколько ключевых компонентов.

Центральный модуль, обеспечивает взаимодействие между агентами и облачными средами, предоставляя описания задач, API-интерфейсы действий и обратную связь.

Генераторы отказов и рабочих нагрузок воспроизводят реальные условия для испытания тестируемых агентов.

Наблюдаемость, еще один краеугольный камень структуры, обеспечивает всесторонние телеметрические данные, такие как журналы, метрики и трассировки, для помощи в диагностике неисправностей.

$ git clone <CLONE_PATH_TO_THE_REPO>
$ cd AIOpsLab
$ pip install poetry
$ poetry install -vvv
$ poetry shell

▪Github
▪Запуск
▪Статья

@data_analysis_ml

Анализ данных (Data analysis)

23 Dec 2024 09:47

🔥 MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive

Опубликован новый интересный анализ - сравнение реальных характеристик AMD MI300X и NVIDIA H100+H200 с практическими рекомендациями о том, как стек AMD ROCm может догнать CUDA от NVIDIA.

Производительность обучения, пользовательский опыт, удобство использования, Nvidia, AMD, GEMM, внимание, сетевые технологии, InfiniBand, Spectrum-X Ethernet, RoCEv2 Ethernet, SHARP, стоимость.

Отличное чтиво !

📌 Читать

@data_analysis_ml