Анализ данных (Data analysis)

22 Jan 2025 17:19

⚡️ Creating new games with interactive generative videos that learns from a small-scale dataset of Minecraft data.

▪Project page: https://vvictoryuki.github.io/gamefactory/
▪Paper: https://arxiv.org/abs/2501.08325
▪ Dataset: https://huggingface.co/datasets/KwaiVGI/GameFactory-Dataset

@data_analysis_ml

Анализ данных (Data analysis)

22 Jan 2025 07:05

🌟 Google только что выпустили новую модель Gemini 2.0 Flash Thinking

✅ Контекст с 1 миллионом токенов (5-х больше, чем o1 Pro)

#1 на арене чат-ботов 👑

Модель показала наивысший результат, обогнав Gemini-Exp-1206

+ 17 очков прироста по сравнению с предыдущей контрольной точкой 1219

- №1 по всем направлениям (генерации кода), за исключением управления стилем.

• AIME: 73.3%
• GPQA: 74.2%
• MMMU: 75.4%

Модель доступна в ai-gradio

pip install --upgrade "ai-gradio[gemini]"

Они так же выпустили Gemini2.0 Pro.

https://aistudio.google.com/prompts/new_chat?model=gemini-2.0-flash-thinking-exp-01-21

#google #gemini

Анализ данных (Data analysis)

21 Jan 2025 12:12

✅ Ускорение обработки запросов через миграцию парсера

Выпускник Школы анализа данных Яндекса выкатил годноту — руководство по переносу парсера YQL (SQL-диалект для YDB и YTsaurus) с ANTLR3 на ANTLR4.

Основные моменты:

→ ANTLR — генератор парсеров, который переводит грамматики в исполняемые парсеры для разбора и анализа текстовых данных.
→ Для нового парсера использовалась генерация Protobuf-схем, что позволило сохранить структуру AST и упростить интеграцию с парсером.
→ Были разработаны специализированные шаблоны (stg-файлы) для генерации кода, что позволило адаптировать логику парсинга под изменяющиеся требования.

Ссылка на статью

Анализ данных (Data analysis)

21 Jan 2025 08:38

🧠 Supermemory

Мощное поисковое ИИ-приложение с гибким и простым в работе API.

Вы можете создать свой собственный второй мозг с помощью supermemory.

По сути это ChatGPT для поиска в интернете .

▪Github: https://github.com/supermemoryai/supermemory
▪ Документация: https://docs.supermemory.ai/
▪Расширение для хрома: https://api.supermemory.ai/

@data_analysis_ml

Анализ данных (Data analysis)

20 Jan 2025 15:03

Строим рекомендательную систему фильмов на Kaggle

Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬

Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle.

Что будем делать на вебинаре:
• Разберем имеющиеся данные фильмов с их оценками
• Проведем предобработку данных
• Построим рекомендательную систему на основе машинного обучения
•Проведем расчет и анализ метрик на основе результатов работы модели

🕗Встречаемся 21 января 19:00 по мск

Вебинар будет интересен как новичкам, так и уже опытным специалистам

Зарегистрироваться на бесплатный вебинар

Анализ данных (Data analysis)

20 Jan 2025 10:21

🔥 NautilusTrader — это высокопроизводительная, открытая платформа для алгоритмической торговли и тестирования стратегий, разработанная для количественных трейдеров!

🌟 Она позволяет создавать, тестировать и внедрять автоматизированные торговые стратегии, обеспечивая их прямой переход от бэктестинга к реальной торговле без необходимости изменения кода.

🌟 Платформа поддерживает различные классы активов и может интегрироваться с любыми API (REST, WebSocket или FIX) через модульные адаптеры. NautilusTrader разработана с акцентом на производительность и надежность, предоставляя Python-ориентированную среду для разработки и развертывания стратегий. Она также поддерживает современные языковые модели, такие как GPT-4 и Claude 3.5, для предоставления рекомендаций и анализа.

🔐 Лицензия: LGPL-3.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

20 Jan 2025 07:48

🔥Google представили стратегию эволюционного поиска для масштабирования времени инференса в больших языковых моделях.

Предлагаемый подход, Mind Evolution, использует языковую модель для генерации, рекомбинации и уточнения ответов-модели.

Контролируя инференс модели, разработчики обнаружили, что Mind Evolution значительно превосходит другие стратегии инференса, такие как Best-of-N и Sequential Revision, в задачах планирования на естественном языке.

В бенчмарках TravelPlanner и Natural Plan Mind Evolution, модель решает успешно более 98 %.

https://huggingface.co/papers/2501.09891

Анализ данных (Data analysis)

19 Jan 2025 12:33

🔥 Umi-OCR — бесплатное оффлайн-приложение для OCR (распознавания текста)!

🌟 Оно поддерживает распознавание текста на скриншотах, пакетную обработку изображений, PDF-документов, а также функции работы с QR-кодами и формулами. Инструмент ориентирован на удобство использования, прост в настройке (работает без установки) и поддерживает командную строку и HTTP-интерфейсы для интеграции с другими приложениями.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

18 Jan 2025 12:35

🖥 LeetGPU - бесплатная платформа для написания и запуска кода на CUDA.

Вы можете практиковаться и изучать CUDA онлайн, без использования графического процессора!

https://leetgpu.com/

@data_analysis_ml

#cuda #gpu #cpu #playground

Анализ данных (Data analysis)

17 Jan 2025 17:18

🔥 Awesome MCP Servers — это коллекция ресурсов, посвящённых серверам, использующим протокол Model Context Protocol (MCP)!

💡 MCP — это открытый протокол, который позволяет языковым моделям (LLMs) взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверные реализации. Репозиторий содержит список готовых к использованию и экспериментальных MCP-серверов, расширяющих возможности LLM за счёт доступа к файлам, базам данных, API, системам управления версиями и другим сервисам.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

17 Jan 2025 07:02

🤖 FAST: Efficient Robot Action Tokenization

Новый токенизатор, который позволяет обучать VLA в 5 раз быстрее по сравнению с предыдущей SoTA.

Его очень легко использовать и это опенсорс.

▪Описание: http://pi.website/research/fast
▪HF: https://huggingface.co/physical-intelligence/fast
▪Статья: https://www.pi.website/download/fast.pdf

@data_analysis_ml

#robots #tokenization

Анализ данных (Data analysis)

15 Jan 2025 18:09

⚡️⚡️⚡️ Train 400x faster Static Embedding Models with Sentence Transformers

Интересное чтиво- очень быстрый метод обучения статических моделей эмбедингов, которые выполняются на процессоре.

На тестах он показал себя в 100-400 раз быстрее, чем обычные модели, при сохранении качества более в районе 85%!

Внутри:
- Две модели (для английского языка и многоязычная),
- Подробная стратегия обучения, которой следовали авторы, от разработки идеи до выбора фдатасета, реализации и оценки.
- Сценарии обучения, основанные на опенсорсной библиотеке sentence transformers с открытым исходным кодом.
- Отчеты о весах и отклонениях с метриками обучения и оценки, собранными во время обучения.
- Список датасетов, которые авторы использовали: 30 для обучения и 13 для оценки моделей.

🤗 HF: https://huggingface.co/blog/static-embeddings

#transformers #embeddingmodel #tutorial

Анализ данных (Data analysis)

15 Jan 2025 13:07

🌟Вышел InternLM v3!

- Производительность SoTA, превосходит такие модели, как Llama3.1-8B и Qwen2.5-7B
- Способность к глубоким рассуждениям с использованием системных промптов (подробности в карточке модели)
- Обучается только на токенах высокого качества 4T.

https://huggingface.co/collections/internlm/internlm3-67875827c377690c01a9131d

@data_analysis_ml

#llm #reasoning #ml

Анализ данных (Data analysis)

14 Jan 2025 15:03

🎓 Qwen2.5-Math-PRM-7B и Qwen2.5-Math-PRM-72B. PRM

В дополнение к математической модели вознаграждения за результат (ORM) Qwen2.5-Math-RM-72B, Qwen выпустили модели вознаграждения за процесс (PRM),

Они представляют собой новый подход к наблюдению за процессами в математических рассуждениях больших языковых моделей (LLM), направленный на выявление и устранение промежуточных ошибок в процессах рассуждений.

PRM демонстрируют впечатляющую производительность в оценке Best-of-N (BoN), так и более высокую эффективность нахождения ошибок в ProcessBench.

А вот интересная цитата из технического отчета:
"Мы разрабатываем механизм консенсусной фильтрации, который эффективно объединяет оценку МК с LLM-как-оценку, и выступаем за более комплексную систему оценки, которая объединяет метрики уровня ответа и уровня шага"

» https://huggingface.co/papers/2501.07301

Анализ данных (Data analysis)

14 Jan 2025 11:00

🔥 Web-UI — это инструмент для работы с AI-агентами в браузере, предоставляющий удобный пользовательский интерфейс, построенный на основе Gradio!

🌟 Он позволяет пользователям запускать и управлять задачами с помощью различных больших языковых моделей (LLMs), таких как OpenAI, Azure OpenAI, Anthropic и другие. Этот проект поддерживает настройку собственного браузера для работы с инструментом, сохраняя сессии и позволяя видеть историю взаимодействий с AI.

💡 Web-UI поддерживает как локальную установку с использованием Python и Playwright, так и установку через Docker. Пользователи могут запускать интерфейс, чтобы наблюдать за действиями AI-агента в реальном времени, включая управление сессиями браузера и использование API для интеграции с LLM.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

22 Jan 2025 10:02

🔥 Agent Recipes — мастерская с огромным количеством примеров кода, который вы можете скопировать и использовать в своих собственных проектах ИИ!

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

21 Jan 2025 14:48

🔥 Tabby — AI-ассистент для программирования, являющийся открытой альтернативой GitHub Copilot!

💡 Он разработан для локальной работы, исключая необходимость в облачных сервисах, что делает его подходящим для конфиденциальных или корпоративных сред. Tabby поддерживает пользовательские интерфейсы, такие как OpenAPI, и может интегрироваться с существующими инструментами, включая облачные IDE.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

21 Jan 2025 11:30

🔥Tencent выпустили новую генеративную модель для 3D - Hunyuan3D 2.0

Hunyuan3D 2.0, усовершенствованная система 3D-синтеза и генерации текстурированных 3D-объектов
высокого разрешения.

Эта система включает в себя два основных компонента: модель генерации формы - Hunyuan3D-DiT и модель синтеза текстуры - Hunyuan3D-Paint.

Генеративная модель формы, построена на масштабируемом диффузионном трансформере, и необходима ​​для создания геометрии объекта и отвечает за согласование генерации.

Модель синтеза текстур генерирует карты текстур высокого разрешения для сгенерированных или созданных вручную сеток.

Hunyuan3D 2.0 превосходит предыдущие модели, как с открытым кодом, так и закрытые модели, по детализации геометрии, выравниванию генерации, качеству текстур и т. д.

GitHub: https://github.com/tencent/Hunyuan3D-2

Анализ данных (Data analysis)

20 Jan 2025 17:02

🔥 openai-realtime-agents от OpenAI — пример, демонстрирующий использование более сложных агентов, построенных на основе Realtime API!

💡 В нём представлены паттерны взаимодействия агентов, такие как последовательная передача задач между агентами, эскалация к более интеллектуальным моделям и подход с использованием машины состояний для пошагового взаимодействия с пользователем (например, для проверки данных). Это прототип для создания голосовых приложений в реальном времени, в которых несколько агентов могут взаимодействовать с пользователями.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

20 Jan 2025 14:39

⚡️ Все датасаентисты и ИИ-инженеры сегодня.

P.S. Вышли новые модели DeepSeek если вы вдруг пропустили.

#DeepSeek #deepseekv3 #reasoning #ml

Анализ данных (Data analysis)

20 Jan 2025 09:16

Приглашаем на открытый урок «Инструменты обратного тестирования торговых стратегий» от Otus

Рассмотрим базовую методику и рассмотрим основные библиотеки для проведения обратного тестирования торговых стратегий.

✅ Практика: тест простой торговой стратегии

Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска

👉 Регистрация на урок и подробности:
https://otus.pw/8ofB/?erid=2W5zFJ68uje

#реклама
О рекламодателе

Анализ данных (Data analysis)

19 Jan 2025 15:20

✅Генерация бесконечных 4D городов

CityDreamer4D - это новая генеративная модель создания городов в 4D, которая объединяет статические и динамические сцены.

Заявлена высокая управляемость и реалистичность генераций.

- Проект: https://infinitescript.com/project/city-dreamer-4d/
- Код (обещают залить в ближайшее время ): https://github.com/hzxie/CityDreamer4D
- Датасет CityTopia: https://gateway.infinitescript.com/s/CityTopia

@data_analysis_ml

Анализ данных (Data analysis)

19 Jan 2025 11:01

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/data_analysis_ml
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg
Физика: t.me/fizmat

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

18 Jan 2025 06:11

🖥 Свежий гайд от OPENAI

В нем рассказывается как правильно работать с функциями и вызывать их. Внутри много рекомендаций и рабочих примеров.

https://platform.openai.com/docs/guides/function-calling.

@data_analysis_ml

Анализ данных (Data analysis)

17 Jan 2025 10:43

🌮 TACO: Learning Multi-modal Action Models with Synthetic Chains-of-Thought-and-Action

TACO новое семейство мультимодальных моделей с открытым исходным кодом, которые хорошо справляются со сложными задачами визуального анализа, требующими нескольких шагов размышлений и использования внешних инструментов!

Модели TACO превосходят базовые, настроенные на основе прометав модели, по 8 тестам, достигая улучшения в среднем на 3,6%, а в задачах MMVet, связанных с распознаванием текста, математическим мышлением и пространственным мышлением, прирост достигает 15%.

▪Github
▪Paper
▪Dataset
▪Demo

@data_analysis_ml

Анализ данных (Data analysis)

16 Jan 2025 11:05

🔥 HuatuoGPT-o1 — медицинская модель, ориентированная на сложные рассуждения в медицинской области!

🌟 Модель предназначена для диагностики, анализа ошибок и предложений альтернативных стратегий, улучшая свои ответы с помощью усиленного обучения (PPO) и верификации на основе специализированных медицинских задач.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

15 Jan 2025 15:02

🗣 Kokoro-TTS

Мощнейшая TTS-модель всего лишь на 82M параметров.

Она превосходит более крупные модели и генерирует минуты речи за секунды.

Самое главное - это открытый исходный код!

Попробуйте и убедитесь сами: 👇

🤗 Hf: https://huggingface.co/spaces/hexgrad/Kokoro-TTS

#tts #ml #opensource

Анализ данных (Data analysis)

15 Jan 2025 08:30

📄 ML NEWS

🤖 Microsoft Research только что опубликовали новую версию AutoGen - суперпопулярного фреймворка для работы с агентами с открытым исходным кодом

AutoGen v0.4 это переработанный фреймворк, в котором значительно улучшена масштабируемость, добавлена модульность и новая система отладки процессов agentic AI за счет внедрения асинхронной архитектуры, управляемой событиями.
▪ Github

🖥 Google представил архитектуру Titans, которая возможно станет очень важным элементом развития больших языковых моделей (LLM) в 2025 году.

Архитектура состоит из 3х типов памяти:
- Краткосрочная память – для оперативной обработки данных.
- Долгосрочная память – для всей сохранения значимой информации.
- Постоянная память – для фиксации важной информации.
По заявлениям разработчиков Titans может эффективно обрабатывать контекст превышающим 2 миллионов токенов.
▪Подробнее

🖥 ChatGPT теперь таск-менеджер:
ИИ теперь способен инициировать диалог благодаря новой функции Tasks. Ранее он только отвечал на запросы, а теперь способен самостоятельно выполнять задачи.

Tasks позволяют пользователям давать ChatGPT задачи с указанием времени выполнения.
▪Подробнее

📱 DeepSeek V3 вышел на айфонах
Приложение доступно AppStore бесплатно и работает очень быстро
▪Скачать можно здесь.

⚡️ Выпущена новая открытая модель Omni!
MiniCPM-o 2.6 - это новая мультимодальная модель с 8B параметрами, работающая на edge девайсах.
- 8B параметров (SigLip-400M + Whisper-300M + ChatTTS-200M + Qwen2.5-7B)
- Превосходит GPT-4V в vision задачах с 70. 2 баллами на OpenCompass
- Лучшие в своем классе возможности двуязычной речи с разговором в реальном времени и клонированием голоса
▪ Model

👩‍💻 Stable point-aware 3D от Stability AI

Свежий инструмент с открытым исходным кодом, который отлично справляется с созданием 3D объектов по одному изображению.
▪Github

@ai_machinelearning_big_data


#news #ml #digest #Stability #chatgpt #google #microsoft #deepSeek #MiniCPM

Анализ данных (Data analysis)

14 Jan 2025 14:04

Приглашаем вас на открытый вебинар: «Технологии за современными LLM»
https://otus.pw/IWFL/

⏰Дата: 20 января в 18:00 мск
Спикер: Мария Тихонова

📚На занятии мы обсудим:
+ Какие современные LLM сегодня используют на практике.
+ Основные концепции языкового моделирования и продвинутые языковые модели.
+ Методы и технологии, благодаря которым создатели ChatGPT совершили прорыв.
+ Что представляет из себя задача языкового моделирования
+ Языковые модели, которые сегодня лежат в основе всех NLP методов

🔥Результаты урока:
- Вы поймете, где применяются методы NLP
- Узнаете основные тренды и перспективы развития методов NLP
- Узнаете современное состояние области в связи с быстрым развитием LLM

Участники открытых уроков получат скидку🎁 на онлайн-курс «NLP / Natural Language Processing»

👉Регистрируйтесь на открытый вебинар по ссылке: https://otus.pw/IWFL/?erid=2W5zFHJGL9W
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

#реклама
О рекламодателе

Анализ данных (Data analysis)

14 Jan 2025 09:04

Станьте ML-Инженером за 8 месяцев.

Основная проблема обучений – оторванность от задач реального бизнеса. На курсе учили строить простые модельки, а на работе – сделать по шаблону недостаточно, нужно сразу связать это с бизнесом.

Курс-симулятор от Simulative построен таким образом, что вы сразу погружаетесь в настоящую работу: работаете над 10+ проектами из реального бизнеса, учитесь не только писать код, но и понимать, что у алгоритмов «под капотом»

Вы изучите математику, Python, научитесь обучать ML-модели, нейронные сети и создавать рекомендательные системы. А также подготовитесь к любому собеседованию – в курс включены тестовые задания, пробные интервью (технические и с HR) и многое другое.

С трудоустройством тоже помогут: 87% студентов находят работу своей мечты в течение двух месяцев с момента начала поиска.

А на VIP тарифе преподаватели и HR спроектируют вам персональный трек обучения и за руку доведут до оффера. Часть стоимости курса вы оплачиваете только, когда найдёте работу.

Успейте присоединиться к первому потоку обучения с самой большой скидкой 17%