Анализ данных (Data analysis)

30 Aug 2024 14:54

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшие Fast Track мероприятия:

• 7-8 сентября — для аналитиков со знанием SQL и Python, офер за 2 дня в команды Маркета, Еды и Лавки.

Зарегистрироваться

Анализ данных (Data analysis)

30 Aug 2024 11:34

⚡️ Qwen2-VL: второе поколение VLM моделей от Alibaba Cloud.

Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями:

🟢Распознавание изображений с различным разрешением и соотношением сторон;
🟢VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога;
🟢Интеграция с носимыми устройствами (мобильный телефон, робот и т.д) в качестве агента управления;
🟢Мультиязычность внутри входных данных, например на изображениях или видео.
🟢Улучшенное распознавание объектов и предметов;
🟢Расширенные возможности в области математики и понимания программного кода.

Набор Qwen2-VL состоит из трех основных моделей, две из которых публикуются в отrрытом доступе. Модель Qwen2-VL-72B доступна только по API:

🟠Qwen2-VL-72B;
🟢Qwen2-VL-7B-Instruct;
🟢Qwen2-VL-2B-Instruct,

и их квантованные версии в форматах AWQ и GPTQ в разрядностях Int8 и Int4.

Архитектура моделей. как и в прошлом поколении основана на ViT 600M и LLM Qwen2, но с добавлением двух ключевых модификаций:

🟠использование NDR (Naive Dynamic Resolution), который позволил обрабатывать входные данные любого разрешения, преобразуя их в динамическое количество визуальных токенов. Эта реализация максимально близка к имитации зрительного восприятия человека.

🟠технология Multimodal Rotary Position Embedding (M-ROPE). Благодаря деконструкции оригинального rotary embedding на три части, представляющие временную и пространственную информацию, M-ROPE дает возможность LLM одновременно захватывать 1D( текст ), 2D( визуал ) и 3D( видео ) информацию.

⚠️ Ограничения в возможностях и слабые стороны поколения состоят в том, что модели не умеют извлекать звук из видео, а их знания актуальны на июнь 2023 года.

Кроме того, они не могут гарантировать полную точность при обработке сложных инструкций или сценариев. Модели относительно слабы в задачах, связанных со счетом, распознаванием символов и трехмерным пространственным восприятием.

▶️Использование и интеграция Qwen2-VL возможна с инструментами и на фреймворках: Transformers, vLLM, Llama-Factory, AutoGPTQ, AutoAWQ.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Demo
🟡Сообщество в Discord
🖥Github [ Stars: 59 | Issues: 3 | Forks: 2]


@ai_machinelearning_big_data

#AI #Qwen #ML #GPTQ #VLM #AWQ

Анализ данных (Data analysis)

28 Aug 2024 09:32

🎮 Diffusion Models Are Real-Time Game Engines

Google представляет GameNGen, первый игровой движо в Stable Diffusion, который позволяет взаимодействовать со сложным окружением в реальном времени с высоким качеством.

GameNGen может интерактивно моделировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном TPU.

Предсказание следующего кадра достигает PSNR 29,4,

На тестах дюди почти не отличают короткие ролики игры от роликов симуляции.

GameNGen обучается в два этапа: (1) RL-агент учится играть в игру, и тренировочные сессии записываются, и (2) диффузионная модель обучается выдавать следующий кадр, основываясь на последовательности прошлых кадров и действий.

▪ статья: https://arxiv.org/abs/2408.14837
▪ страница проекта: https://gamengen.github.io

Анализ данных (Data analysis)

27 Aug 2024 10:02

Как увеличить производительность DBaaS в 10 раз?

Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS.

Преимущества DBaaS на выделенном облачном сервере:
- Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с.
- Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса.
- Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД.
- Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018.

Разверните базу данных на выделенном облачном сервере: https://slc.tl/g3qe5

Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqxiGXUR

Анализ данных (Data analysis)

26 Aug 2024 16:02

Встречаемся 14 сентября на Practical ML Conf в Москве и
онлайн!

Machine learning, проверенный практикой*
* Сгенерировано YandexGPT

Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении.

Ключевые темы конференции:
CV / NLP / Speech / RecSys / MLOps / Data science

В числе спикеров:
– Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи;
– Дмитрий Антипов — Сбер, АБТ, тимлид разработки;
– Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering.

Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров.

Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн.

Реклама. ООО "Яндекс", ИНН 7736207543

Анализ данных (Data analysis)

26 Aug 2024 09:46

💪Вам нужен надёжный API!

👉Узнайте как создавать надежные API с проверкой параметров запроса и валидацией сложных данных на бесплатном вебинаре онлайн-курса «Python Developer. Professional» - «FastAPI - валидация параметров запроса с помощью Pydantic»: регистрация

На бесплатном вебинаре мы:
- Рассмотрим, как FastAPI и Pydantic работают вместе для валидации данных;
- Научимся создавать и использовать Pydantic модели для валидации параметров запроса;
- Рассмотрим как валидировать сложные и вложенные структуры данных в запросах.

Занятие будет полезно Python разработчикам, которым необходимо создавать надежные API с проверкой параметров запроса и валидацией сложных данных.

🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку!

erid: LjN8K65FR

Анализ данных (Data analysis)

23 Aug 2024 09:55

🦧 Sapiens: новая SOTA ViTs для задач CV, связанных с обнаружением людей 🦧

Sapiens - семейство моделей для задач CV: оценки 2D-позы, сегментации частей тела, оценки глубины.

Модели поддерживают вывод данных в 1K hi-res. и очень легко адаптируются под конкретные задачи путем простого файнтюнига.

Модель предварительно обучена на более чем 300 миллионах изображений человека в естественных условиях. 💙

▪ HF: huggingface.co/papers/2408.12569
▪ Paper https://arxiv.org/pdf/2408.12569

@data_analysis_ml

Анализ данных (Data analysis)

22 Aug 2024 09:10

Хочешь работать с масштабными цифровыми продуктами? Учись обрабатывать большие данные  

MLOps — все более популярный среди компаний способ повышения производительности и создания надежных моделей корпоративного уровня. 

✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам. 

👉 Вырвись из однотипных задач на ML. Освой продвинутые подходы. Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на курсе «MLOps» от OTUS по специальной цене.  

Пройти тестирование и узнать подробности: 
https://otus.pw/U4Kv/?erid=LjN8KZgEo

Анализ данных (Data analysis)

21 Aug 2024 16:04

Сегодня анализ больших данных стал ключевым элементом для роста экономической эффективности крупных компаний, а также для современных вендоров, создающих инструменты Big Data.

На онлайн-дискуссии рассмотрим тему больших данных с двух сторон – бизнеса и тех, кто разрабатывает платформы для сбора и хранения больших данных. Эксперты T-Банка и Arenadata обсудят

🔹 Эволюционный путь развития работы с данными в российском бизнесе
🔹 Где аналитика больших данных дает для enterprise-бизнеса реальный экономический эффект?
🔹Технологический стек больших данных – что выбрать?
🔹Надо ли строить единое корпоративное хранилище данных?
🔹Перспективы искусственного интеллекта для бизнеса
🔹Требования к инфраструктуре для больших данных. On premise vs Облако

Спикеры

Дмитрий Зуев
ex-Руководитель отдела дата-инфраструктуры
Т-Банк

Андрей Жуков
Коммерческий директор
Arenadata

Ведущий
Сергей Зинкевич
Эксперт по облачным технологиям

🗓 27 августа | 17:00

Регистрация по ссылке>>

Реклама. ООО "ДЛИ" ИНН 9704006911

Анализ данных (Data analysis)

21 Aug 2024 10:04

Только программисты и учёные работают с Big Data.
Конечно, это миф. Бизнес-аналитики, маркетологи и дизайнеры обрабатывают массивы информации, чтобы автоматизировать процессы и принимать обоснованные решения.

Яндекс Практикум запустил курс «Python для анализа данных». Программа подойдёт, если вы начинающий аналитик, специалист из смежной профессии или новичок в IT.

За 3 месяца вы:
— научитесь анализировать данные с помощью Python,
— изучите основы машинного обучения,
— пополните портфолио новым проектом.

Более 50% обучения — практические задания. Вы научитесь собирать, сортировать, анализировать и визуализировать данные из различных источников. А в конце — получите удостоверение о повышении квалификации или сертификат о прохождении курса.

Первый модуль можно пройти уже сейчас — это бесплатно. Попробуйте, чтобы познакомиться с форматом и понять, подходит ли вам курс.

→ Начать обучение

Анализ данных (Data analysis)

20 Aug 2024 15:31

Учитесь в магистратуре и совмещайте обучение с работой и привычной жизнью.

Яндекс Практикум и Томский государственный университет приглашают на онлайн-программу «Дата-аналитика для бизнеса».

Очное обучение в онлайн-формате
Полноценная учёба, с онлайн-занятиями и экзаменами

На платформе Практикума
Гибкая теория, автоматическая проверка заданий и встроенная YandexGPT.

Преподаватели ТГУ и наставники Яндекс Практикума
Они будут проводить занятия и учить вас применять теорию на практике.

Студенческий, льготы и диплом гособразца
У вас будут все преимущества студента-очника. Доступ к инфраструктуре вуза — кампусам, библиотекам и мероприятиям.

Оплатить учёбу можно разными способами: всю сумму сразу, по семестрам или с помощью госкредита — тогда ежемесячный платёж составит от 500 ₽, а государство погасит часть кредита за вас.

— Подать заявку

Реклама. ООО «Яндекс». ИНН 7736207543

Анализ данных (Data analysis)

19 Aug 2024 16:52

✍ LongWriter с открытым исходным кодом: позволяет генерировать более 10 000 слов из Long Context Lms

Это один из самых мощных LLM с поддержкой long context, который я когда-либо использовал.

Я в восторге)

Самое главное - открытый исходный код.

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

18 Aug 2024 14:06

Лекция Эрика Шмидта (бывший CEO Google) в Стэнфорде про будущее AI. Полная запись, которая была удалена с Ютуба.

@data_analysis_ml

Анализ данных (Data analysis)

18 Aug 2024 07:48

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Хакинг: t.me/linuxkalii
Devops: t.me/devOPSitsec
АНАЛИЗ Данных: /channel/+y_viT9uBdftkZDFi
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Linux: t.me/linuxacademiya
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
C++ собеседования: t.me/cppsobes
Kubernets: t.me/kubernetc


💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ СЛИТЫХ КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

16 Aug 2024 13:04

🦀 CRAB: бенчмарк для агентов работающих с мультимодальными языковыми моделями

🦀 CRAB предоставляет комплексную и простую в использовании платформу для создания мультимодальных агентов, управления различных ос и создания тестов для их оценки, состоящую из трех ключевых компонентов:

- 🔀 Агенты могут выполнять задачи на 📱 Android и 💻 Ubuntu.
- 🕸 Graph Graph evaluator - предоставляет агентам точную метрику оценки работы агентов.
- 🤖 Автоматическая гнерация задач для агентов.

Подключая все устройства к агентам, 🦀CRAB открывает больше возможностей для выполнения различных задач, аналогичных реальным задачам.

Используйте 🦀 CRAB для тестирования ваших мультимодальных агентов!

- 👨‍💻 Репозиторий: https://github.com/camel-ai/crab
- 📝 Статья: https://arxiv.org/abs/2407.01511
- 🌐 Проект https://crab.camel-ai.org

@data_analysis_ml

Анализ данных (Data analysis)

30 Aug 2024 12:03

🌟 Action2Sound — модель для генерации звуков на основе видео от первого лица

python main.py --base configs/ldm/ego4dsounds.yaml -t --name audiocond --num-nodes 1 --gpus 0,1,2,3,4,5,6,7 --epoch 8 --scale_lr False --batch-size 90 --pretrained-model data/pretrained/av.pth --pool-patches max model.params.audio_cond_config.neighbor_audio_cond_prob=1 --audio-cond rand_neighbor

Анализ данных (Data analysis)

30 Aug 2024 11:20

🖥 dbt-core

Громоздкие #SQL запросы трудно читать, понимать и поддерживать.

С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

Анализ данных (Data analysis)

27 Aug 2024 12:04

⚡️ Lazy Predict

Дата Саентисты обычно тратят много времени на тестирование множества моделей.

Lazy Predict позволяет быстро создавать прототипы и сравнивать несколько базовых моделей без написания большого количества кода или сложной настройки моделей.

pip install lazypredict

▪Github

@data_analysis_ml

Анализ данных (Data analysis)

26 Aug 2024 18:04

⚡️LayerPano3D - новый фреймворк для создания полноэкранной панорамной 3D-сцены из одного текстового запроса!

✨Проект: https://ys-imtech.github.io/projects/LayerPano3D/
✨Статья: https://arxiv.org/abs/2408.13252
✨Код: https://github.com/YS-IMTech/LayerPano3D

@data_analysis_ml

Анализ данных (Data analysis)

26 Aug 2024 10:47

🖥 Главные достижения человечества за 500 лет — учёные собрали все самые значимые изобретения с 1500 года в потрясающей инфографике.

Здесь представлено буквально всё: от церковных колоколов до ChatGPT.

Залипнуть на этом интерактивном ресурсе в отличном качестве можно здесь: https://calculatingempires.net/

@data_analysis_ml

Анализ данных (Data analysis)

25 Aug 2024 13:33

🌟 ProLLM: бенчмарк на компетентность языковых моделей в программировании.

Разработчик и автор корпоративного code со-pilot Toqan и FinBERT pfgecnbk запустил публичный Leaderbord бенчмарка ProLLM, в котором языковые модели открытого и закрытого типа тестируются на выполнения различных задач в области программирования:

🟠сoding assistant, создание кода на 27 языках, включая R, ассемблер, haskell, delhi и ada;
🟠StackUnseen, вопросы и ответы из неопубликованных в датасетах данных Stack Overflow за последние 3 месяца;
🟠вызов функций, оценка способности LLM интерпретировать запросы и вызывать соответствующие функции с правильными параметрами;
🟠SQL Disambiguation (только на Португальском языке), оценка того, как тестируемая модель выявляет двусмысленность запроса SQL и определяет, когда требуется уточнение;
🟠извлечение сущностей (только на Польском языке), дает представление об общей эффективности извлечения сущностей и маркировки LLM на непопулярных языках.

Помимо узкоспециализированных тестов, бенчмарк выполняет несколько общих тестов: Q&A Assistant, Summarization и LLM as a Judge.

На сегодняшний день возможность самостоятельного тестирования моделей этим бенчмарком не реализована, но разработчики открыты для диалога в вопросе корпоративного применения своей системы оценки, с ними можно связаться через форму на сайте.

Toqan ProLLM Leaderboard


@data_analysis_ml

#AI #LLM #ML #Benchmark

Анализ данных (Data analysis)

22 Aug 2024 10:21

💾 LLM Datasets

В нем есть множество высококачественных наборов данных и инструментов для тонкой настройки, очистки, генерации и исследования данных.

Я молча поддерживал его в течение последних месяцев. Особая благодарность geronimi73, Bytes-Explorer и eclipse за их поддержку.

▪Githib

@data_analysis_ml

Анализ данных (Data analysis)

21 Aug 2024 18:05

🌟 Не так давно вышла новая версия AuraFlow — v0.2

Как вы помните, AuraFlow — это крупнейшая открытая text-to-image модель.
AuraFlow v0.2 была обучена с использованием большего количества вычислительных ресурсов по сравнению с предыдущей версией, AuraFlow v0.1.

AuraFlow v0.2 показывает передовые результаты на GenEval;
на данный момент модель находится в бета-версии.

🤗 Hugging Face

@data_analysis_ml

Анализ данных (Data analysis)

21 Aug 2024 12:00

⚡️ Microsoft Phi 3.5: Новые instruct модели.

Представлены модели:

Phi-3.5-mini-instruct: 3.82B параметров, 128K контекст, улучшено понимание кода, математические операции, на 5 пунктов подросло знание русского языка (по бенчмарку Multilangual MMLU):

🟢Демо
🟠GGUF-версии от 2-bit (1.32 Gb) до 32-bit (15/3GB)
🟠MLX-верcии для Mac

Phi-3.5-vision-instruct: 4.15B параметров, 128К контекст, улучшено описание графиков и таблиц, суммаризация по нескольким изображениям и видео, классификация художественных стилей по изображению:

🟢Демо
🟠MLX-верcии для Mac

Phi-3.5-MoE-instruct: 16x3.8B параметров, 6.6B активных параметров при использовании 2 агентов, 128К контекст, актуальность датасета обучения - октябрь 2023:

🟢Демо
🟠MLX-верcии для Mac


📌Лицензирование : MIT License

@data_analysis_ml

#AI #Phi #LLM #ML #Microsoft

Анализ данных (Data analysis)

20 Aug 2024 17:33

⚡️ Flux Schnell в новом Diffusion Kit с MLX работает на 30% быстрее и использует меньше оперативной памяaти!

pip install -U diffusionkit

На моем ноутбуке M1 max объемом 32 ГБ я создаю высококачественные изображения меньше чем за минуту:

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

20 Aug 2024 10:21

🤗 Hugging Face выпустили пошаговый гайд по созданию и обучению своей личной робо-руки.

Компания Hugging Face опубликовала подробную инструкцию по созданию и обучению роботизированной руки.


В ней подробно рассказывается, где приобрести необходимые компоненты, как настроить нейронную сеть, а также приведены лекции, иллюстрирующие процесс сборки.

Крутой бесплатный курс - рекомендуем)

@vistehno

Анализ данных (Data analysis)

19 Aug 2024 10:58

⚡️ LLM Compressor

Neural Magic выпустили LLM Compressor: Новую библиотеку для сжатия LLM модели для более быстрого инференса с помощью vLLM.

pip install llmcompressor

▪Github
▪Blog

@data_analysis_ml

Анализ данных (Data analysis)

18 Aug 2024 09:32

🌟 Lets-Plot: мощная библиотека для визуализации данных на Python

— pip install lets-plot

Lets-Plot — библиотека от JetBrains, созданная на основе принципов Grammar of Graphics, как и знаменитая ggplot2 для R.

Особенности и преимущества:

- Мультиплатформенность: Lets-Plot работает как в блокнотах Python (Jupyter, Datalore, Kaggle и др.), так и в IDE PyCharm и IntelliJ IDEA.

- Интерактивные возможности: Поддержка интерактивных карт с возможностью увеличения и перемещения, а также кастомизация подсказок и аннотаций.

- Геопространственная визуализация: Простая интеграция с GeoDataFrame и мощный модуль геокодирования.

- Экспорт графиков: Сохранение графиков в формате SVG, HTML, PNG и PDF с помощью функций ggsave(), to_svg(), to_html(), to_png() и to_pdf().

- Поддержка режима без JavaScript и оффлайн-режима: Lets-Plot генерирует графики как простые SVG-изображения, что обеспечивает работу без Интернет-соединения.


🖥 GitHub
🟡 Доки

@data_analysis_ml

Анализ данных (Data analysis)

17 Aug 2024 15:03

⚡️ Tele FLM 1T

На Hugging Face на днях появилась open-source LLM с 1 триллионом параметров.
Tele-FLM-1T — это многоязычная LLM с открытыми весами, отличающаяся расширенными возможностями оценки фактов (по крайней мере со слов разработчиков)

Модель построена на базе архитектуры трансформера, обучена примерно на 2Т лексем.
Веса модели открыты, также прилагаются полезные инструкции и т.д.

🤗 Hugging Face

@ai_machinelearning_big_data

Анализ данных (Data analysis)

16 Aug 2024 12:44

Жиза

@data_analysis_ml