Анализ данных (Data analysis)

05 Sep 2024 09:20

erid: LjN8KRVqH

GlowByte вместе с DataYoga и FanRuan запускают онлайн-ретрит по работе с BI-инструментом FineBI!

10 дней теории, практики и вдохновения от ведущих российских компаний.
Узнайте о возможностях анализа и визуализации данных в FineBI, а также получите практические советы по оптимизации BI-практики от GlowByte.

Программа подходит для всех, кто работает с данными, от разработчиков до руководителей.

Что вас ждет:
🧘‍♂️ Инсайты от таких компаний как Tele2, Уралсиб, Циан и других
🧘‍♂️ Практические задачки от экспертов GlowByte 
🧘‍♂️ Общение в чате и ежедневные встречи в эфире

Стартуем 16 сентября! 
⚡️ Регистрируйтесь по ссылке ⚡️ 

Реклама. ООО "ГЛОУБАЙТ АНАЛИТИЧЕСКИЕ РЕШЕНИЯ". ИНН 9729274905.

Анализ данных (Data analysis)

04 Sep 2024 17:03

erid: LjN8KH5xT

Станьте разработчиком нейро-сотрудников на Python и зарабатывайте от 150.000р в месяц 🔥🔥🔥

Мы научим вас создавать топовых нейро-сотрудников на базе GPT-4 Omni, и вы сможете:
1️⃣ Устроиться разработчиком в крупную компанию и зарабатывать от 150 тысяч ₽ в месяц
2️⃣ Разрабатывать такие проекты на заказ и зарабатывать от 500 тысяч ₽ за проект
3️⃣ Создать нейро-сотрудника в вашей компании и вырасти на +30-100% в зарплате

Что будет на интенсиве?
🧬 Теория: как создаются нейро-сотрудники с GPT-4o на Python
🧬 Практика: мы создадим нейро-консультанта, нейро-HR, нейро-маркетолога и др.

Ведущий интенсива - Senior AI разработчик нейросетей и основатель Университета искусственного интеллекта

🔥 Регистрируйтесь на бесплатный интенсив! Встречаемся в ближайший четверг!

Реклама. ООО "ТЕРРА ЭЙАЙ". ИНН 9728019395.

Анализ данных (Data analysis)

04 Sep 2024 11:04

Событие для тех, кто хочет развиваться в робототехнике! 🤖

14 сентября центр робототехники Сбера проводит One Day Offer для DevOps- и MLOps-инженеров. Это возможность погрузиться в мир передовых технологий и получить заветный оффер всего за один день!

Центр проводит исследования, создаёт роботов, применяя искусственный интеллект, и работает по направлениям манипуляции, роботизации логистики, мобильных и антропоморфных роботов.

Задачи DevOps:

✔️ конфигурация систем разработки, тестирования, средств автоматизации и ИТ-инфраструктуры
✔️ оборачивание кода в docker образы и развёртывание контейнеров в Kubernetes
✔️ обеспечение мониторинга и выявление узких мест в работе систем

Задачи MLOps:

✔️ создание и внедрение MLOps-практик для исследований в направлениях RL, инференса LLM
✔️ настройка инструментов отслеживания жизненного цикла моделей (ClearML, MLFlow, DVC и т. п.)
✔️ развитие LLMOps-практик (эффективный инференс LLM для ChatGPT-like решений)

Если для вас это не просто слова, откликайтесь по ссылке!

Анализ данных (Data analysis)

02 Sep 2024 15:03

📢 Вышла версия TorchGeo 0.6.0!

В него добавлено 18 датасетов, 15 новых модулей данных и 27 новых предварительно обученных моделей, что является результатом 11 месяцев работы команды из 23 разработчиков🔥.

https://github.com/microsoft/torchgeo/releases/tag/v0.6.0

@data_analysis_ml

Анализ данных (Data analysis)

01 Sep 2024 13:16

🚀 Мощная библиотека для быстрого LLM-инференса

NanoFlow стабильно обеспечивает более высокую производительность по сравнению с vLLM, Deepspeed-FastGen и TensorRT-LLM. 🤯

🔹 Увеличение производительности в 1,91 раза по сравнению с TensorRT-LLM
🔹 Опережает vLLM, Deepspeed-FastGen
🔹 Достигает 68,5 % от оптимальной пропускной способности

При крупномасштабных развертываниях LLM сталкивается с узкими местами в пропускной способности. 🤔

🔹 Бэкенд на C++, фронтенд на Python
🔹 Интеграция с CUTLASS, FlashInfer, MSCCL++
🔹 Поддерживает LLaMA2-70B, Mixtral 8x7B, LLaMA3-8B

- Nano-batching: разбивает запросы на более мелкие партии для одновременного выполнения
- Разделяет ресурсы GPU для эффективной работы
- Менеджер KV-кэша: Оптимизирует использование памяти
- Механизм автоматизированного поиска: Находит оптимальные параметры для запуска модели

▪Github

@data_analysis_ml

Анализ данных (Data analysis)

31 Aug 2024 09:32

⚡️ WonderWorld — рендеринг 3D-сцен в реалтайме

WonderWorld позволяет пользователю быстро генерировать 3D-сцены вокруг себя с помощью текстовых промптов и движения камеры.
В качестве отправной точки WonderWorld принимает на вход 1 изображение и генерирует связанные с ним разнообразные 3D-сцены для создания виртуального мира.
Генерация одной 3D-сцены занимает менее чем 10 секунд благодаря 2 моментам: во-первых, это оптимизация представления 3D-сцены, Fast Gaussian Surfels, а во-вторых, используется особый подход, позволяющий генерировать для каждой сцены только 1 вид, а не несколько, не создавая при этом больших дыр в восприятии этой сцены.

🟡 Страничка WonderWorld
🟡 Статья

@data_analysis_ml

Анализ данных (Data analysis)

30 Aug 2024 14:54

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшие Fast Track мероприятия:

• 7-8 сентября — для аналитиков со знанием SQL и Python, офер за 2 дня в команды Маркета, Еды и Лавки.

Зарегистрироваться

Анализ данных (Data analysis)

30 Aug 2024 11:34

⚡️ Qwen2-VL: второе поколение VLM моделей от Alibaba Cloud.

Qwen2-VL - это новая версия VLMs, основанная на Qwen2 в семействе моделей Qwen. По сравнению предыдущим поколением, Qwen2-VL обладает возможностями:

🟢Распознавание изображений с различным разрешением и соотношением сторон;
🟢VQA-понимание видеороликов продолжительностью более 20 минут с поддержкой диалога;
🟢Интеграция с носимыми устройствами (мобильный телефон, робот и т.д) в качестве агента управления;
🟢Мультиязычность внутри входных данных, например на изображениях или видео.
🟢Улучшенное распознавание объектов и предметов;
🟢Расширенные возможности в области математики и понимания программного кода.

Набор Qwen2-VL состоит из трех основных моделей, две из которых публикуются в отrрытом доступе. Модель Qwen2-VL-72B доступна только по API:

🟠Qwen2-VL-72B;
🟢Qwen2-VL-7B-Instruct;
🟢Qwen2-VL-2B-Instruct,

и их квантованные версии в форматах AWQ и GPTQ в разрядностях Int8 и Int4.

Архитектура моделей. как и в прошлом поколении основана на ViT 600M и LLM Qwen2, но с добавлением двух ключевых модификаций:

🟠использование NDR (Naive Dynamic Resolution), который позволил обрабатывать входные данные любого разрешения, преобразуя их в динамическое количество визуальных токенов. Эта реализация максимально близка к имитации зрительного восприятия человека.

🟠технология Multimodal Rotary Position Embedding (M-ROPE). Благодаря деконструкции оригинального rotary embedding на три части, представляющие временную и пространственную информацию, M-ROPE дает возможность LLM одновременно захватывать 1D( текст ), 2D( визуал ) и 3D( видео ) информацию.

⚠️ Ограничения в возможностях и слабые стороны поколения состоят в том, что модели не умеют извлекать звук из видео, а их знания актуальны на июнь 2023 года.

Кроме того, они не могут гарантировать полную точность при обработке сложных инструкций или сценариев. Модели относительно слабы в задачах, связанных со счетом, распознаванием символов и трехмерным пространственным восприятием.

▶️Использование и интеграция Qwen2-VL возможна с инструментами и на фреймворках: Transformers, vLLM, Llama-Factory, AutoGPTQ, AutoAWQ.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Набор моделей
🟡Demo
🟡Сообщество в Discord
🖥Github [ Stars: 59 | Issues: 3 | Forks: 2]


@ai_machinelearning_big_data

#AI #Qwen #ML #GPTQ #VLM #AWQ

Анализ данных (Data analysis)

28 Aug 2024 09:32

🎮 Diffusion Models Are Real-Time Game Engines

Google представляет GameNGen, первый игровой движо в Stable Diffusion, который позволяет взаимодействовать со сложным окружением в реальном времени с высоким качеством.

GameNGen может интерактивно моделировать классическую игру DOOM со скоростью более 20 кадров в секунду на одном TPU.

Предсказание следующего кадра достигает PSNR 29,4,

На тестах дюди почти не отличают короткие ролики игры от роликов симуляции.

GameNGen обучается в два этапа: (1) RL-агент учится играть в игру, и тренировочные сессии записываются, и (2) диффузионная модель обучается выдавать следующий кадр, основываясь на последовательности прошлых кадров и действий.

▪ статья: https://arxiv.org/abs/2408.14837
▪ страница проекта: https://gamengen.github.io

Анализ данных (Data analysis)

27 Aug 2024 10:02

Как увеличить производительность DBaaS в 10 раз?

Selectel запустил базы данных на выделенном облачном сервере — уникальный продукт, аналогов которому нет в России. Вы можете получите готовый к работе кластер облачных баз данных с изолированной на физическом уровне инфраструктурой. Новое решение позволит хранить и обрабатывать базы данных размером до 7 ТБ с производительностью до 1,5 млн IOPS.

Преимущества DBaaS на выделенном облачном сервере:
- Максимальная производительность. Увеличили производительность дисковой подсистемы DBaaS — до 1,5 млн IOPS, пропускную способность — до 7 000 МБ/с.
- Экономическая выгода. В зависимости от конфигурации стоимость нового решения до 47% ниже стандартного DBaaS-сервиса.
- Быстрый запуск. Не нужно самостоятельно подбирать железо, оптимизировать настройки и разворачивать CУБД.
- Безопасность. Изоляция базы данных на уровне физического сервера. Услуга соответствует закону 152-ФЗ (УЗ-1), приказу ФСТЭК № 21, PCI DSS, ISO 27001, 27017, 27018.

Разверните базу данных на выделенном облачном сервере: https://slc.tl/g3qe5

Реклама АО «Селектел». ИНН: 7810962785 Erid: 2VtzqxiGXUR

Анализ данных (Data analysis)

26 Aug 2024 16:02

Встречаемся 14 сентября на Practical ML Conf в Москве и
онлайн!

Machine learning, проверенный практикой*
* Сгенерировано YandexGPT

Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении.

Ключевые темы конференции:
CV / NLP / Speech / RecSys / MLOps / Data science

В числе спикеров:
– Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи;
– Дмитрий Антипов — Сбер, АБТ, тимлид разработки;
– Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering.

Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров.

Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн.

Реклама. ООО "Яндекс", ИНН 7736207543

Анализ данных (Data analysis)

26 Aug 2024 09:46

💪Вам нужен надёжный API!

👉Узнайте как создавать надежные API с проверкой параметров запроса и валидацией сложных данных на бесплатном вебинаре онлайн-курса «Python Developer. Professional» - «FastAPI - валидация параметров запроса с помощью Pydantic»: регистрация

На бесплатном вебинаре мы:
- Рассмотрим, как FastAPI и Pydantic работают вместе для валидации данных;
- Научимся создавать и использовать Pydantic модели для валидации параметров запроса;
- Рассмотрим как валидировать сложные и вложенные структуры данных в запросах.

Занятие будет полезно Python разработчикам, которым необходимо создавать надежные API с проверкой параметров запроса и валидацией сложных данных.

🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку!

erid: LjN8K65FR

Анализ данных (Data analysis)

23 Aug 2024 09:55

🦧 Sapiens: новая SOTA ViTs для задач CV, связанных с обнаружением людей 🦧

Sapiens - семейство моделей для задач CV: оценки 2D-позы, сегментации частей тела, оценки глубины.

Модели поддерживают вывод данных в 1K hi-res. и очень легко адаптируются под конкретные задачи путем простого файнтюнига.

Модель предварительно обучена на более чем 300 миллионах изображений человека в естественных условиях. 💙

▪ HF: huggingface.co/papers/2408.12569
▪ Paper https://arxiv.org/pdf/2408.12569

@data_analysis_ml

Анализ данных (Data analysis)

22 Aug 2024 09:10

Хочешь работать с масштабными цифровыми продуктами? Учись обрабатывать большие данные  

MLOps — все более популярный среди компаний способ повышения производительности и создания надежных моделей корпоративного уровня. 

✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам. 

👉 Вырвись из однотипных задач на ML. Освой продвинутые подходы. Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на курсе «MLOps» от OTUS по специальной цене.  

Пройти тестирование и узнать подробности: 
https://otus.pw/U4Kv/?erid=LjN8KZgEo

Анализ данных (Data analysis)

21 Aug 2024 16:04

Сегодня анализ больших данных стал ключевым элементом для роста экономической эффективности крупных компаний, а также для современных вендоров, создающих инструменты Big Data.

На онлайн-дискуссии рассмотрим тему больших данных с двух сторон – бизнеса и тех, кто разрабатывает платформы для сбора и хранения больших данных. Эксперты T-Банка и Arenadata обсудят

🔹 Эволюционный путь развития работы с данными в российском бизнесе
🔹 Где аналитика больших данных дает для enterprise-бизнеса реальный экономический эффект?
🔹Технологический стек больших данных – что выбрать?
🔹Надо ли строить единое корпоративное хранилище данных?
🔹Перспективы искусственного интеллекта для бизнеса
🔹Требования к инфраструктуре для больших данных. On premise vs Облако

Спикеры

Дмитрий Зуев
ex-Руководитель отдела дата-инфраструктуры
Т-Банк

Андрей Жуков
Коммерческий директор
Arenadata

Ведущий
Сергей Зинкевич
Эксперт по облачным технологиям

🗓 27 августа | 17:00

Регистрация по ссылке>>

Реклама. ООО "ДЛИ" ИНН 9704006911

Анализ данных (Data analysis)

04 Sep 2024 18:04

⚡️ OLMoE: Открытые языковые модели смеси экспертов

«OLMOE-1B-7B имеет 7 миллиардов (B) параметров, но использует только 1B на входную лексему.

Она предварительно обучена ее на 5 триллионах лексем.

OLMOE-1B-7B-INSTRUCT, превосходят все доступные модели с аналогичными активными параметрами, даже превосходят такие крупные модели, как Llama2-13B-Chat и DeepSeekMoE-16B.»

• Статья: https://arxiv.org/abs/2409.02060
• Модель: https://hf.co/allenai/OLMoE-1B-7B-0924

@data_analysis_ml

Анализ данных (Data analysis)

04 Sep 2024 13:04

💻 Проект Graph RAG - это пакет для обработки и преобразования данных, предназначенный для извлечения значимых структурированных данных из неструктурированного текста с использованием возможностей LLMs.

▪Запись в блоге :https://microsoft.com/en-us/research/blog/graphrag-unlocking-llm-discovery-on-narrative-private-data/
▪GitHub: https://github.com/microsoft/graphrag?tab=readme-ov-file

@data_analysis_ml

Анализ данных (Data analysis)

03 Sep 2024 10:20

🚀 Представляем многоязычную систему преобразования речи в речь Hugging Face! 🎤

💬 Модульный кросс-платформенный конвейер для запуска GPT4o-подобных моделей на устройствах, с плавным переключением языков во время разговора с незаметной задержкой в 100 мс.

🌟 2700 звезд на GitHub 🌟

🔥 Тестируйте с флагом: --language
🤯 Или не устанавливайте флаг и позвольте системе самой определить язык

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

02 Sep 2024 08:45

⚡️ ReconX

Это полезная библиотека для создания детализированных 3D-сцен на основе ограниченного количества изображений, решая проблему, которая долгое время была сложной в компьютерном зрении.

В отличие от традиционных методов, которые часто сталкиваются с артефактами и искажениями в невидимых областях, ReconX рассматривает задачу как временную генерацию, используя видеодиффузионную модель.

Основное новшество — использование генеративных возможностей крупных предварительно обученных моделей видео с сохранением 3D-согласованности сцен.

📌 Github
📌 Project

@data_analysis_ml

Анализ данных (Data analysis)

01 Sep 2024 10:04

⚡️ Этот инструмент RAG с открытым исходным кодом для работы с вашими документами в режиме чата в последние несколько дней занимает лидирующие позиции на Github

- RAGUI с открытым исходным кодом для контроля качества инструмента
- Поддерживает локальные Lms и API-провайдеров
- Гибридный конвейер RAG с полнотекстовым и векторным поиском
- Мультимодальность
- Поддерживает Сложные рассуждения с декомпозицией вопросов
- Настраиваемый пользовательский
интерфейс,
- Расширяемая архитектура

▪ Github

@data_analysis_ml

Анализ данных (Data analysis)

30 Aug 2024 17:05

🌟 FLAN-T5 small — модель от Google для задач NLP

Если кто знаком с моделью T5, то FLAN-T5 — это её улучшенная версия.
При том же количестве параметров FLAN-T5 тонко настроена для 1000+ дополнительных задач NLP; при этом модель поддерживает большое количество языков.

🤗 Hugging Face
🟡 Arxiv

@data_analysis_ml

Анализ данных (Data analysis)

30 Aug 2024 12:03

🌟 Action2Sound — модель для генерации звуков на основе видео от первого лица

python main.py --base configs/ldm/ego4dsounds.yaml -t --name audiocond --num-nodes 1 --gpus 0,1,2,3,4,5,6,7 --epoch 8 --scale_lr False --batch-size 90 --pretrained-model data/pretrained/av.pth --pool-patches max model.params.audio_cond_config.neighbor_audio_cond_prob=1 --audio-cond rand_neighbor

Анализ данных (Data analysis)

30 Aug 2024 11:20

🖥 dbt-core

Громоздкие #SQL запросы трудно читать, понимать и поддерживать.

С помощью dbt вы можете использовать функцию ref, чтобы разбить длинный SQL-запросы на более мелкие компоненты, делая их более читаемыми и удобными для обслуживания.

-- models/total_order_amount.sql
SELECT 
    order_id, 
    customer_id, 
    SUM(order_amount) AS total_amount
FROM
    raw_orders
GROUP BY order_id, customer_id

-- models/average_order_amount.sql
SELECT 
    customer_id, 
    AVG(total_amount) AS avg_amount
FROM {{ ref('total_order_amount') }}
GROUP BY customer_id

Анализ данных (Data analysis)

27 Aug 2024 12:04

⚡️ Lazy Predict

Дата Саентисты обычно тратят много времени на тестирование множества моделей.

Lazy Predict позволяет быстро создавать прототипы и сравнивать несколько базовых моделей без написания большого количества кода или сложной настройки моделей.

pip install lazypredict

▪Github

@data_analysis_ml

Анализ данных (Data analysis)

26 Aug 2024 18:04

⚡️LayerPano3D - новый фреймворк для создания полноэкранной панорамной 3D-сцены из одного текстового запроса!

✨Проект: https://ys-imtech.github.io/projects/LayerPano3D/
✨Статья: https://arxiv.org/abs/2408.13252
✨Код: https://github.com/YS-IMTech/LayerPano3D

@data_analysis_ml

Анализ данных (Data analysis)

26 Aug 2024 10:47

🖥 Главные достижения человечества за 500 лет — учёные собрали все самые значимые изобретения с 1500 года в потрясающей инфографике.

Здесь представлено буквально всё: от церковных колоколов до ChatGPT.

Залипнуть на этом интерактивном ресурсе в отличном качестве можно здесь: https://calculatingempires.net/

@data_analysis_ml

Анализ данных (Data analysis)

25 Aug 2024 13:33

🌟 ProLLM: бенчмарк на компетентность языковых моделей в программировании.

Разработчик и автор корпоративного code со-pilot Toqan и FinBERT pfgecnbk запустил публичный Leaderbord бенчмарка ProLLM, в котором языковые модели открытого и закрытого типа тестируются на выполнения различных задач в области программирования:

🟠сoding assistant, создание кода на 27 языках, включая R, ассемблер, haskell, delhi и ada;
🟠StackUnseen, вопросы и ответы из неопубликованных в датасетах данных Stack Overflow за последние 3 месяца;
🟠вызов функций, оценка способности LLM интерпретировать запросы и вызывать соответствующие функции с правильными параметрами;
🟠SQL Disambiguation (только на Португальском языке), оценка того, как тестируемая модель выявляет двусмысленность запроса SQL и определяет, когда требуется уточнение;
🟠извлечение сущностей (только на Польском языке), дает представление об общей эффективности извлечения сущностей и маркировки LLM на непопулярных языках.

Помимо узкоспециализированных тестов, бенчмарк выполняет несколько общих тестов: Q&A Assistant, Summarization и LLM as a Judge.

На сегодняшний день возможность самостоятельного тестирования моделей этим бенчмарком не реализована, но разработчики открыты для диалога в вопросе корпоративного применения своей системы оценки, с ними можно связаться через форму на сайте.

Toqan ProLLM Leaderboard


@data_analysis_ml

#AI #LLM #ML #Benchmark

Анализ данных (Data analysis)

22 Aug 2024 10:21

💾 LLM Datasets

В нем есть множество высококачественных наборов данных и инструментов для тонкой настройки, очистки, генерации и исследования данных.

Я молча поддерживал его в течение последних месяцев. Особая благодарность geronimi73, Bytes-Explorer и eclipse за их поддержку.

▪Githib

@data_analysis_ml

Анализ данных (Data analysis)

21 Aug 2024 18:05

🌟 Не так давно вышла новая версия AuraFlow — v0.2

Как вы помните, AuraFlow — это крупнейшая открытая text-to-image модель.
AuraFlow v0.2 была обучена с использованием большего количества вычислительных ресурсов по сравнению с предыдущей версией, AuraFlow v0.1.

AuraFlow v0.2 показывает передовые результаты на GenEval;
на данный момент модель находится в бета-версии.

🤗 Hugging Face

@data_analysis_ml

Анализ данных (Data analysis)

21 Aug 2024 12:00

⚡️ Microsoft Phi 3.5: Новые instruct модели.

Представлены модели:

Phi-3.5-mini-instruct: 3.82B параметров, 128K контекст, улучшено понимание кода, математические операции, на 5 пунктов подросло знание русского языка (по бенчмарку Multilangual MMLU):

🟢Демо
🟠GGUF-версии от 2-bit (1.32 Gb) до 32-bit (15/3GB)
🟠MLX-верcии для Mac

Phi-3.5-vision-instruct: 4.15B параметров, 128К контекст, улучшено описание графиков и таблиц, суммаризация по нескольким изображениям и видео, классификация художественных стилей по изображению:

🟢Демо
🟠MLX-верcии для Mac

Phi-3.5-MoE-instruct: 16x3.8B параметров, 6.6B активных параметров при использовании 2 агентов, 128К контекст, актуальность датасета обучения - октябрь 2023:

🟢Демо
🟠MLX-верcии для Mac


📌Лицензирование : MIT License

@data_analysis_ml

#AI #Phi #LLM #ML #Microsoft