ai_machinelearning_big_data | Technologies

Telegram-канал ai_machinelearning_big_data - Machinelearning

27349

Самая актуальная информация из мира ML, Нейронных сетей,DI По всем вопросам- @haarrp @itchannels_telegram - 🔥 best it channels @pythonl - 🐍 @machinee_learning -chat @ArtificialIntelligencedl - AI @datascienceiot - ml 📚 @machinelearning_ru ml

Subscribe to a channel

Machinelearning

👨‍🎓Harvard CS50’s Artificial Intelligence with Python – Full University Course

В этом бесплатном курсе Гарвардского университета рассматриваются концепции и алгоритмы, лежащие в основе современного искусственного интеллекта.

🎞 Video
📌 Course resources

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🪄Optimizing a Text-To-Speech model using 🤗 Transformers

В этом руководстве показано как можно оптимизировать Bark, модель Text-To-Speech (TTS), на основе трех библиотек из экосистемы Hugging face: Transformers, Optimum и Accelerate.

🤗 Post: https://huggingface.co/blog/optimizing-bark

🖥 Colab: https://colab.research.google.com/github/ylacombe/notebooks/blob/main/Benchmark_Bark_HuggingFace.ipynb

⭐️ Bark: https://huggingface.co/docs/transformers/main/en/model_doc/bark#overview

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🚀 AgentBench: Evaluating LLMs as Agents.

AgentBench, a multi-dimensional evolving benchmark that currently consists of 8 distinct environments to assess LLM-as-Agent's reasoning and decision-making abilities in a multi-turn open-ended generation setting.

Комплексный бенчмарк для оценки работы LLM агентов.

🖥 Github: https://github.com/thudm/agentbench

📕 Paper: https://arxiv.org/abs/2308.03688v1

☑️ Dataset: https://paperswithcode.com/dataset/alfworld

ai_machinelearning_big_data

Читать полностью…

Machinelearning

👁‍🗨 PyTorch Toolbox for Image Quality Assessment

An IQA toolbox with pure python and pytorch.

Набор инструментов и датасетов PyTorch для оценки качества изображений, включая LPIPS, FID, NIQE, NRQM(Ma), MUSIQ, NIMA, DBCNN, WaD

🖥 Github: https://github.com/chaofengc/iqa-pytorch

📕 Paper: https://arxiv.org/abs/2308.03060v1

🖥 Colab: https://colab.research.google.com/drive/14J3KoyrjJ6R531DsdOy5Bza5xfeMODi6?usp=sharing

☑️ Dataset: https://paperswithcode.com/dataset/koniq-10k

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🎲 Anti-Exploration by Random Network Distillation, Tinkoff Research, ICML 2023

We propose a new ensemble-free offline RL algorithm called SAC-RND. We evaluate our method on the D4RL (Fu et al., 2020) benchmark, and show that SAC-RND achieves performance comparable to ensemble-based methods while outperforming ensemble-free approaches.

Ученые из Tinkoff Research открыли новый Offline-RL алгоритм, который показывает SOTA-результаты, сравнимые с ансамблевыми моделями (в некоторых случаях даже лучше), и при этом требует до 20 раз меньше времени на обучение.


🖥 Github: https://github.com/tinkoff-ai/sac-rnd

🤓 Paper: https://proceedings.mlr.press/v202/nikulin23a.html

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🧍‍♂ Reconstructing Three-Dimensional Models of Interacting Humans

Tools to process and visualize the IMAR Vision Datasets: CHI3D, FlickrCI3D, HumanSC3D, FlickrSC3D and Fit3D.

Наборы инструментов и датасетов для задач 3d реконструкций, сегментации и обнаружения людей.

🖥 Github: https://github.com/sminchisescu-research/imar_vision_datasets_tools

📕 Paper: https://arxiv.org/abs/2308.01854v1

⭐️ Project: https://ci3d.imar.ro/

☑️ Dataset: https://paperswithcode.com/dataset/chi3d

ai_machinelearning_big_data

Читать полностью…

Machinelearning

Яндекс Практикум ищет авторов на курсы по машинному обучению и  «Математика для анализа данных» 
Частичная занятость (2-3 часа в день)

Яндекс Практикум — это сервис онлайн-образования, где каждый может освоить современные цифровые профессии. 

Задача автора — создавать и улучшать образовательный контент, чтобы обучение было актуальным.

Что предстоит делать?
Помимо теории нужно будет придумывать квизы, тесты, практические задания, дополняя это примерами из вашей профессиональной  жизни.

Почему вам стоит стать автором курса?
● Помощь тысячам людей получить востребованную IT-профессию.
● Прокачка себя и подтверждение своей экспертности.
● Дополнительных доход на удалёнке.

Оставьте отклик на сайте, пройдите отбор и станьте проводником в мир IT-профессий 👇
Автор курса  «Математика для анализа данных»
Автор курсов по машинному обучению

Читать полностью…

Machinelearning

Приглашаем на новую конференцию от Яндекса по прикладному ML — Practical ML Conf 2023. Регистрация уже открыта!

7 сентября мы проведём большую конференцию по прикладному Machine Learning, где обсудим все новости, которые происходят в ML-отрасли. Это будет хардовая конференция для экспертов: с глубокими техническими докладами и главными ML-инженерами отрасли.

Поговорим о ключевых вопросах индустрии: генеративных моделях, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm. Обсудим реальное применение ML в бизнесе, поделимся кейсами и их решениями. Вот лишь несколько докладов из нашей программы:

🔸Алексей Морозов, руководитель группы модернизации нейронных сетей, Яндекс Поиск. Расскажет про zero-cost fault tolerance в распределённом глубоком обучении.

🔸Валерий Ильин, руководитель группы разработки компьютерного зрения и бизнес-процессов на роботе, Яндекс Маркет. Объяснит, как устроено компьютерное зрение роботов на складах Маркета.

🔸Андрей Зимовнов, ML-директор, Дзен. Расскажет, как в Дзене переосмыслили item2item-рекомендации.

🔸Александр Ледовский, руководитель команды DS и аналитики в монетизации, Авито. Объяснит, как работают рекламные аукционы и автобиддинг в продуктах продвижения Авито.

Зарегистрироваться на участие в конференции и узнать все подробности про доклады и спикеров можно здесь.

И подписывайтесь на @Yandex4Developers, там мы скоро начнём рассказывать о программе Practical ML Conf 2023

Читать полностью…

Machinelearning

Как маленькая нейроязыковая модель победила большую облачную

Разработчики Яндекс Клавиатуры рассказали, как отказались от n-граммной модели и выбрали нейроязыковую, поделились итоговой архитектурой модели и показали, насколько получился прирост по метрике saved keys в разных группах приложениях.

🔗 Хабр: https://habr.com/ru/companies/yandex/articles/751598/

ai_machinelearning_big_data

Читать полностью…

Machinelearning

📣 Центр непрерывного образования ФКН приглашает на Летнюю школу по аналитике и Data Science!

Вас ждут лекции и мастер-классы от спикеров из Яндекса, МТС, Тинькофф, Альфа-Банка, Х5 Group, Дзен, Genotek, Мегафона и не только.

Приглашаем всех, кто хочет разобраться:

🔷 Зачем осваивать анализ данных? Как справиться с огромным потоком данных в компании и использовать их на пользу бизнеса?
🔷 Какие сегодня есть тренды в ИИ и как устроены современные технологии?
🔷 Как Data Science применяется в разных индустриях: ритейле, телекоме и медицине? Какие знания в области нужны для работы аналитика в банке?
🔷 Что нужно изучить, чтобы стать аналитиком данных или специалистом по Data Science? Чем аналитик данных отличается от специалиста по data science?
Школа подойдет как тем, кто только решил освоить новую профессию, так и начинающим специалистам.

🗓 Когда: 19-20 августа 2023
📌 Где: здание Вышки в Москве на Покровском бульваре, 11

Участие бесплатное для всех желающих, нужно зарегистрироваться до 14 августа.

Читать полностью…

Machinelearning

5 августа, в 11:00 по белградскому времени пройдёт вебинар о карьере разработчиков в сербском офисе Nebius. Подключайтесь!

Мы поговорим обо всём, что стоит знать кандидату. Вы сможете познакомиться с одним из тимлидов разработки Nebius и узнаете про:

— Процесс собеседования
— Критерии отбора
— Переезд
— Плюсы работы в нашем сербском офисе

Вебинар пройдёт на русском языке. Он будет полезен всем опытным разработчикам, которые рассматривают Сербию как страну для переезда или уже здесь находятся.

Регистрация обязательна

#реклама, https://nebius.com
Erid: LdtCKUBSC

Читать полностью…

Machinelearning

Этой осенью состоится международная конференция AI Journey 2023, в рамках которой с марта по август проходит отбор научных работ по искусственному интеллекту и машинному обучению.

Самые интересные работы будут опубликованы в научном журнале с международной аудиторией, а автор лучшей статьи получит приз - 1 миллион рублей.

Не упустите свой шанс принять участие в отборе и получить возможность опубликовать свою статью, а также выступить с докладом на конференции AI Journey! Поторопитесь — осталось совсем немного времени! Подать заявку и ознакомиться с Правилами отбора можно на сайте AI Journey

Читать полностью…

Machinelearning

Курс по соревновательному Data Science👨‍💻

🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!

🎯 В отличие от большинства курсов по машинному обучению, этот курс сконцентрирован на практике, а не на теории. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник.

⚡️В программе курса тебя ждет:
* Продвинутая работа с pandas и numpy
* Генерация, визуализация и фильтрация признаков
* Модуль про SOTA градиентные бустинги и то как их тюнить
* Стекинг и блендинг моделей
* Ускорение вычислений и оптимизация памяти
* Парсинг данных из открытых источников
* Работа с Kaggle Api и различными облачными вычислительными сервисам
* Нейронки для табличных данных
* Интервью с Kaggle Grand Masters и многое другое

🚀 Еще ребята проводят еженедельные открытые вебинары, на которых разбирают решения победителей с чемпионатов, делают обзоры предстоящих соревнование и рассказывают про необычные техники, с которыми сталкиваются на практике.

🔗 Подписывайся на их телеграмм канал, чтобы подробнее узнать про курс и следить за открытыми вебинарами.

Читать полностью…

Machinelearning

Как создавать качественные ML-системы

Команда VK Cloud перевела две статьи о ML-проектах. В первой части подробнее о жизненном цикле, ценности для бизнеса, важности проектной документации и концепциях PoC или MVP.

Во второй части: Data-centric ИИ, данны для обучения, разметка и очистка, синтетические данные, Data Engineering и ETL.


💼 Habr: https://habr.com/ru/companies/vk/articles/749850/

Habr2: https://habr.com/ru/companies/vk/articles/749852/

ai_machinelearning_big_data

Читать полностью…

Machinelearning

Для старта карьеры в машинном обучении не хватает опыта?

Решайте реальные рабочие задачи на Симуляторе ML. Под руководством ведущих Data Scientists — Валерия Бабушкина и Богдана Печёнкина — вы не просто  прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения. Поработав над проектами различного уровня сложности, вы научитесь: 

- Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить
- Проводить А/В-тесты, чтобы подтверждать прирост метрик
- Формулировать задачу для модели
- Выбирать подходящую модель и обучать её
- Организовывать процесс доставки данных для модели
- Оборачивать модель в сервис и деплоить его

После симулятора вы сможете успешно пройти собеседование на позицию в сфере Machine Learning, получить хорошую работу и приносить пользу бизнесу уже с первых дней. 

Симулятор работает в режиме подписки и постоянно пополняется новыми задачами.

Присоединяйтесь!

Читать полностью…

Machinelearning

SSLRec: A Self-Supervised Learning Library for Recommendation

SSLRec, a novel benchmark platform that provides a standardized, flexible, and comprehensive framework for evaluating various SSL-enhanced recommenders.

SSLRec - это фреймворк основанный на PyTorch с открытым исходным кодом для рекомендательных систем, усовершенствованных с помощью self-supervised learning.

Он удобен в использовании и содержит датасеты код для обработки данных, обучения, тестирования, оценки, а также современные исследовательские модели.

SSLRec предлагает широкий набор полезных функций и простой в использовании интерфейс, упрощающий разработку и оценку рекомендательных моделей.


🖥 Github: https://github.com/hkuds/sslrec

📕 Paper: https://arxiv.org/abs/2308.05697v1

Models: https://github.com/HKUDS/SSLRec/blob/main/docs/Models.md

☑️ Datasets: https://github.com/HKUDS/SSLRec/blob/main/docs/Models.md

ai_machinelearning_big_data

Читать полностью…

Machinelearning

Присоединяйтесь к TechTrain 2023 Autumn — онлайн-фестивалю, посвященному машинному обучению и искусственному интеллекту.

В программе — классическое ML, Computer Vision, NLP, ASR, RecSys, LLMs и MLOps. Обязательно будут обсуждения прикладного использования ML на примере конкретных проектов. Обзор таких тем, как графовые модели, генеративные нейросети, AI в разработке и другое.

Участников ждут как актуальные практики применения ML&AI, так и дискуссии со спикерами и экспертами. 

Проводит фестиваль JUG Ru Group — организатор крупных технических IT-конференций и митапов для разработчиков. Дата проведения: 30 августа.

Читайте подробности и регистрируйтесь бесплатно — на сайте.

Читать полностью…

Machinelearning

❗️Один из важнейших инструментов MLOps — это MLFlow.

▶️ 10 августа в 20:00 мск в рамках онлайн-курса MLOps от OTUS пройдёт открытый урок «MLflow версии 2. Рецепты и пайплайны в машинном обучении».

На открытом уроке вы узнаете:

🔹 О развитии MLFlow и о том, какие усовершенствования вошли в новые релизы (2.x)
🔹 О роли пайплайнов в организации процессов машинного обучения
🔹 Что такое MLFlow recipes и как их использовать для повышения эффективности работы DS

🧑‍💻 Спикером выступит преподаватель OTUS Данила Слепов. Он проектирует AI-системы, разрабатывает архитектуру MLOps платформ.

👉 РЕГИСТРАЦИЯ
https://otus.pw/UrGTq/

Нативная интеграция. Информация о продукте www.otus.ru

Читать полностью…

Machinelearning

Хотите работать с большими данными, строить модели для бизнеса и создавать свои сервисы?

На курсе Start ML за 7 месяцев вы получите все знания и навыки, необходимые сильному ML-специалисту.

Вы научитесь разрабатывать приложения на Python, обучать модели и нейронные сети, а также оценивать их влияние на бизнес с помощью статистики и A/B-тестов — всё под руководством практиков из Яндекс и Raiffeisen.

К концу обучения у вас будет готовый сервис по ранжированию и выдаче релевантных постов в социальной сети, о котором вы сможете рассказать будущему работодателю. А ещё наш HR обязательно поможет вам с трудоустройством — в течение трёх месяцев работу находят 84% наших выпускников.

Новый поток стартует 10 августа. Также на сайте есть бесплатная демоверсия.

[Записаться]

Читать полностью…

Machinelearning

🌉Enhancing Visibility in Nighttime Haze Images Using Guided APSF and Gradient Adaptive Convolution

Experiments demonstrate that our method achieves a PSNR of 30.72dB, outperforming state-of-the-art methods by 14
on GTA5 nighttime haze dataset.

Модель улучшение видимости ночных изображений, путем подавления свечения и усиления слабоосвещенных областей с помощью функции
APSF (Angular Point Spread Function).

🖥 Github: https://github.com/jinyeying/nighttime_dehaze/tree/main

📕 Paper: https://arxiv.org/abs/2308.01738v1

☑️ Dataset: https://www.dropbox.com/sh/7qzmb3y9akejape/AABYf2ZAqn_5vmPsOPg7KqoMa?dl=0

ai_machinelearning_big_data

Читать полностью…

Machinelearning

LISA: Reasoning Segmentation via Large Language Model

New segmentation task -- reasoning segmentation. The task is designed to output a segmentation mask given a complex and implicit query text.

LISA раскрывает новые возможности сегментации мультимодальных LLM и позволяет решать сложные задачи рассуждения на знание реального мира.

🖥 Github: https://github.com/dvlab-research/lisa

📕 Paper: https://arxiv.org/abs/2308.00692v2

☑️ Dataset: https://github.com/dvlab-research/lisa#dataset

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🦩 OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models

An open-source framework for training large multimodal models.


OpenFlamingo - семейство авторегрессионных моделей для обучения LMM в стиле Flamingo с параметрами от 3B до 9B.

OpenFlamingo можно использовать для создания подписи к изображению или для создания тейзисов на основе изображения. Преимуществом такого подхода является возможность быстрой адаптации к новым задачам с помощью внутриконтекстного обучения.

pip install open-flamingo

🖥 Github: https://github.com/mlfoundations/open_flamingo

📕 Paper: https://arxiv.org/abs/2308.01390

⭐️ Demo: https://huggingface.co/spaces/openflamingo/OpenFlamingo

☑️ Dataset: https://paperswithcode.com/dataset/flickr30k

ai_machinelearning_big_data

Читать полностью…

Machinelearning

💼 Introducing Qwen-7B: Open foundation and human-aligned models (of the state-of-the-arts)

Qwen-7B outperforms the baseline models of a similar model size, and even outperforms larger models of around 13B parameters, on a series of benchmark datasets.

Большая языковая модель на основе трансформеров, которая предварительно обучена на большом объеме данных, включая веб-тексты, книги, кодексы и т.д.

По сравнению с моделями аналогичного размера, значительно превосходит конкурентов на ряде эталонных датасетов.

Токенизатор модели, включает более 150 к. токенов.

🖥 Github: https://github.com/QwenLM/Qwen-7B

📕 Paper: https://github.com/QwenLM/Qwen-7B/blob/main/tech_memo.md

☑️ Dataset: https://paperswithcode.com/dataset/mmlu

ai_machinelearning_big_data

Читать полностью…

Machinelearning

⚡️ Improving Pixel-based MIM by Reducing Wasted Modeling Capability

A new method that explicitly utilizes low-level features from shallow layers to aid pixel reconstruction.

MMPreTrain - это набор инструментов для предварительного обучения с открытым исходным кодом, основанный на PyTorch. Он является частью проекта
OpenMMLab.

🖥 Github: https://github.com/open-mmlab/mmpretrain

📕 Paper: https://arxiv.org/abs/2308.00261v1

⭐️Project: mmpretrain.readthedocs.io/en/latest/

☑️ Dataset: https://paperswithcode.com/dataset/coco

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🚀 Unified Model for Image, Video, Audio and Language Tasks

UnIVAL is a 0.25B-parameter unified model that is multitask pretrained on image and video-text data and target image, video and audio-text downstream tasks.

Унифицированная модель с для задач обработки изображений, видео, аудио и языка.

🖥 Github: https://github.com/mshukor/unival

📕 Paper: https://arxiv.org/abs/2307.16184

⭐️Project: https://unival-model.github.io/

☑️ Demo: https://huggingface.co/spaces/mshukor/UnIVAL

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🔥 MetaGPT: Meta Programming for Multi-Agent Collaborative Framework

MetaGPT, an innovative framework that infuses effective human workflows as a meta programming approach into LLM-driven multi-agent collaboration.


MetaGPT - инновационный фреймворк, позволяющий назначать различные роли GPT для создания ит-продуктов и решения сложных задач. MetaGPT принимает на вход однострочное описание задачи и выдает пользовательские истории / конкурентный анализ / требования / структуры данных / API / документы и т.д.

🖥 Github: https://github.com/geekan/metagpt

📕 Paper: https://arxiv.org/abs/2308.00352v1

☑️ Roadmap: https://github.com/geekan/MetaGPT/blob/main/docs/ROADMAP.md

ai_machinelearning_big_data

Читать полностью…

Machinelearning

SEED-Bench: Benchmarking Multimodal LLMs with Generative Comprehension

A benchmark for evaluating Multimodal LLMs using multiple-choice questions.

Система генерации вопросов с несколькими вариантами ответов, ориентированных на конкретные параметры оценки, включающая процессы автоматической фильтрации и ручной проверки.

🖥 Github: https://github.com/ailab-cvc/seed-bench

📕 Paper: https://arxiv.org/abs/2307.16125v1

☑️ Dataset: https://paperswithcode.com/dataset/seed-bench

ai_machinelearning_big_data

Читать полностью…

Machinelearning

🦙 ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs

🔨ToolLLM aims to construct open-source, large-scale, high-quality instruction tuning SFT data to facilitate the construction of powerful LLMs with general tool-use capability.

Открытая платформа для обучения, настройки и оценки больших языковых моделей.

git clone git@github.com:OpenBMB/ToolBench.git

🖥 Github: https://github.com/openbmb/toolbench

📕 Paper: https://arxiv.org/abs/2307.16789v1

⭐️Project: openbmb.github.io/ToolBench/

☑️ Demo: https://github.com/openbmb/toolbench#web-ui

ai_machinelearning_big_data

Читать полностью…

Machinelearning

📷 Powerful Multi-Task Transformers for Scene Understanding

TaskExpert, a novel multi-task mixture-of-experts model that enables learning multiple representative task-generic feature spaces and decoding task-specific features in a dynamic manner.

Мощные многозадачные модели трансформеров для анализа и понимания сцен.

🖥 Github: https://github.com/prismformore/multi-task-transformer

📕 Paper: https://arxiv.org/abs/2307.15324v1

🔗 State of art: https://paperswithcode.com/sota/monocular-depth-estimation-on-cityscapes-3d?p=joint-2d-3d-multi-task-learning-on-cityscapes

ai_machinelearning_big_data

Читать полностью…

Machinelearning

👗 Fashion Matrix: Editing Photos by Just Talking

Hierarchical AI system called Fashion Matrix dedicated to editing photos by just talking.

Fashion Matrix объединяет различные визуальные и языковые модели и в комплексного ИИ-помощника в области моды.

Система состоит из трех модулей: Fashion Assistant, Fashion Designer и AutoMasker, которые используют LLM в качестве поддержки интеллектуальной обработки текста.

🖥 Github: https://github.com/Zheng-Chong/FashionMatrix

⭐️ Project:

📕 Paper: https://arxiv.org/abs/2307.13240

👁 Video: https://www.youtube.com/watch?v=1z-v0RSleMg&t=3s

Demo : https://3040fb6b6c32c3715e.gradio.live/

🔗 Dataset: https://paperswithcode.com/dataset/densepose

ai_machinelearning_big_data

Читать полностью…
Subscribe to a channel