Машинное обучение RU

09 Jul 2024 22:13

⚡️ Test-Time Training RNN (ТТТ) - принципиально новый метод машинного обучения.

TTT - это метод, который позволяет моделям искусственного интеллекта адаптироваться и учиться непосредственно во время использования, а не только во время предварительного обучения.
Основное преимущество TTT заключается в том, что он может эффективно обрабатывать длинные контексты (большие объемы входных данных) без значительного увеличения вычислительных затрат.

Исследователи провели эксперименты на различных наборах данных, включая книги, и обнаружили, что TTT часто превосходит традиционные методы.
По сравнительным бенчмаркам с другими популярными методами машинного обучения, такими как трансформеры и рекуррентные нейронные сети, было обнаружено, что в некоторых задачах TTT работает лучше.

Этот революционный метод позволит приблизиться к созданию более гибких и эффективных моделей искусственного интеллекта, способных лучше адаптироваться к новым данным в реальном времени.

На Github опубликованы адаптации метода:

- адаптация под Pytorch
- адаптация под JAX

🟡Arxiv
🖥 GitHub for Pytorch [ Stars: 277 | Issues: 3 | Forks: 12 ]
🖥 GitHub for Jax [ Stars: 129 | Issues: 1 | Forks: 6 ]

@ai_machinelearning_big_data

#Pytorch #Jax #TTT #LLM #Training

Машинное обучение RU

07 Jul 2024 22:14

DeepMind’s New AI Found The Sound Of Pixels!

https://www.youtube.com/watch?v=YvHfCM0V5es

@machinelearning_ru

Машинное обучение RU

05 Jul 2024 14:34

🌟 Lazy Diffusion — трансформер для редактирования изображений практически в реалтайме

LazyDiffusion — это диффузионный трансформер, который очень быстро генерирует объекты по промпту в области, заданной маской. Генерируются только пиксели под маской, и время выполнения зависит больше от размера маски, чем от размера изображения.

Если маска размера ~10% от всего изображения, то LazyDiffusion показывает в 10 раз большую скорость, чем другие модели и методы инпейнтинга.

🟡 Страничка Lazy Diffusion
🟡 Arxiv

@machinelearning_ru

Машинное обучение RU

04 Jul 2024 10:52

CoIR: Комплексный бенчмарк для моделей генерации кода

Huawei представляет бенчмарк, включающий 10 датасетов для различных задач работы с кодом .

📝https://arxiv.org/abs/2407.02883
👨🏽💻https://github.com/CoIR-team/coir

@machinelearning_ru

Машинное обучение RU

02 Jul 2024 18:12

Storm-7B🌪️

Эта модель обеспечивает выигрыш в 50,5% по сравнению с GPT-4 Preview, что делает ее первой моделью с открытым исходным кодом, которая соответствует GPT-4 Preview в AlpacaEval 2.0.

📄https://arxiv.org/pdf/2406.11817
🤗https://huggingface.co/jieliu/Storm-7B

@machinelearning_ru

Машинное обучение RU

02 Jul 2024 12:04

🌟 local-gemma — простая библиотека и CLI для запуска Gemma-2 локально; можно использовать CUDA, MPS или CPU

— pip install local-gemma"[cpu]"

local-gemma предоставляет простой и быстрый способ локального запуска Gemma-2 прямо из терминала (или можно использовать в коде как обычную библиотеку).
local-gemma построена на основе библиотек Transformers и bitsandbytes.

🖥 GitHub

@machinelearning_ru

Машинное обучение RU

01 Jul 2024 11:03

⚡️ LLaRA: Увеличение объема данных для обучения роботов

Эффективность SotA в задачах манипулирования роботами превосходит подход, аналогичный RT-2

репозиторий: https://github.com/LostXine/LLaRA
abs: https://arxiv.org/abs/2406.20095

@machinelearning_ru

Машинное обучение RU

28 Jun 2024 13:07

⚡️ Nvidia учит модели diffusion считать!

Count Gen может генерировать правильное количество объектов, указанное в подсказке ввода, сохраaняя при этом естественный формат, соответствующий подсказке.

• GIthub: https://github.com/Litalby1/make-it-count
• Project: https://make-it-count-paper.github.io/

@machinelearning_ru

Машинное обучение RU

26 Jun 2024 16:47

⚡️ Как переводить экран любого приложения на русский двойным тапом

Читаем короткую статью на Хабре и настраиваем перевод.

▪️ Читать

@machinelearning_ru

Машинное обучение RU

25 Jun 2024 17:04

⚡️ Почитать о том, как файн-тюниный Mistral-7B + RAG может превзойти Claude 3 Opus и GPT-4o в некоторых популярных бенчмарках для генерации кода!

Повышение точности до 19%, увелеченеи скоросиь в 3,7 раза и снижаем затраты в 150 раз.

https://together.ai/blog/rag-fine-tuning

@machinelearning_ru

Машинное обучение RU

23 Jun 2024 16:08

⚡️ 100 вопросов c собесов в Data Science и ML

Представляю вашему вниманию чек-лист из 100 вопросов по Data Science. Вопросы покрывают 5 областей: SQL, Python, Machine Learning, статистику и собственно саму DS.

Кому это вообще может быть полезно:

- желающему получить оффер в сфере DS
- тому, кто уже давно дата-сайнтист, но хочется освежить какие-то алгоритмы/темы
- кто хочет поменять стек на что-то в области анализа и - присматривается к DS

▪Читать
▪Видео

@machinelearning_ru

Машинное обучение RU

22 Jun 2024 16:32

🌟 4K4DGen — панорамная 4D-генерация в разрешении 4K

4K4DGen демонстрирует возможность создания динамических сцен с 360-градусным обзором в разрешении 4K, обеспечивая полное погружение в VR.
Этот метод облегчает анимацию сцены и оптимизирует набор 4D-гауссианов с помощью эффективных техник сплэтчинга.

🟡 Страничка 4K4DGen
🟡 Arxiv

@machinelearning_ru

Машинное обучение RU

19 Jun 2024 15:02

BigCodeBench, новый бенчмарк для оценки LLM по сложным задачам программирования, ориентированный на реалистичные задачи функционального уровня, требующие использования разнообразных библиотек и сложных рассуждений! 👀

🧩 Содержит 1140 заданий по 5,6 тестовых примеров в каждом, охватывающих 139 библиотек на Python.

✅ Лучшая модель - GPT-4 с 61,1%, за ней следует DeepSeek-Coder-V2.

✅ Лучшая открытая модель - DeepSeek-Coder-V2 с 59,7%, что лучше, чем у Claude 3 Opus или Gemini.

👥 Задачи создаются в три этапа, включая генерацию синтетических данных и перекрестную проверку людьми.

▪Блог: https://hf.co/blog/leaderboard-bigcodebench
▪Таблица лидеров: https://huggingface.co/spaces/bigcode/bigcodebench-leaderboard
▪Код: https://github.com/bigcode-project/bigcodebench

@machinelearning_ru

Машинное обучение RU

18 Jun 2024 19:36

🍏 На iOS 18 WhisperKit работает на 40% быстрее

Количество токенов на whisper-base увеличено с 165 до 237.

▪Репозиторий: https://github.com/argmaxinc/WhisperKit
▪Тест https://testflight.apple.com/join/LPVOyJZW

@machinelearning_ru

Машинное обучение RU

17 Jun 2024 19:38

⚡️ DeepSeek-Coder-V2: Первая модель с открытым исходным кодом, превосходящая GPT4-Turbo в кодинге и математике

> > Превосходит GPT4-Turbo, Claude3-Opus, Gemini-1.5Pro, Codestral в задачах написания кода и решении математических задач.
> Поддерживает 338 языков программирования, длина контекста 128 КБ.
> Полностью открытый исходный код двух размеров: 230B и 16 B

В таблице Arena-Hard-Auto DeepSeek-Coder-V2 превосходит Yi-large, Claude3-Opus, GL M4 и Qwen2-72B.

#DeepSeekCoder

▪HF: https://huggingface.co/deepseek-ai/DeepSeek-Coder-V2-Instruct
▪Github: https://github.com/deepseek-ai/DeepSeek-Coder-V2/blob/main/paper.pdf

@ai_machinelearning_big_data

Машинное обучение RU

09 Jul 2024 15:04

Появляется новый тип баз данных — делаем обзор! Дата-инженер из финтех-компании Точка Николай Мозганов расскажет, как пользоваться векторными базами данных для ML-задач. Если коротко: теперь в вектор можно превратить слова, предложения и даже звуки.

Читайте статью и задавайте вопросы в комментариях!

@machinelearning_ru

Машинное обучение RU

06 Jul 2024 10:34

Этот учебник по Deep Learning поможет вам освоить основы нейросетей за одни выходные! Внутри вы найдете простые объяснения по Diffusion моделям, трансформерам, GNN, RL и многому другому — всё, что нужно для работы. Автор — настоящий гений, он изложил материал понятным языком и подготовил отличные практические задания.

И самое удивительное — учебник бесплатен и уже ждет вас!

https://udlbook.github.io/udlbook/

@machinelearning_ru

Машинное обучение RU

04 Jul 2024 19:49

⚡️ Как устроена одна из крупнейших рекомендательных систем

При каждом запросе “баннерная крутилка” просматривает базу из миллиардов документов, чтобы выдать наиболее подходящие для пользователя. Но сделать это нужно, не только хорошо, но и быстро — всего за 0,2 секунды, ведь никто не хочет ждать, когда загрузится сайт. Как нейросети помогают в ранжировании, Яндекс рассказывает на Хабре.

habr: https://habr.com/ru/companies/yandex/articles/816205/

@machinelearning_ru

Машинное обучение RU

03 Jul 2024 18:12

Лучший локальный LLM до 10B

Семейство InternLM-2.5 7B только что появилось на

https://huggingface.co/collections/internlm/internlm25-66853f32717072d17581bc13

Машинное обучение RU

02 Jul 2024 17:02

erid: LjN8KWxB8

Проверь свой модный уровень! Разгадай все фэшн-термины и получи подарок 🎁

Кофта с капюшоном или худи? Ботинки с дырками или броги? Если вы ищете вещи на Lamoda, необязательно знать все модные названия. Нейропоиск на платформе сделает все за вас: поймет контекст и предложит максимальное число вариантов. Даже если бренды называют вещь не так, как вы привыкли.

Но задумывались ли вы над тем, как правильно называются вещи на фэшн-языке?

Предлагаем проверить знания и выяснить, получится ли из вас модный инфлюенсер! Пройдите тест и угадайте все названия. А после участвуйте в розыгрыше сертификата от Lamoda Tech.

Для этого нужно подписаться на наш канал и поделиться результатом теста под постом с розыгрышем.

8 июля мы рандомно выберем трех счастливчиков и подарим им по сертификату на 10 000 рублей, чтобы лето стало еще более стильным 💃

➡️ Вперед за подарком!

Машинное обучение RU

02 Jul 2024 10:03

Avito All Day Long — первая конференция от инженеров AvitoTech

Пройдёт 20 июля в Центре событий РБК (Москва).

У коллег есть, чему поучиться: они распилили монолит на тысячи микросервисов, масштабировались на пять вертикалей, создали три технопродукта (AvitoPlato, Trisigma, Emcee) и одно из сильнейших в стране IT-комьюнити.

На конференции можно будет послушать, обсудить и затестить решения AvitoTech, окунуться в экспертный нетворкинг и обязательно остаться на афтепати — там обещают сюрприз.

Чтобы зарегистрироваться и забронировать себе место, нажмите сюда.

Машинное обучение RU

29 Jun 2024 22:47

⚡️ Гайд в которой показано, как создать чат-бота с помощью Gemma 2 9B

Здесь используется Keras 3, работает на любом сервере - JAX, PyTorch, TensorFlow. Лично рекомендую JAX для обеспечения лучшей производительности.

https://colab.research.google.com/github/google-gemini/gemma-cookbook/blob/main/Gemma/Keras_Gemma_2_Quickstart_Chat.ipynb

@machinelearning_ru

Машинное обучение RU

26 Jun 2024 23:24

🔥 AuraSR- это модлеь с открытым исходным
кодом для апскейлинга, с помощью GigaGAN от Adobe.

🤏 Параметры 600 М
⭐️ Отлично подходит для придания резкости и мелких деталей изображениям

▶️ https://huggingface.co/spaces/gokaygokay/AuraSR

@machinelearning_ru

Машинное обучение RU

26 Jun 2024 16:08

⚡️ Nvidia представляет L4 GM!

Масштабную 4D-модель реконструкции, которая может превратить видео с одного просмотра в анимированный 3D-объект.

https://research.nvidia.com/labs/toronto-ai/l4gm

@machinelearning_ru

Машинное обучение RU

25 Jun 2024 11:57

🔥 Руководство по разработке модели Responsible Foundation: обзор инструментов и ресурсов

Представляет собой постоянно растущую коллекцию из более чем 250 инструментов и ресурсов, охватывающих текстовые, визуальные и речевые аспекты

проект: https://fmcheatsheet.org
abs: https://arxiv.org/abs/2406.16746

@machinelearning_ru

Машинное обучение RU

23 Jun 2024 13:11

⚡️Лучший способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

C#: t.me/csharp_ci
Машинное обучение: t.me/ai_machinelearning_big_data
АНАЛИЗ Данных: t.me/data_analysis_ml
Хакинг: t.me/linuxkalii
Linux: t.me/linuxacademiya
Базы данных: t.me/sqlhub
C++ t.me/cpluspluc
Golang: t.me/Golang_google
Java: t.me/javatg
React: t.me/react_tg
Javascript: t.me/javascriptv
Мобильная разработка: t.me/mobdevelop
Docker: t.me/+0WdB4uvOwCY0Mjdi
Python: t.me/pythonl
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Big Data: t.me/bigdatai
Devops: t.me/devOPSitsec
Собеседования МЛ: t.me/machinelearning_interview
Python подготовка с собесу: t.me/python_job_interview
МАТЕМАТИКА: t.me/data_math

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
C++ папка: /channel/addlist/CdBs5DLepLJmZjY6
C# папка: /channel/addlist/u15AMycxRMowZmRi
Java папка: /channel/addlist/ZM3J6oFNAnRlNWU6
FRONTEND папка: /channel/addlist/mzMMG3RPZhY2M2Iy
Linux папка: /channel/addlist/w4Doot-XBG4xNzYy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Машинное обучение RU

20 Jun 2024 19:54

🔥 Mixture of Agents + конвейер FT: превосходят GPT-4, и в 25 раз меньше затрат!

Новая SOTA на - Arena-Hard (84.8) и Alpaca Eval (LC 68.4)

https://docs.openpipe.ai/features/mixture-of-agents

@machinelearning_ru

Машинное обучение RU

19 Jun 2024 14:05

⚡️ ChatGLM: Семейство больших языковых моделей от GLM-130B до GLM4 Со всеми инструментами

GLM-4:
- практически не уступает GPT-4 в области MMLU, математики, GPQA и т.д
- приближается к GPT-4 при выполнениии задач с длинным контекстом

▪hf: https://huggingface.co/THUDM
▪repo: https://github.com/THUDM
▪abs: https://arxiv.org/abs/2406.12793

@machinelearning_ru

Машинное обучение RU

18 Jun 2024 14:07

🔥 Scaling the Codebook Size of VQGAN to 100,000 with a Utilization Rate of 99%

Модель демонстрирует превосходную производительность в различных задачах, включая реконструкцию, классификацию и генерацию.

▪github: https://github.com/zh460045050/VQGAN-LC
▪abs: https://arxiv.org/abs/2406.11837

@machinelearning_ru

Машинное обучение RU

17 Jun 2024 18:24

AI Like OpenAI’s Sora...But Free To Try!

https://www.youtube.com/watch?v=0aUQEDv_6PY

@machinelearning_ru