Machinelearning

11 Jun 2024 13:05

🗣 VALLEY 2: Neural Codec Language Models are Human Parity Zero-Shot Text to Speech Synthesizers

В этой статье Microsoft представили VALL-E 2, новейшее достижение в области языковых моделей , которое знаменует собой важную веху в области синтеза текста в речь (TTS), впервые достигая человеческого уровня.

Эксперименты с датасетами LibriSpeech и VCTK показали, что VALL-E 2 превосходит все предыдущие модели по качеству сгенерированной речи и ее естественности.

▪Подробности: https://arxiv.org/abs/2406.05370
▪Демо VALL-E 2 будети доступна здесь: https://www.bing.com/?ref=aka&shorturl=valle2

@ai_machinelearning_big_data

Machinelearning

11 Jun 2024 10:21

📖 В Букмейте появился виртуальный рассказчик, умеющий читать книги в реальном времени

Разработан рассказчик на базе комплекса речевых технологий Яндекса с привлечением профессиональных дикторов. При этом воспроизведение текста максимально приближено к естественной речи, поэтому читатели могут с комфортом слушать произведения на протяжении долгого времени.

На Хабре разработчик функции описал процесс адаптации речевых технологий для книг. Сложность состояла в том, что в литературных произведениях есть необычные сокращения и редкие термины — нужно было обучить модель правильному произношению.

▪️ Habr: https://habr.com/ru/companies/yandex/news/820525/

@ai_machinelearning_big_data

Machinelearning

10 Jun 2024 23:44

🍏 Прошла конференция Apple и если вы пропустили ее, вот самое интерсное из нее.

Siri превратили в ИИ-помощника, теперь она сможет использовать ваши приложения, объяснять информацию на экране и искать то, что вам нужно практически в любых приложениях и заметках;

Что инетресно, Apple еще в апреле опубликовала статью о своей модели машинного обучения Ferret-UI для распознавания элементов пользовательского интерфейса, в которой раскрыто гораздо больше деталей, чем мы обычно ожидаем от Apple.

"Ferret-UI", мультимодальная модель визуального языка, которая распознает иконки, виджеты и текст на экране мобильного устройства iOS, а также объясняет их расположение и функциональное значение.

Примеры вопросов, которые вы можете задать Ferret-UI:
- Предоставьте краткое описание этого скриншота;
- Для интерактивного элемента укажите фразу, которая наилучшим образом описывает его функциональность;
- Определите, можно ли использовать элемент пользовательского интерфейса.
и тд

В статье даже рассказывается о деталях созданиях датасета и бенчмарка для тестов Apple. Редкая открытость со стороны яблочников!

Они по-настоящему переосмысливают свое направление исследований в области искусственного интеллекта.

Статья была опубликована в апреле без особой пиар-шумихи: https://arxiv.org/abs/2404.05719

@ai_machinelearning_big_data

Machinelearning

10 Jun 2024 18:03

IT-юрист — это профессия на стыке права и digital-технологий. Специалист составляет договоры, регистрирует объекты интеллектуальной собственности и регулирует использование ИИ.

Нетология и ТюмГУ составили совместную программу онлайн-магистратуры «IT‑юрист». Начинающие специалисты смогут построить карьеру в перспективном направлении, а опытные профессионалы — расширить пул навыков.

Длительность обучения — 2 года. В магистратуре много практики:
- реальные задачи IT-юриста;
- муткорты;
- хакатон;
- вебинары с экспертами;
- практика у партнёра;
- дипломная работа в 2-х форматах на выбор.

В онлайн-магистратуре сочетаются все бонусы очного обучения и удобные удалённые занятия. После защиты выпускной работы вы получите диплом магистра государственного образца.

Записывайтесь, чтобы освоить перспективную профессию.

📝Оставить заявку: https://netolo.gy/ddpE
Реклама ООО “Нетология” 2VSb5wW1DyJ

Machinelearning

09 Jun 2024 14:03

🌟 Micro Agent будет писать код до тех пор, пока тот не будет соответствовать тестам

— npm install -g @builder.io/micro-agent

Micro Agent — это маленький AI-агент, который заточен под одно применение: агент пишет тест, а потом пишет под этот тест код.
По задумке, такой подход должен гарантировать как минимум валидность кода, а как максимум — код будет решать все поставленные задачи

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

08 Jun 2024 13:38

🎙 Real-time in-browser speech recognition

Распознавание речи в браузере в режиме реального времени с помощью OpenAI Whisper! ⚡️

Модель полностью работает на девайсах, на основе Transformers.js и ANNEX Runtime Web и поддерживает 100 различных языков! 🔥

Демо-версиия (+ исходный код)! 👇

▪Сode: https://github.com/xenova/transformers.js/tree/v3/examples/webgpu-whisper
▪Hf: https://huggingface.co/spaces/Xenova/realtime-whisper-webgpu

@ai_machinelearning_big_data

Machinelearning

07 Jun 2024 22:03

🌟 NeRF-Insert — редактирование 3D-сцены с помощью текстового промпта или с помощью изображения

NeRF-Insert позволяет добавить объект в 3D-сцену с помощью мультимодальных входных сигналов: текстового промпта или опорного изображения.
Можно определить область 3D-сцены, которая будет меняться, нарисовав всего 2-3 маски.
При желании можно отображать полигональную сетку, чтобы иметь больше контроля над положением или формой вставляемого объекта.

▶️ Страничка NeRF-Insert
🟡 Arxiv

@ai_machinelearning_big_data

Machinelearning

07 Jun 2024 19:05

Получится сегодня опубликовать?



Skillfactory вместе с ведущими вузами объявляет о приемной кампании в онлайн-магистратуры

Сегодня более 1200 студентов обучаются на программах высшего образования в школе IT-профессий Skillfactory, и ты можешь стать одним из них.

✅ Skillfactory открывает прием в 8 новых онлайн-магистратур в сотрудничестве с МФТИ, СПбПУ, РУДН, Университетом Иннополис и другими ведущими государственными университетами.
✅ Выбирай из 14 программ, от управления разработкой игр до бизнес-информатики и анализа данных.
✅ Получи практический опыт, решая реальные задачи от ведущих компаний.

А с 11 июня стартует «Карьерная площадка» — серия прямых эфиров с представителями вузов, где можно будет узнать:

— О перспективных направлениях в IT
—Как интегрировать IT-навыки в свою профессию
— Как найти работу и стать конкурентоспособным на рынке

Регистрируйся на «Карьерную площадку»

Реклама. ООО «Скилфэктори», ИНН 9702009530. Erid: LjN8KNbBw

Machinelearning

06 Jun 2024 23:35

⚡️ Qwen2 - самый крутой релиз откртых LLM со времен Llama 3!

Alibaba только что выпустили свое новое семейство мультиязычных моделей, которых превосходят по производительности Llama 3 по многим параметрам.

🤯 Qwen2 выпущен в 5 размерах, обучен на 29 языках!

5️⃣ Размеры: 0.5B, 1.5B, 7B, 57B-14B (MoE), 72B.
✅ Контекст: 32k для 0.5B & 1.5B, 64k для 57B MoE, 128k для 7B и 72B
✅ Поддерживает 29 языков.
📜 Выпущены под лицензией Apache 2.0, за исключением версии 72B.

📖 BLOG: https://qwenlm.github.io/blog/qwen2/
🤗 HF collection: https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557f
🤖 https://modelscope.cn/organization/qwen
💻 GitHub: https://github.com/QwenLM/Qwen2

@ai_machinelearning_big_data

Machinelearning

06 Jun 2024 10:25

⚡️ ElevenLabs запустил ИИ-генератор звуковых эффектов

Компания ElevenLabs представила инструмент на базе генеративного ИИ под названием AI Sound Effects, который способен генерировать по текстовому запросу любые звуковые эффекты.
ElevenLabs заявила, что использовала аудиотеку Shutterstock, содержащую лицензионные треки, в качестве инструмента для обучения своей модели.

Сервис генерирует звуки продолжительностью до 22 секунд на основе подсказок пользователя, их можно комбинировать с голосовой и музыкальной платформой компании. Он предоставляет как минимум четыре варианта загружаемых аудиоклипов.

Есть бесплатная и платная версии. При бесплатном доступе будет установлен лимит в 10 тысяч символов, пользователь обязан ссылаться при публикации клипа на ElevenLabs, добавив в заголовок elevenlabs.io. При создании звуковых эффектов будет взиматься 40 символов за секунду аудио. По умолчанию каждый запрос будет стоить 200 символов. При платном доступе пользователи получают коммерческую лицензию на свободное использование сгенерированных клипов.

▶️ Попробовать Sound Effects ElevenLabs

@ai_machinelearning_big_data

Machinelearning

05 Jun 2024 14:02

🌟 FaceFusion — замена лица / улучшение фотографии в 1 команду

FaceFusion — это open-source инструмент для замены лица на фотографии и для улучшения изображения

Для необходимого действия с фото нужно просто запустить файл run.py с нужными опциями (на последнем изображении):
— python run.py ...

Ну или можно использовать удобный UI вместо прописывания команд

🖥 GitHub
🟡 Доки

@ai_machinelearning_big_data

Machinelearning

05 Jun 2024 10:20

🌟 Omost — использование мощи LLM, пишущих код, для генерации изображений

Проект Omost предоставляет LLM, которые будут писать коды для компоновки фрагментов изображений с помощью виртуального агента Canvas. Таким образом можно сгенерировать даже сложные изображения с хорошим качеством.

В настоящее время Omost предоставляет 3 предобученные LLM, основанные на вариациях Llama3 и Phi3.

Все модели обучены на смешанных данных, состоящих из
(1) точных описаний изображений из нескольких датасетов, включая Open-Images,
(2) данных, полученных путем автоматического аннотирования изображений,
(3) данных от DPO,
(4) небольшого количества данных от мультимодальной GPT4o

На последних 2 изображениях приведён код, который необходим для генерации изображения таким образом

🖥 GitHub
🤗 Попробовать на Hugging Face

@ai_machinelearning_big_data

Machinelearning

04 Jun 2024 15:02

Как девушке построить карьеру в инжиниринге данных?

Любить математику, смело говорить о своих ожиданиях от работы даже на позиции стажера и еще кое-что, о чем Мария Косарев рассказала здесь. Она прошла длинный путь от стажера до главы Департамента анализа данных и моделирования в Газпромбанке.

@ai_machinelearning_big_data

Machinelearning

03 Jun 2024 20:05

🔥 unsloth — файнтюнинг Llama 3, Mistral, Phi и Gemma LLM, уменьшение потребления памяти на 80%, ускорение в 2-5 раз

conda create --name unsloth_env python=3.10
conda activate unsloth_env

conda install pytorch-cuda=<12.1/11.8> pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

pip install --no-deps trl peft accelerate bitsandbytes

Machinelearning

03 Jun 2024 16:04

🌟 V-Express — метод анимирования статичной фотографии лица с учётом позы, звука и самого изображения

Метод V-Express был представлен совсем недавно Cong Wang, Kuan Tian, Jun Zhang и другими как один из самых эффективных методов генерации таких анимаций, код и модель опубликованы

🖥 GitHub
🟡 Страничка V-Express
🤗 Модель на Hugging Face

@ai_machinelearning_big_data

Machinelearning

11 Jun 2024 12:34

🌟 SF-V — новый метод генерации видео от Snapchat.

SF-V — это метод генерации видео, который позволяет генерировать динамические и согласованные видео за 1 проход.
В исследовании команда из Snapchat берёт обычную многошаговую диффузионную модель, и обучает её улавливать как временные, так и пространственные зависимости в видеоданных для получения цельных видео.

🟡 Страничка SF-V
🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

11 Jun 2024 00:21

⚡️L-MAGIC: Language Model Assisted Generation of Images with Coherence

Новая модель Intel- L-MAGIC может создавать качественные панорамные сцены на основе одного входного изображения и текстового промпта!

Многочисленные тесты показывают, что модель генерирует панорамные сцены с лучшим расположением сцен и качеством рендеринга по сравнению с аналогичными моделями.

▪Github: https://github.com/IntelLabs/MMPano
▪Paper: https://arxiv.org/abs/2406.01843
▪Project: https://zhipengcai.github.io/MMPano/
▪Video: https://youtu.be/XDMNEzH4-Ec

@ai_machinelearning_big_data

Machinelearning

10 Jun 2024 20:04

⚡️ AGiXT — open-source платформа, которая позволяет легко организовать выполнение сложных задач различными AI-агентами

git clone https://github.com/Josh-XT/AGiXT
cd AGiXT
./AGiXT.ps1

Machinelearning

10 Jun 2024 12:03

🌟 xLSTM — Расширенная долговременная краткосрочная память

— pip install xlstm

Не так давно был пост со статьёй Arxiv об архитектуре xLSTM, и вот команда исследователей xLSTM опубликовала код на GitHub.
xLSTM — это новая архитектура рекуррентной нейронной сети, основанная на идеях привычной нам LSTM. Благодаря экспоненциальному гейтингу с соответствующими методами нормализации и стабилизации и новой матричной памяти она преодолевает ограничения оригинальной LSTM и демонстрирует производительность при обработке естественного языка по сравнению с трансформерами или другими архитектурами.

🖥 GitHub
🟡 Arxiv

@ai_machinelearning_big_data

Machinelearning

08 Jun 2024 23:05

Flash Diffusion — ускорение любой диффузионной модели генерации изображений в несколько шагов

Так называется работа, которую на днях опубликовали Clément Chadebec, Onur Tasar и их коллеги.
Это метод дистилляции для создания быстрых диффузионных моделей.
При обучении модели таким методом на наборах данных COCO2014 и COCO2017 показатели FID и CLIP-Score достигают хороших значений; при этом требуется всего несколько часов обучения на GPU и меньшее количество параметров модели, чем требуют существующие методы.

🟡 Страничка Flash Diffusion
🖥 GitHub

🤗 Flash SD
🤗 Flash SDXL

@ai_machinelearning_big_data

Machinelearning

08 Jun 2024 12:17

🌟 aider — AI-напарник для программирования с консольным интерфейсом

pip install aider-chat

# для работы с GPT-4o
export OPENAI_API_KEY=your-key-goes-here
aider 

# для использование Claude 3 Opus:
export ANTHROPIC_API_KEY=your-key-goes-here
aider --opus

Machinelearning

07 Jun 2024 19:55

Skillfactory вместе с ведущими вузами объявляет о приемной кампании в онлайн-магистратуры

Сегодня более 1200 студентов обучаются на программах высшего образования в школе IT-профессий Skillfactory, и ты можешь стать одним из них.

✅ Skillfactory открывает прием в 8 новых онлайн-магистратур в сотрудничестве с МФТИ, СПбПУ, РУДН, Университетом Иннополис и другими ведущими государственными университетами.
✅ Выбирай из 14 программ, от управления разработкой игр до бизнес-информатики и анализа данных.
✅ Получи практический опыт, решая реальные задачи от ведущих компаний.

А с 11 июня стартует «Карьерная площадка» — серия прямых эфиров с представителями вузов, где можно будет узнать:

— О перспективных направлениях в IT
—Как интегрировать IT-навыки в свою профессию
— Как найти работу и стать конкурентоспособным на рынке

Регистрируйся на «Карьерную площадку»

Реклама. ООО «Скилфэктори», ИНН 9702009530. Erid: LjN8KNbBw

Machinelearning

07 Jun 2024 11:00

🌟 Мультиплеер Stable Audio, который можно запустить на Hugging Face

Генерируйте аудио из текстового описания, делитесь и учитесь у других, как наилучшим образом использовать эту новую модель.

🤗 Попробовать на Hugging Face

@ai_machinelearning_big_data

Machinelearning

06 Jun 2024 15:19

🌟 Stability AI опубликовала открытую модель Stable Audio для генерации музыки

Stability AI опубликовала в открытом доступе модель Stable Audio, предназначенную для генерации музыки, звуковых эффектов и окружения.

Stable Audio Open — открытая модель в формате Text-to-Audio, которая генерирует 47-секундные музыкальные семплы и звуковые эффекты. К примеру, можно попросить нейросеть создать партию на фортепиано, барабанный бит, гитарный риф, пение соловья или шум дождя. Для генерации надо отправить текстовый запрос. Примечательно, что пользователи могут генерировать музыку на своих данных. К примеру, барабанщик может загрузить записи своих битов и на их основе создавать новые.

В блоге компании рассказали, что открытая модель отличается от одноимённой коммерческой. Закрытая версия Stable Audio может генерировать трёхминутные треки с проработанной структурой. Также поддерживается режим Audio-to-Audio, в котором в качестве запроса можно передать уже готовый трек.

Открытую модель Stable Audio Open обучили на данных сервисов FreeSound и Free Music Archive, что позволило соблюсти все требования к авторским правам. При этом для доступа к нейросети всё равно необходимо ознакомиться с лицензией использования.

🤗 Модель и веса опубликованы на Hugging Face.

@ai_machinelearning_big_data

Machinelearning

05 Jun 2024 22:21

⚡️ Только что выпущена версия Jina CLIP v1: новая современная мультимодальная модель, которая превосходит OpenAI CLIP в задачах извлечения изображений по текстовому описанию😍

Модель совместима с 🤗 Transformers.js версией 3 и работает с ускорением WebGPU! ⚡️

📌 Попробуйте демо-версию:
https://huggingface.co/spaces/Xenova/webgpu-jina-clip?v2=
📌 Статья: https://arxiv.org/abs/2405.20204

@ai_machinelearning_big_data

Machinelearning

05 Jun 2024 12:02

Хотите попробовать себя в роли аналитика и попрактиковаться на реальных задачах?

Приходите на бесплатный курс-симулятор Нетологии и Yandex Cloud «Основы анализа данных в SQL, Python, Power BI, DataLens».

В этой профессии много разных направлений — аналитик данных, BI-аналитик, продуктовый аналитик, Data Scientist. Но везде пригодится навык работы с инструментами-помощниками, которые вы и освоите на курсе.

Эксперты-практики расскажут, как делать простые отчёты, исследовать данные и строить интерактивные дашборды. А чтобы понять, что анализ данных — это точно ваше, вместе решите практические задачи из реальных кейсов.

Воспользуйтесь шансом попробовать новые инструменты и запишитесь на бесплатный курс Нетологии.

Регистрация: https://netolo.gy/dbfG
Реклама ООО "Нетология" 2VSb5wU3gtx

Machinelearning

04 Jun 2024 17:04

🌟 Dot — open-source приложение для локального разворачивания LLM, RAG и TTS для работы со своими документами

Dot предназначено для простого взаимодействия с документами и файлами (.pdf, .docx, .xlsx, .pptx, .md) с помощью локальных LLM и технологии Retrieval Augmented Generation.
Dot было вдохновлено такими решениями, как Chat with RTX от Nvidia
По умолчанию использует Phi-3

🖥 GitHub
🟡 Страничка Dot

@ai_machinelearning_big_data

Machinelearning

04 Jun 2024 11:05

🌟 GPT Researcher — автономный агент на основе GPT, выполняющий комплексное онлайн-исследование по любой заданной теме

— pip install gpt-researcher

Пример использования GPT Researcher:

from gpt_researcher import GPTResearcher

query = "why is Nvidia stock going up?"
researcher = GPTResearcher(query=query, report_type="research_report")
# Conduct research on the given query
research_result = await researcher.conduct_research()
# Write the report
report = await researcher.write_report()

Machinelearning

03 Jun 2024 18:04

💥 Международный онлайн-хакатон «Лидеры цифровой трансформации» стартовал!

ТЗ и датасеты уже доступны в личном кабинете. Но ты еще можешь выбрать задачу и влететь на хакатон до 5 июня!

Тебя ждет 25 задач, работа в команде до 5 человек над актуальными кейсами, современный коворкинг, возможность пропитчить свои решения, пропилотировать и внедрить свою разработку, шанс получить крутой оффер и показать, что ты лучший из лучших не только в России, но и во всем мире! И конечно, драйв, опыт и деньги!

Призовой фонд 50 000 000 рублей!

Приступай к разработке решения прямо сейчас!

Когда: 3-16 июня 2024 года
Формат: Онлайн из любой точки мира
Дедлайн регистрации: 5 июня 2024 года, 23:59 (мск)

Победитель получит 1 млн рублей, второе и третье место — по 600 тыс. и 400 тыс. рублей соответственно. Разработка стартовала уже сегодня!

Собирай команду в чате лидеров и регистрируйся на сайте.

Machinelearning

03 Jun 2024 11:17

🌟 Anthropic позволит создавать персональных помощников на базе ИИ-чат-бота Claude

Компания Anthropic расширяет возможности своего чат-бота Claude, построенного на основе генеративной нейросети. Теперь любой пользователь сможет создать для себя персонализированного помощника, например, для обработки электронной почты, совершения покупок в интернете или чего-то иного. Нововведение называется «использование инструментов» или «вызов функций» и его можно подключить к любому внешнему API по выбору пользователя.

Такой подход позволит создать персонализированного помощника, который будет, например, анализировать данные для создания персонализированных рекомендаций по продуктам, основываясь на истории покупок пользователя. Он также может быть полезен для генерации быстрых ответов на вопросы клиентов, например, при отслеживании статуса заказа или предоставления информации в качестве инструмента технической поддержки. Для создания такого помощника потребуется доступ к API и умение программировать. Новая функция может обрабатывать изображения, позволяя приложениям анализировать визуальные данные. К примеру, персональный помощник для дизайнера интерьеров может задействовать нейросеть для обработки снимков помещения и генерации индивидуальных предложений по его оформлению.

Взаимодействовать с новым инструментом можно будет через Messages API от Anthropic, а также на платформах Amazon Bedrock и Google Vertex AI. Стоимость использования основана на объёме текстовых запросов к нейросетям Claude, измеряемом в токенах. Обычно 1000 токенов соответствует примерно 750 словам. На этапе бета-тестирования самым быстрым и доступным вариантом стала модель Haiku: $0,25 за миллион введённых токенов и $1,25 за миллион токенов на выходе. Тестирование новой функции проходит с апреля и в нём принимают участие несколько тысяч клиентов Anthropic.

📎 Подробнее

@ai_machinelearning_big_data