Machinelearning

04 Jan 2024 10:02

🦜 DreamTalk: When Expressive Talking Head Generation Meets Diffusion Probabilistic Models

DreamTalk - это фреймворк для создания выразительных говорящих голов, который может создавать высококачественные видеоролики говорящих голов в различных стилях речи.

DreamTalk демонстрирует высокую производительность при работе с разнообразными исходными данными, включая песни, речь на нескольких языках, зашумленное аудио.

🖥 Code: https://github.com/ali-vilab/dreamtalk

📚 Paper: https://arxiv.org/abs/2312.09767

⚡️ Page: https://dreamtalk-project.github.io

🌟 Colab: https://github.com/camenduru/dreamtalk-colab

@ai_machinelearning_big_data

Machinelearning

01 Jan 2024 07:59

✔️ AIJack: Security and Privacy Risk Simulator for Machine Learning

Security and Privacy Risk Simulator for Machine Learning.

AIJack - библиотека с открытым исходным кодом, предназначенная для оценки рисков безопасности и конфиденциальности, связанных с обучением и развертыванием моделей машинного обучения.

На фоне растущего интереса к большим данным и искусственному интеллекту ускоряется прогресс в исследованиях и применения в бизнесе инструментов машинного обучения. Однако недавние исследования выявили потенциальные угрозы, такие как кража обучающих данных и манипулирование моделями со стороны злоумышленников.

Поэтому полное понимание уязвимостей моделей машинного обучения в области безопасности и конфиденциальности имеет решающее значение для безопасной интеграции машинного обучения в реальные проекты.

AIJack призван решить эту задачу, предоставляя библиотеку с различными методами атак и защиты через единый API.

pip install git+https://github.com/Koukyosyumei/AIJack

🖥 Code: https://github.com/microsoft/promptbench

🌟 Docs: https://promptbench.readthedocs.io/en/latest/

📚 Paper: https://arxiv.org/abs/2312.07910v1

⚡️ Dataset: https://paperswithcode.com/dataset/mmlu

@ai_machinelearning_big_data

Machinelearning

29 Dec 2023 10:01

🧍‍♂ Perpetual Humanoid Control for Real-time Simulated Avatars

Новая модель, которая позволяет добиться генерации текста в движение в режиме реального времени, используя симуляцию движения человека.

Контроллер, обеспечивает высокую точность имитации движений и восстановления положения при наличии помех и неожиданных падений.


🖥 Code: github.com/ZhengyiLuo/PerpetualHumanoidControl

🎓 Video: https://www.youtube.com/watch?v=zS6Y00EW37A

🔮 Project: https://zhengyiluo.github.io/PHC/

📚 ArXiv: https://arxiv.org/abs/2305.06456

@ai_machinelearning_big_data

Machinelearning

27 Dec 2023 19:16

🐱DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing

DiffMorpher - новый подход, обеспечивающий плавное преобрахование изображений с помощью диффузионных моделей.

🖥 Code: https://github.com/Kevin-thu/DiffMorpher

🧪OpenXLab: https://openxlab.org.cn/apps/detail/KaiwenZhang/DiffMorpher

🎓 Colab: https://github.com/camenduru/DiffMorpher-colab

🔮 Project Page: https://kevin-thu.github.io/DiffMorpher_page

📚 ArXiv: https://arxiv.org/abs/2312.07409

@ai_machinelearning_big_data

Machinelearning

27 Dec 2023 11:33

🔊 Как исключить проблему самотриггерения голосовых помощников на примере Маруси от VK

В статье на Хабре узнаете о том, как команде мобильного приложения Маруси удалось научить помощника правильно слышать запросы и команды без триггеров на свое имя. Подробную инструкцию и итоги работы найдете по ссылке ниже.

https://habr.com/ru/companies/vk/articles/782944/

@ai_machinelearning_big_data

Machinelearning

26 Dec 2023 10:03

☑️Here are some of the most remarkable AI releases of the year.

2023 год был годом ИИ!

Вот некоторые из самых значимых ИИ релизов года...👇

https://journal.everypixel.com/2023-the-year-of-ai

@ai_machinelearning_big_data

Machinelearning

24 Dec 2023 08:02

🖥 Десять самых ярких ИИ-работ от NVIDIA Research за 2023 год.

- Neuralangelo: потрясающая высокоточная 3D-реконструкция поверхностей. https://research.nvidia.com/labs/dir/neuralangelo/

- Magic3D: быстрое преобразование текста в 3D! https://research.nvidia.com/labs/dir/magic3d/

- Hair Simulation: эффективное моделирование дискретных упругих стержней (DER) для волос. Это не совсем работа над искусственным интеллектом, но очень визуально привлекательная технология. https://research.nvidia.com/publication/2023-08_interactive-hair-simulation-gpu-using-admm

-Eureka: GPT-4 учит робота-руку крутить ручки! https://eureka-research.github.io

- Align Your Latents: синтез видео высокого разрешения с помощью моделей латентной диффузии. Одна из лучших работ по генерации видео в 2023 году. https://research.nvidia.com/labs/toronto-ai/VideoLDM/

- Text2Materials: Модель работы с текстовыми промптами для генерации материалов, таких как кирпич или мозаика, которые можно выложить плиткой и плавно воспроизвести на поверхности любого размера.
https://blogs.nvidia.com/blog/siggraph-research-generative-ai-materials-3d-scenes/

- CALM: метод обучения управляемых виртуальных персонажей выполнению действий в физическом симуляторе. https://research.nvidia.com/labs/par/

- Vid2Player3D: обучение навыкам игры в теннис для виртуальных персонажей! https://research.nvidia.com/labs/toronto-ai/vid2player3d/

- Flexicubes: mesh optimization https://research.nvidia.com/labs/toronto-ai/flexicubes/

- eDiff-I: диффузия текста в изображение с помощью ансамбля экспертных моделей.
https://research.nvidia.com/labs/dir/eDiff-I/

@ai_machinelearning_big_data

Machinelearning

23 Dec 2023 04:01

Хостинг Aéza устраивает новый год для своих!
Флагманские 7950x3D до 5.7 ГГц от 420 рублей/месяц
и тёплая локация ВПН в Турции от 143 рублей!

С новым годом с Aéza!

Реклама. ООО "АЕЗА ГРУПП" ИНН 7813654490 erid:LatgBUyJc

Machinelearning

22 Dec 2023 18:39

Банк ВТБ и Финтех Хаб Банка России объявляют о запуске программы "Машинное обучение PRO".
Она предназначена для тех, кто уже знаком с основами машинного обучения и хочет углубить свои знания в области обработки документов и генеративных нейросетей. Программа состоит из двух модулей: теоретического и практического.

Теоретический модуль будет проходить в дистанционном формате с 12 февраля по 11 марта 2024 года и включает в себя лекции по основам NLP, обработке изображений, языковым моделям и другим темам.


Практический модуль будет проходить в дистанционном формате с несколькими очными днями в Москве с 18 марта по 8 апреля 2024 года.

Лучшие участники теоретического модуля смогут применить полученные знания и пройти цикл продуктовой ML-разработки с менторами из Банка России и ВТБ. В конце программы лучшим командам будет предложено презентовать разработанный прототип на международной конференции Data Fusion 18 апреля 2024 года.
Заявки на программу можно подать на сайте

Machinelearning

22 Dec 2023 11:22

🎧 Слушать под ёлкой, заедая оливье

Что выйдет, если собрать трёх дата-сайентистов и одну ИТ-журналистку в помещении с микрофонами? Получится подкаст, в котором они подводят итоги 2023 года по теме machine learning и всего того, что около. В выпуске обсудили развитие генеративных нейросетей, их применение в работе и в жизни, этические вопросы и угрозы. А также попытались выяснить у ИИ, когда он нас поработит.

Слушайте на любой удобной платформе.

Machinelearning

21 Dec 2023 15:02

🔍 FIND: Interface Foundation Models' Embeddings

FIND - удобный интерфейс для настройки эмбедингов вших моделей.

🖥 Code: https://github.com/UX-Decoder/FIND

🎓 Demo: http://find.xyzou.net/

🔮 Project Page: https://x-decoder-vl.github.io

🥩 Demo: http://find.xyzou.net

📚 ArXiv: https://arxiv.org/pdf/2312.07532.pdf

@ai_machinelearning_big_data

Machinelearning

21 Dec 2023 09:02

🥳FreeInit with AnimateDiff Gradio Colab

FreeInit - новый эффективный метод улучшения временной согласованности видео, генерируемых диффузионными моделями.

🖥 colab: https://github.com/camenduru/FreeInit-colab

🔮page: https://tianxingwu.github.io/pages/FreeInit/

📚paper: https://arxiv.org/abs/2312.07537

🥩code: https://github.com/TianxingWu/FreeInit

@ai_machinelearning_big_data

Machinelearning

20 Dec 2023 15:02

🃏 Poker Hand History File Format Specification


An open-source Python library for poker simulations and hand evaluations.

PokerKit - это библиотека Python с открытым исходным кодом для симуляции игры в покер и оценки покерных рук, разработанная группой по изучению покера Университета Торонто.

PokerKit поддерживает широкий спектр разновидностей покера и предоставляет архитектуру для создания собственных игр.

Все эти возможности предоставляются через интуитивно понятный унифицированный API высокого уровня.

Библиотека может быть использована в самых разных сферах, от разработки покерного AI до создания инструментов предсказания покерных.

pip install pokerkit

🖥 GitHub: https://github.com/uoftcprg/pokerkit

📚 Paper: https://arxiv.org/pdf/2312.11753v1.pdf

🥩 Project: https://pokerkit.readthedocs.io/en/stable/

@ai_machinelearning_big_data

Machinelearning

20 Dec 2023 09:02

🖼 ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation

ImageDream - новый набор диффузионных моделей многоракурсной генерации, разработанный для решения сложной задачи создания 3D-объектов из изображения.

🖥 GitHub: https://github.com/bytedance/ImageDream

📚 Paper: https://arxiv.org/abs/2312.02201

🥩 Demo: https://github.com/bytedance/ImageDream/blob/main

@ai_machinelearning_big_data

Machinelearning

19 Dec 2023 11:08

🪩 DiffusionLight: Light Probes for Free by Painting a Chrome Ball

Диффузионная модель, обучена на миллиардах изображений, для визуализации хромированного шара на изображениях с разным освещением.

Несмотря на простоту, эта задача остается сложной: диффузионные модели часто вставляют неправильные или непоследовательные объекты и не могут правильно генерировать изображения со светом в формате HDR.

Для входного изображения, оценивается освещение сцены в виде карты окружения HDR. Идея заключается в том, чтобы нарисовать на изображении хромированный шар с помощью диффузионной модели и развернуть его в окружении. Таким образом решаются задачи: (1) как последовательно генерировать хромированные шары и (2) как использовать модель диффузии LDR для создания хромированных шаров HDR.

Данный метод позволяет генерировать освещение высокого качества в различных условиях и демонстрирует превосходный результат для изображений в дикой природе.

🖥 GitHub: https://github.com/DiffusionLight/DiffusionLight

🔮 Colab: https://colab.research.google.com/drive/15pC4qb9mEtRYsW3utXkk-jnaeVxUy-0S?usp=sharing&sandboxMode=true

📚 Paper: https://arxiv.org/abs/2312.09168

🥩 Score Measurement: https://vistec-my.sharepoint.com/:f:/g/personal/pakkapon_p_s19_vistec_ac_th/EvBHbnLrVnZArhQTcboh6qkBGcSqUqzdgx13iZ2IsLPzOw

@ai_machinelearning_big_data

Machinelearning

03 Jan 2024 09:02

🎙OpenVoice: Versatile Instant Voice Cloning

OpenVoice: Универсальное мгновенное клонирование голоса ✨

1. Точное клонирование тональности голоса. OpenVoice может точно клонировать тон голоса и генерировать речь на нескольких языках и акцентах.

2. Гибкое управление стилем голоса. OpenVoice позволяет контролировать стили голоса, такие как эмоции и акцент, а также другие параметры стиля, включая ритм, паузы и интонацию.

3. Кросс-языковое клонирование голоса.

🖥 Code: https://github.com/myshell-ai/OpenVoice

📚 Paper: https://arxiv.org/abs/2312.01479

⚡️ Page: https://research.myshell.ai/open-voice

🌟 Colab: https://github.com/camenduru/OpenVoice-colab

@ai_machinelearning_big_data

Machinelearning

30 Dec 2023 08:19

🌹4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency

Генерация 4D-контента с пространственно-временной согласованностью!

Пайплайн обеспечивает условное создание 4D, позволяя пользователям задавать геометрию генераци и движение (монокулярные видео), тем самым обеспечивая контроль над созданием контента. #GaussianSplatting #3DGS

🖥 Code: https://github.com/VITA-Group/4DGen

🔮 Project: https://vita-group.github.io/4DGen/

📚 ArXiv: https://arxiv.org/abs/2305.06456

@ai_machinelearning_big_data

Machinelearning

28 Dec 2023 07:01

⚡️ MotionCtrl: A Unified and Flexible Motion Controller for Video Generation

Новая модель-контроллер движения для генерации видео, который способен самостоятельно управлять сложным движением камеры и движением объектов в генерируемых видео.

🖥 Code: https://github.com/TencentARC/MotionCtrl

🎓 Colab: https://github.com/camenduru/MotionCtrl-colab

🔮 Project Page: https://openxlab.org.cn/apps/detail/camenduru/MotionCtrl

📚 ArXiv: https://arxiv.org/abs/2312.03641

@ai_machinelearning_big_data

Machinelearning

27 Dec 2023 17:16

🪩 Обучение генеративных моделей от А до Я

Сейчас генеративные модели широко используются в областях искусственного интеллекта и машинного обучения. Для них важна правильная предобработка данных, а для генерации эстетичных изображений используются две стадии: улучшение предварительно обученной модели, которая уже имеет некоторые знания, и обучение с подкреплением.

Однако в последнее время набирают популярность диффузионные модели: во многом благодаря своей простоте и возможности обучения на простых данных. Например, если модель обучается на изображениях кошек, она сможет генерировать похожие реалистичные изображения кошек.

Смотрите запись выступления Сергея Овчаренко из Яндекса, чтобы лучше разобраться в нюансах обучения генеративных картиночных диффузионных моделей. Там же в плейлисте доступны записи и других докладов с конференции Яндекса для разработчиков YaTalks.

Реклама ООО Яндекс, ИНН 7736207543, erid: 2SDnjdAJ3Jg

Machinelearning

27 Dec 2023 08:01

🍏Ferret: Refer and Ground Anything Anywhere at Any Granularity

Новая новая мультимодальная модель большого языка (MLLM) от Apple, которая может точно распознавать отдельные объекты и их отдельные части на изображении и обсуждать всю информацию с пользователем.

В точности и скорости обработки данных с изображений на бенчмарках Ferret опережает GPT-4🔥

🖥 Code: github.com/apple/ml-ferret

🎓 Paper: https://arxiv.org/abs/2310.07704

@ai_machinelearning_big_data

Machinelearning

25 Dec 2023 12:01

🌠AnyDoor: Zero-shot Object-level Image Customization

AnyDoor - новый генератор изображений на основе диффузии, который может гармонично вписывать любые объекты в новые сцены в указанных местах.

Модель, обучена на видео и понимает разные ракурсы и освещения объектов, чтобы вписывать изображения в любой новый план с новым освещением и камерой.


pip install git+https://github.com/cocodataset/panopticapi.git

pip install pycocotools -i https://pypi.douban.com/simple

pip install lvis

🖥 Code: https://github.com/damo-vilab/AnyDoor

🎓 HF: https://huggingface.co/spaces/xichenhku/AnyDoor-online

🔮 Project Page: https://damo-vilab.github.io/AnyDoor-Page/

📚 ArXiv: https://arxiv.org/abs/2307.09481

@ai_machinelearning_big_data

Machinelearning

23 Dec 2023 06:01

PIA: Your Personalized Image Animator via Plug-and-Play Modules in Text-to-Image Models 🎄 🎁 🎅 Colab 🥳

PIA, аниматор изображений, который превосходит аналоги в согласованности текста с изображениями.

🎓 page: https://pi-animator.github.io

📚 paper: https://arxiv.org/abs/2312.13964

🖥 code: https://github.com/open-mmlab/PIA
🥩 OpenXLab: https://openxlab.org.cn/apps/detail/zhangyiming/PiaPia

🥩 colab: https://github.com/camenduru/PIA-colab

@ai_machinelearning_big_data

Machinelearning

22 Dec 2023 20:39

🌪 Can machine learning predict chaos?

Может ли машинное обучение предсказывать хаос? В новой статье проводится масштабное сравнение современных методов прогнозирования на гигантском наборе данных из 135 хаотических систем.

https://journals.aps.org/prresearch/abstract/10.1103/PhysRevResearch.5.043252

@ai_machinelearning_big_data

Machinelearning

22 Dec 2023 13:22

🎲 ReBRAC (Revisited Behavior Regularized Actor Critic)
ReBRAC (Revisited Behavior Regularized Actor Critic) — алгоритм, созданный в Tinkoff Research, который обучает ИИ в четыре раза быстрее и на 40% качественнее мировых аналогов в области обучения с подкреплением (Reinforcement Learning, RL), адаптируя его к новым условиям на ходу.

🖥 Code: https://github.com/tinkoff-ai/ReBRAC

📚 ArXiv: https://arxiv.org/abs/2305.09836

@ai_machinelearning_big_data

Machinelearning

22 Dec 2023 08:37

⚡️ LongAnimateDiff, a text2video model for generating extended videos.

▪Новая модель "LongAnimateDiff" способная генерировать видео с количеством кадров от 16 до 64.
Веса можно загрузить с Google Drive или HuggingFace. Для получения оптимальных результатов рекомендуется использовать шкалу движения 1,28.

▪Специализированная модель, предназначенная для создания видеороликов с 32 кадрами. Эта модель обычно создает видео более высокого качества по сравнению с моделью LongAnimateDiff, поддерживающей 16-64 кадра. Веса на Google Drive или HuggingFace. Для получения хороших результатов используйте масштаб движения 1,15.

🖥 Code: https://github.com/Lightricks/LongAnimateDiff

🎓 HF: https://huggingface.co/spaces/Lightricks/LongAnimateDiff

@ai_machinelearning_big_data

Machinelearning

21 Dec 2023 13:02

Всё, что нужно знать о CatBoost и LightGBM

Не нашёл инфу — написал сам. Так поступил дата-сайентист из Точки Артур Сосновиков.

В статье на Хабре он рассказал, как работают алгоритмы CatBoost и LightGBM: что у каждого под капотом и в чём их особенности. Подробно, с примерами и формулами.

Будет интересно начинающим и тем, кто уже знает классический градиентный бустинг, а мидлам будет полезно для расширения кругозора. Ну и конечно тем, кто готовится к собесам и хочет произвести хорошее впечатление)

Читать статью на Хабре

@ai_machinelearning_big_data

Machinelearning

21 Dec 2023 07:01

👾 Погрузитесь в мир цифровых двойников и моделирования с подкастом «Математическим путем»!

В нем Дмитрий Фомичев, директор по математическому моделированию Росатома, и Александр Никоноров, которого вы знаете по Инженерному подкасту НИЯУ МИФИ, разберут на мельчайшие детали науку математического моделирования и обсудят новые технологии с приглашенными экспертами атомной отрасли.

🎧 Слушайте подкаст и читайте подробности по ссылке: https://podcast.mephi.ru/special

#ЯРосатом #КарьеравРосатоме

Machinelearning

20 Dec 2023 14:02

⚠️ Как получить вакансию в машинном обучении в Европе, Азии и США?

⬆️   Расскажет Валентин Шкулов – Data Scientist в Meson Capital Partners на бесплатном вебинаре.

🔹 На занятии вы познакомитесь с различными этапами собеседований для разных локаций и изучите подходы к подготовке и прохождению интервью

🔹 Узнаете особенности в получении офферов в разных локациях. 

🔥 Урок идеально подойдет продвинутым IT-специалистам, практикующим ML и желающим выйти на другие рынки или релоцироваться. 

👉  Встречаемся 26 декабря в 19:00 мск в рамках курса «Machine Learning. Advanced». 

➡️ Регистрация
https://otus.pw/DWOk/?erid=LjN8K8QYH

Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963

Machinelearning

20 Dec 2023 07:01

Критерии выбора инструментов в MLOps и возможности Open Source

Вышла третья часть подкаста «Деньги любят техно» про MLOps. На этот раз — максимально практическая: про платформы, инструменты и требования к ним, а также как всё это применять в больших проектах.

🎧Слушать на любой удобной платформе

Machinelearning

19 Dec 2023 09:08

⚡ Как выпустить ML-сервис в прод малыми силами с помощью Cloud ML Platform

Создание ML-модели — сложный процесс, а выкатка сервиса на основе модели в прод ещё сложнее.

Упростит жизнь работа с облаками. Точнее, с ними можно сделать простую, но эффективную модель, дающую высокую точность предсказаний, и быстро развернуть её в проде, используя предварительно настроенную среду и инструменты, например, Cloud ML Platform. Более того, ML-модель будет иметь потенциал для улучшения.

https://habr.com/ru/companies/vk/articles/780632/

@ai_machinelearning_big_data