Machinelearning

01 May 2024 09:37

🔥 mistral.rs — нереально быстрый интерфейс для LLM

🟡 mistral.rs поддерживает вывод на различных устройствах, квантование, предоставляет удобный HTTP-сервер, совместимый с Open-AI API.
Имеет удобное API для обращения из Python, вот примеры такого использования

🟡 mistral.rs поддерживает такие LLM:
— Mistral 7B (v0.1 и v0.2)
— Gemma
— Llama, включая Llama 3
— Mixtral 8x7B
— Phi 2, Phi 3
— Qwen 2

🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

30 Apr 2024 16:03

⚡️ Arena-Hard is an evaluation tool for instruction-tuned LLMs.

Arena-Hard — создание высококачественных тестов для оценки LLM

Arena-Hard позволяет оценивать ответы LLM по 7 конкретным показателям; критерии на изображении

▶️ Подробно про Arena-Hard
🖥 GitHub

@ai_machinelearning_big_data

Machinelearning

29 Apr 2024 19:46

🧠 Open AI только что добавили новую функцию памяти в Chatgpt.

Память теперь доступна всем пользователям ChatGPT Plus.

Пользоваться памятью очень просто: просто запустите новый чат и напишите ChatGPT все, что вы хотели бы, чтобы он запомнил.

Функция памяти ChatGPT позволяет запоминать нужные вам детали, чтобы в будущем сделать общение актуальным и персонализированны.

ChatGPT автоматически сохраняет такие детали, как ваши личные предпочтения, но вы также можете попросить ChatGPT запомнить конкретную информацию, сказав:
"Запомнить это" или "Сохрани это в своей памяти".

Примечание:
1. Эта функция доступна только в GPT-4, но не в версии 3.5.
2. Если вы хотите удалить что-либо из памяти, вы можете сделать это через настройки управления памятью
3.Похоже, что это замедляет работу GPT-4, потому что он пытается получить доступ к памяти, а затем отвечает.

Память можно включить или отключить в настройках.

@ai_machinelearning_big_data

Machinelearning

29 Apr 2024 10:03

🛂 ConsistentID : Portrait Generation with Multimodal Fine-Grained Identity Preserving

Consistent ID - новая модель, которая позволяет создавать различные персонализированные изображения для документов на основе текстовых промптов и исходного фото 🤌

• Github: https://github.com/JackAILab/ConsistentID
• Paper: https://arxiv.org/abs/2404.16771
• Project: https://ssugarwh.github.io/consistentid.github.io/
• Demo: http://consistentid.natapp1.cc/

@ai_machinelearning_big_data

Machinelearning

28 Apr 2024 11:20

🌐 The Powerful Multi-modal LLM Family
for OCR-free Document Understanding

Мощное мультимодальное семейство больших языковых моделей от Alibaba Group для понимания документов и работы с ними.

• mPLUG-DocOwl1.5 - модель для извлечения единой структуры из документов без распознавания текста.

• TinyChart - SOTA в различных тестах понимания диаграмм, в том числе Chart-to-Text, Chart-to-Table, OpenCQA, and ChartX. TinyChart превосходит несколько MLLM для понимания диаграмм по параметрам до 13B, таких как ChartLlama и ChartAst (код на подходе).

• mPLUG-PaperOwl - научный анализ диаграмм, с помощью мультимодальной LLM.

• UReader - разбор документов с помощью мультимодальной модели большого языка без OCR.

🖥 Github

@ai_machinelearning_big_data

Machinelearning

27 Apr 2024 11:03

☁️ Stable Diffusion запуск в облаке.

▪ Видео

@ai_machinelearning_big_data

Machinelearning

26 Apr 2024 18:14

🔥 Готовится к запуску ИИ-платформа Augment, конкурент GitHub Copilot, с бюджетом в $252 млн

⏩К запуску готовится новая ИИ-платформа Augment. Проект с бюджетом в $252 млн позиционируется как конкурент ИИ-помощника для программистов GitHub Copilot.

⏩В недавнем опросе StackOverflow 44% инженеров-программистов заявили, что они в настоящее время используют инструменты искусственного интеллекта как часть своих процессов разработки, а 26% планируют сделать это в ближайшее время. По оценкам Gartner, более половины организаций тестируют или уже внедрили помощников по кодированию на базе искусственного интеллекта, и что к 2028 году 75% разработчиков будут использовать ИИ для написания кода в той или иной форме.

⏩Экс-разработчик Microsoft Игорь Островский считает, что скоро не останется программиста, который не использует ИИ в своих рабочих процессах. «Разработка программного обеспечения остаётся сложной, зачастую утомительной и разочаровывающей работой, особенно в масштабе больших проектов. ИИ может улучшить качество программного обеспечения, производительность команды и помочь вернуть радость от программирования», — рассказал Островский TechCrunch.

⏩Островский решил создать удобную ИИ-платформа Augment, которую он сам хотел бы использовать. Это платформа Augment, которая ранее получила финансирование в размере $252 млн. Благодаря инвестициям бывшего генерального директора Google Эрика Шмидта и венчурных капиталистов, включая Index Ventures, Sutter Hill Ventures, Lightspeed Venture Partners, Innovation Endeavors и Meritech Capital, Augment стремится встряхнуть все ещё зарождающийся рынок технологий генеративного ИИ-кодинга.

▶️ Записаться в white-лист для тестирования Augment

@ai_machinelearning_big_data

Machinelearning

25 Apr 2024 21:08

⚡️ UniMERNet: A Universal Network for Real-World Mathematical Expression Recognition

Модель распознавания математических выражений (MER).

git clone https://github.com/opendatalab/UniMERNet.git

• Github: https://github.com/opendatalab/unimernet
• Paper: https://arxiv.org/abs/2404.15254
• HF: https://huggingface.co/wanderkid/unimernet

@ai_machinelearning_big_data

Machinelearning

25 Apr 2024 12:10

🔥 FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

Массачусетский технологический университет представил FlowMap.

Это новый комплексный дифференцируемый метод для реконструкции 3D сцены, который позволяет точно задать ракурсы камеры, характеристики движения и глубину видеоряда для каждого кадра.

FlowMap позволяет создавать реалистичные ракурсы на 360°.

• Github: https://github.com/dcharatan/flowmap
• Paper: https://arxiv.org/abs/2404.15259
• Dataset: https://drive.google.com/drive/folders/1PqByQSfzyLjfdZZDwn6RXIECso7WB9IY

@ai_machinelearning_big_data

Machinelearning

24 Apr 2024 20:09

PyTorch 2.3 is here 😎🔥

Вышел PyTorch 2.3.

В PyTorch 2.3 реализована поддержка пользовательских ядер Triton в torch.compile, что позволяет пользователям переносить свои собственные ядра Triton без снижения производительности или сбоев в графике.

Triton – это языковой компилятор для создания сильно оптимизированных ядер CUDA.

В этом выпуске зафиксировано 3393 изменений.

Полный список обновлений: https://pytorch.org/blog/pytorch2-3/

@ai_machinelearning_big_data

Machinelearning

24 Apr 2024 14:59

В России появилась новая платежная система — KWIKPAY

Деньги приходят моментально с карт российских банков в другие страны, в том числе в ЕС.

Уже сейчас можно отправить деньги в Казахстан, Турцию, Израиль, Кипр, Грецию, Узбекистан и Киргизию.

Компания зарегистрирована в ЦБ РФ, на их сайте легко найти всю нужную информацию и документы

Скачать приложение можно здесь

Erid: 2VtzqwBS1VA Реклама. ООО КВИКПЭЙ ИНН: 7714437215

Machinelearning

23 Apr 2024 20:37

⚡️🗣 OpenVoice V2 - a Text-to-Speech model that can clone any voice and speak in any language.

OpenVoice V2 - новая версия открытой модели преобразования текста в речь, которая позволяет клонировать любой голос и генерировать речь на различных языках.

• Github: https://github.com/myshell-ai/OpenVoice/tree/main
• Usage: https://github.com/myshell-ai/OpenVoice/blob/main/docs/USAGE.md

@ai_machinelearning_big_data

Machinelearning

23 Apr 2024 17:53

🔥 AI Image Generator: Create images from text.

Новое поколение #Photoshop уже здесь.

Adobe добавили ИИ-инструменты в Photoshop на базе новой модели Firefly Image 3. Модель может самостоятельно подобрать или изменить фон, сгенерировать похожие изображения, генерировать изображения из пропитав .

Полный список обновлений здесь.

▪Blog
▪Demo

@ai_machinelearning_big_data

Machinelearning

23 Apr 2024 15:17

🪄👕 Magic Clothing: controllable garment-driven image synthesis

Вышла модель Waifu Dress Up 2024!

Magic Clothing позволяет создавать персонажей, одетых в заданную одежду, на основе промпта и входного изображения.

git clone https://github.com/ShineChen1024/MagicClothing.git

▪Github
▪Paper

@ai_machinelearning_big_data

Machinelearning

23 Apr 2024 10:00

erid: 2Ranyng8yqS

CodeFest — это ежегодная тёплая ламповая айтишная конференция, на которую слетаются русскоговорящие айтишники с разных уголков страны, чтобы встретиться с коллегами, поделиться новостями и обсудить последние тенденции в мире разработки.

Ключевые направления программы: Backend, Frontend, Management, QA, Data Science, Mobile, Design, Web 3, System Аnalysis, а также дискуссионный народный поток Kvartirniki и вдохновляющие Keynote выступления от айти-звёзд.

Изюминка CodeFest — неформальное общение, которого много, которое невероятно дружелюбное, и зачином для которого служат те самые выступления в ключевых секциях. Начали с доклада в зале — закончили спонтанным митапом в холле.

Присоединяйтесь к невероятной атмосфере конференции:

■ 25-26 мая, Новосибирск, Экспоцентр.
■ 1800 участников на одной площадке.
■ Участие офлайн и онлайн.
■ Более 120 докладов.
■ Насыщенная программа от партнёров конференции.

Приезжайте командой, участвуйте лично.

Регистрация 👉 https://l.codefest.ru/ai_machinelearning_big_data

Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Machinelearning

30 Apr 2024 20:27

🐇📚 Alice’s Adventures in a
differentiable wonderland: Aprimer on designing neural networks

Алиса отправляется в дифференцируемую страну чудес!* 🔥

Новая бесплатная книга по проектированию нейронных сетей.

Отправляемся в увлекательное приключение по миру математики нс, от самых азов до трансформеров.

Отличный баланс между теорией и кодом, с историческими справками и описанием современных тенденций развития нс.

Приятный бонус это красивый дизайн и приятные иллюстрации.

Отличное приключение на выходные)
.
📓 Book

@ai_machinelearning_big_data

Machinelearning

30 Apr 2024 09:20

🖥 Gpt2-chatbot = Gpt-5 ?

Появился новый загадочный LLM под названием “gpt2-chatbot”, который невероятно хорошо справляется с широком спектром задач.

Пользователи reddit уверены, что создатели модели - OpenAI и таким образом они тестируют GPT-5 или GPT-4.5.

Модель выдает рабочий код высочайшего качества на всех популярных языках, решает олимпиадные задачи по математике, физике, на недоступном ранее уровне и демонстрирует высокое качество рассуждений и логики.

GPT-4 тоже тестили подобным образом внутри Bing Chat, так что это вполне может быть новая модель OpenAI.

Вот как вы можете попробовать ее бесплатно и оценить модель сами:

- перейдите по ссылке: http://chat.lmsys.org

- перейдите во вкладку “Direct Chat”.

- введите свой промпт.

На видео сравниваем GPT-4 Turbo и Gpt2-chatbot. Отправляем запрос на создание игры на JS в одном HTML-документе.

Первое видео результат работы - GPT-4 Turbo, Второе - Gpt2-chatbot.

@ai_machinelearning_big_data

Machinelearning

29 Apr 2024 12:12

💾 LLM Datasets: High-quality datasets, tools, and concepts for LLM fine-tuning.

Большая коллекция качественных датасетов, советов и инструментов для файнтюнинга LLM и для создания ваших собственных датасетов.

• GitHub: https://github.com/mlabonne/llm-datasets

@ai_machinelearning_big_data

Machinelearning

28 Apr 2024 18:26

🏠💻💌 AI Town : AI Town is a virtual town where AI characters live, chat and socialize.

Запустите свой ИИ-город в 1 клик.

Очень интересный проект с использованием искусственного интеллекта, где множество ИИ- агентов взаимодействуют друг с другом .

Агенты введут социальную жизнь, коммуницируют между собой и запоминают свои действия.

Вы можете запустить свой город на базе llama3🎉 или поиграть оналйн.

• Github
• Demo

@ai_machinelearning_big_data

Machinelearning

27 Apr 2024 14:02

🔥🪄 Awesome-LLM: a curated list of Large Language Model

Кураторский список статей, моделей, api, примеров с кодом, курсов, датасетов, посвященный большим языковым моделям.

Это хорошо структурированная академическая подборка.

• Github

Другие узкоспециализированные awesome репозиторий, посвященные LLM:
• Awesome-LLM-hallucination
• Awesome-hallucination-detection
• Awesome ChatGPT Prompts
• Awesome ChatGPT
• Awesome Deliberative Prompting
• Instruction-Tuning-Papers
• LLM Reading List
• Reasoning using Language Models
• Chain-of-Thought Hub
• Awesome GPT
• Awesome GPT-3
• Awesome LLM Human Preference Datasets
• RWKV-howto
• ModelEditingPapers
• Awesome LLM Securityrge
• Awesome-Code-LLM
• Awesome-LLM-Compression
• Awesome-LLM-Systems
• Awesome-LLM-Healthcare
• Awesome-LLM-Inference
• Awesome-LLM-3D
• LLMDatahub
• Language models for Russian language

@ai_machinelearning_big_data

Machinelearning

27 Apr 2024 09:27

⚡️ Команда PyTorch разрабатывает библиотеку для обучения LLM под названием torch titan.

Сегодня библиотека стала общедоступной на GitHub, но она все еще находится в предрелизном состоянии и активно разрабатывается.

- Ссылка на библиотеку: https://github.com/pytorch/torchtitan

- Туториал по работе с torch titan: https://www.youtube.com/watch?v=ee5DOEqD35I

Библиотека создана для предварительного обучения моделей, а для файнтюнига у PyTorch есть еще одна библиотека torchtune:
https://github.com/pytorch/torchtune

@ai_machinelearning_big_data

Machinelearning

26 Apr 2024 09:10

➕ OpenBioLLM-Llama3-70B и 8B: Open-source Large Language Models in Medical Domain

OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms в области медицины! 🩺 💊 🧬

Превосходит таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины. 🏥 📈 🌟

OpenBioLLM-70B достигает SOTA и является новым достижением для моделей такого размера.
Модель OpenBioLLM-8B превосходит даже GPT-3.5, Gemini и Meditron-70B! 🚀

- 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B
- 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B
- Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard

@ai_machinelearning_big_data

Machinelearning

25 Apr 2024 19:08

Яндекс анонсировал Young Con — фест для студентов и начинающих специалистов, которые интересуются карьерой в IT

Главная тема фестиваля — «Вселенная Яндекса», состоящая из 9 тематических «миров». Участники могут свободно перемещаться по ним и общаться с экспертами, которые поделятся вдохновляющим опытом и расскажут о том, какие возможности предоставляет то или иное IT-направление.

Еще гостей ждет финал «Баттла Вузов» — турнира, в котором студенты будут соревноваться в программировании за призовой фонд в размере 1 млн рублей. В завершение дня выступят группы The Hatters и Хлеб.

Фестиваль пройдет 27 июня в московском Live Arena. Для участия в фестивале нужно зарегистрироваться на сайте Young Con до 14 июня. Гостям достаточно написать мотивационное письмо, а разработчикам — выполнить техническое задание. Специалисты, которые хорошо справятся с тестом, смогут пройти экспресс-собеседование в день фестиваля, которое сильно увеличивает шансы приглашения на стажировку.

Machinelearning

25 Apr 2024 10:02

📌Apple приобрела компанию Datakalab, занимающуюся проектами на базе ИИ

🟡Apple купила французский стартап Datakalab, который специализируется на технологиях сжатия данных искусственного интеллекта и компьютерного зрения.

🟡Datakalab позиционирует себя как «эксперта в области маломощных эффективных алгоритмов глубокого обучения», работающих на устройствах. Стартап создаёт алгоритмы для анализа изображений и видео. Один из продуктов компании — инструмент для отслеживания наличия масок на лицах пассажиров общественного транспорта Парижа.
Полученные стартапом изображения мгновенно преобразуются в анонимные статистические данные, обрабатываемые локально за 100 мс. Стартап не хранит изображения или личные данные, а только статистические данные.

🟡Datakalab имеет несколько патентов, связанных с технологиями сжатия данных ИИ и машинного зрения.

🟡Приобретение стартапа, вероятно, обусловлено планами Apple предоставить набор ИИ-функций в iOS 18. Datakalab разработала передовую технологию на базе машинного обучения, которая может сыграть роль в развитии гарнитуры смешанной реальности Vision Pro.
Кстати, в начале 2024 года корпорация купила стартап WaveOne, который предлагает ИИ-алгоритм для сжатия видео.

@ai_machinelearning_big_data

Machinelearning

24 Apr 2024 17:03

🖼 HiDiffusion: Unlocking High-Resolution Creativity and Efficiency in Low-Resolution Trained Diffusion Models 🦊

Новый метод, не требующий обучения, который повышает о и скорость предварительно обученных моделей diffusion.

Его можно интегрировать в конвейеры diffusion, добавив всего одну строку кода!

pip3 install hidiffusion


• page: https://hidiffusion.github.io
• paper: https://arxiv.org/abs/2311.17528
• code: https://github.com/megvii-research/HiDiffusion
•colab: https://colab.research.google.com/drive/1EiBn9lSnPZTU4cikRRaBBexs429M-qty?usp=sharing

@ai_machinelearning_big_data

Machinelearning

24 Apr 2024 09:15

🍏 OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework by Apple

Сегодня Apple выпустили Openly.

- Новое семейство LM с открытым исходным кодом для обучения моделей и логического вывода
- Работает наравне с OLMo, но требует в 2 раза меньше токенов для обучения
- Модели для различных задач, включая базовые модели (например, CLIP и LLM), классификацию объектов, обнаружение объектов и семантическую сегментацию.

Cписок моделей и подробная информации о каждой из них:

- OpenELM-270M
- OpenELM-450M
- OpenELM-1_1B
- OpenELM-3B
- OpenELM-270M-Instruct
- OpenELM-450M-Instruct
- OpenELM-1_1B-Instruct
- OpenELM-3B-Instruct

• gitHub: https://github.com/apple/corenet
• hf: https://huggingface.co/apple/OpenELM
• abs: https://arxiv.org/abs/2404.14619

@ai_machinelearning_big_data

Machinelearning

23 Apr 2024 18:34

Залетай на «Технолето» и прокачайся в ML-сфере

Приглашаем студентов и начинающих специалистов в области машинного обучения на стажировку «Технолето» от Яндекса. Участников ждет масштабная программа карьерных и развлекательных мероприятий. Стажеры смогут не только углубить свои навыки в IT, но и поближе познакомиться с культурой Яндекса: пообщаться с топовыми специалистами компании, пройтись с интерактивной экскурсией по офисам, посетить дата-центр, а также отдохнуть на диджей-сетах и Алгорейв-вечеринках.

Студенты, желающие изучить сферу машинного обучения, освоят востребованные в индустрии навыки ML-сферы и погрузятся во все тонкости направления. На стажировке также можно освоить фронтенд, бэкенд, мобильную разработку, девопс и не только.

Стажировка действует круглый год и длится три, четыре или шесть месяцев в зависимости от графика, который выбрал участник.

Чтобы поучаствовать в программе, достаточно оставить заявку и решить тестовое задание.

Удачи и ждем вас на «Технолето»!

Machinelearning

23 Apr 2024 15:44

GitVerse – теперь и для малого и среднего бизнеса

На онлайн-презентации «GitVerse: открой вселенную кода» СберТех рассказал про новые фичи платформы. Cреди них – CI/CD-инструменты, ускоряющие разработку, и новые функции GigaCode – персонального AI-ассистента разработчика (AI, artificial intelligence — искусственный интеллект).

Но это еще не все: теперь возможности GitVerse доступны не только индивидуальным разработчикам, но и малому и среднему бизнесу. Это очень удобно: можно организовывать совместную работу команды с GitVerse и управлять доступами к своим репозиториям.

Готовы попробовать? Присоединяйтесь.

Machinelearning

23 Apr 2024 12:03

⚡️ Поисковик Brave научился отвечать на вопросы с помощью ИИ

Ориентированная на конфиденциальность поисковая система Brave расширила функциональность своей системы ответов на запросы пользователей с помощью ИИ.

Теперь при вводе запроса в Brave в поле выдачи сперва отображается выжимка от AI с ссылками на источники, и только потом сайты.
Выглядит наподобие Perplexity и Phind.

▶️ Пробуйте)

@ai_machinelearning_big_data

Machinelearning

22 Apr 2024 12:01

⚡️ AI Safety — бенчмарк для оценки безопасности AI

⏩Некоммерческий проект MLCommons, занимающийся созданием и поддержкой бенчмарков, широко используемых в ИИ-индустрии, анонсировал новую разработку. Речь идёт об инструменте — AI Safety v0.5, позволяющем оценивать безопасность ИИ-систем.

⏩AI Safety v0.5 находится на стадии proof-of-concept и позволяет оценивать большие языковые модели (LLM), стоящие за современными чат-ботами, анализируя ответы на запросы из «опасных категорий». Необходимость в появлении такого инструмента давно назрела, поскольку технологию оказалось довольно легко использовать в неблаговидных и даже опасных целях. Например, можно применять для подготовки фишинговых атак и совершения других киберпреступлений, а также для распространения дезинформации и разжигания ненависти.

⏩Хотя измерить безопасность довольно сложно с учётом того, что ИИ используется в самых разных целях, в MLCommons создали инструмент, способный разбираться с широким спектром угроз. Например, он может оценивать, как бот отвечает на запрос о рецептах изготовления бомбы, что отвечать полиции, если пойман за созданием взрывного устройства и т.п. Каждая модель «допрашивается» серией тестовых запросов, ответы на которые потом подлежат проверке. LLM оценивается как по каждой из категорий угроз, так и по уровню безопасности в целом.

⏩Бенчмарк включает более 43 тыс. промтов. Методика позволяет классифицировать угрозы, конвертируя ответы в понятные даже непрофессионалам характеристики, вроде «высокий риск», «умеренно-высокий риск» и т.д. При этом представители организации заявляют, что LLM чрезвычайно трудно оценивать по ряду причин.

⏩Бенчмарк AI Safety v0.5 уже доступен для экспериментов и организация надеется, что исходные тесты сообществом позволят выпустить усовершенствованную версию v1.0 позже в этом году. Платформа открыта для предложений новых тестов и интерпретации результатов.

▶️ Страничка проекта

@ai_machinelearning_big_data