Анализ данных (Data analysis)

19 Dec 2024 14:01

🔍 Сравнение Sora и Google Neo 2!

@data_analysis_ml

Анализ данных (Data analysis)

19 Dec 2024 10:44

⚡️ Сегодня был выпущен мощнейший ИИ-движок для физики под названием Genesis.

Что это такое: это платформа для симуляции физики в виртуальных мирах с элементами искусственного интеллекта, позволяющая генерировать практически любые объекты.

Главная цель — создание трехмерных миров с реалистичной физикой, где можно выполнять различные задачи: обучать роботов, проводить физические эксперименты или разрабатывать анимации для игр.

Почему вокруг него столько шума? Genesis отличается невероятной скоростью (в 10–80 раз быстрее аналогов) и высокой эффективностью.

Например, чтобы научить робота ходить, потребуется всего одна видеокарта RTX 4090 и 26 секунд времени.

Для сравнения, аналогичная тренировка в реальных условиях могла бы занять до 129 дней!

Кроме того, Genesis способен самостоятельно генерировать всё необходимое: будь то трёхмерная среда, физика или анимационные последовательности. Разработчики даже предлагают учёным-физикам использовать платформу для изучения поведения воды в разных условиях.

Ожидаются первые захватывающие анонсы на базе Genesis!

📌 Проект
📌 Github

@data_analysis_ml

Анализ данных (Data analysis)

18 Dec 2024 17:10

👩‍💻 multimodal-live-api-web-console — стартовое приложение на React для работы с Multimodal Live API через вебсокеты!

🌟 Он предоставляет модули для воспроизведения аудио, записи пользовательских данных (например, с микрофона или веб-камеры), а также объединенный интерфейс для логирования. Это позволяет разработчикам тестировать и разрабатывать приложения, использующие мультимодальные функции, такие как обработка данных с помощью API Gemini от Google.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

18 Dec 2024 14:00

🔥 Text3D — небольшое Gradio приложение, которое генерирует изображения, которые можно использовать для создания 3D-моделей!

🔗 Ссылка: *клик*

@data_analysis_ml

Анализ данных (Data analysis)

17 Dec 2024 13:38

⚡️ Релиз Falcon 3

Институт технологических инноваций Абу-Даби представил семейство моделей Falcon 3 с расширенными возможностями в областях науки, математики и программирования.

▶️В семейство входят 5 базовых моделей:

🟢Falcon3-1B-Base
🟢Falcon3-3B-Base
🟢Falcon3-Mamba-7B-Base
🟢Falcon3-7B-Base
🟢Falcon3-10B-Base

Модели Falcon 3 основаны на трансформерах, совместимы с архитектурой Llama поддерживает до 32К токенов контекста (кроме 1B с контекстом 8К). Все модели используют функцию активации SwiGLU с размером словаря 131K токенов (65K для Mamba-7B версии).

Falcon3-7B-Base была масштабирована до 10 млрд. параметров путем дублирования избыточных слоев и последующего обучения на 2 трлн. токенов. Это позволило модели Falcon3-10B-Base достичь высоких результатов в задачах zero-shot и few-shot среди моделей с менее чем 13В параметров.

Для создания компактных моделей Falcon3-1B Base и Falcon3-3B Base использовались методы обрезки и дистилляции знаний на основе около 100 ГБ высококачественных данных.

Модель Falcon3-Mamba-7B-Base была усовершенствована путем обучения на дополнительных 1,5 трлн. токенов, что привело к созданию Falcon3-Mamba-7B-Base с улучшенными способностями к рассуждению и в математических задачах.

▶️ Семейство продемонстрировало высокую производительность на стандартных бенчмарках:

🟠Falcon3-1B-Base превосходит SmolLM2-1.7B и сопоставима с gemma-2-2b;
🟠Falcon3-3B-Base опережает Llama-3.1-8B и Minitron-4B-Base;
🟠Falcon3-7B-Base показывает результаты, сравнимые с Qwen2.5-7B;
🟠Falcon3-10B-Base - лучшие результаты в категории до 13 млрд. параметров.

В бенчмарках задач математики Falcon3-10B-Base достигает 22,9 на MATH-Lvl5 и 83,0 на GSM8K, а в задачах программирования набирает 73,8 на MBPP.

Инструктивные версии моделей также показывают высокие результаты, при этом Falcon3-7B-Instruct и Falcon3-10B-Instruct превосходят аналогичные модели до 13 млрд. параметров.

▶️В репозитории на HuggingFace опубликованы базовые, Instruct, GPTQ-INT8, GPTO-INT4, AWQ и GGUF версии моделей Falcon3.


⚠️ В январе 2025 года планируется выпуск моделей семейства Falcon3 с расширенными мультимодальными возможностями: поддержка изображений, видео и аудио, а также полный технический отчет с описанием методик.


📌Лицензирование: Falcon 3 TII Falcon License.


🟡Статья
🟡Набор моделей
🟡Demo Falcon3
🟡Demo Falcon3-Mamba-7B-Instruct
🟡Сообщество в Discord

@ai_machinelearning_big_data

#AI #ML #LLM #Falcon3

Анализ данных (Data analysis)

16 Dec 2024 14:00

🔥 Gateway — это легковесное и быстрое решение для маршрутизации запросов к более чем 250 языковым, визуальным и аудиомоделям!

🌟 Оно предлагает единый API для интеграции моделей менее чем за 2 минуты, поддерживает балансировку нагрузки, условную маршрутизацию, автоматическое восстановление и встроенные механизмы защиты (guardrails). Система оптимизирована для масштабирования AI-приложений, обеспечивает надёжность и безопасность, подходя как для индивидуальных разработчиков, так и для корпоративного использования.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

15 Dec 2024 10:13

⚡️Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

МАШИННОЕ ОБУЧЕНИЕ: t.me/ai_machinelearning_big_data
C++ t.me/cpluspluc
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Хакинг: t.me/linuxkalii
Devops: t.me/DevOPSitsec
Data Science: t.me/datascienceiot
Javascript: t.me/javascriptv
C#: t.me/csharp_ci
Java: t.me/javatg
Базы данных: t.me/sqlhub
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Docker: t.me/DevopsDocker
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
Собеседования МЛ: t.me/machinelearning_interview
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: /channel/gamedev
Haskell: t.me/haskell_tg

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: /channel/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: /channel/addlist/mzMMG3RPZhY2M2Iy

😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
📕Ит-книги бесплатно: /channel/addlist/BkskQciUW_FhNjEy

Анализ данных (Data analysis)

13 Dec 2024 15:52

👀 Gaze-LLE: Neural Gaze

👉Gaze-LLE: новый фреймворк на базе трансформеров, для трекинга глаз.

Под капотом DINO v2 encoder.

📌Лицензирование: MIT

▪Cтатья arxiv.org/pdf/2412.09586
▪Github https://github.com/fkryan/gazelle

@data_analysis_ml

Анализ данных (Data analysis)

13 Dec 2024 12:01

📊 FinGPT — финансово-ориентированная платформа, построенная на LLM!

🌟 Она предназначена для анализа данных из финансовой отрасли с использованием моделей GPT, включая автоматизацию анализа новостей, обработки данных и поддержки принятия решений.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

13 Dec 2024 07:45

✔️ OpenAI расширяет возможности голосового режима ChatGPT.

OpenAI представила обновленный голосовой режим ChatGPT, который теперь поддерживает функции демонстрации экрана и распознавания изображений. Благодаря этому ChatGPT может анализировать контекст происходящего на экране смартфона или компьютера и давать более точные инструкции. Русский язык - поддерживается.

Обновленный голосовой режим уже доступен в мобильных приложениях для пользователей Team, а также для большинства подписчиков Pro и Plus. В ближайшее время функция станет доступна для европейских пользователей Pro и Plus, а в начале следующего года - для пользователей Enterprise и Edu.
openai.com

✔️ Midjourney представила Patchwork, инструмент для создания миров.

Patchwork – это бесконечное полотно, поддерживаемое искусственным интеллектом, которое позволяет создавать миры как персонально, так и совместно. С помощью этого инструмента можно развить расплывчатые идеи в полноценные истории, а также создавать необычные визуальные новеллы из изображений и текста.

В будущем Midjourney планирует сделать персонажей, миры и другие материалы, созданные в Patchwork, совместимыми с другими приложениями для сторителлинга. Это позволит, например, оживить персонажей в интерактивных сеттингах и редактировать текст истории с помощью новых интерфейсов для творческого письма.
updates.midjourney.com

✔️ Fujitsu представила 144-ядерный процессор Monaka для центров обработки данных.

Fujitsu представила прототип своего нового процессора Monaka, разработанного на архитектуре Armv9 и предназначенного для использования в центрах обработки данных. Процессор включает 144 ядра, распределенных по четырем 36-ядерным чиплетам, изготовленным по 2-нм техпроцессу TSMC.

Чиплеты расположены поверх SRAM-плиток, произведенных по 5-нм техпроцессу, и соединены с ними с помощью гибридной медной связи. Monaka также оснащен контроллером памяти DDR5, интерфейсом PCIe 6.0 с CXL 3.0 для подключения ускорителей. Ожидается, что Monaka будет доступен в 2027 финансовом году.
tomshardware.com

✔️ Ученые предлагают создать виртуальные клетки тканей человека с помощью ИИ.

Группа исследователей из Стэнфордского университета, Genentech и Chan-Zuckerberg Initiative считают, что современные достижения в области ИИ и большие массивы экспериментальных данных о биологии человека открывают беспрецедентные возможности для моделирования живых клеток.

Виртуальная клетка сможет воспроизводить поведение молекул, клеток, а в будущем - тканей и органов человека. Такая модель позволит глубже понять принципы работы здоровых клеток и выявить причины заболеваний. По мнению авторов, успешная виртуальная клетка должна обладать универсальностью, предсказывать функции и поведение клеток, а также позволять проводить эксперименты "in silico" для проверки гипотез.
news.stanford.edu

✔️ Гарвардский университет и Google выпустят базу данных из 1 млн. книг для обучения ИИ.

База данных включает различные жанры, языки и авторов, включая Диккенса, Данте и Шекспира, которые больше не защищены авторским правом в силу своего возраста. Набор книг создан на основе многолетнего проекта сканирования книг Google Books, и Google будет участвовать в ее распространении.

База данных предназначена для того, чтобы "создать равные условия" доступа к массиву данных всем - от исследовательских лабораторий до стартапов в области ИИ, - кто хочет обучать свои LLM. В настоящее время база данных находится на стадии доработки и в скором времени будет доступна для широкого использования.
institutionaldatainitiative.org

@ai_machinelearning_big_data

#news #ai #ml

Анализ данных (Data analysis)

12 Dec 2024 10:02

Освойте универсальные навыки в мире цифровых профессий — научитесь работать с SQL, Python, Power BI и DataLens на бесплатном курсе от Нетологии.

В результате вы:

— разберётесь в основах Python для анализа данных и узнаете, как извлекать информацию.

— научитесь делать запросы и отчёты с помощью SQL.

— сможете строить интерактивные дашборды в Power BI и DataLens.

Курс подойдёт новичкам и тем, кто хочет расширить свои навыки.

Присоединяйтесь

🎁 После бесплатного курса вы пройдете карьерную консультацию и сможете дальше развивать навыки на курсе Аналитик данных или Data Scientist в Нетологии с выгодой до 50%.

Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5xyY3Jg

Анализ данных (Data analysis)

11 Dec 2024 20:30

🔈 VoiceCraft — это нейронная языковая модель, которая выполняет редактирование речи и синтез речи (zero-shot), включая аудиокниги, видео и подкасты!

🌟 Модель требует всего несколько секунд эталонного голоса для клонирования или редактирования. Поддерживаются интерфейсы через Gradio, Docker и команды CLI, а также инструменты для обучения и дообучения.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

11 Dec 2024 09:03

🖥 Книги, меняющие жизнь, — топ, составленный основателем OpenAI Сэмом Альтманом

Запоминаем и развиваемся:
1. Виктор Франкл, «Человек в поисках смысла».
2. Даниэль Канеман, «Думай медленно… решай быстро».
3. Питер Тиль, «От нуля к единице».
4. Олдос Хаксли, «О дивный новый мир».
5. Дэвид Дойч, «Начало бесконечности».
6. Рид Хоффман, «Блиц-масштабирование».
7. Ник Бостром, «Искусственный интеллект».
8. Джек Уэлч, «Победитель».
9. Скот Купор, «Секреты Сэнд-Хилл Роад».

@data_analysis_ml

Анализ данных (Data analysis)

09 Dec 2024 20:09

🔥 OpenAI предоставила доступ к Sora — новому мощному генератору видео, способному изменить множество отраслей. Это произошло!

Теперь вы можете:

- Создавать видео на основе текстов и изображений, делать ремиксы и объединять несколько роликов в единый видеоряд.
- Качество видео превосходит все ожидания — оно лучше, чем у Kling, GEN-3 и других конкурентов.
- Интерфейс включает в себя галерею, возможность создания папок и монтажа.
- Вы можете выбрать продолжительность видео до 20 секунд и разрешение до 1080p, а также продлить генерацию до пяти раз.
- Система была обучена на новостных материалах, поэтому генерация телевизионных передач получается особенно реалистичной.
- Доступ предоставляется платным подписчикам. За $20 в месяц вы получите 50 генераций, а за $200 — неограниченное количество генераций и отсутствие водяных знаков.

Попробовать можно здесь!

@data_analysis_ml

Анализ данных (Data analysis)

09 Dec 2024 11:01

⚡️ Модель преобразования текста в видео на основе DiT ,от команды, работающей над open sora plan!

https://huggingface.co/collections/BestWishYsh/consisid-6746dd0b18db651d5d502766
https://huggingface.co/papers/2411.17440

обеспечения единообразия.
✨ Высокое качество изображения: позволяет создавать реалистичные видеоролики, сохраняющие индивидуальность, с высоким качеством исполнения.

@data_analysis_ml

Анализ данных (Data analysis)

19 Dec 2024 13:01

🔹 Cтроим графики для анализа финансовых данных на открытом уроке «Визуализация данных. Основные "финансовые" графики, работа с mplfinance»

Рассмотрим свечные графики, научимся строить дополнительные линии на графиках и доверительные интервалы.

✅ Практика: свечные графики с помощью библиотеки mplfinance

Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска

👉 Регистрация на урок и подробности:
https://otus.pw/7PRb/?erid=LjN8JxNw8

#реклама
О рекламодателе

Анализ данных (Data analysis)

18 Dec 2024 17:29

⚡️ Вышли обновленные модели Granite 3.1 от IBM!

Доступна в 4 размерах с двумя различными архитектурами:

Mixture of expert
ollama run granite3-moe:1b
ollama run granite3-moe:3b

tool-based
ollama run granite3.1-dense:2b
ollama run granite3.1-dense:8b

IBM также выпстят эмбединги сегодня!

Только на английском языке:
ollama pull granite-embedding:30m

Многоязычный:
ollama pull granite-embedding:278m

https://ollama.com/library/granite3-dense:2b/blobs/63dd4fe4571a

@data_analysis_ml

Анализ данных (Data analysis)

18 Dec 2024 15:05

📌 Инсайды о Machine Learning и Data Science

Ловите свежий подкаст с руководителем ШАДа Алексеем Толстиковым, который вышел на канале Виктора Кантора

🔗 Что делает ML- и DS-специалистов конкурентоспособными
🔗 Могут ли в этих сферах закрепиться люди из совершенно других областей
🔗 Можно ли освоить Data Science самостоятельно
🔗 Почему глубокого знания математики и алгоритмов недостаточно для успешной работы
🔗 Как джуну найти работу
🔗 Как поступить в ШАД и справиться с учебой там

@data_analysis_ml

Анализ данных (Data analysis)

17 Dec 2024 15:01

📊 ai-hedge-fund — проект, направленный на создание и обучение ИИ-моделей для применения в финансовых рынках, с акцентом на торговлю и управление хедж-фондами!

🌟 В нем используются методы машинного обучения и искусственного интеллекта для прогнозирования движений рынка и автоматической торговли на основе собранных данных. Репозиторий включает в себя примеры реализации, данные для обучения и инструменты для тестирования стратегии торговли с использованием ИИ.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

17 Dec 2024 11:18

⚡️ Google представили Veo 2

• Качество выходного видео достигает 4K — результат просто потрясающий.
• Нейросеть генерирует видео длиной до 10 секунд, хотя разработчики рекомендуют ограничиться 8 секундами.
• Есть незначительные проблемы с динамикой, но специалисты из DeepMind обещают оперативно их устранить.
• Вскоре нейросеть сможет использовать изображения и даже другие видеоролики в качестве референсов.

Согласно внутренним тестам Google, пользователям больше нравятся генерации Veo, чем SORA, в 58,8% случаев. Видео действительно впечатляют (особенно примеры с помидорами, спагетти и картами). Некоторые из этих роликов созданы пользователями, и при использовании тех же промтов результаты в SORA оказываются менее качественными.

https://deepmind.google/technologies/veo/veo-2/

@data_analysis_ml

Анализ данных (Data analysis)

15 Dec 2024 11:31

🔥 Olares — это open-source платформа для создания собственного облака, предназначенная для использования в качестве альтернативы публичным облачным сервисам, таким как AWS!

🌟 Она предоставляет инструменты для управления личными данными, хостинга AI-моделей, запуска приложений и защиты файлов, при этом сохраняя контроль над конфиденциальностью и данными. Основные особенности включают поддержку локального хостинга AI, децентрализованные социальные сети, инфраструктуру на базе Kubernetes для многозвенных решений и безопасность уровня корпоративных стандартов. Olares акцентирует внимание на гибкости, владении данными и конфиденциальности с возможностью интеграции различных приложений и инструментов для разработки.

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

14 Dec 2024 14:02

🔥 Reor — это приложение для создания заметок на рабочем столе с использованием искусственного интеллекта: оно автоматически связывает связанные заметки, отвечает на вопросы в ваших заметках и обеспечивает семантический поиск!

🌟 Все хранится локально, и вы можете редактировать свои заметки с помощью редактора Markdown, похожего на Obsidian.

🔐 Лицензия: AGPL-3.0

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

13 Dec 2024 13:43

🎉 Только что вышла DeepSeek-VL2! Новая модель vision-language нового поколения.

🤖 Deep SeekMo Search + динамическая обработка изображений
⚡ 3B/16B/27B размеры
🏆 Высокая производительность на всех бенчмарках

DeepSeek-VL2 - усовершенствованная серия VLM c Mixture-of-Experts (MoE), которая значительно превосходит DeepSeek-VL.
 
Модели семейства ориентированы на задачи визуальных ответов на вопросы, оптического распознавания символов, понимания документов/таблиц/схем и визуального обоснования.

DeepSeek-VL2 включает три основных модуля:

🟠Визуальный энкодер SigLIP-SO400M-384, который использует динамическую стратегию разбиения изображения на фрагменты. Эта стратегия позволяет эффективно обрабатывать изображения высокого разрешения с различными соотношениями сторон.

🟠VL-адаптер, преобразующий визуальные элементы в формат, понятный языковой модели. Адаптер также добавляет специальные маркеры, чтобы обозначить границы строк, фрагментов и миниатюр.

🟠Языковая модель DeepSeek-MoE с механизмом MLA. MLA повышает эффективность обработки информации, сжимая kv-данные в компактный вектор. Это ускоряет обработку информации и увеличивает пропускную способность.

DeepSeek-VL2 обучается в три этапа: на первом этапе обучается MLP-соединитель, который связывает визуальный энкодер с языковой моделью, затем модель обучается на датасете из текста, изображений, аннотаций, QA и данных OCR и, в конце процесса, дообучается с учителем для улучшения ее способности понимать инструкции и вести диалог.
 
Модельная серия состоит из 3 вариантов c контекстом 4096:

🟢DeepSeek-VL2-Tiny (1B активных параметром и 3.4В общих);

🟢DeepSeek-VL2-Small (2.8B активных параметром и 16.1B общих);

🟢DeepSeek-VL2 (4.5B активных параметром и 27.5B общих).

DeepSeek-VL2 была протестирована на задачах DocVQA, ChartQA, InfoVQA, TextVQA, MMBench и показала лучшие результаты по сравнению с другими моделями MoE.

DeepSeek-VL2 эффективно использует архитектуру MoE и превосходит другие модели с аналогичным количеством активных параметров.


💡 По-прежнему полностью открытый исходный код!

💾 Hugging Face: huggingface.co/deepseek-ai
🖥Github: https://github.com/deepseek-ai/DeepSeek-VL2

@data_analysis_ml

Анализ данных (Data analysis)

13 Dec 2024 10:15

🔥 Phi-4 - новая блестящая работа Microsoft

Модель с параметрами 14B работает наравне с GPT-4o-mini и недавно выпущенной Llama-3.3-70B.

→ Модель достигает точности 91,8% при решении математических задач AMC 10/12, превосходя Gemini Pro 1.5 и другие более крупные модели.

📌 Инновация в области данных

Инженеры Microsoft разработали сложные методы генерации синтетических данных, которые выходят за рамки традиционных подходов к предварительному обучению.

→ Возможности математического анализа

Модель демонстрирует особую эффективность при решении сложных математических задач, что свидетельствует о расширенных возможностях символьного анализа и логического вывода

→ Инновации обучения: новые методы, такие как поиск ключевых токенов (PTS) в DPO.

🛡️ Первоначальный выпуск был ограничен платформой Azure AI Foundry в рамках лицензионного соглашения Microsoft Research

https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-phi-4-microsoft%E2%80%99s-newest-small-language-model-specializing-in-comple/4357090

@data_analysis_ml

Анализ данных (Data analysis)

12 Dec 2024 12:01

🖥 RAGHub — это каталог инструментов, проектов и ресурсов для Retrieval-Augmented Generation (RAG)!

🌟 Проект предлагает информацию о фреймворках, таких как LangChain, Haystack и других, а также о методах оптимизации, инструментах оценки и примерах использования RAG.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Анализ данных (Data analysis)

12 Dec 2024 08:53

⚡️Torchcodec – универсальная библиотека PyTorch для быстрого и точного декодирования видео.

Инструмент позволяет преобразовывать видео в тензоры с помощью интуитивно понятных API, высокой производительности процессора / CUDA и богатого встроенного инструментария ML.

Torchcodec является самой производительной библиотекой одновременного декодирования большого количества видео в рамках конвейера загрузки обучающих данных.

from torchcodec.decoders import VideoDecoder
from torch import Tensor

decoder = VideoDecoder("my_video.mp4")

# Index based frame retrieval.
first_ten_frames: Tensor = decoder[10:]
last_ten_frames: Tensor = decoder[-10:]

# Multi-frame retrieval, index and time based.
frames = decoder.get_frames_at(indices=[10, 0, 15])

Анализ данных (Data analysis)

11 Dec 2024 19:36

🌟 BioNeMo: фреймворк разработки ИИ-моделей для дизайна лекарств.

NVIDIA BioNeMo2 Framework - это набор инструментов, библиотек и моделей для вычислительного поиска и разработки лекарственный препаратов.

Он ускоряет самые трудоемкие и дорогостоящие этапы создания и адаптации моделей биомолекулярного ИИ, предоставляя оптимизированные модели и инструменты, которые легко интегрируются в вычислительные ресурсы на базе GPU.

Фреймворк позволяет создавать, обучать и настраивать модели, его возможности охватывают различные рабочие нагрузки и терапевтические механизмы: генерация молекул, предсказание структуры белка, белок-лиганд и обучение представлениям.

Помимо кода пайплайнов, скриптов и утилит, BioNeMo2 Framework содержит:

▶️Предобученные модели:

🟢ESM-2 - предварительно обученный двунаправленный энкодер (BERT-подобный) для аминокислотных последовательностей. BioNeMo2 включает в себя чекпоинты с параметрами 650M и 3B;

🟢Geneformer - модель табличного подсчета, которая генерирует плотное представление sc-RNA клетки путем изучения паттернов коэкспрессии в отдельных клетках.


▶️Датасеты:

🟠CELLxGENE - совокупность общедоступных single-cell наборов данных, собранных в CZI (Chan Zuckerberg Initiative) общим объемом в 24 млн. клеток;


🟠UniProt - база данных кластеризованных наборов белковых последовательностей из UniProtKB, созданная на основе транслированных геномных данных.


📌Лицензирование: Apache 2.0 License.


🟡Страница проекта
🟡Документация
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Framework #NVIDIA

Анализ данных (Data analysis)

10 Dec 2024 11:55

🔥 Только что выпущена обновленная версия Deep Seek-V2.5,

Результаты:
✨ MATH-50: 74,8% → 82,8%
✅ LiveCodebench: 29,2% → 34,38%
✅ Улучшены навыки написания текстов и рассуждения модели.
✅ Добавлен интерфейс для загрузки файлов и работы с веб-страницами.

https://huggingface.co/deepseek-ai/DeepSeek-V2.5-1210

@data_analysis_ml

Анализ данных (Data analysis)

09 Dec 2024 15:33

🌟 EuroLLM: многоязычные модели европейских языков.

EuroLLM - проект, финансируемый ЕС, цель которого создание набора LLM, способных понимать и генерировать текст на всех языках Европейского Союза, а также на некоторых других распространенных не-ЕС языках:

Болгарский, хорватский, чешский, датский, голландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, ирландский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, арабский, каталанский, китайский, галисийский, хинди, японский, корейский, норвежский, русский, турецкий и украинский.

▶️В коллекции представлены модели:

🟢EuroLLM-9B - модель с 9 млрд. параметров, контекстом 4096, обученная на 4 трлн. токенов;

🟢EuroLLM-9B-Instruct - инструктивная версия на основе EuroBlocks, набора данных для настройки инструкций, ориентированного на общее следование инструкциям и машинный перевод;

🟠EuroLLM-1.7B - модель с 1,7 млрд. параметров, контекст - 4096;

🟠EuroLLM-1.7B-Instruct - инструктивная версия на датасете EuroBlocks. Демо


⚠️ Ко всем моделям неофициально выпущены квантованные версии в GGUF-формате, ссылки доступны в карточке модели на HF.


▶️Пример кода инференса EuroLLM-9B на Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "utter-project/EuroLLM-9B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

text = "English: My name is EuroLLM. Portuguese:"

inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Анализ данных (Data analysis)

09 Dec 2024 09:02

Погружаемся в ML вместе на Data Dojo!

Собираемся уже 17 декабря, чтобы послушать три доклада от спикеров из разных сервисов Яндекса:

🔸 Илья Дьяков из команды Автономного транспорта разберёт задачку с Yandex ML Cup. Она связана с симуляторами, которые предсказывают дорожное движение и тестируют ML-модели до того, как они попадут в настоящие автомобили.

🔸 Артемий Вешкин из Яндекс Музыки тоже рассмотрит один из этапов Yandex ML Cup. И расскажет, как разработать решение, которое будет отличать кавер-версии от оригиналов песен.

🔸 Николай Карпачёв из команды Переводчика расскажет, как ребята поучаствовали в соревновании по качеству перевода на WMT24. В главном треке ребята попали в топ-5!

📅 Зарегистрироваться и узнать подробности можно тут.

Ждём вас!

Реклама. ООО "Яндекс", ИНН 7736207543.