15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🔥 Potpie — это инструмент для анализа и автоматизации работы с кодовой базой, который использует ИИ-агентов!
🌟 Он создает граф знаний из компонентов вашего проекта, чтобы предоставлять подробный контекст и рекомендации. Potpie позволяет использовать готовых агентов для отладки, анализа структуры кода, выполнения изменений и других задач, а также предлагает платформу для создания собственных агентов.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🧬 Evaluating GenMol as a Generalist Foundation Model for Molecular Generation
Могут ли генеративные модели на основе дискретной диффузии превзойти модели предсказания на основе GPT в молекулярных задачах? Советую почитать о GenMol, новом швейцарском армейском ноже NVIDIA для создания лекарств!
🔗статья: https://arxiv.org/abs/2501.06158
🔗блог: https://developer.nvidia.com/blog/evaluating-genmol-as-a-generalist-foundation-model-for-molecular-generation/
🔗демо: https://build.nvidia.com/nvidia/genmol-generat
@bigdatai
💥 Наглядная визуализация многомерных пространств.
@bigdatai
Генерация 3D-сетки из одного изображения МЕНЕЕ ЧЕМ ЗА СЕКУНДУ 🤯
https://huggingface.co/stabilityai/stable-point-aware-3d
👩💻 datasketch — Python-библиотека, содержащая реализации вероятностных структур данных, которые используются для оптимизации работы с большими объемами данных!
🌟 Среди основных возможностей — оценка схожести Jaccard с помощью MinHash и его взвешенной версии, а также оценка кардинальности множества с помощью HyperLogLog и HyperLogLog++. Эти структуры данных позволяют выполнять операции, такие как поиск схожих элементов или подсчет уникальных объектов, быстро и с минимальными затратами памяти.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
📖 Эта статья исследует уязвимость моделей типа Mixture-of-Experts (MoE)!
🌟 Исследователи показывают, как злоумышленники могут извлечь промпты пользователей путём манипуляции запросами в тех же пакетах, что и запросы жертвы. Это первый известный случай использования архитектурных уязвимостей для извлечения промптов, что открывает новый класс уязвимостей для LLM.
🔗 Ссылка: *клик*
@bigdatai
🔥 TEN-Agent — фреймворк для создания разговорных ИИ-агентов!
🌟 Он интегрирует такие инструменты, как Gemini 2.0 Multimodal Live API, OpenAI Realtime API, RTC и другие. TEN-Agent поддерживает функции реального времени, включая возможность "видеть", "слышать" и "говорить", а также предоставляет такие инструменты, как проверка погоды, веб-поиск и Retrieval-Augmented Generation (RAG). Этот проект позволяет создавать ИИ-агентов, способных выполнять различные действия в реальном времени и предоставляет удобное локальное окружение для работы через Docker.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
📹 Новый ИИ от NVIDIA: революция в 3D-моделировании!
📌 Источник
@bigdatai
🔥 Топ-11 трендов ИИ следующего года!
💡 Среди озвученных тенденций в развитии искусственного интеллекта — мультимодальность, большее распространение открытого кода, создание высоко персонализированных сервисов, автономные системы и создание SLM под конкретные задачи.
🌟 В ближайшем будущем в тренде будет мультимодальный искусственный интеллект, который обрабатывает информацию разного типа. А Open Source модели будут способствовать коллаборации в сообществе, улучшая качество и доступность ИИ-технологий.
🔗 Ссылка: *клик*
@bigdatai
🔥 Julep — платформа для создания AI-агентов, которые могут выполнять сложные многошаговые задачи!
🌟 Она поддерживает долгосрочную память, принятие решений и интеграцию с внешними API. Julep позволяет создавать рабочие процессы, состоящие из нескольких шагов, с возможностью принятия решений на основе выводов моделей, параллельной обработки и использования инструментов в рамках задач. Платформа идеально подходит для разработки более сложных AI-приложений, которые требуют выполнения многозадачности и взаимодействия с внешними системами. Ключевые особенности включают сохранение состояния агентов, управление задачами и восстановление процессов.
🔐 Лицензия: Apache-2.0
🖥 Github
@bigdatai
🌟 MiniVLA: компактная Vision-Language-Action модель для робототехники.
AI-лаборатория Стенфордского университета представила модель MiniVLA — усовершенствованную версию Vision-Language-Action (VLA), компактную альтернативу OpenVLA.
Отличительная особенность MiniVLA - сокращенное в 7 раз количество параметров (1 млрд. против 7 миллиардов у OpenVLA), что дает значительное ускорение процессов обучения и инференса.
В архитектуре MiniVLA используется тот же ViT для обработки изображений, что и в OpenVLA, однако в качестве языковой модели используется Qwen 2.5 0.5B вместо Llama 2 7B.
Обучение языковой модели основано на датасете Llava-1.5-Instruct VQA, аналогично базовой модели Prismatic VLM в OpenVLA. Несмотря на уменьшение размера, MiniVLA демонстрирует сопоставимую с OpenVLA производительность в рамках бенчмарка Libero-90 (61.4% против 62%).
Одно главных усовершенствований MiniVLA - применение векторного квантования (VQ) для кластеризации действий (action chunking). Вместо дискретного представления действий, модель прогнозирует их последовательности, которые кодируются в виде M кодовых индексов с помощью VQ-BeT5. Это существенно повышает производительность на Libero-90.
Так, MiniVLA с VQ h8 (action chunks) достигает 77% успеха, в то время как базовая модель MiniVLA и OpenVLA демонстрируют 61.4% и 62% соответственно.
MiniVLA поддерживает подачу на вход нескольких изображений, что позволяет использовать "историю изображений" и серию снимков с носимых целевым роботом камер. Мульти-кадровая возможность способствует повышению производительности на Libero-90: модель MiniVLA с VQ h8 и историей изображений (history=2) достигает 82% успешности, а с кадрами с новимой камеры — 82.1%.
По сделанным замерам производительности, MiniVLA показывает в 2.5 раза более высокую скорость инференса, чем OpenVLA (12.5Hz против 5Hz) на одном GPU NVIDIA L40s.
▶️В репозитории на HF опубликованы несколько вариантов MiniVLA:
🟢Prism with Qwen 2.5 0.5B backbone
🟢MiniVLA 1B Wrist VQ
🟢MiniVLA VQ 1B
🟢MiniVLA Image History (T=2) VQ 1B
🟢MiniVLA 1B
🟢MiniVLA 1B VQ Trained on Bridge V2
📌Лицензирование: MIT License.
🟡Статья
🟡Набор моделей
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #VLA #MiniVLA
В Х набирает популярность пост задача, на которую у одного участника (о1 pro) якобы ушло 4 часа 😂.
Автор сам уточнил, что это неправда, несмотря на то, что многим поверился скриншот. На самом деле правильное решение другой участник (o1 pro) нашел всего за одну минуту.
@bigdatai
🔥 gitingest — это инструмент для извлечения и анализа данных из репозиториев Git!
🌟 Он позволяет автоматизировать сбор информации, такой как изменения в коммитах, ветках, авторах, и преобразовывать эти данные в форматы, удобные для работы с LLM.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
📌Как линейная алгебра может помочь при разработке web-приложения.
Интересная и познавательная статья разработчика Ивана Шубина о том, как он использовал матрицы для создания интерактивного редактора диаграмм Schemio.
Изначально, редактор позволял создавать простые фигуры и манипулировать ими, но с введением иерархии объектов возникла необходимость в сложных преобразованиях координат. Матрицы стали ключом к решению этой проблемы, позволяя эффективно управлять перемещением, вращением и масштабированием объектов.
Для преобразования глобальных и локальных координат между собой использовались матричные преобразования. Умножение матриц дало возможность комбинировать преобразования, а инверсия матрицы помогает переводить координаты из глобальных в локальные.
Иван подробно описывает, как матрицы помогают управлять поворотом и масштабированием объектов относительно опорной точки и как они используются при монтировании и демонтировании объектов, чтобы избежать нежелательных коллизий.
Таким образом, матричная математика стала решением для расширения возможностей редакторе Schemio.
🔜 Читать полную версию статьи
#Math #LinearAlgebra #Webdev
Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT.
На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков.
Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий.
А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика.
Начните свой путь в сфере аналитики данных — присоединяйтесь к программе.
Промокод BIGDATA45 даст повышенную скидку 45% от цены курса.
Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5ykCkoa
🧠 Helium 1 preview 2b
Kyutai labs выпустили Helium-1 Preview, 2B многоязычный LLM для edge девайсов и мобильных устройств.
Модель, обучена на 2,5 Т токенов и превосходит Qwen 2.5 1.5B🔥
> Превосходит/сопоставим с Owen 1.5B, Gemma 2B и Llama 3B
> обучен на 2.5T токенов с размером контекста 4096
> использует дистилляцию на уровне 7B модели
> разработчики планируют добавить больше языков, выпустить полную версию
> открытый код
🤗 HF: https://huggingface.co/kyutai/helium-1-preview-2b
@ai_machinelearning_big_data
#Helium #llm #ml
🔥 Inferable — это платформа с открытым исходным кодом, предназначенная для создания и управления AI-агентами, интегрированными с LLM!
🌟 Платформа ориентирована на разработчиков, предоставляя удобный инструментарий для построения автоматизаций, которые могут выполнять сложные задачи с помощью вызова заранее определенных функций. Inferable поддерживает долговечное выполнение задач, автоматическое восстановление после сбоев, кэширование результатов и балансировку нагрузки, что делает её надежным решением для продакшн-сред.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🤖 AI Agent Tools
Awesome список фреймворков, платформ, инструментов, учебников и ресурсов для ИИ-агентов.
Я только что нашел качественный ресурс для изучения работы ИИ-агентов, охватывающий все, от фреймворков до внутреннего устройства агентов.
http://aiagenttoolkit.xyz
@bigdatai
🔥 PromptWizard — это фреймворк для оптимизации запросов в задачах, использующих LLM!
🌟 Он автоматизирует процесс создания, анализа и улучшения запросов, используя итеративный подход, где модель сама генерирует и дорабатывает инструкции и обучающие примеры. Этот инструмент помогает адаптировать запросы к конкретным задачам, обеспечивая лучшее качество ответов и более глубокое понимание инструкций языковой моделью.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🔥 Эта статья описывает, как визуализировать и анализировать использование GPU-памяти в PyTorch!
🌟 В ней объясняется, как использовать инструмент для записи и анализа истории использования памяти, чтобы выявить проблемы с памятью при обучении моделей. Рассматриваются методы оценки требований к памяти, оптимизации ее использования и понимания различных этапов, таких как создание модели, передача данных, расчеты градиентов и шаги оптимизации.
🔗 Ссылка: *клик*
@bigdatai
⚡️ Введение в тензорные сети
📌 Видео
📌 Урок 1 / Урок2 / Урок3 / Урок4 / Урок5
📌 Colab
Уголок AI-энтузиастов от Сбера 🤖
Sber AI Lab — центр экспертизы Сбера в области искусственного интеллекта и активный участник глобального научного комьюнити.
✅ Команда создаёт полезные алгоритмы, фреймворки и технологии в разных сферах: от банкинга до медицины.
✅ Топ по количеству научных статей на A*/A конференции и Q1 журналы в Сбере
✅ Среди open-source решений лаборатории ИИ: LightAutoML (победитель Kaggle Grand Prix 2024), RePlay, pytorch-lifestream, eco2ai и другие инструменты. Узнать больше о решениях можно на GitHub.
Ты можешь стать частью нашей команды и сделать свой вклад в развитие AI-проектов в интересных тебе направлениях тут.
📖 Эта статья рассматривает расширенную концепцию обучения в контексте, где модели языка могут адаптироваться и учиться на основе примеров, представленных в контексте!
🌟 Она предлагает более широкую перспективу, в которой рассматриваются не только задачи обучения с несколькими примерами, но и более сложные процессы мета-обучения, такие как адаптация к задачам, извлечение зависимостей и обобщение знаний.
🔗 Ссылка: *клик*
@bigdatai
🌟 DepthLab: инпейнт карт глубины на основе диффузионных моделей.
DepthLab - диффузионный механизм инпейнта карт глубины с двумя параллельными ветвями для задач заполнения 3D-сцен, генерации сцен на основе текстовых промптов, реконструкции с использованием DUST3R и заполнение глубины LiDAR.
Первая ветвь, Reference U-Net извлекает признаки из RGB-изображений, которые служат условием для второй ветви.
Вторая ветвь, Estimation U-Net, обрабатывает имеющиеся данные о глубине и маску, определяющую области, требующие восстановления. Признаки RGB, полученные из Reference U-Net, последовательно интегрируются в Estimation U-Net, что позволяет управлять процессом восстановления.
Взаимодействие между ветвями Reference U-Net и Estimation U-Net реализуется механизмом cross-attention, который использует CLIP encoder.
Архитектура DepthLab опирается на наработки Marigold и Stable Diffusion V2. Кодирование RGB-изображений и карт глубины в латентное пространство осуществляется VAE. Маска также кодируется с помощью VAE, что позволяет сохранить детальную информацию о форме и границах.
Обучение DepthLab проводилось на двух синтетических датасетах: Hypersim (54 тысячи обучающих образцов) и Virtual KITTI (20 тысяч обучающих образцов). Для расширения обучающей выборки использовались случайные искажения изображений и несколько стратегий маскирования: штрихи, окружности, квадраты и их комбинации.
Оценка качества восстановления проводилась на 5 наборах: NYUv2, KITTI, ETH3D, ScanNet, DIODE. В качестве метрик использовались абсолютная относительная ошибка (AbsRel) и точность в пределах δ1 = 1.25.
Результаты тестов демонстрируют, что DepthLab превосходит как дискриминативные (DiverseDepth, MiDaS, LeReS, Omnidata, HDN, DPT, DepthAnything, DepthAnythingV2), так и генеративные (Marigold, DepthFM, GeoWizard) методы в постоении карт глубины.
Для локального инференса потребуются модели:
🟢Marigold checkpoint;
🟢Энкодер CLIP-ViT-H-14-laion-2B;
🟢Набор чекпоинтов DepthLab.
▶️Локальная установка и инференс:
# Clone repo
git clone https://github.com/Johanan528/DepthLab.git
cd DepthLab
# Create conda env
conda env create -f environment.yaml
conda activate DepthLab
# Run inference
cd scripts
bash infer.sh
Сделали для вас подборку из полезных статей по AI/ML
Недавно наткнулись на блог YADRO на Хабре. Кто не знает, это крупный производитель IT-оборудования, и в их блоге мы нашли годные статьи по AI/ML.
Если интересуешься AI-задачами в бизнесе, то это для тебя:
→ Как мы исследовали энергоэффективность инференса нейросетей на планшете
→ Действительно ли большие языковые модели галлюцинируют? Эксперимент
→ Как мы построили модель прогнозирования выхода жестких дисков из строя
И подписывайся на блог — статьи по AI/ML тут выходят минимум раз в месяц.
🔥 Onyx — платформa для интеграции AI-чатов с документами, приложениями и членами вашей команды!
🌟 Это позволяет создавать чат-ассистентов, которые могут взаимодействовать с данными, хранящимися в различных инструментах (Slack, Google Drive, Jira и т. д.). Он поддерживает локальную установку или облачное развертывание и позволяет безопасно управлять доступом и конфиденциальностью данных.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
⚡️ Математика машинного обучения.Базовые понятия тензорного исчисления. Урок 3
📌 Видео
📌 Урок 1 / Урок2
📌 Colab
@bigdatai
🔥 SWE-agent — проект, предназначенный для автоматизации процесса разработки программного обеспечения с использованием технологий машинного обучения и искусственного интеллекта!
🌟 SWE-agent (Software Engineering Agent) — это агент, который помогает разработчикам в автоматизации рутинных задач, таких как написание кода, тестирование, документация и другие аспекты разработки.
🔐 Лицензия: MIT
🖥 Github
@bigdatai
🔥 PSHuman — новый инструмент для генерации 3D-модели человека из одного изображения!
🌟 Он создает подробную геометрию и реалистичный трехмерный облик человека в различных позах в течение всего одной минуты!
🔐 Лицензия: MIT
🔗 Страница проекта: *клик*
📖 Arxiv
🖥 Github
@bigdatai
⚡️ Релиз IBM Granite 3.1.
IBM представила Granite 3.1, обновление семейства открытых и высокопроизводительных LLM, оптимизированных для корпоративного использования. Обновление принесло семейству повышение производительности, точности в критически важных корпоративных сценариях: использование инструментов, RAG и рабочие процессы на основе AI агентов.
В этом релизе особое внимание уделялось улучшению обработки длинных текстов благодаря расширенному контекстному окну и детекту галлюцинаций. Все модели семейства Granite 3 получили длину контекстного окна в 128 тысяч токенов. Для сравнения, это примерно 300-страничная книга.
Набор LLM Granite 3.1 8B и 2B, базовые и инструктивные версии. Флагманская Granite 3.1 8B достигает одних из самых высоких средних баллов среди открытых моделей своего класса на Hugging Face OpenLLM Leaderboard.
MoE-модели Granite 3.1 3B и 1B c 800M и 400M активных параметров соответственно и их инструктивные версии.
Granite Embedding в 4 размерах (125M и 30M для английского языка и 278M и 107М - мультиязычные), которые поддерживают 12 языков: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, голландский и китайский.
Granite Guardian 3.1 8B и 2B - специализированные модели обнаружения галлюцинаций при вызовах функций. Они отслеживают каждый вызов функции на предмет синтаксических и семантических отклонений, повышая достоверность и управляемость в рабочих процессах.
▶️Вместе с моделями, IBM представила инструменты и фреймворки с открытым исходным кодом:
🟠Docling - инструмент для подготовки документов к RAG, предобучению и тонкой настройке ( извлечение информации из форматов PDF, DOCX, изображения, PPTX, XLSX, HTML и AsciiDoc).
🟠Bee - фреймфорк создания масштабируемых приложений на основе AI агентов.
⚠️ Все модели Granite 3.1, Granite Guardian 3.1 и Granite Embedding доступны в средах: IBM watsonx.ai, Hugging Face, LM Studio, Ollama и Replicate.
📌Лицензирование: Apache 2.0 license.
🟡Статья
🟡Набор моделей
🟡Документация
@ai_machinelearning_big_data
#AI #ML #LLM #Embeddings #IBM #Granite