15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
Production ML: как настроить GPU-ноды в кластерах Kubernetes?
29 августа в 16:00 Selectel проведет практический воркшоп, на котором покажут, как запустить ML-сервис в Kubernetes – подготовить кластер, настроить драйверы на GPU-нодах и запустить автоскейлинг.
На вебинаре рассмотрим особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.
Мероприятие бесплатное. Посмотреть программу вебинара и зарегистрироваться по ссылке: https://slc.tl/qonwc
Реклама АО «Селектел». ИНН: 7810962785
Erid: 2VtzqwWpy9W
⚡️ TurboEdit обеспечивает быстрое редактирование изображений на основе текста всего за 3-4 шага!
Модель улучшает качество редактирования изображений, которое сохраняет исходное изображение за счет использования смещенного алгоритма шумов и метода псевдонаправления, устраняя такие проблемы редактирования, как визуальные артефакты и слабые места при редактировании.
https://turboedit-paper.github.io
@bigdatai
⚡️ Создаем мощный детектор объектов с помощью Fastslam с
помощью ultralytics 🚀
🔗Код: https://docs.ultralytics.com/models/fast-sam/
💡 Здесь используется уменьшенная версия FASTSAM, которая позволяет обнаруживать объекты в режиме реального времени + для повышения производительности используется botsort функция.
#искусственныйинтеллект #отслеживаниеобъектов #sam2
@bigdatai
🖥 Интерактивная схема устройства работы векторных баз данных
@bigdatai
🔥 UnpromptedControl
Unprompted Control — это утилита, которая автоматически удаляет объекты с изображений и восстанавливает поврежденные области, используя методы глубокого обучения и смешивания. В этом процессе ключевую роль играют модели Control Net и Stable Diffusion Inpaint Pipeline, которые направляют восстановление и обеспечивают естественное слияние результатов с остальным изображением.
Однако метод имеет свои ограничения, особенно при работе с изображениями лиц и тел людей. В таких случаях может потребоваться маскирование не только самого объекта, но и его теней для достижения наилучшего результата.
Несмотря на эти сложности, репозиторий предлагает ценный инструмент для бесшовного восстановления и удаления объектов.
- Githiub
- Colab
@bigdatai
🌟BRAG: Серия Instruct-RAG LLM.
BRAG - это серия специализированных языковых моделей, обученных для RAG-задач с текстом, таблицами и в режиме чата. Все модели ориентированы в основном на английский язык, но модели на базе Llama-3.1-8B и Qwen2-1.5b имеют наследованную поддержку мультиязычности.
В качестве базовых моделей использованы Qwen2-1.5B, Qwen2-7B-Instruct, Llama-3.1-8B-Instruct и Llama-3-8B-Instruct.
Список моделей:
🟢BRAG-Qwen2-7b-v0.1 Instruct | 7B | 128K
🟢BRAG-Llama-3.1-8b-v0.1 Instruct | 8B | 128K
🟢BRAG-Llama-3-8b-v0.1 Instruct | 8B | 8K
🟢BRAG-Qwen2-1.5b-v0.1 Instruct | 1.5B | 32K
▶️Формат промта:
messages = [
{"role": "system", "content": "You are an assistant who gives helpful, detailed, and polite answers to the user's questions based on the context with appropriate reasoning as required. Indicate when the answer cannot be found in the context."},
{"role": "user", "content": """Context: <CONTEXT INFORMATION> \n\n <USER QUERY>"""},
]
🤖 LSP-AI
Интересный инструмент с открытым исходным кодом, позволяющий обсуждать ваш код с ИИ, над которым работаете, без переключения контекста.
Общайтесь с LLM прямо в текстовом редакторе
Работает с любым LSP-совместимым редактором (VS Code, Neovim, Helix, Emacs и т.д.)
Поддерживает различные локальные Lms, используя llama.cpp, Ollama, любой сервер, совместимый с OpenAPI, и многое другое.
▪ Github
@bigdatai
🔝 Caldera
Набор данных Caldera представляет собой сцены с открытым исходным кодом, содержащую большую часть геометрии, найденной в игре Call of Duty®: Warzone™. Это не фактические производственные данные, а скорее преобразование их частей в формат файла USD с открытым исходным кодом.
▪ Github
@bigdatai
✨ На платформе LLM Arena была обнаружена новая модель Яндекса YandexGPT Experimental
Эта модель, которая станет частью обновленного семейства YandexGPT, уже делит лидерство в рейтинге с такими крупными игроками, как GPT-4o, GPT-4 Turbo и Claude 3,5 Sonnet. Яндекс подтвердил, что работает над улучшением своей языковой модели, и обещает значительное повышение её возможностей.
LLM Arena, созданная независимыми разработчиками из российского ML-комьюнити, предоставляет пользователям возможность сравнивать ответы различных нейросетей на русском языке. Пользователи могут задавать любые вопросы и объективно оценивать качество ответов благодаря обезличенному формату.
@bigdatai
🔵🗣Вырасти до хардового Middle+ аналитика.
Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
Рассмотрите — авторский курс про архитектуру и интеграции
с практикой.
—————
По результатам курса вы:
▫️научитесь выбирать стиль интеграции под вашу задачу;
▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);
▫️поймете, как правильно собирать требования и моделировать в UML;
▫️подготовитесь к собеседованию, решив более 100 тестов;
▫️разработаете свой API на Python;
—————
🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡
• Всю программу и отзывы смотрите в боте курса.
• Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы.
• Результат после прохождения курса: 15 рабочих проектов в портфолио.
• Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества)
🔹🔹 С чего начать?🔹🔹
С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите.
👇
@studyit_help_bot
Скидка на курс от канала —
1 000₽ по промокоду BIGDAT до 31 июля
💸💵 AI Startup Cohere Valued at $5.5 Billion in New Funding Round
Канадский стартап Cohere Inc., занимающийся разработкой крупномасштабных языковых моделей для бизнеса, поднял $500 млн в новом раунде финансирования и оценивается в $5.5 млрд. 💰
Cohere, работающий с крупными клиентами вроде Oracle и Notion Labs, предлагает альтернативу популярным чатботам, сосредотачиваясь на практическом применении ИИ для улучшения бизнес-процессов.
Компания планирует удвоить численность своих сотрудников и сохранить свою главную базу в Торонто, несмотря на наличие офисов в Сан-Франциско и Лондоне.
#аналитика #bigdata #бизнес #IT #менеджмент #управление_продуктом #технологии
@bigdatai
Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов
💡 Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов, используя метод CoWoS. Основатель Nvidia Дженсен Хуанг встретился с руководителями TSMC, но получил отказ. TSMC признала, что не сможет удовлетворить спрос на компоненты для ИИ-систем до 2026 года, и решила сохранять равные условия для всех клиентов. Хотя TSMC ранее предоставляла привилегии крупным клиентам, как Apple, ситуация с Nvidia отличается. Компания будет жестко отстаивать свои интересы в переговорах. 🌐
#python #machinelearning #neuralnetwork #ml
@bigdatai
✨Яндекс разработал алгоритм, позволяющий сжимать языковые модели в 8 раз без потери качества
Команда Yandex Research совместно с исследователями IST Austria разработала новые методы сжатия больших языковых моделей и выложила их в опенсорс. При уменьшении моделей этим способом в 8 раз исследователям удалось сохранить качество ответов в среднем на 95%.
Решение позволит компаниям и независимым разработчикам значительно сэкономить потребляемые ресурсы и ускорить работу нейросетей. Например, запускать модели на устройствах с небольшой вычислительной мощностью.
Статья о новом подходе вошла в программу международной конференции по машинному обучению ICML: https://habr.com/ru/companies/yandex/articles/830410
@bigdatai
✨Наборы данных NuminaMath: крупнейшая коллекция из ~ 1 млн пар задач и решений для математических соревнований, варьирующихся по сложности от юношеских олимпиад до университетских экзаменов.
➡️ Цепочка рассуждений (CoT): 860 тысяч пар задач и решений, созданных с помощью CoT.
🛠️ Инструментально-интегрированные рассуждения (TIR): 73 тысячи синтетических решений, полученных на основе GPT-4, с обратной связью по выполнению кода для разбивки сложных задач на более простые подзадачи, которые могут быть решены с помощью Python.
Модели, обученные на NuminaMath, демонстрируют лучшие в своем классе показатели среди моделей с открытым весом и приближаются или превосходят собственные модели по показателям математических соревнований 🔥
🤗 Hub: https://huggingface.co/collections/AI-MO/numinamath-6697df380293bcfdbc1d978c
@bigdatai
🌟 Athene-Llama3-70B: улучшенная чат-модель Llama-3-70B-Instruct от Nexusflow.
Athene-Llama3-70B - это чат-ориентированная модель, дообученная с помощью RLHF на основе Llama-3-70B-Instruct.
Значительное повышение производительности - это результат строгих оценочных показателей в процессе обучения, качественный собственный датасет и уникальный посттренинговый конвейер Nexusflow.
Улучшения по сравнению с исходной Llama-3-70B-Instruct:
🟢Более точное следование инструкциям, модель лучше реагирует на сложные промпты, выдавая четкие и лаконичные ответы;
🟢Повышена способность в математике и рассуждениях, способность решать вопросы, требующие большого количества аргументов;
🟢Улучшен навык помощи написания кода в виде расширенных предложений по коду для более легкого создания и внедрения;
🟢Доработана креативность в написании текстов, писем, эссэ;
🟢Улучшена поддержка мультиязычности и повышено качество семантического перевода с одного языка на другой.
Athene-70B показала результат 77,8% в Arena-Hard-Auto, что ставит ее в один ряд с GPT-4o (79,2%) laude-3.5-Sonnet (79,3%).
Для сравнения, базовая Llama-3-70B-Instruct в Arena-Hard-Auto демонстрировала результат в 46,6%.
▶️Внимание, размер модели составляет ~ 140 Gb
Athene-70B использует тот же шаблон системного промпта, что и Llama-3-70B-Instruct.
📌Лицензирование: CC-BY-NC-4.0
🌟 Clapper: Альфа-версия комбайна для визуализации генеративных сценариев.
Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke
Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала.
Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии.
В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д.
Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром.
⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов.
Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами:
HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI.
Проект написан на TypeScript. Необходимые условия перед установкой:
🟠Git LFS;
🟠Bun;
🟠NVM;
🟢Версия Node - 20.15.1.
▶️Установка и запуск:
# Install the dependencies:
# --include=optional to make
# sure deps are installed
bun i
# build the app:
npm run build
# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile
cd packages/app
bun run electron:start
# You can also build Clapper:
cd packages/app
bun run electron:make
🖥 open-interpreter инструмент управление компьютером с помощью естественного языка
Это Python-библиотека, которая позволяет управлять ПК с помощью обычной челочеческой речи, в том числе на русском. На видео переключаются со светлой темы на тёмную, конвертируют docx-файлы на рабочем столе в .pdf.
Репозиторий проекта
Интерактивная демка в Colab
#llm #библиотека
@bigdatai
⚡️ Отличная статья, которая только что вышла из Stanford Med; "Нелинейная динамика многомерных факторов при старении человека"
самое интересное, что данные находятся в открытом доступе.
репо: https://github.com/jaspershen-lab/ipop_aging
довольно детальная информация
cтатья: https://nature.com/articles/s43587-024-00692-2
@bigdatai
🎉 Встречаемся на ML Party 20 августа!
В этот раз обсудим всё самое интересное с конференции International Conference on Machine Learning (ICML), которая прошла в июле в Вене.
Поделимся самыми актуальными новостями и трендами направлений: CV, NLP, RecSys и RL.
📎 ML Party пройдёт 20 августа в Москве в офлайн- и онлайн-формате. Зарегистрироваться можно здесь.
Реклама. ООО "Яндекс", ИНН 7736207543.
🪐 Gravitational Lensing by Spinning Black Holes in Astrophysics, and in the Movie Interstellar
Невероятная статья, которую вы возможно пропустили.
Программное обеспечение для создания черной дыры в фильме "Интерстеллар" представляет собой полную реализацию уравнений Эйнштейна в 40 000 строк на C++, которое отрисовало тысячи 23-мегапиксельных кадров формата IMAX на 32 000-ядерной рендер-ферме со скоростью около 20 ядер в час на кадр .
Про реализацию этого монстра можно почитать здесь: https://arxiv.org/pdf/1502.03808.pdf
@cpluspluc
🧠 NeuroSynth — набор данных для нейросетевых исследований в области синтетических изображений
NeuroSynth представляет собой обширный набор данных, предназначенный для обучения и тестирования нейросетевых моделей на синтетических изображениях.
Этот набор данных включает в себя разнообразные сценарии и объекты, созданные с помощью генеративных алгоритмов, что позволяет исследователям и разработчикам улучшать и адаптировать свои модели для работы с синтетическими данными.
Основные характеристики NeuroSynth:
Широкий выбор сцен и объектов: Набор данных охватывает множество различных сцен и объектов, которые можно использовать для тренировки моделей в различных областях, таких как компьютерное зрение и генерация изображений.
Высокое качество данных: Изображения в наборе данных имеют высокое разрешение и детализированную текстуру, что позволяет моделям эффективно обучаться на реалистичных данных.
Открытый доступ: NeuroSynth доступен для исследователей и разработчиков, что способствует развитию новых технологий и улучшению существующих алгоритмов.
Пример использования NeuroSynth:from neuro_synth import DataLoader
# Загрузка набора данных
data_loader = DataLoader('path/to/neuro_synth')
images = data_loader.load_images()
# Обработка и тренировка модели
model.train(images)
Исследуйте возможности NeuroSynth и улучшайте свои модели с помощью синтетических данных!
▪ GitHub
@bigdatai
🌟 Инновации в мире данных: Новый инструмент от GitHub
GitHub вновь удивляет! Представлен новый инструмент для машинного обучения — Models. Эта платформа уже сравнивается с Hugging Face и обещает стать незаменимым помощником для разработчиков.
🔍 Проект пока на стадии тестирования, но вы можете записаться в лист ожидания и быть в числе первых, кто опробует его возможности. Важные особенности GitHub Models:
Тестирование нейронных сетей в безопасной песочнице перед интеграцией кода в VS Code или Codespaces.
Интеграция с Azure и другими популярными облачными сервисами для разработчиков.
🧠 Уже сейчас на платформе доступно более 20 моделей, включая GPT-4o, GPT-4o mini и Llama 3.1. Платформа будет регулярно обновляться, а разработчики смогут добавлять свои собственные модели, расширяя библиотеку.
📘 GitHub
Оставайтесь на волне инноваций и готовьтесь к собеседованиям с последними новостями и инструментами! 🔥💻
@bigdatai
👩💻 torchchat - мощный инструмент для инференса LLM
Легкая и удобная библиотека для локального запуска Lms на мобильных устройствах, настольных компьютерах и ноутбуках на базе PyTorch.
▪Github
▪ Blog
@bigdatai
🌟 Meta-Llama-3.1-405B-Instruct-FP8: FP8-версии Llama-3.1-405B-Instruct со статическим и динамическим методом квантования.
Компания Neural Magic представила две квантованные FP8-версии модели Meta's Llama 3.1 405B Instruct:
🟢Meta-Llama-3.1-405B-Instruct-FP8-dynamic
🟢Meta-Llama-3.1-405B-Instruct-FP8
Примененная оптимизация уменьшает количество бит на параметр с 16 до 8, сокращая требования к VRAM примерно на 50 %. FP8-модель может быть развернута помощью одного узла 8xH100 GPU.
Процесс квантования применялся исключительно к весам и активациям линейных операторов внутри блоков трансформеров. Использовалось симметричное поканальное квантование, которое включает линейное масштабирование по выходному измерению для отображения представлений FP8 квантованных весов и активаций.
Кроме того, активации квантованы динамически на основе каждого токена.
Для квантования использовалась библиотека оптимизации LLM Compressor с набором 512 последовательностей UltraChat.
Обе FP8 модели сохраняют архитектуру Meta-Llama-3.1 и могут быть запущены на бэкенде vLLM.
В бенчмарке OpenLLM версия FP8-dynamic получила средний балл 86,55. Это максимально близко к результату оригинальной модели - 86,63 (99,91%).
🟡Модель FP8-dynamic на HF
🟡Модель FP8 на HF
@ai_machinelearning_big_data
#AI #ML #LLM #Llama #FP8
🖥 Большая шпаргалка по построению графиков в Matplotlib с примерами кода
Matplotlib — мощная библиотека построения графиков на Python, используемая для создания статических, анимированных и интерактивных визуализаций.
Основные характеристики Matplotlib:
Универсальность: может генерировать широкий спектр графиков, включая линейные графики, диаграммы рассеяния, столбчатые диаграммы, гистограммы и круговые диаграммы.
Настройка: предлагает обширные возможности для управления каждым аспектом графика, таким как стили линий, цвета, маркеры, метки и аннотации.
Интеграция с NumPy: легко интегрируется с NumPy, что упрощает построение графиков массивов данных напрямую.
Качество публикации: создает высококачественные графики, подходящие для публикации, с точным контролем эстетики.
Расширяемость: легко расширяется с большой экосистемой дополнительных наборов инструментов и расширений, таких как функции построения графиков Seaborn и Pandas.
Кроссплатформенность: не зависит от платформы и может работать на различных операционных системах, включая Windows, macOS и Linux.
Интерактивные графики: поддерживает интерактивное построение графиков с помощью виджетов и обработки событий, позволяя пользователям динамически исследовать данные.
E-CUP — масштабное e-com-соревнование для ML-разработчиков! Реши реальную бизнес-задачу, поборись за призовой фонд в 1 200 000 рублей и секретный подарок для прокачки навыков и карьеры!
Регистрируйся до 18 августа
Приглашаем специалистов по Data Science, ML-инженеров, разработчиков.
Решай задачи в стиле команды Ozon Tech — минимум ручных действий, максимум автоматизации. Everything as code! Эксперты хакатона расскажут, как эффективно применять этот подход в своей работе.
На выбор — одна из задач, основанных на реальных бизнес-кейсах Ozon Tech:
1️⃣ Создать ML-модель, которая определит, одинаковые ли товары на изображении.
2️⃣ Разработать алгоритм для модерации карточек товаров с признаками нарушений правил площадки.
Ключевые этапы:
🔹 1 июля — старт регистрации
🔹 19 августа — публикация задач
🔹 8 сентября — окончание приёма решений
🔹 13 сентября — оглашение победителей
Решай задачи в нашем стиле! Не пропусти грандиозное ML-соревнование — присоединяйся к E-CUP
😱😱😱Inside the 78 minutes that took down millions of Windows machines
На прошлой неделе ошибка в обновлении CrowdStrike Falcon вызвала массовые сбои Windows по всему миру. Ошибка в драйвере привела к «синему экрану смерти» на миллионах ПК. CrowdStrike быстро выпустила исправление через 78 минут, но ущерб уже был нанесен.
🚨Проблема показала необходимость улучшения тестирования обновлений и возможности отключения проблемных драйверов в Windows. Microsoft, возможно, потребуется ужесточить доступ к ядру Windows для сторонних приложений, несмотря на возможное сопротивление со стороны поставщиков безопасности и регуляторов.
#crowdstrike #аналитика #bigdata #microsoft
📎 Статья
@bigdatai
🌟 ZebraLogic: Комплексная оценка логического мышления крупных языковых моделей.
ZebraLogic - бенчмарк, основанный на логических головоломках и представляет собой набор из 1000 программно сгенерированных заданий различной сложности - с сеткой от 2x2 до 6x6.
Каждая головоломка состоит из N домов (пронумерованных слева направо) и M характеристик для каждого дома. Задача заключается в том, чтобы на основе предоставленных подсказок определить уникальное распределение значений характеристик по домам.
Языковым моделям предоставляется один пример решения головоломки с подробным объяснением хода рассуждений и ответом в формате JSON. Затем модели должны решить новую задачу, предоставив как ход рассуждений, так и окончательное решение в заданном формате.
⏩Метрики оценки:
1. Точность на уровне головоломки (процент полностью правильно решенных головоломок).
2. Точность на уровне ячеек (доля правильно заполненных ячеек в матрице решения).
⏩Головоломки разделены на два уровня по сложности:
1. Легкие (сетка менее 3x3)
2. Сложные (сетка размером 3x3) и более.
✔️ Результаты оценки популярных моделей, представленные в публичном лидерборде:
🟢лучшие результаты показала Claude 3.5 Sonnet, решившая 33,4% всех головоломок и 12,4% сложных задач
🟢лучший результат среди открытых моделей у DeepSeek-v2-Chat (0628)
🟢модели с 7-10B параметров продемонстрировали крайне низкую эффективность на сложных головоломках (менее 1% решенных задач)
🟢Gemini-1.5-Pro оказалась сопоставима с более легкой Gemini-1.5-Flash
🟢Greedy decoding в большинстве случаев дает лучшие результаты, чем сэмплирование.
✔️ Для сравнения, средняя время выполнение теста человеком:
2x2 ~ 15 секунд
3х3 ~ 1 минута 30 секунд
4х4 ~ от 10 до 15 минут
▶️ Локальный запуск ZebraLogic в рамках фреймфорка ZeroEval
# Install via conda
conda create -n zeroeval python=3.10
conda activate zeroeval
# pip install vllm -U # pip install -e vllm
pip install vllm==0.5.1
pip install -r requirements.txt
# export HF_HOME=/path/to/your/custom/cache_dir/
# Run Meta-Llama-3-8B-Instruct via local, with greedy decoding on `zebra-grid`
bash zero_eval_local.sh -d zebra-grid -m meta-llama/Meta-Llama-3-8B-Instruct -p Meta-Llama-3-8B-Instruct -s 4
"PetFace: крупный набор данных и бенчмарк для идентификации животных" будет представлен на #ECCV2024!! 🐶🐱🐦🐷🐰
Веб-сайт: https://dahlian00.github.io/PetFacePage/
Статья: https://arxiv.org/abs/2407.13555
@bigdatai
NVIDIA’s Crazy New AI Paints With Images!
https://www.youtube.com/watch?v=_97pRR7gcfs
@bigdatai