15160
@haarrp - админ Вопросы с собеседований по Machine Learning, Data Science, Deep Learning и Нейроннным сетям @data_analysis_ml - анализ данных @ai_machinelearning_big_data @itchannels_telegram - важное для программиста
🌟Zamba2-mini: компактная и производительная модель с гибридной архитектурой.
Zamba2-mini - гибридная модель c 1.2B параметров, построенная из блоков state-space Mamba (SSM) и transformer.
Модель создана на общей архитектуре Zamba, но отличается от большей модели 2.7B тремя особенностями:
🟢добавлены rotary position embeddings;
🟢чередующиеся трансформерные блоки заменены одним общим;
🟢вместо LoRA на блоке MLP добавлены проекторы LoRA в блоки внимания.
Zamba2-mini использует токенизатор Mistral v0.1 и была предварительно обучена на 3 триллионах токенов текстовых данных и коде различных языков программирования, полученных из открытых веб-наборов данных, к которым был добавлен собственный корпу данных Zyda.
Впоследствии, на втором этапе Zamba2-mini была подвергнута дополнительной фазе агрессивного снижения скорости обучения на смеси из 100B высококачественных токенов.
Zamba2-mini показала в тестах результаты, сопоставимые с моделями с параметрами <2B и может конкурировать с некоторыми LLM большего размера.
Благодаря уникальной гибридной архитектуре SSM Zamba2-mini демонстрирует низкие задержки логического вывода и быструю генерацию при значительно меньшем потреблении VRAM, чем другие модели такой же плотности параметров на основе трансформеров.
Такие характеристики делает ее идеальной универсальной моделью для приложений на устройствах.
⚠️ Примечание: Zamba2-mini еще не полностью совместима со всеми фреймворками и инструментами HuggingFace.
Реализацию Zamba2-1.2B для Pytorch можно найти здесь.
▶️Локальная установка и инференс:
# Clone repositiry
git clone https://github.com/Zyphra/transformers_zamba2.git
#Install requirments:
cd transformers_zamba2
pip install -e .
pip install accelerate
#Inference
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-1.2B")
model = AutoModelForCausalLM.from_pretrained("Zyphra/Zamba2-1.2B", device_map="cuda", torch_dtype=torch.bfloat16)
input_text = "A funny prompt would be "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")
outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))
⚡️ GitHub запускает Copilot Autofix для автоматического устранения ошибок в коде.
▪Инструмент анализирует код и предлагает решения для исправления ошибок, используя ИИ Copilot от GitHub, аналитический движок CodeQL и GPT-4.
▪Бета-тестирование показало, что инструмент сокращает время на поиск и устранение уязвимостей в три раза и более.
▪Например, вручную исправление ошибок XSS обычно занимает три часа, а с помощью Copilot Autofix это удалось сделать за 22 минуты. Время исправления дефектов SQL-инъекций сократилось с 4 часов до 18 минут.
Все это станет доступно бесплатно с сентября 2024 года для всех проектов с открытым исходным кодом, размещенных на платформе.
https://github.blog/news-insights/product-news/secure-code-more-than-three-times-faster-with-copilot-autofix/
@bigdatai
🖥 Полезная шпаргалка по Pandas
В этой шпаргалке вы найдёте несколько страниц полезных шпаргалок по базовым командам и конкретным задачам.
#шпаргалка #pandas
@bigdatai
🖥 Crossed - это сверхвысокопроизводительная встраиваемая и серверная СУБД.
Она разработана для высокопроизводительных сценариев, когда в основной памяти может храниться вся база данных.
Особенности
- Поддержка нескольких ОС: Linux / Windows / macOS / FreeBSD и т.д
- Поддержка ARCH с несколькими процессорами: X86 / ARM / PPC / MIPS и т.д.
- Поддержка OnDisk / In-memory / RamDisk / гибридного хранилища
- Поддержка стандартной модели СУБД
- Поддержка MySQL
- Поддержка нескольких баз данных
- Поддержка хэширования и индекса RBTREE(TBD)
- Поддержка многоколоночного индекса
- Поддержка точного совпадения,
- Поддержка WALL для хранения данных на диске (TBD)
- Поддержка многопоточного доступа и доступа к нескольким процессам
- Поддержка блокировки чтения и записи на уровне таблиц
- Поддержка MVCC для чтения и записи
- Поддержка встроенной оболочки CrossDB
- Поддержка API с несколькими статусами
- Поддержка готовых API-интерфейсов Statments
- Сверхвысокая производительность
- Zero Config: никакой сложной конфигурации, все как из коробкиmake
make install
▪ Github
@bigdatai
🌟 Clapper: Альфа-версия комбайна для визуализации генеративных сценариев.
Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke
Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала.
Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии.
В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д.
Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром.
⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов.
Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами:
HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI.
Проект написан на TypeScript. Необходимые условия перед установкой:
🟠Git LFS;
🟠Bun;
🟠NVM;
🟢Версия Node - 20.15.1.
▶️Установка и запуск:
# Install the dependencies:
# --include=optional to make
# sure deps are installed
bun i
# build the app:
npm run build
# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile
cd packages/app
bun run electron:start
# You can also build Clapper:
cd packages/app
bun run electron:make
🖥 open-interpreter инструмент управление компьютером с помощью естественного языка
Это Python-библиотека, которая позволяет управлять ПК с помощью обычной челочеческой речи, в том числе на русском. На видео переключаются со светлой темы на тёмную, конвертируют docx-файлы на рабочем столе в .pdf.
Репозиторий проекта
Интерактивная демка в Colab
#llm #библиотека
@bigdatai
⚡️ Отличная статья, которая только что вышла из Stanford Med; "Нелинейная динамика многомерных факторов при старении человека"
самое интересное, что данные находятся в открытом доступе.
репо: https://github.com/jaspershen-lab/ipop_aging
довольно детальная информация
cтатья: https://nature.com/articles/s43587-024-00692-2
@bigdatai
🎉 Встречаемся на ML Party 20 августа!
В этот раз обсудим всё самое интересное с конференции International Conference on Machine Learning (ICML), которая прошла в июле в Вене.
Поделимся самыми актуальными новостями и трендами направлений: CV, NLP, RecSys и RL.
📎 ML Party пройдёт 20 августа в Москве в офлайн- и онлайн-формате. Зарегистрироваться можно здесь.
Реклама. ООО "Яндекс", ИНН 7736207543.
🪐 Gravitational Lensing by Spinning Black Holes in Astrophysics, and in the Movie Interstellar
Невероятная статья, которую вы возможно пропустили.
Программное обеспечение для создания черной дыры в фильме "Интерстеллар" представляет собой полную реализацию уравнений Эйнштейна в 40 000 строк на C++, которое отрисовало тысячи 23-мегапиксельных кадров формата IMAX на 32 000-ядерной рендер-ферме со скоростью около 20 ядер в час на кадр .
Про реализацию этого монстра можно почитать здесь: https://arxiv.org/pdf/1502.03808.pdf
@cpluspluc
🧠 NeuroSynth — набор данных для нейросетевых исследований в области синтетических изображений
NeuroSynth представляет собой обширный набор данных, предназначенный для обучения и тестирования нейросетевых моделей на синтетических изображениях.
Этот набор данных включает в себя разнообразные сценарии и объекты, созданные с помощью генеративных алгоритмов, что позволяет исследователям и разработчикам улучшать и адаптировать свои модели для работы с синтетическими данными.
Основные характеристики NeuroSynth:
Широкий выбор сцен и объектов: Набор данных охватывает множество различных сцен и объектов, которые можно использовать для тренировки моделей в различных областях, таких как компьютерное зрение и генерация изображений.
Высокое качество данных: Изображения в наборе данных имеют высокое разрешение и детализированную текстуру, что позволяет моделям эффективно обучаться на реалистичных данных.
Открытый доступ: NeuroSynth доступен для исследователей и разработчиков, что способствует развитию новых технологий и улучшению существующих алгоритмов.
Пример использования NeuroSynth:from neuro_synth import DataLoader
# Загрузка набора данных
data_loader = DataLoader('path/to/neuro_synth')
images = data_loader.load_images()
# Обработка и тренировка модели
model.train(images)
Исследуйте возможности NeuroSynth и улучшайте свои модели с помощью синтетических данных!
▪ GitHub
@bigdatai
🌟 Инновации в мире данных: Новый инструмент от GitHub
GitHub вновь удивляет! Представлен новый инструмент для машинного обучения — Models. Эта платформа уже сравнивается с Hugging Face и обещает стать незаменимым помощником для разработчиков.
🔍 Проект пока на стадии тестирования, но вы можете записаться в лист ожидания и быть в числе первых, кто опробует его возможности. Важные особенности GitHub Models:
Тестирование нейронных сетей в безопасной песочнице перед интеграцией кода в VS Code или Codespaces.
Интеграция с Azure и другими популярными облачными сервисами для разработчиков.
🧠 Уже сейчас на платформе доступно более 20 моделей, включая GPT-4o, GPT-4o mini и Llama 3.1. Платформа будет регулярно обновляться, а разработчики смогут добавлять свои собственные модели, расширяя библиотеку.
📘 GitHub
Оставайтесь на волне инноваций и готовьтесь к собеседованиям с последними новостями и инструментами! 🔥💻
@bigdatai
👩💻 torchchat - мощный инструмент для инференса LLM
Легкая и удобная библиотека для локального запуска Lms на мобильных устройствах, настольных компьютерах и ноутбуках на базе PyTorch.
▪Github
▪ Blog
@bigdatai
🌟 Meta-Llama-3.1-405B-Instruct-FP8: FP8-версии Llama-3.1-405B-Instruct со статическим и динамическим методом квантования.
Компания Neural Magic представила две квантованные FP8-версии модели Meta's Llama 3.1 405B Instruct:
🟢Meta-Llama-3.1-405B-Instruct-FP8-dynamic
🟢Meta-Llama-3.1-405B-Instruct-FP8
Примененная оптимизация уменьшает количество бит на параметр с 16 до 8, сокращая требования к VRAM примерно на 50 %. FP8-модель может быть развернута помощью одного узла 8xH100 GPU.
Процесс квантования применялся исключительно к весам и активациям линейных операторов внутри блоков трансформеров. Использовалось симметричное поканальное квантование, которое включает линейное масштабирование по выходному измерению для отображения представлений FP8 квантованных весов и активаций.
Кроме того, активации квантованы динамически на основе каждого токена.
Для квантования использовалась библиотека оптимизации LLM Compressor с набором 512 последовательностей UltraChat.
Обе FP8 модели сохраняют архитектуру Meta-Llama-3.1 и могут быть запущены на бэкенде vLLM.
В бенчмарке OpenLLM версия FP8-dynamic получила средний балл 86,55. Это максимально близко к результату оригинальной модели - 86,63 (99,91%).
🟡Модель FP8-dynamic на HF
🟡Модель FP8 на HF
@ai_machinelearning_big_data
#AI #ML #LLM #Llama #FP8
🖥 Большая шпаргалка по построению графиков в Matplotlib с примерами кода
Matplotlib — мощная библиотека построения графиков на Python, используемая для создания статических, анимированных и интерактивных визуализаций.
Основные характеристики Matplotlib:
Универсальность: может генерировать широкий спектр графиков, включая линейные графики, диаграммы рассеяния, столбчатые диаграммы, гистограммы и круговые диаграммы.
Настройка: предлагает обширные возможности для управления каждым аспектом графика, таким как стили линий, цвета, маркеры, метки и аннотации.
Интеграция с NumPy: легко интегрируется с NumPy, что упрощает построение графиков массивов данных напрямую.
Качество публикации: создает высококачественные графики, подходящие для публикации, с точным контролем эстетики.
Расширяемость: легко расширяется с большой экосистемой дополнительных наборов инструментов и расширений, таких как функции построения графиков Seaborn и Pandas.
Кроссплатформенность: не зависит от платформы и может работать на различных операционных системах, включая Windows, macOS и Linux.
Интерактивные графики: поддерживает интерактивное построение графиков с помощью виджетов и обработки событий, позволяя пользователям динамически исследовать данные.
E-CUP — масштабное e-com-соревнование для ML-разработчиков! Реши реальную бизнес-задачу, поборись за призовой фонд в 1 200 000 рублей и секретный подарок для прокачки навыков и карьеры!
Регистрируйся до 18 августа
Приглашаем специалистов по Data Science, ML-инженеров, разработчиков.
Решай задачи в стиле команды Ozon Tech — минимум ручных действий, максимум автоматизации. Everything as code! Эксперты хакатона расскажут, как эффективно применять этот подход в своей работе.
На выбор — одна из задач, основанных на реальных бизнес-кейсах Ozon Tech:
1️⃣ Создать ML-модель, которая определит, одинаковые ли товары на изображении.
2️⃣ Разработать алгоритм для модерации карточек товаров с признаками нарушений правил площадки.
Ключевые этапы:
🔹 1 июля — старт регистрации
🔹 19 августа — публикация задач
🔹 8 сентября — окончание приёма решений
🔹 13 сентября — оглашение победителей
Решай задачи в нашем стиле! Не пропусти грандиозное ML-соревнование — присоединяйся к E-CUP
Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек:
Актуальный стек. Здесь следят за трендами и быстро внедряют новое.
Общение на «ты». Так проще.
Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение.
Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег.
Больше о вакансиях ML-разработчиков — здесь.
Erid: 2VtzqxQ9Zcy
Трансформеры js py 🤗.
Используйте Transformers.js в Pyodide и основанных на Pyodide фреймворках, таких как JupyterLite, stlite (Streamlit), Shinylive (Shiny for Python), PyScript, HoloViz Panel и так далее.
Оригинальный Transformers нельзя использовать в браузерной среде. Transformers.js - это JavaScript-версия Transformers, которая может работать в браузерах.
Этот пакет представляет собой обертку Transformers.js, чтобы проксировать его API в Pyodide.
https://github.com/whitphx/transformers.js.py
@bigdatai
🌟 Виртуального ассистента Алису научили общаться более эмоционально
Помощник Яндекса получил большой спектр новых эмоций, которые может выражать голосом в общении исходя их контекста. Среди них — дружелюбие, любопытство, удивление, сочувствие, обида и грусть.
Для обучения Алисы команда использовала модель эмоционального синтеза речи, которую подробно разобрала в статье на Хабре. Обновленная Алиса доступна в Станциях Лайт 2, а чуть позже появится и в других устройствах.
▪️ Хабр
@bigdatai
Production ML: как настроить GPU-ноды в кластерах Kubernetes?
29 августа в 16:00 Selectel проведет практический воркшоп, на котором покажут, как запустить ML-сервис в Kubernetes – подготовить кластер, настроить драйверы на GPU-нодах и запустить автоскейлинг.
На вебинаре рассмотрим особенности работы с кластерами Kubernetes c GPU, настройку драйверов на GPU-нодах и масштабирование нагрузки в продакшене ML-сервисов. Обсудим практические кейсы использования GPU-нод в кластерах Kubernetes от клиентов Selectel.
Мероприятие бесплатное. Посмотреть программу вебинара и зарегистрироваться по ссылке: https://slc.tl/qonwc
Реклама АО «Селектел». ИНН: 7810962785
Erid: 2VtzqwWpy9W
⚡️ TurboEdit обеспечивает быстрое редактирование изображений на основе текста всего за 3-4 шага!
Модель улучшает качество редактирования изображений, которое сохраняет исходное изображение за счет использования смещенного алгоритма шумов и метода псевдонаправления, устраняя такие проблемы редактирования, как визуальные артефакты и слабые места при редактировании.
https://turboedit-paper.github.io
@bigdatai
⚡️ Создаем мощный детектор объектов с помощью Fastslam с
помощью ultralytics 🚀
🔗Код: https://docs.ultralytics.com/models/fast-sam/
💡 Здесь используется уменьшенная версия FASTSAM, которая позволяет обнаруживать объекты в режиме реального времени + для повышения производительности используется botsort функция.
#искусственныйинтеллект #отслеживаниеобъектов #sam2
@bigdatai
🖥 Интерактивная схема устройства работы векторных баз данных
@bigdatai
🔥 UnpromptedControl
Unprompted Control — это утилита, которая автоматически удаляет объекты с изображений и восстанавливает поврежденные области, используя методы глубокого обучения и смешивания. В этом процессе ключевую роль играют модели Control Net и Stable Diffusion Inpaint Pipeline, которые направляют восстановление и обеспечивают естественное слияние результатов с остальным изображением.
Однако метод имеет свои ограничения, особенно при работе с изображениями лиц и тел людей. В таких случаях может потребоваться маскирование не только самого объекта, но и его теней для достижения наилучшего результата.
Несмотря на эти сложности, репозиторий предлагает ценный инструмент для бесшовного восстановления и удаления объектов.
- Githiub
- Colab
@bigdatai
🌟BRAG: Серия Instruct-RAG LLM.
BRAG - это серия специализированных языковых моделей, обученных для RAG-задач с текстом, таблицами и в режиме чата. Все модели ориентированы в основном на английский язык, но модели на базе Llama-3.1-8B и Qwen2-1.5b имеют наследованную поддержку мультиязычности.
В качестве базовых моделей использованы Qwen2-1.5B, Qwen2-7B-Instruct, Llama-3.1-8B-Instruct и Llama-3-8B-Instruct.
Список моделей:
🟢BRAG-Qwen2-7b-v0.1 Instruct | 7B | 128K
🟢BRAG-Llama-3.1-8b-v0.1 Instruct | 8B | 128K
🟢BRAG-Llama-3-8b-v0.1 Instruct | 8B | 8K
🟢BRAG-Qwen2-1.5b-v0.1 Instruct | 1.5B | 32K
▶️Формат промта:
messages = [
{"role": "system", "content": "You are an assistant who gives helpful, detailed, and polite answers to the user's questions based on the context with appropriate reasoning as required. Indicate when the answer cannot be found in the context."},
{"role": "user", "content": """Context: <CONTEXT INFORMATION> \n\n <USER QUERY>"""},
]
🤖 LSP-AI
Интересный инструмент с открытым исходным кодом, позволяющий обсуждать ваш код с ИИ, над которым работаете, без переключения контекста.
Общайтесь с LLM прямо в текстовом редакторе
Работает с любым LSP-совместимым редактором (VS Code, Neovim, Helix, Emacs и т.д.)
Поддерживает различные локальные Lms, используя llama.cpp, Ollama, любой сервер, совместимый с OpenAPI, и многое другое.
▪ Github
@bigdatai
🔝 Caldera
Набор данных Caldera представляет собой сцены с открытым исходным кодом, содержащую большую часть геометрии, найденной в игре Call of Duty®: Warzone™. Это не фактические производственные данные, а скорее преобразование их частей в формат файла USD с открытым исходным кодом.
▪ Github
@bigdatai
✨ На платформе LLM Arena была обнаружена новая модель Яндекса YandexGPT Experimental
Эта модель, которая станет частью обновленного семейства YandexGPT, уже делит лидерство в рейтинге с такими крупными игроками, как GPT-4o, GPT-4 Turbo и Claude 3,5 Sonnet. Яндекс подтвердил, что работает над улучшением своей языковой модели, и обещает значительное повышение её возможностей.
LLM Arena, созданная независимыми разработчиками из российского ML-комьюнити, предоставляет пользователям возможность сравнивать ответы различных нейросетей на русском языке. Пользователи могут задавать любые вопросы и объективно оценивать качество ответов благодаря обезличенному формату.
@bigdatai
🔵🗣Вырасти до хардового Middle+ аналитика.
Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
Рассмотрите — авторский курс про архитектуру и интеграции
с практикой.
—————
По результатам курса вы:
▫️научитесь выбирать стиль интеграции под вашу задачу;
▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);
▫️поймете, как правильно собирать требования и моделировать в UML;
▫️подготовитесь к собеседованию, решив более 100 тестов;
▫️разработаете свой API на Python;
—————
🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡
• Всю программу и отзывы смотрите в боте курса.
• Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы.
• Результат после прохождения курса: 15 рабочих проектов в портфолио.
• Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества)
🔹🔹 С чего начать?🔹🔹
С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите.
👇
@studyit_help_bot
Скидка на курс от канала —
1 000₽ по промокоду BIGDAT до 31 июля
💸💵 AI Startup Cohere Valued at $5.5 Billion in New Funding Round
Канадский стартап Cohere Inc., занимающийся разработкой крупномасштабных языковых моделей для бизнеса, поднял $500 млн в новом раунде финансирования и оценивается в $5.5 млрд. 💰
Cohere, работающий с крупными клиентами вроде Oracle и Notion Labs, предлагает альтернативу популярным чатботам, сосредотачиваясь на практическом применении ИИ для улучшения бизнес-процессов.
Компания планирует удвоить численность своих сотрудников и сохранить свою главную базу в Торонто, несмотря на наличие офисов в Сан-Франциско и Лондоне.
#аналитика #bigdata #бизнес #IT #менеджмент #управление_продуктом #технологии
@bigdatai
Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов
💡 Nvidia не смогла получить от TSMC выделенную линию для упаковки ИИ-чипов, используя метод CoWoS. Основатель Nvidia Дженсен Хуанг встретился с руководителями TSMC, но получил отказ. TSMC признала, что не сможет удовлетворить спрос на компоненты для ИИ-систем до 2026 года, и решила сохранять равные условия для всех клиентов. Хотя TSMC ранее предоставляла привилегии крупным клиентам, как Apple, ситуация с Nvidia отличается. Компания будет жестко отстаивать свои интересы в переговорах. 🌐
#python #machinelearning #neuralnetwork #ml
@bigdatai