💡 Хакатон «Норникеля» «Интеллектуальные горизонты»: стартуем на поиски инноваций!

Погружайся в кейсы от «Норникеля» и решай задачу по одному из трех треков: от анализа данных до автоматизации, от экологического мониторинга до создания алгоритмов, которые могут изменить правила игры в индустрии.

Когда: 6 - 8 декабря.
Формат: онлайн.
Призовой фонд: 1 500 000 рублей.

🧑‍💻 Разработчики, аналитики, инженеры и любители новаторских решений смогут применить свои знания, чтобы придумать решения для реальных задач в промышленности.

Хакатон «Норникеля» «Интеллектуальные горизонты» — это отличный шанс показать свои идеи, повлиять на промышленность и найти новых единомышленников. 

Если нет команды — поможем её собрать!

➡️ Регистрация открыта! Успей зарегистрироваться до 2 декабря, 23:59 МСК по ссылке.

Читать полностью…

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем.

Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов.

Где и когда?

👉 Нижний Новгород, 5 декабря
👉 Санкт-Петербург, 6 декабря

Тебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем.

Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

Читать полностью…

⚡️ NeuZip: метод сжатия весов для обучения и инференса.

NeuZip - алгоритм сжатия весов нейронных сетей, разработанный для снижения требований к памяти во время обучения и инференса без ущерба для производительности.

В основе NeuZip лежит принцип энтропии чисел с плавающей запятой в нейронных сетях. Веса нейронных сетей концентрируются вокруг нуля, что приводит к низкой энтропии битов экспоненты, а значит, почему бы не сжимать биты экспоненты без потерь с помощью асимметричной системы счисления (ANS)?

ANS — это алгоритм сжатия без потерь, который обеспечивает высокую пропускную способность на параллельных вычислительных устройствах, например, на GPU.

Для обучения используется вариант NeuZip без потерь, который сжимает только биты экспоненты, сохраняя полную точность представления чисел. В процессе обучения веса хранятся в сжатом виде, а декомпрессия происходит послойно, непосредственно перед вычислениями . Это позволяет избежать дублирования памяти и снизить ее пиковое потребление. При этом backpropagation не затрагивается, так как градиенты вычисляются с использованием декомпрессированных весов.

Для инференса предлагается вариант NeuZip с потерями, который дополнительно сокращает объем памяти, усекая биты мантиссы. Потеря точности при таком подходе незначительно влияет на производительность. Эффективность сжатия достигается блочной нормализацией, при которой веса нормализуются внутри блоков, а коэффициенты нормализации хранятся с 8-битной точностью.

Эксперименты, проведенные на различных архитектурах (GPT, Llama, T5) и задачах (языковое моделирование, генерация SQL), подтвердили эффективность NeuZip. В частности, при обучении модели Llama-3 8B удалось сократить потребление памяти с 31 ГБ до менее 16 ГБ без изменения динамики обучения.

В задачах инференса NeuZip демонстрирует достижение >50% сокращения памяти при сохранении практически идентичной производительности по сравнению с QLoRA и современными методами квантования.

⚠️ Код экспериментов из пейпера в задачах обучения и инференса с Neuzip доступен в /examples репозитория проекта на Github.

▶️Установка и использование:

# Install from PyPI
pip install neuzip

# Use Neuzip for Pytorch model
model: torch.nn.Module = # your model
+ manager = neuzip.Manager()
+ model = manager.convert(model)

🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #NeuZip

Читать полностью…

🔥 Multi-Agent Orchestrator — фреймворк, разработанный для управления несколькими AI-агентами!

💡 Он позволяет маршрутизировать запросы пользователей, обеспечивать управление контекстом взаимодействий и поддерживать масштабируемую архитектуру приложений.

🔍 Основные возможности:

🌟 Классификация запросов: Использует LLM для выбора наиболее подходящего агента на основе контекста, истории взаимодействий и описания агентов.

🌟 Гибкость агентов: Поддерживает интеграцию различных агентов, таких как Amazon Bedrock, OpenAI, AWS Lambda и прочих пользовательских решений.

🌟 Управление контекстом: Обеспечивает сохранение и использование истории взаимодействий для последовательных ответов.

🌟 Расширяемая архитектура: Легкая интеграция новых агентов и настройка существующих для решения задач в различных доменах.

🌟 Универсальное развертывание: Подходит для локальных и облачных окружений, включая AWS Lambda.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Читать полностью…

⚡️ SmolVLM: новая МДЬ модель созданая для использования на устройствах, легко настраиваемый на GPU и чрезвычайно эффективный с точки зрения памяти

▪Лицензия Apache 2.0: https://huggingface.co/collections/HuggingFaceTB/smolvlm-6740bd584b2dcbf51ecb1f39
▪Блог: https://huggingface.co/blog/smolvlm
▪Демо: https://huggingface.co/spaces/HuggingFaceTB/SmolVLM
▪Файнтюнинг: https://github.com/huggingface/smollm/blob/main/finetuning/Smol_VLM_FT.ipynb

Читать полностью…

🔥 PR-Agent — инструмент с открытым исходным кодом, разработанный для упрощения процесса обзора pull-реквестов!

💡 Используя возможности искусственного интеллекта (например, GPT-4), он автоматически анализирует PR и предоставляет такие функции, как:

🌟 Генерация описания PR, включая заголовок, тип, основные изменения и метки.

🌟 Автоматический обзор с рекомендациями по тестированию, безопасности и улучшениям.

🌟 Ответы на вопросы о PR, улучшения кода и автоматическое обновление CHANGELOG.

🌟 Добавление документации для недокументированных функций или классов.

💡 PR-Agent поддерживает интеграцию с GitHub, GitLab, Bitbucket и другими платформами. Его можно использовать как через командную строку, так и через вебхуки или бота. Этот инструмент помогает ускорить и улучшить качество процесса код-ревью.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Читать полностью…

📖 Большие языковые модели продемонстрировали существенные достижения в возможностях рассуждений, особенно за счет масштабирования времени вывода, как показано на таких моделях, как o1 от OpenAI.

🌟 Однако текущие модели Vision-Language (VLM) часто испытывают трудности с выполнением систематических и структурированных рассуждений, особенно при обработке сложных визуальных задач с ответами на вопросы. В этой работе авторы представляют LLaVA-o1, новую VLM, предназначенную для проведения автономных многоступенчатых рассуждений! В отличие от подсказок цепочки мыслей, LLaVA-o1 независимо участвует в последовательных этапах резюмирования, визуальной интерпретации, логических рассуждений и генерации выводов.

🌟 Этот структурированный подход позволяет LLaVA-o1 достигать заметных улучшений в точности при выполнении задач с интенсивным рассуждением!

🔗 Ссылка на статью: *клик*

@data_analysis_ml

Читать полностью…

👍 EchoMimicV2: Towards Striking, Simplified, and Semi-Body Human Animation 🔥

Мощный и простой инструмент для генерации анимации человека по фото.

🌐page: https://antgroup.github.io/ai/echomimic_v2/
🧬code: https://github.com/antgroup/echomimic_v2
📄paper: https://arxiv.org/abs/2411.10061

@data_analysis_ml

Читать полностью…

💥 Nvidia представили нового лидера в области создания 3D-моделей — Edify 3D AI.

Они обещают модели в разрешении 4K при 120 FPS, сетки с высокой детализацией геометрии, качественные текстуры и точные цвета альбедо (забавно, как они обозначили белый цвет).

Собственных моделей от Nvidia я пока не обнаружил, однако у них также есть нейросеть от Shutterstock, работающая по той же технологии.

📌 Смотреть

@data_analysis_ml

Читать полностью…

Alibaba только что выпустила Marco-o1

Marco-o1 основан на тонкой настройке цепочки (CoT), поиске по дереву Монте-Карло (MCTS), механизмах рефлексии и инновационных стратегиях рассуждения, оптимизированных для решения сложных задач в реальном мире.

Благодаря файнтюнингу Qwen2-7B-Instruct с использованием комбинации отфильтрованного набора данных Open-O1 CoT, набора данных Marco-o1 CoT и набора данных инструкций Marco-o1, Marco-o1 улучшил обработку сложных задач.

MCTS позволяет исследовать множество путей рассуждений ИИ, используя показатели достоверности, полученные на основе логарифмических вероятностей, применяемых softmax для топ-k альтернативных токенов, что приводит модель к оптимальным решениям.

Более того, такая стратегия обоснованных действий предполагает изменение степени детализации действий в рамках шагов и мини-шагов для оптимизации эффективности и точности поиска.

▪HF: https://huggingface.co/AIDC-AI/Marco-o1
▪Github: https://github.com/AIDC-AI/Marco-o1
▪Paper: https://arxiv.org/abs/2411.14405
▪Data: https://github.com/AIDC-AI/Marco-o1/tree/main/data

@data_analysis_ml

Читать полностью…

Сегодня не можешь найти стажировку. Завтра — открываешь с ноги дверь в топовые компании и претендуешь на зп выше рынка. Как так? Очень просто со знанием SQL.

Как работать с данными на профессиональном уровне, рассказывают на курсе Нетологии «SQL и получение данных». За 2 месяца вы узнаете, как создавать собственные базы данных, станете асом в создании сложных запросов и сможете с первого раза находить нужную информацию в огромных таблицах.

Всё обучение построено с упором на практику: вы выполните 6 работ, а в конце самостоятельно развернёте и проанализируете базу данных. Как минимум — будет повод похвастаться друзьям, как максимум — добавить новый скилл в резюме и получить крутую работу.

Регистрируйтесь

Реклама. ООО "Нетология". Erid 2VSb5wdWG72

Читать полностью…

⚡️ SANA: Генерация изображений изображений высокого разрешения от Nvidia Labs.

Sana - семейство моделей для генерации изображений с разрешением до 4096x4096 пикселей. Главное преимущество Sana - высокая скорость инференса и низкие требования к ресурсам, модели можно запустить даже на ноутбуке.

Секрет эффективности Sana в ее архитектуре, которая состоит из нескольких инновационных компонентов:

🟢Deep Compression Autoencoder (DC-AE)
Сжимает изображение в 32 раза, в результате чего значительно сокращается число латентных токенов, что, в свою очередь, повышает эффективность обучения и позволяет генерировать изображения с разрешением 4K.

🟢Linear Diffusion Transformer (Linear DiT)
Использует линейное внимание вместо традиционного, ускоряя генерацию с разрешением 4K в 1.7 раза.

В Linear DiT вместо модуля MLP-FFN используется Mix-FFN, который объединяет в себе свертку 3x3 и Gated Linear Unit (GLU). Mix-FFN позволяет отказаться от позиционного кодирования без потери качества.

🟢Decoder-only Small LLM as Text Encoder
Энкодер, основанный на LLM Gemma, который лучше понимает текстовые запросы пользователя и точнее передает их смысл на генерации.

Для точного соответствия "текст - изображение" при обучении энкодера применялись "сложные человеческие инструкции" (CHI), которые научили Gemma учитывать контекст запроса.

Sana создавалась с помощью уникальной стратегии обучения и выборки. В процессе обучения используются несколько VLM (VILA, InternVL2) для создания различных аннотаций к каждому изображению. Затем, на основе CLIP-оценки, были отобраны наиболее подходящие пары "текст-изображение".

Обучение происходило постепенно, начиная с разрешения 512x512 и заканчивая 4096x4096, а алгоритм Flow-DPM-Solver ускорил процесс выборки, сократив количество шагов по сравнению с Flow-Euler-Solver.

Результаты тестирования Sana впечатляют:

🟠Sana-0.6B, работающая с изображениями 512x512, в 5 раз быстрее, чем PixArt-Σ, при этом показывает лучшие результаты по метрикам FID, Clip Score, GenEval и DPG-Bench.

🟠При разрешении 1024x1024 Sana-0.6B в 40 раз быстрее PixArt-Σ.

🟠Sana-0.6B превосходит по скорости Flux-12B в 39 раз при разрешении 1024x1024) и может быть запущена на ноутбуке с 16 GB VRAM, генерируя изображения 1024x1024 менее чем за секунду.


⚠️ Для локального инференса модели 0.6B требуется 9GB VRAM, а для модели 1.6B - 12GB VRAM.


▶️ Установка и инференс c GradioUI:

# official online demo
DEMO_PORT=15432 \
python app/app_sana.py \
      --config=configs/sana_config/1024ms/Sana_1600M_img1024.yaml \
      --model_path=hf://Efficient-Large-Model/Sana_1600M_1024px/checkpoints/Sana_1600M_1024px.pth

🟡Страница проекта
🟡Коллекция моделей на HF
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusion #SANA #NVIDIA

Читать полностью…

Умножаем любовь к математике, чтобы разделить ее с вами

ИТ-специалисты, слышали, скоро День математика?

1 декабря пройдут главные онлайн-события мероприятия: доклады от профессоров математики из МФТИ, ВШЭ и ЦУ и математический диктант. Хорошая возможность пообщаться с единомышленниками и просто классно провести время.

А пока ждете праздника, банк подготовил активности на весь месяц. Будут лекции и многое другое. Выбирайте на сайте, что нравится больше. И регистрируйтесь, чтобы ничего не пропустить

Читать полностью…

🔥 Data Science и рок-концерт — Альфа-Банка зовёт на митап в гараже

🌟 22 ноября в Санкт-Петербурге пройдет офлайн-встреча для специалистов DS. На ней обсудят новые инструменты Data Science и кейсы их применения в работе. Например, в оптимизации доставки, работе с банкоматами и машинном обучении в подборе сотрудников. Будет 7 лекций, дискуссия с экспертами рынка и вечеринка с рок-группой в финале.

Адрес: ул. Газовая 10Ж, 2 этаж башни-газгольдера
Старт: 22 ноября в 18:00
Цена: бесплатно

🔗 Зарегистрироваться нужно заранее: https://alfa.me/-En1LR?channel=data_analysis_ml&erid=2Vtzqvh8Gkn

@data_analysis_ml

Читать полностью…

Вебинар «Анализируем транзакции в реальном времени» 

Приходите на бесплатный вебинар и узнайте, как обрабатывать высокие транзакционные и аналитические нагрузки в гибридной in-memory СУБД. 

Дата и время: 28 ноября, 16:00.

Программа

🔹 Ускорение аналитических расчетов и аналитика на самых свежих данных с помощью HTAP-систем.

🔹 Основные архитектурные характеристики гибридных транзакционно-аналитических СУБД (HTAP). 

🔹 Повышение отказоустойчивости транзакционно-аналитических решений, настройка под разные профили нагрузки и интеграция с другими компонентами ИТ-ландшафта. 

Проведем демонстрацию возможностей продукта Tarantool Column Store в работе с объектами и данными.

Расскажем, как формировать отчетность в реальном времени и рассчитывать агрегаты в антифрод-системах с помощью продукта Tarantool Column Store.  

Вебинар будет полезен архитекторам, дата-инженерам, DevOps-инженерам и разработчикам аналитических систем. 
  
Регистрируйтесь, и вам придет ссылка на трансляцию в день мероприятия.

Читать полностью…

🖥 OASIS — проект для моделирования социальных взаимодействий между агентами с использованием крупномасштабных симуляций!

🌟 Он основан на многокомпонентных агентных системах и предназначен для изучения взаимодействий искусственного интеллекта в контексте общества и совместной работы. Проект сосредоточен на использовании больших языковых моделей (LLM) для управления агентами, которые симулируют различные аспекты человеческого поведения, взаимодействия и общения.

🌟 Основные направления применения OASIS включают исследование кооперативного искусственного интеллекта, поведение в симулированных обществах и масштабирование симуляций до миллиона агентов. Репозиторий ориентирован на исследователей и разработчиков, заинтересованных в построении и изучении сложных агентных экосистем на базе LLM!

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Читать полностью…

⚡️ Только что вышла первая reasoning model с открытым исходным кодом от Alibaba

QwQ 32B находится работает так же, как o1 и Deepseek R1, но на вашем локальном компьютере!

🔗 Демо: https://huggingface.co/spaces/Qwen/QwQ-32B-preview
🌐 Модель: https://huggingface.co/Qwen/QwQ-32B-Preview
📃 Blog: https://qwenlm.github.io/blog/qwq-32b-preview/

@data_analysis_ml

Читать полностью…

✅ OminiControl: универсальный инструмент генерации изображений Diffusion Transformer.

🧬Код: https://github.com/Yuanshi9815/OminiControl
📄Статья: https://arxiv.org/abs/2411.15098
🍇runpod: https://github.com/camenduru/ominicontrol-tost
🍊jupyter от http://modelslab.com: https://github.com/camenduru/ominicontrol-jupyter

Читать полностью…

есom.teсh meetup — Generative AI

6 декабря 18:00 в Москве пройдёт митап по прикладному использованию генеративных технологий для специалистов по Data Science!

Обсудим технические аспекты экспериментов с нейронными сетями, посмотрим свежие кейсы внедрения ИИ в бигтехе и не только.

В программе:

👁‍🗨 Виртуальная фотосъемка для продавца на маркетплейсе: возможности Gen AI.
Арнольд Сааков, руководитель отдела разработки сервисов искусственного интеллекта в ecom.tеch.

👁‍🗨 От потоковой обработки к генерации: AI-алгоритмы для автоматизации работы с фотографиями товаров на маркетплейсе.
Александр Савельев, руководитель группы развития технологий компьютерного зрения в ecom.tеch;
Татьяна Гришина, менеджер продукта в ecom.tеch.

👁‍🗨 Секретный доклад.

Митап будет интересен тем, кто уже работает или проходит обучение в области Data Science и интересуется генеративными технологиями!

🧠 Регистрируйтесь и пересылайте знакомым!

Реклама. ООО "УМНОЕ ПРОСТРАНСТВО", ИНН 7811554010, Erid: 2VSb5yQd7AG

Читать полностью…

Новая версия модели: Kling v1.5! 🥳

Можно потестировать онлайн

https://fal.ai/models/fal-ai/kling-video/v1.5/pro/image-to-video/playground

@data_analysis_ml

Читать полностью…

Устроиться аналитиком в Яндекс за выходные

7–8 декабря проводим Weekend Offer Analytics. До 4 декабря оставьте заявку на участие, 7 декабря пройдите технические собеседования, а 8 декабря познакомьтесь с командами и получите офер.

В мероприятии участвует 7 команд: Crowd, Карты, Поиск, YaGPT 2, Автономный транспорт, Реклама и Ecom-сценарии. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным.

Нанимаем в офисы России и Республики Беларусь.

Узнать подробности и зарегистрироваться можно здесь.

Читать полностью…

Прокачивайте скилы на релевантных бизнес-задачах с помощью Яндекс Практикума. Наставники из Яндекса и других крупных компаний помогут со сложными темами, а ревьюеры дадут обратную связь.

Как всё устроено:
1️⃣ Учитесь где и когда удобно
Обучение разбито на спринты по несколько недель, а график позволяет совмещать учёбу с другими делами.

2️⃣ Практика с первого дня
Учимся на примерах из работы и используем популярные рабочие инструменты.

3️⃣ Задачи из реальных сфер
На курсе будут проекты из разных сфер бизнеса, чтобы вы набрались опыта и сразу же применяли новые знания.

Прежде чем платить, любой курс можно попробовать и убедиться, что он вам подходит.

Вот несколько наших курсов:
✅ Инженер данных
✅ Инженер машинного обучения
✅ SQL для работы с данными и аналитики
✅ SQL для разработки

Получите скидку 20% после прохождения первой темы любого курса. Она бесплатная🔥

Читать полностью…

🔍 Instructor — библиотека для работы с структурированными выходными данными из больших языковых моделей (LLM)!

🌟 Она написана на Python и предоставляет упрощённый интерфейс для управления потоками данных LLM. Она включает функции для валидации данных, обработки ошибок и управления ответами моделей.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Читать полностью…

🔥 LTX-видео

новая модель преобразования текста в видео позволяет создавать потрясающие видеоролики высокого качества быстрее, чем в режиме реального времени - 5 секунд видео со скоростью 24 кадра в секунду при разрешении 768x512 пикселей всего за 4 секунды на Nvidia H100.

Открытый код и веса

https://huggingface.co/spaces/Lightricks/LTX-Video-Playground

@data_analysis_ml

Читать полностью…

👩‍💻 mongoengine — Python-библиотека для работы с базами данных MongoDB, предоставляющая объектно-документный маппинг (ODM)!

🌟 Она позволяет разработчикам описывать документы в виде Python-классов с типизированными полями, делая работу с MongoDB удобной и похожей на использование ORM в реляционных базах.

🌟 Библиотека поддерживает валидацию данных, вложенные документы, связи между документами и удобные запросы через Python-методы. MongoEngine часто используется в проектах, где требуется сочетание гибкости MongoDB и строгой структуры данных.

🔐 Лицензия: MIT

🖥 Github

@data_analysis_ml

Читать полностью…

🔥 Garak — инструмент от NVIDIA для автоматизированного тестирования безопасности и надежности крупных языковых моделей!

🌟 Он позволяет выявлять уязвимости, проблемы с устойчивостью и некорректные ответы моделей, применяя различные методики тестирования. Это помогает разработчикам и исследователям совершенствовать модели и повышать их качество.

🌟 Инструмент также поддерживает расширение функциональности: пользователи могут добавлять свои собственные тесты, создавая кастомные модули.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Читать полностью…

🔉 Новая модель на базе Whisper конкурирует с Nvidia в открытой таблице лидеров ASR! 🔥

Crisper Whisperer может расшифровать каждое произнесенное слово в точности так, как оно есть, включая вводные слова, паузы, заикания.

Слитно доработан по сравнению с версией Whisper Large V3.

🔗 Чекпоинты: https://huggingface.co/nyrahealth/CrisperWhisper
🔗 Лидерборд: https://huggingface.co/spaces/hf-audio/open_asr_leaderboard

Читать полностью…

📝 LLM Graph Builder — инструмент для создания графов знаний на базе базы данных Neo4j, преобразуя неструктурированные данные (например, текстовые файлы, PDF-документы, видео с YouTube, веб-страницы) в структурированные графы!

🌟 Он использует возможности ИИ-моделей, от OpenAI и LangChain, для извлечения сущностей, их связей и атрибутов из данных.

🔍 Основные функции:

🌟 Генерация графов знаний на основе предоставленных данных.

🌟 Возможность работы с собственными схемами данных или готовыми шаблонами.

🌟 Просмотр графов через Neo4j Bloom и взаимодействие с ними с помощью запросов.

🌟 Интеграция с локальными файлами, S3, YouTube и другими источниками данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Читать полностью…

🖥 cuGraph — это библиотека от RAPIDS, которая предоставляет высокопроизводительные алгоритмы анализа графов, оптимизированные для работы на GPU!

🌟 Она интегрируется с другими инструментами RAPIDS, такими как cuDF (аналог Pandas для GPU) и cuML (машинное обучение на GPU), что упрощает обработку больших графов, включая создание, анализ и выполнение сложных операций, таких как PageRank, центральности, кластеризация и поиск связанных компонентов.

💡 Библиотека предлагает Python API с интерфейсом, похожим на NetworkX, и более низкоуровневые API для интеграции с C++/CUDA. Она поддерживает различные форматы данных, такие как DataFrames из cuDF, Pandas или объекты NetworkX, и позволяет работать с графами на многогранных GPU-кластерах. CuGraph активно используется для анализа больших графов в задачах, связанных с машинным обучением и обработкой данных в реальном времени.

🔐 Лицензия: Apache-2.0

🖥 Github

@data_analysis_ml

Читать полностью…

🌟 Генеративные агенты: моделирование поведения 1000 человек.

Stanford University, Northwestern University и University of Washington, совместно с Google Deepmind, при участии социологов, разработали архитектуру, которая позволяет симулировать поведение более 1000 реальных людей с помощью LLM, обученных на транскрипции двухчасовых интервью с добровольцами-участниками.

Архитектура использует метод "экспертных размышлений", где LLM генерирует выводы о каждом участнике, принимая на себя роли различных специалистов социальных наук (психолога, экономиста, политолога, демографа).

Процесс создания агентов начинался со стратифицированного отбора 1052 участников, репрезентирующих население США по возрасту, полу, расе, региону, образованию и политическим взглядам. Масштабирование сбора данных проводилось агентом-интервьюером на основе GPT-4o, который динамически генерировал уточняющие вопросы, адаптируясь к ответам участников.

Оценка точности агентов проводилась с помощью сравнения их ответов с ответами реальных участников на вопросы из Общего социального опроса (GSS), опросника "Большая пятерка" (BFI-44), 5 экономических игр и 5 социальных экспериментов. Для учета непостоянства человеческого поведения точность агентов нормализовали с помощью сравнения с тем, насколько последовательно сами участники воспроизводили свои ответы через две недели.

Результаты оценки показали высокую точность прогнозирования агентов, обученных на интервью. Они смогли предсказать ответы на вопросы GSS с нормализованной точностью 0.85, а черты личности по BFI-44 - с нормализованной корреляцией 0.80. Использование интервью значительно повысило точность по сравнению с агентами, использующими только демографические данные или краткие описания личности.

В экспериментах агенты успешно воспроизвели 4 из 5 личностных особенностей, наблюдавшихся у реальных участников, а оценки размеров этих особенностей показали высокую корреляцию (r = 0.98).

Доступ к банку агентов двухуровневый:

🟢открытый доступ к агрегированным ответам на фиксированные задачи и репозиторий с кодом для воспроизведения

🟠ограниченный доступ к индивидуальным ответам на открытые задачи по запросу.


📌 Лицензирование: MIT License.


🟡Arxiv
🟡Dataset
🖥Github


@ai_machinelearning_big_data

#AI #ML #LLM #Agents #Social

Читать полностью…