Machinelearning

23 Mar 2024 09:02

💥 Готовы проникнуть в сердце инноваций? 

Тогда приглашаем на урок «От пикселей к словам: image-2-text модели в компьютерном зрении», где мы развенчаем все тайны машинного зрения! 

На уроке мы расскажем о том, как работают image-2-text модели, и каким образом они помогают переводить изображения в текст. 

Мы рассмотрим методы обучения моделей на распознавание объектов на изображениях. Обсудим разнообразные области их применения — от генерации описаний для фотографий до анализа данных в компьютерном зрении.

🌟 Результат урока:
Вы узнаете о различных архитектурах image-2-text моделей (например, BLIP, GIT и других), научитесь эффективно соединять изображения и текст, и выясните, как использовать эти модели для решения разнообразных задач в области компьютерного зрения.

Не упустите возможность погрузиться в мир инновационных технологий и узнать о фундаментальных принципах работы image-2-text моделей! 

Регистрация
https://otus.pw/WKb2/?erid=LjN8KaM3F

Machinelearning

22 Mar 2024 16:03

💻 Yandex Cloud выпустила большое обновление платформы для работы с данными

Облачная платформа запустила сервис для управления метаданными Yandex MetaData Hub, повысила безопасность баз данных, а инструмент BI-аналитики Yandex DataLens получил новые возможности. Всё это позволит компаниям быстро и надёжно создавать дата-проекты в облаке — от корпоративных хранилищ данных до аналитических и рекомендательных систем.

💬 Больше об обновлениях платформы данных читайте в статье.

Machinelearning

22 Mar 2024 12:20

Есть ли мемы на Марсе? Как вытянуть репку с помощью кода? Попробуйте разгадать все тайны Гиперкуба на Tinkoff CTF.

20 и 21 апреля пройдет ИТ-соревнование с призами до 420 000 ₽.

Выберите лигу по скиллам и участвуйте даже без опыта в спортивном хакинге. Задания будут интересны сильным разработчикам, QA- и SRE-инженерам, аналитикам и другим ИТ-специалистам.

Играйте как вам удобно: онлайн из дома или офлайн — в одном 16 городов России, Беларуси и Казахстана. В офлайне вас ждет общение с другими игроками, квизы, мерч и другие развлечения.

Узнайте больше о соревновании и зарегистрируйтесь до 19 апреля

erid:2VtzqxAwfTB
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

Machinelearning

22 Mar 2024 09:03

Приглашаем на бесплатную ML-тренировку Data Dojo!

Разберём решения победителей больших соревнований и сами подумаем над парочкой задач, а ещё проведём экскурсию по петербургскому офису. Пока мы только формируем программу, но уже известен первый доклад:

🔸 Артём Топоров, ex Lead ML в ROGII Inc. Расскажет о своём втором месте на соревновании Kaggle по распознаванию жестового языка.

Data Dojo пройдёт 30 марта в Санкт-Петербурге в онлайн- и офлайн-форматах. Если хотите прийти на офлайн — подавайте заявку, мы проведём отбор участников и отправим приглашение за три дня до тренировки.

Регистрируйтесь и приходите — будем вместе искать ML-просветления 🪬

Machinelearning

21 Mar 2024 16:34

⚡ Lightning Thunder: It makes PyTorch programs faster on single accelerators and distributed.

Thunder, новый компилятор для Python!

В задачах обучения LLM (например, Llama 2 7B) он может ускорить работу на 40% по сравнению с обычным PyTorch.

Вы можете использовать его с pytorch.compile для повышения эффективности. И, конечно же, он также поддерживает обучение с несколькими графическими процессорами через DDP и SDP SDP.

▪Github

@ai_machinelearning_big_data

Machinelearning

20 Mar 2024 18:04

🖼 One-Step Image Translation with Text-to-Image Models

CycleGAN-Turbo превосходит существующие методы на основе GAN и диффузии для различных задач изменения изображений, например, преобразование дня в ночь, добавление / удаление погодных эффектов, таких как туман, снег и дождь и тд.

▪Paper: https://arxiv.org/abs/2403.12036
▪Code: https://github.com/GaParmar/img2img-turbo
▪Demo: http://huggingface.co/spaces/gparmar/img2img-turbo-sketch

@ai_machinelearning_big_data

Machinelearning

20 Mar 2024 11:02

HPE выпустила локальный суперкомпьютер для генеративного ИИ

⏩Компания HPE сообщила о доступности модульной суперкомпьютерной системы для генеративного ИИ. Платформа, предназначенная для локального размещения в инфраструктуре заказчика, построена на суперчипах NVIDIA GH200 Grace Hopper.

⏩О подготовке системы HPE заявила в ноябре 2023 года. В её основу положены серверы ProLiant DL380a Gen11. В общей сложности могут быть задействованы до 168 суперчипов GH200. Кроме того, применяются Ethernet-платформа NVIDIA Spectrum-X и DPU NVIDIA BlueField-3.

⏩Решение дополнено платформой машинного обучения и аналитическим программным обеспечением HPE, платформой для работы с ИИ-приложениями NVIDIA AI Enterprise 5.0, которая включает микросервисы на базе загружаемых программных контейнеров, а также сервисом NVIDIA NeMo Retriever и другими библиотеками для обработки данных и ИИ. Суперкомпьютерная система ориентирована на крупные предприятия, исследовательские институты и правительственные учреждения.

⏩Утверждается, что в конфигурации с 16 узлами комплекс может оптимизировать модель Llama 2 с 70 млрд параметров всего за 6 минут (!). Высокая производительность позволяет клиентам повысить продуктивность бизнеса с помощью приложений генеративного ИИ, таких как виртуальные помощники, умные чат-боты и средства корпоративного поиска. При этом софт HPE Machine Learning Inference позволит предприятиям быстро и безопасно развертывать масштабные модели машинного обучения.

⏩Компания HPE также сообщила о намерении выпустить продукты следующего поколения, использующие аппаратные решения NVIDIA на базе архитектуры Blackwell. Речь идёт о гибридных суперчипах GB200, а также изделиях HGX B200 и HGXB100. Подробности о новых системах будут раскрыты позднее.

@ai_machinelearning_big_data

Machinelearning

19 Mar 2024 19:11

🦾 Supervision: reusable computer vision tools

Supervision - получила очередное обновление.

Это библиотека с открытым исходным кодом, для различных задач компьютерного зрения для трекинга объектов.

Более 2000 коммитов, более 500 PR и более 50 участников.

pip install supervision

▪Github:
▪Project
▪Colab
▪Supervision Cookbooks

@ai_machinelearning_big_data

Machinelearning

19 Mar 2024 14:03

💼 Если ваши сотрудники на удалёнке, так ещё и в разных часовых поясах, то вам явно тяжело выстроить рабочий процесс и сохранить максимум эффективности. Вам может помочь виртуальное пространство от Яндекс 360. На вебинаре 20 марта в 11:00 по Москве они как раз расскажут, как лучше управлять командой в такой ситуации!

Зарегистрироваться можно здесь 👈

Machinelearning

19 Mar 2024 08:06

🤖 Выступите с докладом про AI и ML в кибербезопасности на PHDays Fest 2 в «Лужниках»!

AI — угроза или революция? Как бы то ни было, с угрозами и возможностями использования AI и ML, в том числе в сфере кибербезопасности, мы сталкиваемся уже сегодня.

Вы эксперт в этой теме и у вас есть свежий взгляд на актуальные проблемы искусственного интеллекта в кибербезе и на пути их решения? Тогда вы можете собрать на доклад целый стадион! Успейте до 1 апреля подать заявку на выступление на киберфестивале Positive Hack Days 2, который пройдет с 23 по 26 мая в Москве.

Успейте подать заявку до 1 апреля на сайте киберфестиваля

Machinelearning

18 Mar 2024 16:28

🌟 Рекомендация: Переходите на безопасную облачную платформу VK Cloud с двойным бонусом!

Если ваш бизнес использует облачные сервисы Microsoft Azure, AWS или Google Cloud, то важно обратить внимание на последние изменения. С 20 марта доступ к этим сервисам будет закрыт в России. Но не волнуйтесь, VK Cloud предлагает поддержку для перехода на безопасную облачную платформу с рядом выгодных предложений:

✨ Двойной бонус: Получите грант, в два раза превышающий ваш бюджет на облачные сервисы в феврале 2024 года.
✨ Бесплатная миграция: Мы перенесем вашу ИТ-систему с зарубежного провайдера на платформу VK Cloud.
✨ Бесплатные лицензии и консультации: Предоставим ПО для миграции, покроем стоимость инфраструктуры и предоставим бесплатный консалтинг от команды инженеров Professional Services.

📅 Действие: Оставьте заявку на миграцию до 10 апреля, приложив чек об оплате сервисов Microsoft Azure, AWS или Google Cloud за февраль 2024 года. Мы начислим на ваш бонусный счет VK Cloud средства для тестирования и поможем с быстрым запуском в облаке.

💡 Преимущества: В течение 2 месяцев вы сможете оценить преимущества платформы VK Cloud бесплатно. Для этого оставьте заявку на миграцию до 10 апреля и отправьте чек об оплате сервисов Microsoft Azure, AWS или Google Cloud за февраль 2024 года. VK Cloud начислит на ваш бонусный счет в два раза больше средств для тестирования, а также поможет с бесплатной миграцией и быстрым запуском в облаке.

Не упустите возможность улучшить безопасность и эффективность вашего бизнеса с помощью VK Cloud! ✨🚀

#ОставитьЗаявку #VKCloud #ОблачныеСервисы #Безопасность #Миграция

Machinelearning

17 Mar 2024 10:08

🌟 Ускорение вычислений Machine Learning

⏩Недавно разработчики из AMD опубликовали на GitHub исходные тексты кода драйвера для карт с движком на базе архитектуры XDNA. Проект предоставляет средства для ускорения вычислений, связанные с машинным обучением и обработкой сигналов (NPU, Neural Processing Unit).

⏩Решения NPU на базе архитектуры XDNA поставляется в сериях 7040 и 8040 процессоров AMD Ryzen, ускорителях AMD Alveo V70 и SoC AMD Versal. Код проекта написан на языках С и С++, и открыт под лицензией GPLv2. Для работы драйвера требуется ядро Linux 6.7 с поддержкой IOMMU SVA (Shared Virtual Addressing). Программное обеспечение Xilinx XRT также необходимо построить для работы с этим драйвером ядра.

⏩Опубликованный AMD исходный код включается в себя драйвер для ядра Linux (amdxdna.ko) и runtime-библиотеку (плагин xrt_plugin*-amdxdna) для использования интерфейса XRT (Xilinx Runtime Library), позволяющего обращаться из приложений к обработчикам (kernel), выполняемым на стороне аппаратного ускорителя. XRT позволяет задействовать NPU AMD в приложениях на обычных языках программирования.

⏩Проект предоставляет различные уровни абстракции, от низкоуровневых API для C/C++ до высокоуровневых привязок для Python и компонентов для интеграции с TensorFlow, PyTorch и Caffe.

@ai_machinelearning_big_data

Machinelearning

16 Mar 2024 11:38

🔥 Clarity-Upscaler: Open-Source 🔥 Open-Source 🔥

Clarity AI - это новая нейросеть для апскейла, которая может значительно улучшать разрешение изображений и добавлять детали к ним.

Вы можете самостоятельно контролировать результаты, задавая нужное описание при запуске генератора.

▪ code: https://github.com/philz1337x/clarity-upscaler
▪ page: https://clarityai.cc

@ai_machinelearning_big_data

Machinelearning

16 Mar 2024 06:01

Могут ли нейросети понимать человеческие эмоции?

Да, могут!

В Yandex Cloud разработали нейросеть-эмпата на базе технологии распознавания речи Yandex SpeechKit, которая поможет бизнесу понимать эмоции клиентов по голосу. Новая ML-модель уже может определить негатив, неформальные высказывания и нецензурную лексику.

Расшифровка и анализ эмоций происходят сразу во время разговора. Это позволит лучше адаптировать коммуникации компании под каждого клиента и оперативно реагировать на инциденты в диалоге, если что-то пошло не так.

Вскоре нейросеть-эмпат будет работать в связке с YandexGPT в сервисе речевой аналитики SpeechSense — после этого она сможет понимать неуверенность, сарказм и другие сложные эмоции.

➡️ Узнайте обо всех возможностях нейросети по ссылке

Machinelearning

15 Mar 2024 15:38

🔥 Российский AI GigaChat занял 4-е место среди самых передовых моделей искусственного интеллекта, обогнав GPT-3.5 и гугловский Gemini по результатам бенчмарка AI Benchmarking Guide 2024. Также GigaChat показал лучшие результаты по запросам на русском языке.

Исследование проводилось методом side-by-side. Для определения потенциала модели эксперты использовали комбинацию двух факторов: оценку производительности модели на ее «родном» языке и наивысшую оценку реакции модели на любом другом языке. Кроме того проводились слепые тесты по задачам: перевод, творческое написание текстов, генерация кода и анализ данных.

@ai_machinelearning_big_data

Machinelearning

22 Mar 2024 18:41

⚡ StreamMultiDiffusion: Real-Time Interactive Generation with Region-Based Semantic Control

Интерактивная генерация изображений с нуля с детальным управлением областями, с помощью текста.

▪Сode: https://github.com/ironjr/StreamMultiDiffusion
▪Paper: https://arxiv.org/abs/2403.09055

@ai_machinelearning_big_data

Machinelearning

22 Mar 2024 14:22

☕️ LATTE3D: Large-scale Amortized Text-To-Enhanced3D Synthesis

NVIDIA выпустила еще одну новинку в области преобразования текста в 3D - LATTE3D. Потребность в высококачественных 3d-ресурсах огромна и охватывает медиа и развлечения, робототехнику и симуляцию, и это лишь некоторые из них.

DreamFusion, выпущенный примерно в 2022 году, был медленным и некачественным, но положил начало революции в области создания 3D. Такие модели, как ATT3D (амортизированный синтез текста в 3D-объекты), давали скорость за счет качества.

LATTE3D это высокое качество и генерация менее чем за секунду! Это означает, что вы можете быстро выполнить генерации и создать 3D-мир, используя преобразование текста или изображения в 3D. Это прорыв в использовании как нейронного поля, так и текстурированной поверхности для создания высокодетализированных текстурированных сеток за один проход.

https://research.nvidia.com/labs/toronto-ai/LATTE3D/

@ai_machinelearning_big_data

Machinelearning

22 Mar 2024 11:03

📢 𝐕𝐨𝐢𝐜𝐞𝐂𝐫𝐚𝐟𝐭: Zero-Shot Speech Editing and Text-to-Speech in the Wild🪄

SotA как для редактирования речи, и для преобразования текста в речь, превосходящий VALL-E, XTTS-v2 и т.д.

VoiceCraft работает с фильмами, видеороликами, подкастами и тд.

▪Github
▪Paper
▪Project

@ai_machinelearning_big_data

Machinelearning

21 Mar 2024 17:52

🪴 SceneScript, a novel method for reconstructing environments and representing the layout of physical spaces

Scene Script - новый метод реконструкции окружающей среды и объектов в пространстве от RealityLabs

SceneScript способен напрямую определять геометрию помещения с помощью сквозного машинного обучения и описывать его.

По сравнению с предыдущими подходами, описание являются компактны и полными.

Scene Script использует предсказание следующего токена, как LLM, но вместо естественного языка он использует архитектурные токены. Чтобы обучить Scene был создан синтетический набор данных из 100 000 уникальных пространств.

Scene Script представляет собой важную веху на пути к идеальной дополненной реальности, которые соединят физический и цифровой миры.

▪Paper
▪Project
▪Dataset

@ai_machinelearning_big_data

Machinelearning

21 Mar 2024 14:34

🌐 EdgeЦентр — Гарантия стабильности и безопасности вашего бизнеса в цифровой среде 🚀

🔹 Локации по всей России, превосходная связность: Мы предоставляем широкий охват локаций по всей России, обеспечивая высокую скорость и надежность связи.

🔹 Инфраструктура для любого бизнеса: Наши дата-центры Tier III обеспечивают безопасное хранение и доставку контента, а также гарантированную киберзащиту.

🔹 Облачные и edge‑решения от единого поставщика: Мы предлагаем высокую надёжность и гибкость в облачных и edge‑решениях, позволяя вашему бизнесу эффективно развиваться.

🔹 Российская разработка: Наши серверы находятся в России, и мы гордимся тем, что не только остаёмся здесь, но и предлагаем технологически продвинутые решения, не уступающие зарубежным конкурентам.

🔹 Впечатляющие цифры: У нас более 3 000 физических серверов, 30+ точек присутствия, мы работаем с пиковыми ежедневными нагрузками более 10 Тбит/с, и мы успешно отражаем атаки свыше 3 Тбит/с каждый день.

Присоединяйтесь к EdgeЦентр — вашему надёжному партнёру инновационных облачных решений! 💡💻

#EdgeЦентр #Облака #Киберзащита #Россия

Реклама. ООО "ЭДЖЦЕНТР", ИНН 7704848336. erid: LatgC4CAN

Machinelearning

20 Mar 2024 16:03

Персональные рекомендации для вашей ленты новостей

В Одноклассниках используется умная система рекомендаций, которая анализирует интересы пользователей. Чем больше пользователь взаимодействует с лентой, тем релевантнее становятся рекомендации.

Система определяет краткосрочные вкусы — похожие на недавно просмотренные посты. И долгосрочные вкусы — на основе активности за 6 месяцев. Алгоритм группирует понравившиеся посты и находит наиболее релевантные, чтобы среди них искать похожий интересный контент.

Дмитрий Решетников, тимлид команды разработки Ленты ОК в статье на Хабре, рассказывает, что такое item2vec-подход, и как с помощью него формируется лента рекомендаций у пользователей.

@ai_machinelearning_big_data

Machinelearning

20 Mar 2024 09:02

Программа бакалавриата в Центральном университете от Тинькофф с грантом до 100% для сильных и мотивированных абитуриентов!

Грант можно получить на одно из направлений бакалавриата по искусственному интеллекту, разработке и бизнес-аналитике. Помимо диплома и практико-ориентированного образования студенты получат:
- Персонализацию учебной траектории;
- Стажировку в одной из лучших ИТ-компании страны;
- Личного ментора на все время обучения;
- Доступ к современному кампусу в центре Москвы.

Получить полную информацию и оставить заявку можно здесь.
erid:2VtzqxFnEj6
Реклама, АНО ВО «Центральный университет», ИНН 7743418023

Machinelearning

19 Mar 2024 16:03

⭐️ На Хабре вышла статья про введение в современную квантизацию

ML-разработчик Яндекса рассказал о квантизации нейросетевых моделей: зачем она нужна и какие подходы к ней существуют. Квантизация — это переход от типа данных с большим числом бит, например, float32 к типу с меньшим числом, такому как int8. Автор рассказал о своем опыте и рассмотрел ключевые идеи квантизации нейросетевых моделей в перспективе LLM.

@ai_machinelearning_big_data

Machinelearning

19 Mar 2024 10:06

🔉 MeloTTS is a high-quality multi-lingual text-to-speech library

Mellott одна из лучших библиотек преобразования текста в речь с открытым исходным кодом, поддерживающая несколько языков.

▪Github
▪Project
▪Docs

@ai_machinelearning_big_data

Machinelearning

18 Mar 2024 18:28

🔥 GPT-4 Turbo в Copilot

⏩Microsoft объявила о развёртывании большой языковой модели GPT-4 Turbo в бесплатной версии Copilot. Решение позволит повысить производительность помощника на базе искусственного интеллекта.

⏩Ранее доступ к GPT-4 Turbo имели только пользователи подписки Copilot Pro, стоимость которой составляет $20 в месяц. Генеральный директор по рекламе и веб-сервисам Microsoft Михаил Парахин поделился, что развёртыванию более производительной ИИ-модели для бесплатного Copilot предшествовало «немало работы».

⏩Дочерняя компания Microsoft, OpenAI, представила GPT-4 Turbo в ноябре прошлого года. Базу модели обновили до апреля 2023 года, а для запросов теперь можно вводить промты до 128 тыс. токенов, что равно примерно 300 страницам. В декабре Microsoft добавила GPT-4 Turbo в Copilot Pro.

⏩По словам Парахина, обладатели Copilot Pro, которые предпочитают использовать более старую GPT-4, могут воспользоваться для этого переключателем.

⏩Ранее Microsoft объявила, что подписчики Copilot Pro получат доступ к конструктору пользовательских ИИ-моделей Copilot GPT Builder. Решение позволяет создавать чат-ботов без каких-либо знаний программирования. Также пользователи Copilot Pro смогут делиться своими моделями даже с теми, у кого нет подписки. Такие чат-боты можно запускать как на мобильных устройствах, так и на ПК.

⏩В рамках последней презентации Samsung показала новые возможности Copilot в Windows 11 до официального анонса со стороны Microsoft. Изображения на сайте южнокорейской компании подтверждают слухи о реализации идеи использования естественного языка при общении с ИИ для различных задач. Например, это включает напоминания о сказанном другими пользователями в чате, возможность скопировать ссылку или другие данные из сообщения пользователя в чате, отвечать на определённые слова в чате определёнными сообщениями и другие опции.

@ai_machinelearning_big_data

Machinelearning

18 Mar 2024 08:40

🔥Grok-1 LLM от Илона Маска.

Grok-1 представляет собой смесь экспертов размером 314B обученную с нуля xAI.

Лицензия: Apache 2.0

Веса Grok-1 доступны на Brazzer

▪ Model: https://dagshub.com/xai/grok-1
▪ Page: https://x.ai/blog/grok-os
▪ Code: https://github.com/xai-org/grok-1
▪ Hugging face:https://huggingface.co/xai-org/grok-1

@ai_machinelearning_big_data

Machinelearning

17 Mar 2024 08:08

Вариант для тех, кто ищет виртуальный сервер с хорошей веб-защитой — Aéza:

– Виртуальные сервера до 6.0 ГГц на лучших процессорах;
– Профессиональная фильтрация атак StormWall;
– Круглосуточная поддержка;
– Anycast фильтрация;
– Низкие цены;
– 15% кешбэка по ссылке.

Бесконечно можно смотреть на три вещи: на огонь, воду и скидку от Aeza!
Говорят: твоё от тебя не уйдет. А зачем ждать? Динозавры тоже ждали и остались в прошлом

Используй 50% скидку и погнали в будущее!

Кроме того, сейчас Aéza раздает личные бесплатные сервера, забираем тут. Регистрация, подписка, платежи не потребуются.

Реклама. Индивидуальный предприниматель Лобанов Леонид Константинович. ИНН 781625705648 erid: LjN8KEr3S

Machinelearning

16 Mar 2024 08:01

📌Microsoft рассказала, какие у Google преимущества в сфере генеративного ИИ

Microsoft заявила, что доступ к огромным объёмам данных и наличие оптимизированных под искусственный интеллект чипов дают Google преимущество в сфере генеративных нейросетей. Таким образом софтверный гигант попытался подчеркнуть наличие конкуренции в сегменте генеративных нейросетей. В январе этого года Еврокомиссия, основной отраслевой регулятор Евросоюза, начала проверку с целью выявления нарушений антимонопольного законодательства в этой сфере.

Сегмент генеративных нейросетей развивается быстрыми темпами. Появление чат-ботов на основе искусственного интеллекта, таких как ChatGPT от OpenAI и Gemini от Google, вызывает опасения по поводу того, что подобные технологии могут использоваться для создания фейковых новостей и распространения дезинформации. На этом фоне Еврокомиссия начала изучать сегмент, чтобы убедиться в том, что все игроки находятся в одинаковых условиях.

«Сегодня только одна компания — Google — вертикально интегрирована таким образом, что обеспечивает ей силу и независимость на всех уровнях ИИ — от чипов до процветающего магазина мобильных приложений. Все остальные вынуждены полагаться на партнёрские отношения, чтобы внедрять инновации и конкурировать», — говорится в докладе Microsoft, который был направлен в Еврокомиссию.

В Microsoft считают, что способность Google самообеспечивать себя оптимизированными под ИИ чипами даст ей конкурентные преимущества на ближайшие несколько лет. В это же время огромные массивы данных из поискового индекса Google и YouTube позволят компании обучать свою языковую модель Gemini. «YouTube предоставляет беспрецедентный набор видеоконтента: на платформе размещено около 14 млрд видеороликов. У Google есть доступ к этому контенту, а у других разработчиков в сфере ИИ — нет», — заявила Microsoft.

📎 Читать подробнее

@ai_machinelearning_big_data

Machinelearning

15 Mar 2024 17:20

🖥 pyvene: A Library for Understanding and Improving PyTorch Models via Interventions

Стэнфордская библиотека NLP для понимания и улучшения моделей на основе PyTorch.

Воздействие на внутренние состояния модели являются важной операцией во многих областях работы с ИИ, включая редактирование модели, управление, ее надежность и интерпретируемость.

Для облегчения таких задач исследователи Стэнфорда создали библиотеку Python с открытым исходным кодом, которая поддерживает сложные схемы взаимодействия с моделями в интуитивно понятном формате.

pip install pyvene

Например, вы можете использовать любую модель hf:

import torch
import pyvene as pv
from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "meta-llama/Llama-2-7b-hf" # your HF model name.
model = AutoModelForCausalLM.from_pretrained(
    model_name, torch_dtype=torch.bfloat16, device_map="cuda")
tokenizer = AutoTokenizer.from_pretrained(model_name)

def zeroout_intervention_fn(b, s): 
    b[:,3] = 0. # 3rd position
    return b

pv_model = pv.IntervenableModel({
    "component": "model.layers[15].mlp.output", # string access
    "intervention": zeroout_intervention_fn}, model=model)

# run the intervened forward pass
orig_outputs, intervened_outputs = pv_model(
    tokenizer("The capital of Spain is", return_tensors="pt").to('cuda'),
    output_original_output=True
)
print(intervened_outputs.logits - orig_outputs.logits)

tensor([[[ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.
         [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],
         [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],
         [ 0.4375,  1.0625,  0.3750,  ..., -0.1562,  0.4844,  0.2969],
         [ 0.0938,  0.1250,  0.1875,  ...,  0.2031,  0.0625,  0.2188],
         [ 0.0000, -0.0625, -0.0312,  ...,  0.0000,  0.0000, -0.0156]]],
       device='cuda:0')

Machinelearning

15 Mar 2024 11:01

❓Возможно, совсем скоро мы увидим GPT-4.5 Turbo от OpenAI❓

⏩ Согласно новым данным из «утечки» от OpenAI, одним из существенных обновлений в GPT-4.5 Turbo является окно длины контекста в 256k токенов, что вдвое превышает текущие 128k GPT-4 Turbo. Этот шаг, похоже, является ответом OpenAI на конкурентов, запускающих модели со все более большими контекстными окнами, включая Google Gemini. Вероятно, что новая модель GPT изменит ситуацию для OpenAI или даже продвинет её впереди чат-бота Google.

OpenAI пока официально не раскрыла информацию об утечке, поэтому статус GPT-4.5 Turbo и дата выпуска в июне 2024 года окутаны тайной.

⏩Немного предыстории
12 марта 2024 года исследователи обнаружили в кэше Bing, что OpenAI готовится представить нейросеть GPT-4.5 Turbo. Но ссылка на эту страницу на сайте OpenAI выдаёт ошибку 404. Также из поисковой выдачи пропало упоминание о новом чат-боте.

⏩Ожидается, что с помощью чат‑бота GPT-4.5 OpenAI стремится устранить некоторые ограничения и проблемы, с которыми столкнулись его предшественники. Это включает в себя уменьшение предвзятости в сгенерированном тексте, улучшение понимания моделью неоднозначных запросов и значительное улучшение её способности решать задачи, специфичные для определённой предметной области.

@ai_machinelearning_big_data