219931
Всё, что может быть интересно медиа про Яндекс: новости, анонсы, заявления, комментарии, инсайды и другие горячие и не очень события ⚡️ PR-команда: pr@yandex-team.ru
«1000 песен в твоём кармане» — ровно 24 года назад Стив Джобс представил iPod
Небольшой плеер изменил музыкальную индустрию, спас Apple и стал предвестником iPhone. До его появления плееры были громоздкие и неудобные, но им на смену пришла маленькая коробочка с 5 или 10 гигабайтами памяти, колесом прокрутки и батареей на 10 часов.
iPod изменил не только прослушивание музыки, но и саму музыкальную индустрию: появление iTunes Store привело к спаду пиратства, пришла мода на синглы. Плеер в каком-то смысле спас Apple от банкротства — принёс много денег и превратил компанию в нечто большее, чем просто производителя техники.
Всего было выпущено 28 моделей iPod: mini, nano, touch, shuffle, classic. Последнюю — 7-е поколение iPod Touch — сняли с производства 10 мая 2022 года.
Подписывайтесь 👉 @techno_yandex
23 октября в 12:00 пройдёт первая конференция Яндекса, посвящённая физическому ИИ — технологиям, которые соединяют искусственный интеллект с реальным миром.
🟣 Расскажем о новых технологичных решениях, делающих наши автономные системы надёжными, безопасными и готовыми к масштабированию.
🟪 Представим наш актуальный автономный флот и поделимся планами по его применению.
🟣 Покажем, как ИИ выходит за пределы экранов и взаимодействует с физическим миром.
Подключайтесь к прямой трансляции нашего канала или смотрите конференцию по ссылке. Она будет активна с 10:00 23 октября.
Подписывайтесь 👉 @yab2btech
ИИ становится главным программистом планеты. Даже в крупных компаниях нейросети пишут значительную долю кода, а где-то уже и вовсе взяли на себя основную часть работы. Собрали инфографику по лидерам ИИ-индустрии.
Подписывайтесь 👉 @techno_yandex
📱 Технодайджест недели
Китайские производители представили флагманские смартфоны. Свои флагманские линейки анонсировали сразу три бренда — Vivo, Honor и Oppo. Все они получили новые чипы от Qualcomm и MediaTek, OLED-экраны с частотой 120 Гц и ёмкие аккумуляторы.
Honor Magic 8 выделяется ИИ-ассистентом YOYO Agent, который может выполнять действия от имени пользователя — например, сортировать фотографии или составлять письма. А Magic 8 Pro также получил 3D-сенсор для разблокировки по лицу, как в iPhone. Oppo X9 Pro оснастили аккумулятором ёмкостью 7500 мАч и 200-мегапиксельной телефото-камерой с трёхкратным зумом. Главной особенностью vivo X300 Pro стал набор камер с оптикой Zeiss, включая телеобъектив на 200 Мп с зумом 3,7x. Для Oppo и vivo, кстати, будут доступны чехлы для фотографов с отдельными большими телеобъективами.
Линейка Vivo X300 официально выйдет в России, а про российский релиз Oppo и Honor пока неизвестно, но предыдущее поколение Honor Magic 7 продавалось в стране официально.
Также Honor показала на неделе концепт Robot Phone — смартфон с камерой на подвижном подвесе. Она может поворачиваться для съёмки в разных направлениях и убираться в корпус, когда не нужна. Подробности обещают рассказать на выставке MWC в следующем году.
Apple представила новые MacBook, iPad и Vision Pro. Все новинки работают на базе нового процессора M5, который Apple называет «огромным скачком» в производительности для задач с ИИ — по сравнению с M4 она выросла до 3,5 раз. Чип получили 14-дюймовый MacBook Pro, новый iPad Pro и новая версия шлема Vision Pro, в котором также обновили дисплеи: частота выросла со 100 до 120 Гц.
Google запустила ИИ-режим в поиске для пользователей из России. При его активации поисковик открывает чат с нейросетью Gemini 2.5. Она даёт развёрнутый ответ на запрос со ссылками на источники, изображениями и видео, после чего с ней можно продолжить диалог.
Яндекс Карты и Навигатор научились персонализировать время в пути. Теперь они учитывают не только ситуацию на дороге, но и стиль вождения каждого пользователя — например, как быстро он движется относительно потока и совершает ли обгоны. Алгоритм анализирует поездки и адаптирует прогноз времени прибытия. Чем больше пользователь ездит с навигатором, тем точнее будет расчёт. В будущем персонализированными станут и сами маршруты — приложения будут предлагать варианты пути, соответствующие предпочтениям водителя.
Microsoft интегрировала в Windows 11 голосовое управление Copilot и анонсировала агентный режим. Компания добавила поддержку голосовой команды «Hey, Copilot» для запуска ИИ-помощника, а также функцию Copilot Vision, которая видит происходящее на экране и помогает пользователю с задачами — от обучения работе в приложениях до прохождения игр. В будущем Microsoft планирует добавить Copilot Actions — возможность давать ассистенту команды для работы с локальными файлами, например, для автоматической сортировки фотографий.
⭐ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке
Подписывайтесь 👉 @techno_yandex
Мы уже на полпути к AGI?
Ведущие исследователи ИИ составили единый тест нейросетей на близость к общему искусственному интеллекту (AGI). И GPT-5 показал результат в 58% — это больше чем в два раза лучше, чем вышедшая двумя годами ранее GPT-4. Но у этого роста есть важный нюанс.
За основу бенчмарка взяли теорию Кеттелла-Хорна-Кэрролла — разделение человеческого познания из 10 частей (на картинке выше). Для каждого из параметров создали тест с оценками от 1 до 10, которые в сумме дают процент близости к мышлению человека, а значит, и к AGI.
Главный вывод: нейросети приближаются к AGI неравномерно. В тестах на образованность GPT-5 получила максимальные оценки, заметно опередив предшественника. Но в проверке на долгосрочную память не набрала ни одного балла, как и GPT-4.
Эталонное человеческое сознание невозможно представить без хорошей памяти — над этой проблемой разработчики ИИ бьются уже давно. Пока она решается «костылями», такими как длинное контекстное окно или RAG.
Подписывайтесь 👉 @techno_yandex
Хидео Кодзима назвал Another World 1991 года одной из пяти лучших игр в истории. С неё мы начинаем сериал про видеоигры, оказавшие влияние на индустрию благодаря своим техническим решениям.
Кинематографичность Another World, которая помещалась на одной дискете, на момент выхода казалась чем-то из другого мира. И всё это стало возможным благодаря усилиям разработчика-одиночки.
Подписывайтесь 👉 @techno_yandex
📼 Sora 2 появилась совсем недавно, но видео с её вотермаркой уже заполонили интернет
В новом ролике тестируем модель на прочность и рассказываем, как OpenAI собирается утопить всех в ИИ-слопе.
Подписывайтесь 👉 @techno_yandex
Смартфоны — одна из главных причин интернет-зависимости. Они же могут стать решением, если убрать всё лишнее. На этой концепции держится тренд на «осознанные» смартфоны: девайсы без браузеров, соцсетей и прочего инфошума.
Подписывайтесь 👉 @techno_yandex
Сможет ли нейросеть выиграть в Super Mario или придумать смешную шутку про Хрюшу? Обычно бенчмарки, которые используют для оценки и сравнения нейросетей, состоят из множества заданий, но иногда достаточно одного странного или смешного. Собрали несколько таких необычных бенчмарков в карточках.
Подписывайтесь 👉 @techno_yandex
Первый смайлик в истории был отправлен ровно 43 года назад
19 сентября 1982-го в форуме американского университета Карнеги — Меллона появилось саркастическое сообщение, которое оскорбило других участников. В ответ ученый-информатик Скотт Фалман написал:
Предлагаю помечать шутки таким набором символов:
:-)
Читать, наклонив голову. На деле более экономно будет помечать НЕ шутки, судя по происходящему. Для них используйте
:-(
— На какое место вы поставите себя среди современных писателей?
— Должен существовать специальный типографский символ для улыбки — горизонтальная скобка, которой я бы ответил на ваш вопрос.
78 лет назад, 9 сентября 1947 года, был обнаружен первый компьютерный баг в истории. Или просто жук? Но ведь всё началось со злых духов? В общем, рассказываем эту историю.
Подписывайтесь 👉 @techno_yandex
🦄 Все врут (включая нейросети). Научить модель знать всё — очень сложно, поэтому перед разработчиками стоит другая задача — чтобы ИИ признавался, когда не знает ответа. Спросили у руководителя команды базового алайнмента Алексея Зотова, как новую модель YandexGPT 5.1 учили быть честной.
Откуда берутся галлюцинации
Языковые модели работают на предсказании токенов — следующих фрагментов текста. Когда модель не может найти на 100% верный токен, она подставляет наиболее подходящий. Но он не всегда правильный, ведь токены часто подходят не только по фактам, но и по стилю, аналогии или другим параметрам.
Как YandexGPT 5.1 отучали от галлюцинаций
Мы наглядно показали модели, когда ей следовало ответить, что она не знает.
🔸 Попросили саму нейросеть ответить на множество вопросов.
🔸 Ответы проверили автоматически, сверяя с её же датасетом для предобучения. Там, где она ошиблась, правильным ответом стало «я не знаю».
🔸 Эти пары запросов и ответов собрали в синтетический датасет для дообучения.
Как оценивают честность нейросетей
Для этого есть специальные бенчмарки вроде Simple QA от OpenAI. Моделям задают список вопросов про науку, кино, политику, географию и т. д. Затем их ответы проверяют с помощью другой модели, сверяясь с эталонным ответом или документом, в котором содержится ответ. Ответы разбивают на три группы — правильные, противоречивые (с галлюцинациями) и отказы от ответа. После этого оценку ставят на основании процентного соотношения этих групп.
Почему так сложно научить модель говорить «я не знаю»
Главная сложность — найти баланс, чтобы нейросеть не считала «я не знаю» слишком универсальным ответом и продолжала искать правильный, если он есть. Чтобы избежать излишней осторожности, модели дают несколько попыток сгенерировать правильный ответ. И только если все попытки приводят к галлюцинациям — предлагают отказываться от ответа.
Как ещё можно бороться с галлюцинациями?
Можно использовать источники дополнительной информации, например, результаты поиска. Они в виде текста подаются на вход модели, чтобы она использовала их при ответе на запрос. Помимо точности фактовых ответов, это также решает проблему актуальности знаний модели.
Подписывайтесь 👉 @techno_yandex
💬🤖 Замечали, что нейросети добрались до домовых чатов и частных переписок? Многие ленятся отвечать сами, просят написать нейросеть, копируют её ответ и выдают за свой. И это очень раздражает.
Рассказываем, как распознать руку нейросети в чате.
Подписывайтесь 👉 @techno_yandex
Мы решили выяснить, какой год был самым крутым с точки зрения технологий, и, кажется, это 2004-й. А какой техногод запомнился вам?
⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке
Подписывайтесь 👉 @techno_yandex
В 2017 году два чат-бота — Алиса и Боб — начали общаться между собой на непонятном языке, после чего разработчики решили их отключить. Что это было? Сейчас расскажем.
Алису и Боба разрабатывали для переговоров, но что-то пошло не так
Разработчики из Facebook* хотели научить их подстраиваться под собеседника, предвидеть ход разговора и выбирать оптимальные ответы. В диалоге они должны были разделить между собой несколько мячей, шляп и книг, заработав максимальное количество очков. Вначале им показали текстовые сообщения живых игроков, а потом позволили играть друг с другом. Но вместо того чтобы говорить так, как ожидали разработчики, боты начали общаться на собственном языке. Медиа подхватили историю, представив её как пугающий пример разумности ИИ.
Вот как выглядел диалог Алисы и Боба:
Bob: i can i i everything else . . . . . . . . . . . . . .Общение Алисы и Боба напомнило журналистам феномен криптофазии у людей
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
👾 Британская индустрия видеоигр зародилась в спальнях
Первыми именитыми разработчиками игр в Великобритании были подростки, которые в одиночку кодили игры у себя дома и зарабатывали на этом неплохие деньги. В новом ролике — история «спальных кодеров».
Подписывайтесь 👉 @techno_yandex
💾💰🤖 До $150 можно получить за видео, в котором вы делаете домашние дела
Это лишь один из примеров, как люди продают свои данные для обучения и использования нейросетей. Вот что покупают технокомпании и пользователи.
• Бытовые видео
от $10 до $150 за час
Ролики от первого лица, на которых люди готовят, загружают посудомойку или складывают бельё, покупают для обучения роботов.
• Блогерские видео
от $1 до $4 за минуту
Ютуберы и тиктокеры продают неиспользованные ролики для обучения визуальных моделей. Дороже всего — 4К и съёмки с дронов.
• Запись голоса
от $50 в месяц
Можно продать свой голос для аудиоконтента (например, рекламы) или для обучения аудиомоделей.
• Промты
от $2,99 за штуку
На промт-маркетплейсах можно продавать промты для генерации любых текстов, картинок, видео или кода.
Подписывайтесь 👉 @techno_yandex
Учимся отличать чат-ботов от агентов, о которых сейчас все говорят. Грань между ними становится всё более размытой, но есть простые критерии.
Подписывайтесь 👉 @techno_yandex
🪲 Думаете, компьютерные баги называли в честь жуков (bugs)?
А вот и нет. Оказывается, во всём виноваты барабашки и Томас Эдисон. Рассказываем в коротком видео, как компьютерные ошибки окрестили багами.
Подписывайтесь 👉 @techno_yandex
Хидео Кодзима назвал Another World 1991 года одной из пяти лучших игр в истории. С неё мы начинаем сериал про видеоигры, оказавшие влияние на индустрию благодаря своим техническим решениям.
Кинематографичность Another World, которая помещалась на одной дискете, на момент выхода казалась чем-то из другого мира. И всё это стало возможным благодаря усилиям разработчика-одиночки.
Подписывайтесь 👉 @techno_yandex
🤖🌎 Электричество поможет преодолеть социальное неравенство, а интернет сотрёт границы — новые технологии всегда вызывали большие надежды. А чего вы ждёте от ИИ? Напишите в комментариях.
Подписывайтесь 👉 @techno_yandex
Один из первых сервисов музыкальных рекомендаций позволял пользователям связываться по электронной почте с «искусственным интеллектом», который подбирал музыку на основе предпочтений. Рассказываем про американский сервис Ringo (и пытаемся понять, действительно ли там был ИИ).
Как это работало
Ringo запустился в 1994 году и работал через электронную почту: сначала пользователю нужно было оценить 125 музыкантов из списка по шкале от 1 до 7. Алгоритм анализировал вкусы клиента и затем отправлял регулярные письма с предложениями, что послушать.
Ringo создавал профили музыкальных вкусов по первичному опроснику, сопоставлял их с общей базой пользователей и искал «соседей» по вкусам. И если кому-то нравился новый трек, система отправляла его схожим по предпочтениям людям.
Чат-бот в электронной почте
Ringo вырос из стэнфордского сервиса SIFT для рассылки интересных статей по электронной почте, который работал по тому же принципу. Управлять им можно было текстовыми командами в письмах: пользователь мог подписаться на тему, запросить полную статью или изменить свои предпочтения. Это был почти чат-бот — только он не генерировал текст, а отправлял заранее сформулированные письма.
Работа Ringo также напоминала современных чат-ботов, и со временем многие пользователи начали видеть в нём друга. Создателям сервиса даже пришлось переписать текст, с которым Ringo отправлял рекомендации, чтобы было понятно: вы общаетесь с машиной, а не с человеком.
ИИ или не ИИ
Ringo и SIFT — ранние версии рекомендательных алгоритмов, на современных версиях которых сейчас работают Яндекс Музыка, Netflix и другие сервисы с контентом. Только тогда алгоритм работа на простом принципе коллаборативной фильтрации: «похожим пользователям нравятся похожие объекты».
С каждым новым запросом пользователя Ringo и SIFT начинали лучше его понимать и подбирать для него рекомендации. Также со временем алгоритм обучался и становился лучше — механика сильно напоминает машинное обучение. Главное отличие: в основе не собранные из интернета массивы данных, а специализированные профили людей. Чем больше пользователей — тем лучше алгоритм и тем проще ему найти обладателей аналогичных музыкальных вкусов.
Кстати, сейчас Ringo уже нет: в 1998 году Microsoft купил компанию за $40 млн. В конечном счёте от неё осталась лишь система логина через почту, которая позже стала Microsoft Passport.
Подписывайтесь 👉 @techno_yandex
⚒️ Да кто такие эти ваши агенты?
Стив Джобс называл их «маленькими друзьями в компьютере», но понятнее от этого не становится. Объясняем, что делает агента агентом, в коротком ролике.
Подписывайтесь 👉 @techno_yandex
🤖 Технодайджест недели
OpenAI запустила раздел Pulse в ChatGPT. Новая функция анализирует историю чатов пользователя и подключенные приложения вроде календаря и почты, чтобы каждое утро доставлять персональную подборку новостей и идей в виде визуальных карточек. Пока функция доступна только подписчикам Pro за $200 в месяц и только на смартфонах, но компания хочет распространить её на остальных пользователей в будущем.
MediaTek и Qualcomm представили новые процессоры. MediaTek анонсировала чип Dimensity 9500, производительность которого выросла на 17% в многоядерном режиме. Мощность нейропроцессора в нём увеличилась в два раза. Qualcomm на этой неделе представила сразу три чипа: Snapdragon 8 Elite Gen 5 для флагманских смартфонов, а также Snapdragon X2 Elite и Extreme для ноутбуков на Windows. Процессор в чипе для смартфонов стал на 17% мощнее и на 35% эффективнее. Линейка для компьютеров выделяется NPU мощностью 80 TOPS — самым быстрым для ноутбуков.
Xiaomi выпустила флагманскую линейку смартфонов Xiaomi 17. Это первые устройства на базе Snapdragon 8 Elite Gen 5. Всего есть три модели: базовый Xiaomi 17, а также 17 Pro и 17 Pro Max. Главная фишка Pro-моделей — дополнительный экран на задней панели. На нём можно смотреть уведомления, делать селфи, управлять музыкой. Базовая версия и Pro получили экран LTPO-OLED с диагональю 6,3 дюйма, а в Pro Max установлен экран на 6,9 дюйма. Емкость аккумулятора варьируется от 6300 мАч в Pro до 7500 в Pro Max. Смартфоны уже начали продаваться в Китае, стоимость составляет примерно 53 тысячи рублей за базовую версию.
Google представила систему Gemini Robotics 1.5. Она подходит для разных моделей роботов и состоит из двух нейросетей. Первая выступает в роли «мозга» — она анализирует задачу, разбивает её на шаги и даже может искать информацию в интернете. Вторая получает эти шаги и преобразует их в конкретные движения. Такой подход позволяет выполнять сложные многоэтапные задачи. Например, Google показала, как робот может сортировать мусор, предварительно поискав в интернете местные правила переработки отходов.
Suno запустила генеративную аудиостудию Suno Studio. Это рабочая станция для создания музыки, которая объединяет функции традиционных программ с возможностями нейросетей. Пользователи могут редактировать треки на временной шкале, управлять темпом и громкостью, а также генерировать неограниченное количество вариаций для отдельных дорожек — вокала, ударных и других инструментов. Готовые проекты можно экспортировать в виде аудио или MIDI-файлов для дальнейшей работы в других редакторах.
⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке
Подписывайтесь 👉 @techno_yandex
Прошло 40 лет, а принцесса всё ещё в другом замке
13 сентября 1985 года вышла игра про супербратьев Марио и Луиджи. Впервые они появились в игре 1983 года для аркадных автоматов, но легендарными братьев сделала именно Super Mario Bros 1985-го, в которую уже можно было играть дома на консоли NES.
За 40 лет история про итальянского водопроводчика в Грибном королевстве разрослась до мультимедийной франшизы с играми, фильмами, мультсериалами, аниме и даже парками развлечений. А сам Марио до сих пор остаётся одним из главных маскотов Nintendo и видеоигр в целом.
Подписывайтесь 👉 @techno_yandex
Один из главных маркетинговых трендов последних лет — использовать ИИ везде, где только можно (даже если он там не нужен). Это явление называют ИИ-вошинг.
Что это такое
Так называют стратегию, при которой компании «отмывают» продукт с помощью ИИ — делают его более привлекательным. Термин появился по аналогии с гринвошингом — маркетинговым упором на экологичность. Правда, чаще всего ни о каком ИИ речи не идёт, а за инновацию выдают уже давно существующую функцию или выдумывают несуществующую.
На практике это выглядит так: обычный автоответчик с заготовленными фразами называют чат-ботом с машинным обучением, а базовую статистику покупок — предиктивной аналитикой на основе ИИ.
Зачем это делают?
Это помогает повысить прибыль: заявления о внедрении ИИ работают как на инвесторов, так и на пользователей. Далеко не все разбираются в тонкостях и предпочитают верить, что ИИ — это хорошее дополнение для любого продукта.
Это законно?
Ложные маркетинговые заявления преследуются по закону, но до сих нет чётких законодательных определений ИИ. Поэтому называть фитнес-приложение «умным ИИ-тренером» пока можно, но уже есть случаи штрафов. Например, в марте 2024 года американская комиссия по ценным бумагам (SEC) впервые оштрафовала две инвестиционные компании на $400 000 за ложную рекламу об использовании ИИ в продукте.
Подписывайтесь 👉 @techno_yandex
А помните мир без нейросетей? Скучаете по тем временам? И если да, то по чему именно? Пишите в комментариях.
Подписывайтесь 👉 @techno_yandex
Исследователи из нескольких американских университетов пообщались с сообществом незрячих и слабовидящих людей и выяснили, как они используют нейросети для решения бытовых задач. Рассказываем об основных вариантах применения.
📍 Ориентация в пространстве
ИИ помогает в навигации на улицах, вокзалах и в аэропортах. Специальные приложения помогают распознавать окружающие объекты, читать указатели и избегать препятствий.
🪞 Оценка внешнего вида
ИИ подсказывает, насколько опрятно человек выглядит перед выходом на улицу или видеозвонком — хорошо ли уложены волосы, вся ли одежда застегнута и нет ли на ней пятен.
✨ Проверка порядка в доме
Перед приходом гостей нейросети могут определить, не разбросаны ли по дому личные вещи и как помещение выглядит в целом.
📱 Публикация постов в соцсетях
ИИ помогает распознавать предметы и людей — так, чтобы фото было правильным по композиции, и на него случайно не попала бы конфиденциальная информация: банковская карта или номер квартиры.
📑 Анализ документов
Нейросети сканируют трудовые договоры, банковские выписки и налоговые декларации. Зачитывая текст, они сразу выделяют спорные места.
Какие сервисы используют
Seeing AI — распознает текст, объекты, лица и целые сцены на фото
TapTapSee — распознает предметы
Be My AI — описывает фото и отвечает на вопросы
GoodMaps — помогает ориентироваться внутри помещений
⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке
Подписывайтесь 👉 @techno_yandex
🖥 44 года назад появился первый массовый компьютер
12 августа 1981-го стартовали продажи IBM PC 5150, благодаря которому появился термин «персональный компьютер».
Первый компьютер IBM вышел еще в 1975-м. Он стоил 20 тысяч долларов и, как все компьютеры того времени, был доступен только крупным компаниям и исследовательским центрам.
В отличие от него PC 5150 впервые использовал открытую архитектуру, которая дала возможность другим компаниям создавать копии таких машин – так появился термин «IBM-совместимый компьютер». После того, как в 1983 году компания Compaq выпустила первого клона IBM, начали появляться доступные по цене компьютеры, а сам домашний ПК, наконец, стал массовым
⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке
Подписывайтесь 👉 @techno_yandex
Как устроено зрение нейросетей
В Live-режиме, доступном с опцией Про, Алиса может отвечать не только на текстовые и голосовые запросы, но и на визуальные. Это стало возможным благодаря VLM (Visual Language Model) — визуально-текстовой модели, которая решает задачи, связанные с изображениями. Теперь Live-режим и ещё одна функция на базе VLM Яндекса появились в смартфонах HUAWEI Pura 80 Pro и 80 Ultra, где Алиса стала помощником по умолчанию, поэтому мы решили рассказать, как работает эта технология.
Как работает VLM?
VLM-модели называют мультимодальными. Это значит, что они умеют работать с разными типами данных одновременно — с текстом и изображениями. Например, пользователь может загрузить картинку и задать вопрос («Как часто поливать этот цветок?»), а модель распознает изображение и сгенерирует ответ.
VLM-модели состоят из трёх компонентов:
🔸 Языковая модель, которая умеет работать с текстами (в Алисе это YandexGPT 5 Pro)
🔸 Визуальный энкодер, который умеет работать с изображениями
🔸 Адаптер — нейросеть, которая объединяет визуальную и текстовую составляющую
Энкодер разбивает изображение на небольшие фрагменты и переводит их в векторы, понятные адаптеру, а адаптер конвертирует эти фрагменты в величины, понятные языковой модели. Чтобы VLM научилась сопоставлять визуальные и текстовые векторы, её обучают на миллионах примеров (запрос с картинкой + готовый ответ).
Какие возможности это даёт Алисе?
Благодаря VLM Алиса может видеть пользовательский запрос прямо через камеру смартфона (её надо включить в приложении). Например, если сфотографировать продукты в холодильнике и спросить, что из них приготовить, VLM распознает объекты в кадре, и Алиса предложит несколько рецептов. А если навести камеру на какую-то достопримечательность, Алиса сможет рассказать о ней.
В новые HUAWEI Pura 80 Pro и 80 Ultra также впервые встроен Поиск Яндекса по картинкам, который тоже работает на VLM Яндекса. Он позволяет нажать двумя пальцами на экран, а VLM распознаёт объекты на нём и помогает найти информацию о них в интернете.
Подписывайтесь 👉 @techno_yandex