47270
Аннотированные ссылки на интересные, полезные и удивительные новости хайтека. Тем, кто больше любит слушать длинное чем читать короткое — могу посоветовать свой подкаст ;) http://sebrant.chat Вопросы - @asebrant
Интересно все-таки устроен мир инвесторов и финансовых аналитиков. Вот вчера Alphabet отчитывается очень достойно, разве что облачный бизнес чуть не дотянул до прогнозов. Много слов про ИИ, но все очень общие, типа We’re continuing to focus on making AI more helpful for everyone; there’s exciting progress and lots more to come. Раньше такого хватало, но теперь, похоже, другая компания захватила позицию лидера в ИИ-продуктах, общие слова уже не убеждают, и акции Alphabet сильно сыплются, около 9%.
А сегодня та самая другая компания по имени Microsoft тоже хорошо отчитывается, но у нее облака растут, и насчет генеративного ИИ есть реально красивые цифры: 1,9 миллиарда чатов в Бинге, инициированных пользователями, более 1,8 миллиардов картинок, сгенерированных пользователями в DALL-E 3, доля Edge устойчиво растет. И вот инвесторы довольны, рост акций на два с лишним процента.
Вот теперь точно видно, что пока Alphabet не отыграл потерянные на старте ИИ-гонки позиции, а, значит, следующий год будет очень интересно наблюдать за конкуренцией уже достаточно зрелых и массовых продуктов как для массового пользователя, так и для бизнеса от двух техногигантов. Будет интересно!
(Вот про Alphabet)
Кстати, реально сильно востребованная профессия, родившаяся в этом году;) и как минимум на несколько ближайших лет спрос на нее будет больше предложения (от тех, кто правда умеет, а не начитался про) ;))
Читать полностью…
Хороший пример трудного пути технологических инноваций, которым приходится подстраиваться под общественное мнение, стараться поменять и его, и пользовательское поведение. Идут не годы — а десятилетия, но прогресс неспешен и неравномерен по планете.
Эра генномодифицированных организмов началась полвека назад, в 1973, и уже в 1982 человеческий инсулин, синтезируемый бактерией E. Coli, поступил на рынок — огромный прорыв для миллионов диабетиков. Но дальше все пошло не так быстро и удачно. В 1994 году в продажу впервые был разрешен пенно-модифицированный помидор, который лучше исходных сохранял форму при хранении. С этого момента началось создание генномодифицированных растений — и рост анти-ГМО движений. Созданный в конце прошлого века “золотой рис”, содержащий прекурсор витамина А и спасающий от дефицита этого витамина людей в беднейших странах планеты, до сих пор не получил в мире широкого распространения.
Это лишь три из восьми поучительных историй, характеризующих полвека практической генной инженерии — познавательное чтение:)
https://www.sciencenews.org/article/8-gmo-history-genetic-modification
На фоне заявлений разных компаний о приверженности ИИ, Microsoft пристально следит, чтоб про его роль (и его ИИ-продукты) не забыли. Очередная серия заявлений Наделлы тому примером.
“The idea that you can have a multi-turn, multi-domain and multimodal conversation with your computer is going to be perhaps the biggest change in computing.”
Продолжая недавнее свое сравнение с промышленной революцией и паровым двигателем, глава Microsoft заявляет, что ИИ в режиме разнообразных вторых пилотов — это a new era for consumers and business alike, и такое понимание пришло в течение именно последнего года, хотя технологическая подножка разрабатывалась уже много лет.
Наделла ссылается на личный пример: "I can really get to be very productive, at this point, if someone took away my 365 Copilot, I wouldn't know what to do!"
Скоро ноябрь, а значит и моя любимая конференция YAC/e, которую мы готовим и собираем уже в четвертый раз. На этот раз мы будем говорить и спорить про образование, технологии и людей в этом миксе не только на своей московской площадке: наш привычный режим телемарафона дополнится режимом телемоста, друзья-коллеги из Томска покажут и расскажут, как все выглядит для университета, далекого от столиц. Сегодня на сайт выложили практически финальную программу.
За рабочий день послушать всех 80+ спикеров в 37+ сессиях не получится, но запись будет для всех и такая же бесплатная, как сама конфа;)
На случай всяких апокалипсисов на Земле предусмотрены разные хранилища, есть, например, на севере Норвегии в подземном хранилище коллекция семян с разных континентов, способная пережить глобальные катастрофы.
Но в нашем сильно цифровом мире есть серьезная проблема с долгосрочным хранением данных: привычные носители типа дисков или магнитных лент могут выдержать несколько десятков лет, но не больше.
А если хочется на века сохранить важную информацию? Project Silica от Microsoft Research решает эту задачу, разработав процедуры записи данных в объеме стеклянной пластины размером с блюдце. На каждом блюдечке можно сохранить несколько терабайт информации; время жизни такого носителя оценивается в тысячи лет. Запись однократная, перезаписать невозможно.
До уровня коммерческого продукта технология пока не доведена, но уже есть плотный проект Global Music Vault: там же в Норвегии, по соседству с семенами, будут хранить не менее важное достояние: музыкальное наследие человечества.
https://www.pcworld.com/article/2108839/microsoft-project-small-glass-pane-stores-terabytes-of-data.html
Марк Андриссен опубликовал интересный документ — манифест технооптимиста. Там много чего есть — от смысла жизни до смысла рыночной экономики, и, конечно же, без ИИ не обошлось.
Стиль не самый обычный уже потому, что автор не стесняется говорить “мы верим” вместо каких-то доказательств, и это we believe больше ста раз повторяется в документе. Отношение к техническому прогрессу и правда определяется верой, но никогда не видел от очень практичного инвестора такого яркого подтверждения.
Очень полезно почитать, чтобы лучше понимать, что и как драйвит людей, разрабатывающих (и финансирующих) технологии и продукты будущего. We believe in risk, in leaps into the unknown.
Ну и, конечно, We believe in Augmented Intelligence just as much as we believe in Artificial Intelligence. Intelligent machines augment intelligent humans, driving a geometric expansion of what humans can do.
Духоподъемное чтиво, очень советую:)
Starlink потихоньку продолжает окучивать все новые сектора, где географические проблемы со связью влияют на эффективность операций или качество сервиса: пассажирские авиалинии, военные, круизные компании… Вот дошла очередь до грузового флота: Крупнейший перевозчик Maersk начал тестировать терминалы на 30 своих судах, и планирует к середине следующего года еще на 300 с лишним установить. Это позволит и улучшить управление флотом, и заметно улучшит условия быта для экипажа судов, которые по современным меркам лишены базового сервиса, возможности постоянно пользоваться интернетом.
Конечно, аналитики напоминают, что у Starlink много конкурентов, которые уже начинают разворачивать свои спутниковые группировки и интенсивно общаются с бизнесом, заинтересованным в глобальной связи. Но пока отставание явно на годы, у Маска клиентов около 2 миллионов, а ведь он когда-то грозился иметь к 2022 целых 20. Но не вышло, и не факт, что у конкурентов, не располагающих собственным SpaceX, дела пойдут быстрее.
К приближающемуся Хэллоуину👻 разработчики представили новую модель искусственного интеллекта Mistral Trismegistus-7B, углубленно занимающуюся оккультными науками🌚. Этот ИИ, который можно охарактеризовать как цифрового мистика, предлагает пользователям возможность заглянуть в мир эзотерики и гаданий, помогая читать ладони и даже создавать персональные гороскопы. Наименование Mistral Trismegistus-7B было вдохновлено фигурой Гермеса Трисмегиста, мифического персонажа, объединяющего черты греческого бога Гермеса и египетского бога Тота.
Примечательной особенностью этой модели является ее легковесность, так как она была обучена на 7 миллиардах параметров, что обеспечивает простоту запуска на локальном устройстве и сохраняет конфиденциальность пользовательских духовных сессий🔮
Статья
Моделька
Вот и до нас докатилось, теперь не только на американский опыт можно ссылаться:) Цифры и подробности -- в статье:)
https://rg.ru/2023/10/12/nejroset-iandeksa-smogla-sdat-ege-dlia-postupleniia-v-vuz.html
Пишущие люди настолько упоролись по генеративным моделям, что почти забросили прочие применения машинного обучения (для них - ИИ), а там интересного не меньше, чем в чат-ботах.
Вот давняя урбанистическая тема — управление городским трафиком на основе не жестких алгоритмов, а именно ML. Гугл этим занимается давно, и вот свеженькое про предварительные эксперименты в десятке городов по миру, от Сиэтла до Джакарты. Оптимизируется экологические метрики, как нынче модно, а не чисто транспортные: минимальное время простоя на светофоре (вынуждающее двигатели работать на холостом ходу), минимальные ускорения и торможения на светофорах. Все это — часть амбициозного плана помочь сократить выбросы СО2 транспортом на 1 гигатонну к 2030. Начинался эксперимент на нескольких перекрестках в Хайфе, где удалось показать экономию топлива на 10%, теперь на большем масштабе удалось показать экономию до 30% при управлении группами светофоров в одном районе. Система, как утверждается, совместима с имеющимися системами управления движением.
https://www.engadget.com/google-ai-stoplight-program-project-green-light-sustainability-traffic-110015328.html
(А вот страница собственно гуглового проекта - https://sites.research.google/greenlight/ )
Поскольку влияние появившегося массового генеративного ИИ часто сравнивают с влиянием появления мобильных устройств на цифровые сервисы, стал популярным вытекающий из такого сравнения вопрос: а что тогда станет аналогом айфона в мире ИИ? И хотя ИИ скорее софт чем железка, многие хотят дать ответ именно в виде железки: что станет новым материальным воплощением потребительского ИИ взамен смартфонов? Всем же хочется создать массовый девайс будущего; славу и деньги на нем заработать 🙂
И появляются всякие забавные новинки: от кулона на шее, который записывает абсолютно все подряд вокруг происходящее (акустическая часть нагрудной камеры полицейского, только для масс-маркета) до футуристической броши (или это значок?), которая не только звуки и картинки пишет и анализирует, но и с помощью проектора на внешних поверхностях (например, прямо на ладони) графические ответы дает.
И, конечно, производители очком и шлемов оживились, не только Apple Vision, Okulus и прочие RayBan, но и удовлетворившая, наконец, военных Microsoft напичканы ИИ.
Но, кажется, настоящий прорывный гаджет пока не появился. И все с интересом гадают, что там Сэм Альтман с Джонни Айвом замышляют 🙂
Подкаст “Трёп Себранта”; выпуск 76 (S6E4)
От LMM и LBM до книги “Конец индивидуума”
О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет довольно интересную картинку взглядов очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.
На сайте подкаста:
https://sebrant.chat/-llm-lmm-lbm
На Apple Podcasts:
https://podcasts.apple.com/ru/podcast/sebrant-chatting-%D1%82%D1%80%D1%91%D0%BF-%D1%81%D0%B5%D0%B1%D1%80%D0%B0%D0%BD%D1%82%D0%B0/id1320623324?i=1000630326409
На Google Podcasts:
https://podcasts.google.com/feed/aHR0cHM6Ly9hc2VicmFudC5saWJzeW4uY29tL3Jzcw
На Яндекс Музыке:
https://music.yandex.ru/album/6407298
Биотехнологии позволяют реализовывать сценарии, которые еще несколько лет назад казались куда фантастичней ИИ и его применений. Жаль, внимания на такие работы обращают мало. Вот, например, команда из Стенфорда готовится производить 3D-печатные сердца для экспериментов по их пересадке (пока — свиньям, но конечная цель, конечно, человек). 3D-биопринтер — лишь часть сложной технологической цепочки, в которой целая ферма биореакторов выращивает из стволовых клеток различные ткани, из которых состоит сердце. В рамках текущего эксперимента объемы производства клеток позволят печатать новое сердце каждые две недели — и это само по себе огромное достижение. В случае успеха производство 3D-печатных сердец сможет решить проблему дефицита донорских органов, из-за которой многие больные не доживают до операции по пересадке. И вообще транспланталогия изменится принципиально…
https://news.stanford.edu/2023/09/28/moonshot-effort-aims-bioprint-human-heart-implant-pig/
Не могу не поделиться очень актуальным соображением из любимого канала не менее любимого автора:) Обычно у него там крутые картинки, но и крутые тексты встречаются -- этот как раз к горячему осеннему конференционному сезону
Читать полностью…
💪🏻📖🦾 Это Анастасия, выпускница первого потока школы AI-тренеров Яндекса. Она пришла учиться из любопытства, а ещё потому, что хотела попробовать себя в технологической сфере. Теперь у Анастасии новая профессия — она работает AI-тренером и помогает нейросетям становиться лучше.
Хотите так же? Присоединяйтесь ко второму потоку школы AI-тренеров Яндекса. Узнать подробности и подать заявку можно на сайте школы. Набор закроется уже 29 октября — решайтесь!
@techno_yandex
Не только в Китае активно разрабатывают и внедряют автономные электрические аэротакси. Вот и в Штатах прошла интересная демонстрация (хотя тут, в отличие от Китая, пока речи нет о коммерческой эксплуатации с пассажирами).
Wisk Aero, принадлежащий Боингу, продемонстрировал на авиационном шоу свою модель пятого поколения, которая хорошо себя показала в автономном полете в реальных условиях.
Компания тем временем разрабатывает модель шестого поколения, которая рассчитана на 4 пассажиров с багажом, дальность 150 км и время перезарядки батарей 15 минут. Она должна обеспечить a safe, quiet, and environmentally responsible transportation option in Long Beach. И, наверное, в итоге не только там.ф
https://electrek.co/2023/10/23/boeings-electric-flying-taxi-takes-flight-in-la-video/
Океанские кабели, обслуживающие сети связи — от телеграфа и телефона до современной сети кабелей, обеспечивающих связность интернета, — уже устоявшаяся и быстро развивающаяся часть глобальной инфраструктуры.
Но энергетический переход к возобновляемым источникам, которые распределены неравномерно по планете и не то, чтоб в соответствии с расположением основных потребителей, стимулирует появление еще одной подводной кабельной инфраструктуры: энергетической.
Утвержден план прокладки кабеля из Марокко в Великобританию длиной более 3 800 км. Высоковольтный кабель (точнее говоря, группа кабелей) постоянного тока должен обеспечить непрерывную подачу 3,6 ГВт от солнечных и ветряных генераторов (и буферных накопителей при необходимости) в Великобританию, покрывая 8% от потребности страны в электроэнергии.
Хотя это не первый проект такого типа (Великобритания уже получает электроэнергию из Дании аналогичным образом), масштаб и протяженность уникальны; при успехе развитие электроэнергетики в мире может заметно измениться. Запуск намечен на 2030 год, ждать недолго.
https://www.thecooldown.com/green-business/longest-subsea-power-cable-approval-uk-morocco/
Это называется “и смех, и грех” 🙂
В Голливуде бастуют актеры, большинство бастующих — актеры второго плана и массовки; у них больше всего оснований опасаться, что их вполне смогут заменить сгенерированные на постпродакшене персонажи.
Но: пока бастуешь, деньги-то надо зарабатывать, а сниматься ни в чем нельзя по правилам забастовки. И вот актеры откликнулись на призыв прийти в студию и в течение двух часов записывать кучей разной аппаратуры свое лицо, движения и речь в заданных ситуациях, чтобы их скормить ИИ и научить его to better understand and express human emotions.
Единственное, что гарантировалось контрактом — так это что записи не будут использованы для создания цифрового двойника или иного копирования индивидуальных черт актера, так что никакого нарушения the right to control your use of your name and likeness не происходило.
Одна из компаний, стоящих за этими записями — запрещенная у нас Мета, сильно озабоченная сейчас фотореалистичными аватарами.
Удивительные люди эти актеры, что еще сказать.
На недавно прошедшем мероприятии Adobe MAX главным смыслом всех презентаций новых продуктов и общего развития компании было "Let the robots do the work“ — и автор заметки безрадостно отмечает, что собравшаяся аудитория встречала анонсы всяких ИИ-усовершенствований восторженным гулом.
The software company has a laser sharp focus on expanding its Firefly capability across the whole Creative Cloud suite, and it is unapologetic about the benefits it feels the technology will bring to creativity.
То, что уже доступно для плоских растровых изображений, в полной мере будет реализовано для видео, трехмерных объектов, векторной графики. Автора заметки при этом волнует, куда же денутся те обиженные и громко жалующиеся в соцсетях дизайнеры, занятые именно той работой, что легко и намного быстрее выполняется алгоритмами.
Видимо, в том и отличие по-настоящему профессиональной аудитории, собравшейся на конференции и восприимчивой к новинкам, — и недовольных любыми переменами, требующими активных усилий и постоянной учебы, жалобщиками:)
https://www.creativebloq.com/news/adobe-max-firefly-ai
Краткосрочные прогнозы Gartner, в отличие от их довольно мутных hype cycles, как и все краткосрочное довольно часто совпадают с реальностью. На картинке — десятка трендов 2024. В них все довольно очевидно, но от того не менее полезно:)
Отдельно интересен тренд Machine Customers, он чуть менее очевиден, чем остальные, хотя не менее логичен. Machine customers represent the biggest new growth opportunity of the decade, but they don’t make decisions the way humans do.
На практике это означает, что, например, ваше коммерческое предложение всё с большей вероятностью будет читать не держатель бюджета, на который вы покушаетесь, и даже не его белковый сотрудник — а ИИ-ассистент, автономный агент, заточенный под чтение таких предложений:) Trillions of dollars will progressively slide into the hands — or should we say processors — of nonhumans. И работать с ними придется учиться, даже если у себя вы никакого ИИ не допускаете.
Про космический — в буквальном смысле этого слова — маркетинг модного дома Prada. Они в рамках коллаборации с NASA собрались разработать и изготовить скафандры для лунной миссии Artemis III. Миссия запланирована на 2025, в ней должна принять участие женщина-астронавт.
Участие Prada не ограничивается исключительно эстетической стороной. Утверждается, что знание современных материалов и передовых технологий и работающие в компании сильные инженеры обеспечат fusion of fashion and function, where high fashion meets cutting-edge technology to create suits that are not only stylish but also highly functional.
Adobe не только в ИИ демонстрирует заметные достижения и новинки. вот, например, тема цифровой моды: поклонники метавселенной обсуждают цифровую одежку для своих аватаров и ее корреляцию с одеяниями физического мира. А Adobe тем временем показал на своей конференции в Лос-Анжелесе Project Primrose — платье, сшитое из элементов, меняющих свои оптические свойства с помощью электрического управления. Никаких светодиодов и прочих излучающих элементов, просто wearable, flexible, non-emissive textiles that allow an entire surface to display content. Выглядит покруче многих придумок со светодиодами и интерактивных цифровых моделей. И, как справедливо замечают создатели, не только в мире моды может пригодиться. Пока это просто эксперимент, но, похоже, у него есть перспективы получше, чем у многих экспериментирующих стартапов:)
В статье есть видео, которое доходчивей любых объяснений демонстрирует возможности:)
https://www.techspot.com/news/100494-adobe-latest-wearable-tech-promises-dynamic-clothing-can.html
Новый термин встретил: cognitive attack. Так, оказывается, называют цифровую атаку на шлемы дополненной реальности, используемые военными на поле боя. Специалисты DARPA считают, что такие атаки могут использовать “глубокую связь между шлемом и его носителем” и не просто забивать канал или посылать фальшивые данные — но и формировать в шлеме видеопоток, вызывающий физиологические реакции у его носителя; например, рвоту.
Фраза “The core technical hypothesis of the program is that formal methods can be extended with cognitive guarantees and models to protect mixed reality users from cognitive attacks” взята не из написанной нейросетью фантастики, а из вполне официального документа.
https://gizmodo.com/darpa-concern-mixed-reality-headset-cognitive-attacks-1850925546
Наверное, будет полезно привыкнуть к этой иконке, которую Adobe называет «иконка прозрачности» в смысле честно признания участия ИИ в создании изображения. Ее использование пока не обязательно, но в картинки, созданные с использованием генеративных алгоритмов, Adobe будет ее добавлять и в изображение, и в метаданные. Говорят, Microsoft поддерживает и присоединяется, глядишь, и вправду образуется добровольный стандарт маркировки.
https://www.theverge.com/2023/10/10/23911381/adobe-ai-generated-content-symbol-watermark
CR означает CRedentials, права на этот значок принадлежат коалиции C2PA https://contentcredentials.org
Очередная моя колонка в Форбсе — про то, как упрямо и в то же время гибко Цукерберг свои мечты о метавселенной проводит в жизнь. Смещает акценты с чисто виртуальный реальности к смешанной, делает ставку на девайс, сильно смахивающий на Vision Pro эпловский, но в разы дешевле.
И рассказывает, как более дешевые очки в коллабе с RayBan будут скоро уже не только для стриминга, но и чтоб удобно взаимодействовать с ИИ-ассистентом.
И у него получается — по крайней мене, на уровне убеждения слушателей: впервые за долгое время его речи воспринимаются достаточно позитивно и инвесторами, и журналистами. Так что еще услышим про метавселенную, по мере того, как будет накапливаться усталость от ИИ на каждом углу и в каждом утюге:)
https://www.forbes.ru/tekhnologii/497872-apdejt-metavselennoj-kak-mark-cukerberg-prodolzaet-idti-za-mectoj
Интервью с режиссером “Создателя” Гаретом Эдвардсом читать интересно уже потому, что ситуация очень уникальная: писать сценарий он начал в 2018, когда искусственный интеллект ему казался далекой фантазией, а на экраны фильм выходит осенью 2023, когда этот самый ИИ уже почти год не уходит из фокуса внимания почти всех: от разработчиков до политиков. Во время подготовки к премьере Голливуд колбасило от забастовок и сценаристов, и артистов. О большей актуальности вроде и мечтать нельзя, но вот насколько видение автора фильма совпадает с сиюминутными проблемами, которые неутомимо обсуждают все кому не лень? Это еще предстоит узнать, но подробно изложенную позицию автора прочитать интересно в любом случае.
Один момент из интервью реально цепляет, когда Эдвардс отвечает на вопрос, экспериментировал ли он сам с ChatGPT. Как опытный пользователь, он дал чату начало сценария и попросил предложить варианты развития сюжета. Один из четырех сгенерированных вариантов совпал с написанным сценарием. I don't know if that implies that ChatGPT is brilliant or that I'm a terrible writer. But it was unnerving.
Любопытный практический пример:)
https://www.stripes.com/living/entertainment/2023-10-03/bc-movie-creator-edwards-qa:la-11532938.html
ДОКЛАД — ЭТО НЕ ИНСТРУКЦИЯ
Одна из типовых причин провальных, скучных, неуместных технологических докладов — попытка дать инструкцию.
Но инструкции не работают.
Если бы они работали, не было бы проблем с делегированием.
Если вы верите в инструкции — раздайте их своим подчиненным и коллегам, после чего отправляйтесь спать. Что может пойти не так?
Если вы знаете, как решить какую-то задачу, то проще всего нанять вас это сделать, чем конспектировать вашу болтовню. Схантить или привлечь в качестве консультанта.
Есть задача обучения.
Но она тоже не сводится к инструкциям. Учат ооооочень доооооооолго. В инструкции не заложен фидбек, как в обучение. Нет контроля, правильно ли ты понял.
То есть, доклад на конференции — это не инструкция и не обучение. А что же это?
Повышение осведомленности + Развлечение аудитории
с целью получения неких выгод
Одна из выгод — получение трафика на свои паблики. Поэтому, лёгкая недосказанность должна присутствовать в сочетании со ссылкой, где лежит остальное.
Развлечение аудитории не должно сводиться к мемам на слайдах или выступлению вдвоём. Аудитория развлекается умной конструкцией мысли, хитрыми поворотами и неожиданными открытиями. И добротным юмором, конечно.
… И вашей харизмой, поставленной речью, классным реквизитом (слайдами)
Развлечение аудитории важная часть задачи выступления. Ее не стоит игнорировать при постановке задачи. И это довольно интересная часть всего процесса. Реализуя данную задачу вы превращаете информацию в искусство.
Повышение осведомленности — задача очень лёгкая. Но только если ты определился какой стороной повернуть айсберг к небу.
Удачи на выступлениях этой осенью!
Кирилл
Хотя Денис в своем канале уже сегодня ссылался на эту работу, позволю себе ссылку повторить, только с более длинной подводкой. Группа исследователей из Microsoft предприняли довольно детальное, хоть и не претендующее на полноту качественное исследование новых возможностей GPT-4V, версии с мультимодальным вводом. Их интересовало, насколько хорошо модель может воспринимать картинки, делать обобщения, связанные с изображениями, реагировать на уточнения в графическом виде (например, дорисованные от руки поверх изображения указатели). Результаты занимают полторы сотни страниц с примерами и объяснениями. Согласен с Денисом: «Можно залипнуть вечерком на пару часиков»; я, собственно, и залип :) . Но очень советую тем, кто уже использует по работе или по жизни языковые модели, не просто залипнуть, а довольно подробно прочитать и самому потренироваться, если возможность есть.
Как правильно отмечают авторы, возможности языковых моделей очень сильно расширяются за счет графического ввода, а пресловутый промптинг может теперь включать графические составляющие, это тоже меняет мир. The findings reveal its remarkable capabilities, some of which have not been investigated or demonstrated in existing approaches. Что не менее важно, авторы показывают и слабые места, где модель ошибается и предлагают варианты как ошибки уменьшить. Так что советую парой часиков не ограничиваться.
Кстати, по-новому звучат недавно озвученные идеи Цукерберга — его очки с камерами должны дать виртуальному ассистенту картинку окружающего мира: убедитесь, насколько много уже сейчас может извлечь модель из такой картинки:) И это лишь начало, конечно, у статьи правильное название The Dawn of LMMs — это действительно лишь заря:)
https://arxiv.org/pdf/2309.17421.pdf
(а вот исходно вдохновивший меня пост - /channel/denissexy/7326 )