47270
Аннотированные ссылки на интересные, полезные и удивительные новости хайтека. Тем, кто больше любит слушать длинное чем читать короткое — могу посоветовать свой подкаст ;) http://sebrant.chat Вопросы - @asebrant
Трёп Себранта
-=Выпуск 72=-
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность
На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание.
Ссылки на упоминавшиеся в разговоре публикации -- на основной странице подкаста
На Apple Podcasts
Здесь тоже файл, по традиции
Иногда природа создает такое, что не получилось придумать ни авторам технологических стартапов, ни даже генеративным алгоритмам:)
На острове Тринидад геологи обнаружили странные камни с цветными включениями; анализ показал, что эти цветные фрагменты — расплавленные и потом вплавившиеся в камни остатки синтетических рыболовных сетей, которые загрязненный океан выбрасывает здесь на берег. Для таких объектов уже даже существует название: по аналогии с конгломератами их называют пластигломератами.
Авторы ужасаются факту воздействия человека на геологию Земли, что выглядит странно по двум причинам:
Во-первых, деятельность человека, меняющая русла рек или создающая колоссальные карьеры, на геологию Земли влияет давно и намного сильнее.
Во-вторых, природный способ связывать пластик скорее должен радовать, чем пугать:)
Пятничное чтиво, приуроченное к выходу GPT-4.
"Поэты сорганизовали несколько митингов протеста и потребовали опечатать машину, но никто, кроме них, не обращал внимания на феномен. Редакции газет были даже довольны, поскольку Электрувер, писавший под несколькими тысячами псевдонимов сразу, представлял готовую поэму заданных размеров на любой случай, и эта поэзия, хоть и на заказ, была такого качества, что читатели раскупали газеты нарасхват, а улицы так и пестрели лицами, полными неземного блаженства, мелькали бессознательные улыбки и слышались тихие всхлипывания. Стихи Электрувера знали все; воздух сотрясали хитроумнейшие рифмы, а наиболее впечатлительные натуры, потрясенные специально сконструированными метафорами или ассонансами, даже падали в обморок; но и к этому был подготовлен титан вдохновения: он сразу же вырабатывал соответствующее количество отрезвляющих сонетов."
Если вы это не читали, то вам срочно сюда:
https://www.booksite.ru/fulltext/0/001/005/167/024.htm
Microsoft сегодня официально рассказал об интеграциях ИИ-решений от OpenAI в свои продукты. Компания продолжает использовать удачную и вполне прижившуюся метафору «второго пилота» — она как про то, чтоб сохранить за пользователем уверенность, что командир воздушного судна-то по-прежнему он. Итак, встречайте Microsoft 365 Copilot.
Местами, правда возникают вопросы. Очень круто и реалистично выглядит посыл «Люди в основном используют процентов 10 возможностей PowerPoint; Copilot даст им возможность использовать остальные 90». Чуть хуже выглядит капитан, знающий и умеющий в разы меньше помощника :)
Но сам по себе подход безусловно правилен, как ни назови, и перспективы улучшения работы многих миллионов пользователей офисного софта выглядят впечатляюще. Но куда сильнее может поменять жизнь, если приживется, Business Chat — универсальный личный помощник, работающий и с документами, и с сервисами (например, календарем), и с коммуникацией с другими людьми. Вот здесь пахнет не улучшением и ускорением, а большими изменениями рабочих процессов :)
https://www.microsoft.com/en-us/microsoft-365/blog/2023/03/16/introducing-microsoft-365-copilot-a-whole-new-way-to-work/
Любопытно, как Цукерберг переобувается на ходу:) Рассказывая на днях о сокращении 10 тыс. человек и закрытии 5 тыс незаполненных вакансий, он вроде бы подтвердил приверженность своему курсу на создание метавселенной как главную цель работы компании: именно метавселенная “remains central to defining the future of social connection”.
Но дальше оказывается, что в теме есть новый поворот: эту цель нельзя теперь достигать любой ценой, ибо деньги, инвестиции нужны на другое: “Our single largest investment is in advancing AI and building it into every one of our products”.
Видимо, все-таки уровень хайпа вокруг генеративного ИИ настолько солидно выглядит на фоне попыток сохранить интерес публики и инвесторов к метавселенной, что словарь приходится пересматривать:)
https://edition.cnn.com/2023/03/15/tech/meta-ai-investment-priority/
О! Обогащенный GPT-4 Bing пообещал мне в качестве новых возможностей демонстрацию рекламы в чатике:)) А все волновались что же будет с монетизацтей :)
Читать полностью…
Отличный вариант художественно-технологического микса: канал /channel/science_art_at_least_once_a_week в телеграме, где рецензии на art&science проекты пишет ChatGPT:) Технологическая подложка вся описана на гитхабе: https://github.com/andreygetmanov/science_art_at_least_once_a_week
Читать полностью…
В городе Остине в Техасе проходит мероприятие SXSW, впервые с 2019 года в офлайновом формате. Для тусовки, которая совмещает элементы фестиваля, конференции, шоу и славится очень бодрой атмосферой, онлайн-версии времен пандемии не смогли послужить достойной заменой, и вот теперь участники оттягиваются. SXSW славится именно визионерством и фокусом на трендах и новациях, поэтому интересно проследить, что там было на этот раз в фаворе.
Из трех больших тем, которые журналисты выделили после первых дней, одна очевидна, вторая предсказуема, а вот третья меня несколько удивила:)
1. Как организовать счастливую совместную жизнь людей и ИИ
2. Пора отделить мух от котлет в развитии web3 и начать работать над доказавшими жизнеспособность технологиями web3, не оглядываясь на сдувшийся хайп вокруг концепции
3. терапевтические и общественные перспективы психоактивных веществ
Учитывая, что Техас известен жесткостью законов в отношении наркотиков, последняя тема особенно пикантна.
https://www.thedrum.com/news/2023/03/13/you-wanted-ai-you-got-ai-sxsw-2023s-3-biggest-trends
Последние сутки нет недостатка в комментариях и аналитике на тему краха SVB, Silicon Valley Bank. Есть масса публикаций разной степени подробности; вот изложенный общедоступным языком и очень подробный рассказ в оригинале и его перевод на русский.
Но хочется обратить внимание на одну особенность этого крупнейшего со времен 2008-го года краха, которую не сразу видно за техническими деталями и не лучшими финансовыми решениями.
Журналисты CNBC правильно поймали и подчеркнули, что имел место случай самострела или самосбывающегося пророчества, отягченный современными быстрыми коммуникациями внутри профессиональных сообществ.
Во многом крах спровоцировали те самые инвестфонды и прочие крупные инвесторы, которые и накачивали клиентскую базу SVB. За 48 часов паника среди того самого сообщества, которое 40 лет усиленно взращивало банк и полагалось на его услуги, его же и убила.
“This was a hysteria-induced bank run caused by VCs,” Ryan Falvey, a fintech investor at Restive Ventures, told CNBC. “This is going to go down as one of the ultimate cases of an industry cutting its nose off to spite its face.”
На русский эта идиома примерно переводится как «назло бабушке отморожу уши, руки, ноги и вообще все жизненно важные органы». Но удивительно наблюдать каких эпических пропорций может достичь такое желание у вроде бы разумных и управляющих миллиардными капиталами людей.
История из серии «умелые ручки» — но в мире гаджетов. Apple не случайно гордится функцией «спутниковый sos» в последнем айфоне, но как быть, если смартфон не настолько продвинутый, а ты завяз в снегу во время снежной бури на лесной дороге, по которой никто не ездит и вообще она закрыта для транспорта? И вдобавок в этой глухомани всё плохо с сотовым покрытием?
Находчивый любитель дронов не растерялся: записал сообщение с описанием ситуации, привязал смартфон к дрону, который удачно оказался в машине, — и просто погнал дрон вверх.
Сработало: где-то на высоте смартфон поймал сеть и отправил сообщение из очереди, друг его получил и связался со спасателями, те пробились на своей технике к любителю дронов и приключений и даже по дороге еще одного бедолагу спасли, которому не хватило то ли дрона, то ли смекалки.
Никакой морали, просто добрая весенняя история под выходные, на которые опять обещают погодные выкрутасы.
https://petapixel.com/2023/03/09/man-stranded-in-a-snowy-forest-ties-his-phone-to-a-drone-to-summon-help/
Несколько лет назад я узнал и потом часто слышал слово embodiment от людей из психологической тусовки, занимающихся всякими телесными практиками в мире людей. Термин представлялся бесконечно далеким от технологий, компьютеров и цифровой стороны мира.
Сегодня интересно читать статью про embodied language models, причем модели мультимодальные, и думать, как еще больше переплелись миры нашей психики — и управления роботами с помощью простого человеческого языка, а не специальных команд.
Ну, или просто смотрите видео в статье, чтобы убедиться, что языковые модели уже все больше далеко не просто про язык:)
Я привык читать про экзоскелеты для двух сценариев: Либо для людей с нарушениями функций тела, либо для тех, кто занят тяжелым физическим трудом: от грузчиков до спасателей.
Порадовался расширению спектра пользователей на тех, кто как я любит активно перемещаться на природе по горным тропам.
Новая модель складного и легко помещающегося в рюкзак экзоскелета весит немногим больше 2 кг, при этом 800-ваттный мотор обеспечивает разгрузку на 30 кг. Можно идти или бежать по пересеченной местности со скоростью до 20 км/час; заряда одной батареи хватит на 25 км.
Эх, его бы нам в те времена, когда уходили на перевалы через Урал со стартовым весом 45 кг на человека: еда, катамаран, прочий снаряж…
Видео в статье очень соблазнительное:)
Современные дроны подарили нам новый жанр красивых видеороликов — покорение горных вершин дронами. Несколько месяцев назад заслуженно вирусил ролик подлёта и облёта вершины Эвереста, и там потребовалось серьезное участие DJI — высота около 9 км не является штатной для массовых любительских моделей.
Но горных красот хватает и в Альпах, и высоты там попроще для техники. Так что теперь можно насладиться пролётом к Маттерхорну и облётом его вершины. Ролик чуть меньше 3 минут, но эти минуты того стоят:) А картинка с GoPro Hero 10 — как с хорошей профессиональной камеры.
Статья интересна не только тем, что картинка к ней (как я все чаще наблюдаю в разных публикациях) не из стоков взята, не белковым иллюстратором нарисована - а создана Midjourney. Интересней другое — в ней собраны мнения людей, давно и успешно работающих в «креативной индустрии», в сильных рекламных агентствах и студиях. И они довольно единодушно пишут про то, что начали ежедневно работать с генеративными алгоритмами, встроили их свой процесс, и дела пошли сильно лучше.
Отличие генеративных алгоритмов от привычных инструментов существенно: What elevates AI beyond the realm of most creative tools is its ability to put a new spin on an idea. Еще одно мнение: “What’s interesting about a tool like Midjourney is that it has a freedom of association that humans just don’t have.»
Похоже, что подтверждается мысль о том, что людям с богатством собственных идей алгоритмы не соперники, а ценный ресурс:)
https://www.adweek.com/programmatic/how-generative-ai-is-already-changing-how-creatives-do-their-jobs/
Искусственный интеллект — не единственное, между прочим, направление технологического развития, где уже сегодня речь идет о триллионах долларов и фундаментальном воздействии на кучу индустрий.
Есть, как минимум, еще одно направление, по сути своей похожее, только там вместо слова «искусственный» используется «синтетическая» в довольно радикальном контексте. Речь про синтетическую биологию. И про то, что syn-bio applications are likely to disrupt industries that accounted for as much as a third of global output in 2022. Ничего не напоминает фанатам (или противникам) ИИ?
А ведь две эти дисциплины могут еще и интересно запутаться друг с другом, интересно помечтать о биосинтетических нейронных сетях, например:))
https://fortune.com/2023/03/03/synthetic-biology-strategy-loreal-unilever-sanofi-basf/
Прекрасная статья, на которую Ваня Ямщиков ссылался, когда мы в воскресенье писали подкаст. Теперь, когда слова “большая языковая модель” уже почти все выучили, пришло время учить термины “мультимодальность” и “эмерджентность”:)
Про мультимодальность у меня уже было тут несколько постов, а вот эмерджентность, свойство сложных систем демонстрировать поведение и способности, которые ни отдельным элементам, ни малым их наборам не даны, нам еще подкинет сюрпризов.
“Despite trying to expect surprises, I’m surprised at the things these models can do” — замечает по этому поводу один из исследователей.
Если говорить совсем просто, то у больших моделей начинают проявляться свойства, которые никому никогда не приходило в голову связывать с анализом текстов, и потому от них правильно ожидать прорывов, которые отнюдь не планировались их создателями.
Оно пока выглядит как курьез, но в действительности любопытный эксперимент. В прошлом августе гонконгская игровая компания назначила директором своего отделения алгоритм, на всякий случай с именем: Тэнг Ю.
В задачи ИИ-директора входило: изучение верхнеуровневой аналитики и принятие решений на ее основе, анализ рисков, поддержание эффективной рабочей среды для кожаных мешков.
Явным плюсом руководителя нового типа являлись отсутствие зарплаты, бонусов, золотых парашютов и т.д.
Если судить по курсу акций компании в сравнении с индексом гонконгской биржи, руководитель справился: за полгода акции вели себя постоянно лучше индекса.
Без деталей, конечно, этот кейс анализировать сложно и восхищаться рано, но сам прецедент показывает, что не только рутинные функции при определенных обстоятельствах можно с успехом автоматизировать.
Впрочем, после нескольких месяцев опыта общения с продуктами на основе LLM, удивления особо и нет. Говорите, что эти модели склонны галлюцинировать и тем опасны? Вы просто мало общались с белковыми CEO:))
https://thehustle.co/should-we-automate-the-ceo/amp/
Пока в одних технологических компаниях обсуждают увольнения, оптимизации и падение акций, другие считают миллионы и миллиарды долларов где инвестиций, где капитализации. Первый квартал 2023 — безусловно, время золотой лихорадки вокруг ИИ. Поэтому невредно запомнить имена ИИ-единорогов среди стартапов (их уже немало) и посмотреть, куда инвесторы уже вложили 3.6 млрд долларов с начала года (речь только о США).
При этом помним, конечно, золотое правило про продажу лопат во время золотой же лихорадки.
https://thehustle.co/03172023-ai-startup-valuations/
Люблю повторять, что по образованию, богатому опыту и образу мыслей я экспериментатор. Когда меня учили на физтехе и в Курчатнике этим всерьез заниматься, периодически слышал на первый взгляд странную фразу «экспериментатор должен быть в меру ленив!». Не буду обсуждать ее разнообразную мудрость, которая не раз меня выручала. Последнее время я эти слова вспоминаю в другом контексте — в процессе чтения про все более популярные проекты из области геоинженерии, призванные спасти землю от потепления. Идеи варьируются от засеивания стратосферы всякой дрянью до разворачивания в точке Лагранжа между Солнцем и Землей колоссальных экранов для затенения Земли. Вот бы кто этих бодрых ребят поучил той мудрости :). https://www.greenbiz.com/article/debate-over-geoengineering-intensifying
Читать полностью…
Битва титанов в реальном времени:) В ответ на запуск GPT-4 и обновление Bing’а Google открывает API к своей PaLM: a new developer offering that makes it easy and safe to experiment with Google’s large language models. Alongside the API, we’re releasing MakerSuite, a tool that lets developers start prototyping quickly and easily.
Хорошо, но все-таки пока ни одного массового публичного продукта. Гонка продолжается, но пока Google остается в роли догоняющего; хорошо хоть темп держит;)
Какой же интересный год нас ожидает!
https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html
На фоне сегодняшнего объявления о выпуске GPT-4 интересно почитать, на каком железе эти модели обучают; становится понятней, почему очень немного компаний могут себе это позволить, а остальные будут пользоваться готовыми моделями и писать для них обвес; пре- и постпроцессинг и прочие рюшечки.
Десятки тысяч Nvidia A100 GPU, которые сейчас апгрейдят до Nvidia H100. В 2019 Microsoft не просто инвестировала 1 млрд, но начала строить суперкомпьютер для OpenAI, которого при всей мощи облака Azhure раньше у компании не было. Проект обошелся в “несколько сотен миллионов долларов”. Масштаб железа впечатляет.
А ссылочка про запуск GPT-4, например, вот, если кто-то еще не прочитал.
⚡️Вот и первые новости о генеративном ИИ от Google:
Google добавляет новые функции искусственного интеллекта в свои приложения, такие как Google Docs и Gmail, чтобы упростить написание и обобщение текста, а также создание изображений, аудио и видео для презентаций. Это сделано для того, чтобы не отставать от Microsoft и ChatGPT. Пока будет доступно в закрытом бета-тесте в США, но обещают дать общий доступ до конца этого года.
https://www.theverge.com/2023/3/14/23639273/google-ai-features-docs-gmail-slides-sheets-workspace
Лента технологических новостей продолжает распухать от заметок так или иначе связанных с ChatGPT; как точно замечено на днях в одном тексте, so far the hype train shows no sign of slowing down.
К счастью, иногда на фоне унылых списков типа “5 советов школьнику как улучшить успеваемость с помощью ChatGPT” встречаются и красивые продуктовые находки.
Вот, например, не самый могучий бренд умных часов и трекеров активности Amazfit умудрился первым вкрутить интеграцию с ChatGPT в свой продукт; теперь у часиков можно спросить советы по улучшению своих тренировок, самочувствия и вообще. Для Apple Watch существует подобное внешнее приложение, а тут все нативненько. Из видео неясно, впрочем, насколько глубокие беседы можно теперь вести с собственными часами — или только про фитнес:)
Немножко мрачняка на темы VR. Я и раньше любил повторять, что глобальные продажи на уровне 10 млн устройств в год выглядят несерьезно на фоне миллиардов пользователей смартфонов, т.е. VR остается (и в ближайшее время останется) сугубо нишевой историей. В ответ приходилось слышать, что экспоненциальный рост тем и прекрасен, что за несколько лет поможет на порядки увеличить охваты.
Вот только с экспонентой, которую рисовали разнообразные аналитики, недавно возникли проблемы.
В 2022 по сравнению с 2021 произошло резкое сокращение, а не новый рост продаж устройств, по данным IDC. Другие аналитики об этом еще с декабря писали, опираясь на предварительные данные.
Конечно, сторонники метавселенной как светлого виртуального будущего не обескуражены, и утверждают, что уже в следующем году рост станет феноменальным, что подключится Apple, другие новые производители и новые рынки, которые еще не вошли во вкус. Все чаще вместо виртуальных миров начинают говорить про смешанную реальность.
Но в целом запахло пивотом:) Это нормальный путь развития; но интересно, кто куда свернет:)
Уже и культовые мультики превратились в практичекий курс по использованию ChatGPT в личной жизни :)) У South Park в их свежей серии Deep Learning.
Круто получилось уже потому, что до безобразия реалистично при всей традиционной едкости.
А один наблюдательный подписчик мне подсказывает, что дополнительный прикол содержится в Википедии, где ChatGPT указан как соавтор серии.
Ссылку на просмотр серии не дам, но она уже доступна в том числе и с отличным русским переводом:)
Большие языковые модели пошли в народ в буквальном смысле — а Цукербергу опять не повезло 🙂
В конце февраля запрещенная в России Мета отчиталась о своей инициативе: к тамошней модели LLaMA ( версии от 7 до 65 млрд параметров) был открыт доступ только исследователям. Казалось бы, прекрасный ход с точки зрения PR: и вклад в демократизацию достижений ИИ налицо, и в то же время массового продукта, в котором можно найти критичные изъяны, нет в принципе.
Но не тут-то было: в итоге утекла модель целиком, так что любой желающий, а не только исследователи, может ей попользоваться в сколь угодно нехороших целях. Ну, не совсем любой, нужны некоторые аппаратные ресурсы и квалификация+опыт со стороны непрошеных пользователей, конечно.
В любом случае приходится признать, что демократизация пошла не так, как задумывалось:)
Тот случай, когда я всерьез рад дать ссылку именно на русскоязычный текст, причем на российском материале. Тема доступности цифровой стороны нашего мира для людей с разными особенностями, сопутствующее слово “инклюзия” — всё еще недостаточно популярна, увы. Мы (и я в частности) любим говорить про персонализацию как тренд современных сервисов, но при этом упускаем из виду, что гибкость цифровой среды — это не только учет моих вкусов и интересов, но и учет возможностей именно моего зрения или моего слуха, или моей моторики.
А тут, если взяться за эту задачу, современные технологии могут очень многое — сами почитайте:)
И еще одна — раз уж сегодня нет интересных новостей — рассужденческая статья. В ней автор старается ответить на довольно популярный нынче вопрос: весь этот хайп насчет искусственного интеллекта чем-то отличается от попыток раздуть темы крипты, web3 или метавселенной? Там же тоже инвесторы, журналисты и эксперты твердили, что оно (крипта, web3, метаверс) и есть будущее.
Но есть разница между всеми предыдущими историями и текущей волной интереса к генеративному ИИ.
Ни одна другая технология не привела к созданию продуктов, мгновенно принятых десятками миллионов людей, причем безо всякой рекламной накачки. Можно называть по-разному: вау-эффект, настоящий прорыв - суть вся та же: новинка, мгновенно ставшая интересной десяткам миллионов людей и фантастически универсальная. Создателям ChatGPT не надо было придумывать сценарии использования и как-то стимулировать людей попробовать — они сами такого напридумывали, что сотрудникам OpenAI и не снилось. Это гораздо больше похоже на «следующий интернет», чем умозрительный web3.
The most convincing evidence that generative AI is more than hype is that all kinds of people, including many who wouldn’t think of themselves as tech experts, are using ChatGPT for unexpected reasons.
И это правда уникальная ситуация: так попасть в невысказанные чаяния людей. Ведь всегда решают пользователи, а не маркетологи
Внешний вид этого фантастического на вид сооружения на острове Шпицберген иногда попадается во всяких статьях про апокалипсическое будущее Земли, а вот репортаж изнутри мне попался впервые.
В 2008 году начало работать глобальное хранилище семян, построенное в расчете на то, что оно должно пережить катастрофу, способную лишить планету заметного числа видов растений на ее поверхности.
В огромной горной выработке, в вечной мерзлоте при постоянной температуре -18 градусов в герметичных алюминиевых капсулах, рассортированные по тысячам контейнеров из разных стран, хранятся 1.2 миллиона образцов семян — уникальный памятник истории агрономии.
По случаю 15-летия собрали впечатляющий виртуальный тур по хранилищу, куда никаким иным образом проникнуть нельзя. Определенный оптимизм внушает тот факт, что свободного места внутри еще много:)
Есть такой специальный жанр в популярной технической прессе и у блогеров: обсуждение будущих моделей популярной техники. Новые айфоны нам представляют осенью, прошлый раз представили 14-й, но ежедневно публикуются статьи, посты и заметки про 15-й айфон, дизайнеры рисуют его внешность; всё это на основании каких-то слухов, утечек или просто хотелок авторов.
Это я к тому, что сегодня наткнулся на заметку именно этого типа про GPT-4 и чат на его основе:) И стиль ее мало чем отличается от рассуждений про будущие айфоны.
Значит, ChatGPT перешел в категорию потребительских сервисов для широкой публики со своими фанатами и инфлюэнсерами:))
https://www.digitaltrends.com/computing/chatgpt-4-everything-we-know-so-far/