47269
Аннотированные ссылки на интересные, полезные и удивительные новости хайтека. Тем, кто больше любит слушать длинное чем читать короткое — могу посоветовать свой подкаст ;) http://sebrant.chat Вопросы - @asebrant
Adobe в своем пресс-релизе не только объявил, что генеративнывй сервис Firefly стал доступен для более чем 100 языков (и еще 20 в работе), но и привел познавательную цифру. За три с небольшим месяца, прошедших после запуска, пользователи сгенерировали более миллиарда изображений. Использование этих изображений не влечет юридических рисков: Adobe ручается, что в обучении использовался только тот контент, на который у компании есть права (а у этой компании такого контента действительно хватает).
Таким образом, налицо результаты голосования: пользующаяся продуктами Adobe креативная публика массово приняла новые возможности и стала их использовать.
https://news.adobe.com/news/news-details/2023/Adobe-Firefly-Expands-Globally-Supports-Prompts-in-Over-100-Languages/default.aspx
Kandinsky 2.2
Благодаря более крупному картиночному энкодеру (CLIP-ViT-G) у нас получилось сильно забустить как качество генерации изображений, так и понимание текста. Веса и код уже в открытом доступе!
Хабр, colab, бот, сайт
Про новых ИИ-чатботов уже скучно и читать, и писать, но сообщение про Claude-2 от Anthropic попало и в телевизионные новости в США, и вся околотехнологическая пресса отписалась. Собственная LLM от Anthropic создана людьми уважаемыми (выходцами из OpenAI), сам стартап образован еще в 2021 и имеет на сегодня оценку свыше 4 млрд долларов — так что проходит по категории грандов-тяжеловесов, а не бодрых выскочек. Ну, и его фокус на безопасности и дружелюбности своего продукта, естественно, многим импонирует.
Из важных отличий нового чат-бота (и API) — бОльший размер контекстного окна. На практике это означает, например, что для реферирования можно в него загрузить не только статью, но и целую книгу (около 75 000 слов).
Сегодня отмечается созданный по инициативе ООН День народонаселения. Не то, чтоб напрямую связанная с технологиями тема, но вообще-то для развития массовых технологий довольно важно, кого и где обслуживать.
Публикуемая картинка прогноза на 2050 год, как любые прогнозы, не слишком надежна: за большее чем четверть века много чего может случиться, что подвинет прогнозные цифры. Например, природные катастрофы.
Но у меня вопрос попроще и не к деталям: все ли флаги на этой картинке вы можете опознать и сказать, каким государствам они принадлежат? А как будет выглядеть технологический ландшафт в них? 🙂
И да, смотреть интересно именно в динамике, а не просто срез на какой-то год.
https://www.aljazeera.com/news/2023/7/11/world-population-day-what-will-the-world-look-like-in-2050
Хороший пример использования нескольких ИИ-инструментов для видеохостинга. И это не про рекомендации или рекламу:)
Когда на платформе есть масса обучающих видео из самых разных областей, можно натравить на эти ролики сначала алгоритмы распознания и реферирования, которые для каждого ролика выделят основные пункты, которые было бы важно усвоить учащемуся. А потом современные генеративные системы прекрасно могут придумать любое количество контрольных вопросов, позволяющих обручающемуся человеку самостоятельно проверить, насколько он хорошо усвоил материал — и где именно проблемы (если они есть).
Учитывая колоссальный объем когда-то записанных видеокурсов, это крутой способ придать им дополнительную ценность с точки зрения пользователя, и сделать все это автоматически. И попутно пример того, как генеративные системы могут менять устоявшийся ландшафт всякого цифрового образования.
https://wccftech.com/youtube-is-apparently-testing-ai-generated-quizzes-to-check-whether-you-have-learned-something-from-the-videos-you-have-watched/
Можно долго концептуально спорить о способности нейросетей к творчеству, созданию нового, об их креативности или отсутствии таковой. А можно просто применить те же тесты, которые используются для оценки креативности людей — тесты нынче есть для всего:)
Исследователи из университета Монтаны так и поступили, использовав Torrance Tests of Creative Thinking, a well-known tool used for decades to assess human creativity. Исследователи отправили в Scholastic Testing Service результаты, сгенерированный GPT-4 вперемешку с результатами 24 студентов (не информируя об участии GPT) и сравнили полученные баллы с результатами массового тестирования 2700 студентов в 2016.
Результат ожидаем: по разным критериям ChatGPT попал либо в 1% лучших (изобилие идей, оригинальность), либо в 3% (разнообразие идей. Среди студентов тоже нашлись персонажи со сравнимыми успехами:)
Показательно, что авторы попросили ChatGPT проинтерпретировать результат и получили разумное предупреждение
“ChatGPT told us we may not fully understand human creativity, which I believe is correct. It also suggested we may need more sophisticated assessment tools that can differentiate between human and AI-generated ideas.”
Все в точности как с самим интеллектом — не умея толком определять и измерять свой, мы почему-то рвемся сравниваться с машинным:)
Выпустили отчет Всемирного экономического форума о десятке перспективных технологий 2023. Что там есть генеративный ИИ — очевидно; интересней, что там есть еще, ибо технологии там оцениваются комплексно по степени влияния на жизнь и планету, а не только по объемам рынков.
Некоторые — интересны уже тем, что особо не на слуху, то есть этот список — отнюдь не подборка хайповых тем.
1. Гибкие аккумуляторы
2. Генеративный ИИ
3. Устойчивое (в экологическом смысле) авиационное топливо
4. Дизайн и инженерия искусственных вирусов
5. Метаверс для психического здоровья
6. Носимые датчики для растений (как раз иллюстрация для поста :))
7. Мэппинг биологических процессов на молекулярном уровне
8. Гибкая нейроэлектроника
9. Устойчивые вычисления (оно же - нейтральные с точки зрения углеродного следа датацентры)
10. ИИ в здравоохранении
Прикольно, что про примерно половину тем читать надо в специализированной прессе; в поле зрения традиционного технологического научпопа они не попадают. Что немало говорит про уровень этого самого научпопа.
https://www3.weforum.org/docs/WEF_Top_10_Emerging_Technologies_of_2023.pdf
Описание этой удивительной конструкции — рюкзачок, к которому можно подсоединить до шести штук рук-манипуляторов — я встречал в нескольких заметках, но диковинка не впечатлила (в первую очередь потому, что ничего внятного про сценарии использования не говорилось). Но вот в этом тексте объясняется, что исследователи из токийского университета, разработавшие паукообразный рюкзак, преследовали цель to facilitate social interaction among multiple users. И вот это меня впечталило, особенно деталь, предполагающая обмен пристяжными конечностями и дистанционное управление ими. Картинка многоруких обнимашек с участием удаленных незнакомцев — причем не во всяких этих метаверсах, а в реале, представляется любопытной:))
https://eandt.theiet.org/content/articles/2023/07/the-bigger-picture-wearable-robotic-arms/
Вот и Кай-Фу Ли, многим известный как автор книги “Сверхдержавы искусственного интеллекта”, подтянулся: его новый стартап Lingyi Wanwu со штаб-квартирой в Пекине собрал команду специалистов китайского бигтеха с целью с нуля разработать и обучить собственную большую языковую модель с учетом всех накопленных идей и наработок.
В Китае известно о существовании как минимум 79 различных моделей более чем миллиардом параметров, инвесторы активно поддерживают этот бум, поскольку шансы на полноценную работу в стране продуктов на основе американских моделей невелики. Кай-Фу ли при этом не опасается конкуренции или пузыря, он полагает, что LLMs presents a “historical opportunity” that China must not miss. Only by developing its own LLMs can China gain a competitive edge in the field of AI. Утверждается, что стартап уже начал тестирование своей модели.
https://www.scmp.com/tech/tech-trends/article/3226494/venture-capitalist-lee-kai-fu-launches-ai-start-seize-historical-opportunity-build-chinese-llms
Проект создания суперкомпьютера «Аврора» для Аргоннской Национальной Лаборатории в США был объявлен еще в 2015 году, но реализовывался медленно и мучительно, несколько раз переделывались и требования, и решения.
Но вот, наконец, в последних числах июня закончился его монтаж (стойки с процессорными модулями занимают площадь как две баскетбольные площадки). Процессоры все интеловские: 21248 CPU в сумме содержат более миллиона ядер, к ним впридачу идут 63477 GPU. Объем памяти (твердотельной) 220PB.
Там еще много офигенных цифр — почитайте статью:) А пока этот монстр будут налаживать и сертифицировать. И попутно — в духе времени — на Авроре начнут обучать большие ИИ-модели для научных исследований.
Полный официальный ввод в строй запланирован до конца года.
https://www.anandtech.com/show/18929/the-aurora-supercomputer-is-installed-2-exaflops-tens-of-thousands-of-cpus-and-gpus
Вот и Oracle подтянулся: Ларри Элиссон заявил, что собирается составить конкуренцию Google, AWS и Microsoft в области предоставления бизнесу облачных мощностей для ИИ-приложений, и потому только у Nvidia закупит карт «на миллиарды долларов».
https://www.techspot.com/news/99260-oracle-plans-spend-billions-nvidia-gpus.html
В итоге сервис отжима воды из публикаций много куда будет интегрирован, но пользоваться им можно уже сейчас (хотя наружу его открыли только что, так что это публичная бета, а не готовый отлаженный продукт). Интерфейс и функционал предельно просты: даешь ссылку на статью, получаешь выжимку (в идеале потом ее качество оцениваешь, чтобы дообучить алгоритм).
Если сервис подвис (на то и бета, с ним бывает) — просто перегрузить страницу:)
На мой взгляд, сильно полезнее многих генеративных штучек, когда приходится много текстов проглядывать.
https://300.ya.ru/
Трансформеры позволили создать языковые модели, которые наглядно демонстрируют адаптивность и универсальность в работе с текстами. Теперь стоит задача расширить подход на задачи не словесные, а физические: манипуляции роботов с объектами в материальном мире. Пока такие роботы не очень справляются с новыми задачками и неожиданными ситуациями.
Подход работает: в DeepMind создали модель RoboCat, у которой с гибкостью все заметно лучше. Она лучше лучше прежних адаптируется к новым типам робоустройств и новым задачам.
“RoboCat’s ability to independently learn skills and rapidly self-improve, especially when applied to different robotic devices, will help pave the way toward a new generation of more helpful, general-purpose robotic agents,” - заявляют разработчики.
Так что ловкость в обращении со словами потихоньку дополняется ловкостью в обращении с предметами: от узкоспециализированных роботов переходим к относительно универсальным, а в словарик наряду с foundation models добавляем foundation agents 🙂
И еще про генеративные картинки. Важность того, что делают с рынком изображений Stable Diffusion и Midjourney, лучше всего видно не по сумбурным и часто нервным статьям и постам в разных медиа, а по реальным действиям уже сложившихся крупнейших игроков. Adobe, как легко видеть, весь текущий год с бешеной скоростью интегрирует всякие генеративные ИИ-опции во все свои продукты и рядом с ними, неустанно подчеркивая, что их продукт совершенно безопасен с легальной точки зрения: все обучающие датасеты состоят из юридически чистых и высококачественных изображений. Их модель Firefly с марта непрерывно чем-нибудь радует. Как следствие, громкие завывания на тему плагиата к Adobe не относятся.
На Figma’s Config 2023 event показали превью новой красивой фичи: это возможность управлять генерируемым изображением не только текстом, но и меняя на экране освещение, ракурс, место положение объекта.
Второй пилот дизайнера становится все более умелым то ли помастерьем, то ли соавтором :)
https://www.creativebloq.com/news/adobe-gingerbread
Итак, Эпл выкатили SDK для своих очков и разработчики кинулись разрабатывать.
Сами очки пока недоступны никому (используется симуляция ОС на компе), но уже со следующего месяца откроются специальные лабы в Купертино, Лондоне, Мюнхене, Шанхае, Сингапуре и Токио, где можно будет тестировать свои приложения прям в очках.
Ну и заявки начнут принимать на получение очков домой (если вы - важный разработчик).
Примеры из роликов вдохновляют, очень уже хочется себе такую штуку.
Вот тут больше примеров и полезной информации.
А вот тут чувак показывает и рассказывает про SDK.
Там можно выбирать разные окружения, например, зал музея или гостиную (видимо где-то в Купертино), бабушкиного хруща в вариантах нет, так что разработчики все-таки не могут получить достоверное впечатление о том, как приложения будут выглядеть для пользователя 🌚
Колитесь, кто уже планирует разработку под очочки?
Неугомонный Маск объявил об официальном открытии компании https://x.ai Он довольно давно собирался зайти в ИИ — с тех примерно пор как его инициатива приостановить все другие разработки в этой области не получила поддержки. Скупал десятками тысяч видеокарты и десятками — крутых специалистов.
И вот компания со скромным слоганом «Понять вселенную» предъявлена публике. Подробностей мало, но объявлена дата большого живого разговора в Twitter Spaces — пятница 14 июля. Будет о чем посудачить на выходных :)
Еврокомиссия решила на бюрократическом уровне заняться футурологией, объявив, что будущее за web 4.0, где предполагается an integration between digital and real objects and environments, and enhanced interactions between humans and machines. Эта очередная итерация интернета принесет нам a seamlessly interconnected, intelligent and immersive world — что подозрительно напоминает популярные описания метавселенной, но сам термин почему-то не светится в описании, вместо него используется CitiVerse и European Virtual Human Twin.
Ставится задача установить мировые стандарты виртуальных миров и web 4.0 так, чтобы не допустить в них доминирования больших технологических компаний. Интересный подход проактивного госрегулирования будущих технологий в отсутствие самих этих технологий на регулируемой территории:)
Цель заявлена амбициозная Today, Europe throws its hat in the ring to become a world leader in Web 4.0 and virtual worlds. Интересно будет наблюдать за реализацией
https://ec.europa.eu/commission/presscorner/detail/en/ip_23_3718
И еще один любопытный окологеграфический факт :) Очередной страной, где начнет работать космический интернет от Маска Starlink, станет Монголия.
Логично для страны, где много районов с низкой плотностью населения, но все равно звучит чуть неожиданно :)
https://eandt.theiet.org/content/articles/2023/07/spacex-to-launch-satellite-internet-service-in-mongolia/
Марк Луковски, отвечавший в Google за разработку софта для устройств смешанной реальности, не просто объявил о своем решении покинуть компанию, но и сопроводил это решение нечастым для топов комментарием
The recent changes in AR leadership and Google’s unstable commitment and vision have weighed heavily on my decision.
Ссылка на недостаток приверженности и стратегии со стороны Гугла — слова человека огорченного и обиженного; нечастый случай отхода от корпоративной гладкой политкорректности — видимо, что-то действительно неладно там с планами на будущее и нет согласия в руководстве. А ведь Гугл как никто знает важность и мощь создания своей операционной системы для нового класса устройств, опыт Android бесценен.
Интересно было б тамошние споры послушать:)
В общем-то именно название статьи привлекло внимание, слова Fiber optic smart pants звучат завлекательно :) И суть передают правильно: если в ткань для одежды вплести наряду с обычными волокнами оптические, то можно получить носимый сенсор, встроенный прямо в одежду: при изгибали волокна меняются его характеристики и дальше дело техники их правильно интерпретировать.
С одной стороны, по мере цифровизации медицины необходимость в массовых носимых датчиках и правда растет. С другой — пока что всякая встраиваемая в одежду гибкая электроника не очень оказывалась способна выдерживать реальную эксплуатацию, включая стирку и взаимодействие с окружающими предметами.
Ну вдруг оптике повезет больше:)
Это не первая работа на тему генерации изображений на основе электроэнцефалограмм, но, как отмечает команда авторов из Китая, у их метода DreamDiffusion результирующие картинки куда выше качеством чем у Brain2Image.
Результаты и правда красиво выглядят, хотя людям мнительным и тревожным на тему ИИ и всеобщей слежки лучше не читать:) Или сразу прочитать успокаивающий вывод — несмотря на красоту картинок, Currently, EEG data only provide coarse- grained information at the category level in experimental results.
https://arxiv.org/pdf/2306.16934.pdf
Вроде все мы уже наигрались с кучей генераторов картинок по текстам разной степени качества, управляемости и вменяемости. Но есть что-то такое в коротеньких динамичных гифках, что завораживает сильнее статических картинок, пусть даже качественных как у Midjourney.
Picsart запустил у себя генератор гифок, и там лишние пальцы, конечности и прочие артефакты выглядят неожиданно уместно в своей отвязности :) Не думал, что могу на полчаса залипнуть в очередной генеративной игрушке, но в итоге залип:))
https://www.diyphotography.net/picsart-releases-ai-gif-generator-and-the-results-are-unhinged/
Как оголтелый технооптимист, не могу не поделиться чудесным ресурсом:))
Он не новостной, он как раз про историю. Там любовно собраны аж с середины XIX века публикации (в виде сканов по причине отсутствия цифрового формата в те дикие времена) о вреде технологий и новых медиа.
В качестве примера на картинке к этому посту статья почти столетней давности, где снижение успеваемости в школах и проблемы со сном у взрослых связывают с появлением радио:)
За прошедшие полтора с хвостиком века что только не обвиняли в бедах человеческих: романы и телефонию, телеграф и велосипед, кинематограф и автоматические лифты… Очень любопытно все это просматривать, обнаруживая живучие и по сей день существующие штампы и узнаваемые интонации алармистов.
Pessimists Archive is a project to jog our collective memories about the hysteria, technophobia and moral panic that often greets new technologies, ideas and trends.
Любопытный материал, как меняется структура лоббистов технологических компаний в США. Традиционных первых лиц бигтеха начинают разбавлять люди из стартапов следующего поколения. Сэм Альтман у всех на слуху, как пиарщик и лоббист всего вокруг ИИ и его регулирования, но вот персонаж куда менее известный — но не факт что настолько же менее влиятельный:)
Александр Ван (не тот, что дизайнер из Баленсиаги) молод даже по стандартам Долины, ему 26. Тем не менее у него не один год опыта общения с законодателями вашингтонского уровня и впридачу он руководит компанией Scale AI, которая для современных ИИ-продуктов не менее важна, чем разработчики собственно моделей. 240 000 исполнителей по всему миру работают на компанию и обеспечивают разметку, fine tuning и прочую human feeedback, которая во многом определяет разницу между моделью просто с миллиардом параметров и хорошей моделью:)
А еще он очень не любит Китай и обеспечивает ИИ-сервисы для Министерства обороны в рамках контракта на 249 млн. долларов. Пока одни в Долине противятся контактам с силовыми ведомствами, другие используют “a strategic business opportunity to conduct geospatial work for government.” И при этом умудряются оставаться в тени — хотя вот и начали появляться любопытные заметки)
https://www.semafor.com/article/06/30/2023/the-26-year-old-ceo-who-became-washingtons-ai-whisperer
Хороший, между прочим, термин: «безэкранный компьютер». Автор заметки обсуждает Apple Vision Pro и рассматривает его как именно рабочее, а не игровое устройство. И делает справедливое замечание: Это первый похожий на рабочий вариант обеспечить мобильность для тех, кто либо привык к большому дисплею (а то и нескольким), либо имеет дело с софтом, работать с которым на экране ноутбука мучительно. Для таких людей (это обычно довольно высокооплачиваемые профессионалы) нет варианта пойти поработать из кафе или уж тем более в режиме кочевника: кочевать вместе с 27-дюймовым монитором не очень приятно.
И вот для них (автор как раз сам такой) забрезжила надежда :))
https://www.jpost.com/business-and-innovation/energy-and-infrastructure/article-748235
Про трансформеры нынче чаще всего слышно применительно к архитектуре нейросетей, но и добрые старые механические роботы-трансформеры иногда радуют глаз. Впрочем, как — старые… Вот этот, умеющий летать в виде квадрокоптера, ездить как четырехколесная платформа — и даже перемещаться, стоя на двух колесах, — очень даже новинка. И, как нынче принято — и здесь Nvidia; мозгами этого чудесного создания является Jetson Nano.
https://www.theverge.com/2023/6/27/23775681/caltech-m4-morphobot-transformer-robot-nvidia-jetson-nano-cpu
Как же быстро и уверенно OpenAI строят не просто платформу — об этом уже я писал (и не только я), но и полноценную развесистую экосистему. Сэм Альтман не зря успокаивал разработчиков, обещая им, что его компания не заинтересована сама создавать широкий спектр пользовательских приложений, концентрируясь на API.
Сегодня они пошли дальше и объявили, что собираются создать маркетплейс собственно моделей — благо на этом рынке как грибы растут многочисленные специализированные модели. Не пропустить и этот тренд и замкнуть на себя и это сообщество — сильный ход, и разработчики его оценили:
Horizontal models, such as ChatGPT or Google Bard, offer versatile and generic solutions applicable across various domains. An app store dedicated to AI software would serve as an ideal platform for vertical AI vendors to reach a global audience effortlessly.
Подкаст “Трёп Себранта”
Префиксы для реальности: AR, VR, XR и прочие на фоне VisionPro
-=Выпуск 75=-
Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах.
Ссылка в тему: канал Оли “Метавёрсошная”
Выпуск на Google Podcasts и Apple Podcasts
И здесь файл для любителей:)
На фоне ошеломления темпами развития продуктов на основе больших языковых моделей как-то подзабылось, что вполне прорывной Stable Diffusion тоже еще и года не исполнилось, и что прогресс там нагляден и не менее впечатляющ.
Сегодня как раз объявлено, что выпущена очередная улучшенная модель SDXL 0.9, пост в блоге компании демонстрирует прогресс парами картинок “до и после” по одним и тем же промптам. Как уже стало нормой, модель умеет дорисовывать имеющуюся картинку или использовать изображения вместо словесного промпта.
И, в отличие от OpenAI, с открытостью тут все порядке: какое-то время модель будет доступна исследовательскому сообществу, но вскоре The code to run it will be publicly available on Github.
Пока некоторые музыканты пугаются генеративных возможностей ИИ и требуют ограничить популяризацию и распространение сгенерированных произведений, ИИ научили другому нехорошему:)
Алгоритмы машинного обучения напустили на кучу данных про активность головного мозга и сердца добровольцев, прослушивающих разные композиции.
Попутно людей опрашивали об ощущениях и эмоциях, связанных с услышанным.
В итоге оказалось, что ML-алгоритм с очень высокой точностью может предсказать, слушают ли люди успешный хит или просто хорошую мелодию.
Исследователи полагают, что теперь лейблы смогут с гораздо более высокой точностью и гораздо дешевле чем раньше выявлять будущие хиты, не дожидаясь измерения реакции больших аудиторий.
Предположительно, дело не ограничится музыкой: “it is likely that this approach can be used to predict hits for many other kinds of entertainment too, including movies and TV shows."
И это новый вариант зависимости творческой публики от алгоритмов, к которым прислушиваются издатели:)
https://newatlas.com/music/ai-hit-prediction-could-have-a-huge-impact-on-music-industry-artists/