62016
Пишу про будущее: AI, web3, технологии и общество. Ускоряемся. Автор: @sgershuni Инвестирую: cyber.fund Построил: Credentia, Deep Skills, Codex Town
Тут биткоин еще вырос в два раза с прошлого года…
Я заметил что рыночные тренды в крипте связаны с трендами регуляции:
Первый тренд — государственная регуляция, для кого крипта является злейшим врагом. То Китай запретит, то введут повальное KYC, то отклонят ETF, то примут запретительные законы. Государство выигрывает очередную битву, но не войну.
Второй тренд — саморегуляция. То слишком много ICO и мемкоин пирамид, фармилок, то бессмысленных NFT коллекций. Все это лопается, рынок впадает в апатию. Начинается самолечение.
Но кроме этих двух трендов, которые давят на цену вниз, есть еще восходящий тренд реального развития технологии и социальной адаптации. Все больше людей узнает, видит практическую пользу и начинает пользоваться криптой. Крипта, будучи одновременно экономическим и культурным феноменом, идет в контратаку.
Вот эта вечная битва, как день с ночью, и приводит к такой размашистой синусоиде.
Сатоши, конечно, мастер психоистории, ибо увидел эти тренды на десятилетия вперед, да еще и синхронизировал их с политическими циклами в США и заложил в механику халвинга.
Со всеми этими релизами забыл поделиться еще одной демкой: я сделал бота, который заменяет меня. А именно — ведёт вебинары и читает лекции про генеративный ИИ. То есть, бот сам пишет для себя сценарий на основе того что видит, сам его читает.
Как это работает?
- я снял видео с экрана просто кликая каждый слайд
- gpt-v распознал слайды и что на них написано
- gpt-4 написал комментарии к ним
- gpt-4 отредактировал, добавил эмоций и синхронизировал тайминг. перевел на русский
- gpt-tts озвучил (с сильным американским акцентом, но на итальянском, испанском, французском работает прям идеально)
- сохранил и соединил видео и аудио
Все это ультра-просто. Занимает ~50 строчек кода. На гитхабе есть куча примеров как именно это сделать.
P.S. Вангую, что через год количество AI-generated видео (в том числе длинной формы) на ютубе превысит количество сделанных людьми.
Как ИИ влияет на общество и государство?
Темы подкаста:
- Влияние искусственного интеллекта (ИИ) на общество и его регулирование
- Проблемы дезинформации и манипуляции в обществе через ИИ
- Сложности регулирования ИИ и возможные пути его воплощения
- Практическое применение и риски ИИ, включая экзистенциальные угрозы
- Потенциальное использование ИИ в преступной деятельности
- Юридическая сингулярность: несоответствие скорости развития технологий и законодательства
- Проблемы демократии и регулирования в условиях быстрого развития технологий
- Роль искусственного интеллекта (ИИ) в принятии законодательных решений
- Риск использования ИИ в преступной деятельности и кибербезопасности
- Перспективы искусственного интеллекта в решении экономических проблем и влияние на рынок труда
- Влияние ИИ на творческие профессии и качество жизни
- Этические аспекты использования ИИ в юриспруденции и проблемы с доступом к справедливости
- Вопросы социальной справедливости и распределения ресурсов в свете развития ИИ
- Использование ИИ в правоохранительных органах и риски для свободы личности
- Заключительные мысли о возможности анархической организации в эпоху АИ и вызовы, стоящие перед обществом
Канал Александра Гамбаряна: /channel/legalgamba
Смотреть: YouTube
Слушать: Google | Apple | Spotify
Когда-то в древности (начало 2023) за такое люди даже деньги платили. А некоторые стартапы даже рейзили деньги на такой продукт.
Эх, былые времена
Сегодня в интернете выходной! Сегодня весь интернет пилит ассистентов и делает чат-ботов со зрением благодаря новейшим фичам GPT.
Делюсь первыми результатами.
Society of Codex.towns
Я взял концепцию society of mind / society of agents и применил к нашему с вами проекту. На первом видео показан диалог двух агентов: хейтера и сторонника идеи создания трайбов / приватных сообществ, объединенных общей темой технологий. Построено с помощью вчера вышедшего Assistant API. Оба ассистента хранят контекст беседы (тред), могут возвращаться к ней в будущем. Для решения более сложных задач попробую добавить сюда несколько десятков ролей.
CodexTownGPT
Денис сделал внутреннего помощника для закрытой группы, который умеет отвечать на вопросы по базе знаний, создавать профили новых участников, находить необходимые ресурсы типа примеров кода, записей вебинаров, статей. Пример на скриншоте в предыдущем сообщении.
P.S. Я вижу будущее образования именно таким: ИИ-тьютор помогает вам найти лучший (и бесплатный!) теоретический контент по теме (разработка, предпринимательство, искусство), помогает понять и отвечает на вопросы, создает и проверяет задания и кейсы. А тесно интегрированное сообщество, ваш личный трайб, помогает вам применить эти знания на практике и развиваться в команде единомышленников.
А теперь выводы.
1. OpenAI превзошел большинство (все, что я видел) ожидания. Это реально х100 анонс, который даст толчок тысячам новых практических кейсов и убьет тысячи горе-ИИ-стартапов. Модели учатся видеть, слышать, играть, петь, веселить, продавать и все это экспоненциально усиливается между ними. Мир невероятных возможностей.
2. Очередное подтверждение, что мир, такой каким мы его знаем, закончился, и экономика тоже. Подробнее поговорим завтра на ИИ-радио, но бизнес, стартапы, работа, зарплата — все эти вещи закончатся сильно раньше, чем появится ASI и нам будет угрожать физическое истребление.
Подключайтесь завтра к очередному выпуску ИИ-радио на тему "ИИ нам судья", где мы обсудим актуальные вопросы взаимодействия искусственного интеллекта и общества.
В гостях Александр Гамбарян. Адвокат, больше четверти века защищающий людей от государства. Основатель legal tech стартапа. Гик. Обладатель черного пояса по Айкидо и Иайдо.
— Регулирование ИИ: зачем это нужно, кто стоит за процессом, когда приходит время ужесточать правила и как это воплощается в жизнь. Откроем завесу саммитов регуляции ИИ, где формируется будущее технологий.
— Юридическая сингулярность: куда движется технология и как за ней поспевает законодательство.
— Децентрализованный ИИ: возможно ли регулирование в условиях отсутствия централизации?
— Как ИИ изменяет ландшафт рынка труда и структуру профессий. Обсудим, какие сферы наиболее уязвимы и кто может чувствовать угрозу от замены человека машиной.
— Как ИИ влияет на экономические структуры и баланс производственных сил в условиях автоматизации.
— Анархия и роботы: как роботам найти своё место в условиях спонтанных анархических отношений.
— Защита граждан от государства: в эпоху, когда искусственный интеллект может стать прокурором, научимся защищаться от тоталитаризма цифровой эры.
Будем разбираться как жить в мире, где ИИ уже не просто инструмент, а полноценный участник (и даже больше!) социума.
Для подключения просто переходите по ссылке на канал Gershuni. Ваши вопросы можете писать в комментариях прямо под этим постом. Начало в 16:00 UTC / 19:00 MSK.
Хочу поделиться каналом Миши Образование, которое мы заслужили и его постом-подборкой с постами об ИИ.
Кроме этого, Миша освещает новости в мире образования, кейсы лидеров индустрии и пишет авторские тексты. Кстати, он тот еще технокарт от мира образования, который с командой Skyeng с помощью платформы, моделирования прогресса и рекомендательных систем смог поднять скорость освоения материала учениками в 2020 году на 26,5%!
Мой топ публикаций на канале, который стоит прочитать каждому:
▪️Образование - одна из главных инвестиций. Но как определить ее окупаемость?
▪️ChatGPT научился искать информацию в интернете и после 2021 года
▪️Какие курсы детского онлайн-образования востребованы в 2023 году
Лайв демо первой модели от команды xAI Илона Маска. Следим за развитием событий. Пока, судя по бенчмаркам, ничего сверхъестественного, но команда работает только 5 месяцев.
Обещают мультимодальность, обучение на данных из твиттера в реальном времени, удивительное (?) чувство юмора.
OpenAI (вероятно) запускает Маркетплейс
Через два дня пройдёт OpenAI DevDay, но уже сегодня есть несколько утечек о том, что там будет.
В частности, OpenAI запускает публичный маркетплейс агентов и файнтьюнов моделей под разные кейсы. Пользователи смогут создавать и публиковать агентов для продаж, анализа, кодинга, интервью, заточенные под локальные языки и так далее.
Если ваш стартап не убили vision и all-in-one модели, то это убьет уже наверняка. С другой стороны, для студентов, которые сделают файнтьюн сверхчеловеческого маркетолога, аналитика, терапевта или инфлюенсера это могут быть приятные карманные деньги, при условии что OpenAI добавит монетизацию этих пользовательских моделей.
Узнаем наверняка в понедельник, но уже можно с уверенностью сказать что «промт-инженер» была самой скоротечной профессией в истории.
Вчера в Лондоне закончился саммит посвященный безопасности ИИ, на котором выступали премьер UK, Илон Маск, Сэм Альтман и другие. Как у любого сильно политизированного мероприятия выводы неочевидны и много булшита, но были интересные выступления.
Например, на видео выше показан пример поведения GPT-4, в котором имея задачу делать выгодные сделки на бирже GPT сознательно и понимая нелегальность действий совершает insider trade и потом скрывает причину своего поступка от своего менеджера. Я уверен, что такое демо довольно легко срежиссировать при желании. Но более важный вывод в том, что alignment через кнут (цензуру) и пряник (RLHF) не является панацеей безопасного ИИ. Детали в отчете.
Кстати, сегодня в 16 СЕТ / 18 МСК пройдет очередной (20-й) бесплатный вебинар про то как создавать память у ИИ-ботов.
Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.
Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.
Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
— демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)
Новый бесплатный вебинар в эту пятницу! Память у ИИ: методики, кейсы, техники и инструментов
Мы поговорим про архитектуру и необходимость механизмов памяти в языковых моделях. Обсудим какие еще, кроме RAG, существуют эффективные инструменты улучшения памяти и качества работы чат-ботов и генеративных ИИ систем.
- Долгосрочная память для контекста на протяжении диалога
- Краткосрочная память для учета последних реплик
- Подход SPR для эффективной реконструкции информации
- Использование платформы Zep для реализации памяти в чат-ботах
- Создание простого демо чат-бота с механизмами памяти на основе Zep и SPR
- Значимость развития механизмов памяти для языковых моделей
Регистрация: https://lu.ma/codextown
Или подписка тут: https://boosty.to/codextown
#чтивонаночь - LLAVA 1.5
Вероятно лучшая открытая мультимодалка этой осени, которая по каким то причинам никому не интересна, а зря!
alexwortega/d27VIQbJnYp">teletype
paper
github
Напоминаю, что через час с небольшим начнется второй выпуск ИИ-радио: прямой эфир c Сергеем Цыпцыным, автором Метаверсище и ИИще и со Степаном Гершуни, автором канала Gershuni, на тему “Как ИИ меняет мир?”
Продолжим разговор о том как стремительное развитие генеративного ИИ влияет на различные области жизни и экономики, и свернем в сторону агентов, агентности и прочей самостоятельности ИИ:
В частности, свернем в сторону ИИ-Агентов.
Агенты - это вообще что? Какие у них аналоги из прошлой жизни?
Разница между агентом и ботом?
Понятие агентности
no code - low code - code : системы разработки агентов
langchain - это что вообще, история, развитие, конкуренты.
коммодизация создания агентов, ждем среду разработки агентов от OPenAI, Микрософта, Гугла? Что у них уже есть?
AgentGPT от Микрософта.
Какие требования по железу для создания агентов? Где их хостить?
Агенты vs Сервисы vs Сайты - куда это катится и сливается?
Колл-центры, дейтинг, онлифанс - нашествие ботов?
Что делать бизнесу в эру ИИ-хаоса? Куда бежать или, может, наоборот, успокоиться?
Заходите по ссылке: /channel/cgevent?livestream
Пишите вопросы под этим постом
За 3 минуты я делаю своего собственного GPT ассистента, которого можно будет использовать в жизни, бизнесе или выложить в GPT Store и начать на этом зарабатывать.
https://youtu.be/iHtWFGWkpzg
Готовлю видео / вебинар на тему звуковых моделей (распознавание говорящих, разные языки, анализ музыки). Но нифига не успеваю, потому что каждый день выходит куча новых продуктов и появляется куча идей, которые надо попробовать (vision, агенты, тьюнинг). Ну и чувствую что уже не остаётся сил, потому что сейчас выходит ~8 часов записей и лайвов в неделю, плюс столько же подготовки. А ведь еще когда-то нужно работу работать успевать.
Но если не о личном, то музыкальная модель Меты научилась делать стерео музыку. И качество заметно выросло. Очень рекомендую вам поиграться с ней тут.
Кстати, это к вопросу о том какую модальность GPT добавит следующей.
Галочка, ты сейчас умрешь!
Чувак из твиттера сделал приложение, которое
1. Делает скриншоты с каждого кадра игры, отправляет их в GPT Vision API
2. GPT пишет комментарии по игре
3. TTS озвучивает голосом
4. Голос накладывается обратно на видео
Получился ИИ-комментатор, который понимает что происходит в игре и комментирует в реальном времени.
Сегодня-завтра выложу видео в codex.town о том как это сделать за ~50 строчек кода.
Запилил Джуна-С-Глазами.
Я рисую на доске схему, дизайн или пишу текст от руки, а мой авто-джун может оцифровывать и превращать любые мои дикие идеи в код за пару секунд. Смотрите демо.
Вот что я уже попробовал:
- превратить мои каля-маля схемы в маркетинговый план
- написать код на основе картинки
- сделать питч на основе схемы продукта
- сделать описание / caption для любой фотографии в стиле инстаграма
- и другие кейсы, обсудим завтра на мастермаинде
Пилю тут ассистента с помощью только что вышедшего Assistant API.
Но удивило меня вот что: GPT-4-turbo нереально быстрый. Это видео в реальном времени. В первый час релиза модели.
В первом комментарии рассказ, который ИИ написал меньше чем за 10 секунд.
Если вы вдруг пропустили презентацию OpenAI, то кратко результат: все сливы оказались правдой.
— GPT-4-turbo
— 128K контекст
— Fine-tuning GPT-4
— Обновили знания до апреля 2023
— Whisper V3
— Маркеплейт ваших собственных моделей
— В API: vision, gpt-4 в 3 раза дешевле, приятные фишки для разработчиков, больше лимиты, быстрее апиха, интерпретатор работает через API
— Синтез голоса
— Вы можете создавать своих агентов прямо в ChatGPT с базой знаний, вызовом функций, действиями
— GPT Store для агентов (с revenue sharing разработчикам)
Подробно обсуждаем все новинки в codex town community в среду на мастермаинде.
GPT-4-turbo не хотите?
До мега эвента OpenAI еще много часов, а интернет полон спекуляций. Например, в реддите гуляет скриншот новых цен на модели.
Среди прочего, здесь видно что модель GPT-4-turbo будет стоить в 3 раза дешевле, чем сейчас и будет иметь окно контекста в 128 тысяч токенов (больше чем у Клода) и уметь в распознавание картинок.
А еще появится API для интерпретатора кода.
Недели 3 назад в MIT был AI Event, куда позвали много клёвых людей рассказать, чем они занимаются и к чему идут. Среди них был и Jan Leike, напомню, тимлид команды Superalignment в OpenAI (напару с Ilya Sutskever). Если вы не знаете, что такое Superalignment, или просто пропустили, то рекомендую посмотреть две мои лекции: раз и два. Вкратце — как мы будем контролировать намерения AI систем, которые умнее людей? Как избежать того, что они нас не будут обманывать?
Вот с этого таймкода начинается интересное, где по сути делается анонс работ, проводимых в OpenAI (некоторые из которых будут публично доступны в виде полноценных статей).
Тут приводятся примеры на основе кодовой базы. Вот попросили вы написать миллион строк кода для решения какой-то проблемы. Человек не сможет это всё отвалидировать с высокой уверенностью и в краткие сроки. Как быть?
— Jan напрямую говорит: наша задача сейчас — натренировать несколько GPT-4, которые будут искать все баги в коде, которые им известны. Самая сложная часть тут — это "которые им известны". Когда модель пропускает ошибку по глупости, это не так страшно, как если бы она намеренно её пропустила. Если правильно помню более ранние рассказы Jan'а, то делаться это будет с помощью генерации багов в правильном коде (исходя из предпосылки, что раз модель может и написать код корретно, и изменить его, то она точно должна находить этот изменённый кусок).
— Второе направление работы: easy-to-hard generalization. Это когда мы оцениваем работу алгоритмов на простых и поддающихся нашему мозгу задачах (поиск багов в 10 строчках), и можем быть уверены, что они и будут продолжать работать на миллионе строк, и при этом поведение модели не изменится. Сейчас проверяется на паре маленькая модель <-> большая модель, как аналог системы человек <-> суперинтеллект
— Тестирование моделей, которые притворяются помощниками, но на самом деле имеют другую цель. Тут OpenAI тренируют модели, которые намеренно незаалайнены как надо, и пытаюсят понять, как это можно выявить автоматически. Ахахаха, тут главное в результате эксперимента не создать Skynet...
— Автоматическая интерпретируемость, или как модели могут объяснять и анализировать самих себя (aka МРТ головного мозга весов модели). Про это писал тут (GPT-4 объясняет работу GPT-2), и ещё недавно Anthropic про то же рассказывали.
С кодом, наверное, не всё так понятно для многих читателей, но можете заменить "миллион строк кода" на "2000-страничная книга с научными открытиями", и смысл не изменится.
А, ну и да, решить проблему Супералаймента OpenAI хотят до конца лета 2027го 🚬
Даже если вдруг новость о запуске маркетплейса GPT не правда или, допустим, это случится не послезавтра а через 2 месяца, вот еще доказательство почему «промт-инжиниринг» умер.
В этой статье авторы доказывают, что обратная связь от пользователей и проактивные вопросы от LLM дают более точный результат чем, пусть даже сложный промтинг.
Единственный кейс где это не так — это гипотетический сценарий, когда кто-то изобретет формальный язык для промтов, который будет больше похож на Python, чем на английский. Но пока я ничего похожего не встречал.
Вместе с предыдущим постом, очень простой вывод: если уникальность вашего продукта и бизнеса это промтинг агентов или файнтьюнинг моделей, то ваш продукт не имеет конкурентного преимущества.
В этом видео вы узнаете о разных подходах к реализации механизма памяти в чат-ботах на основе больших языковых моделей. Это поможет вам выбрать оптимальную стратегию управления памятью для ваших задач.
Благодаря демонстрации инструментов ZEP и FlowWise, вы сможете быстро создать работающего чат-бота с механизмом памяти без написания кода.
Пример перехода от модели GPT к Mistral показывает, как легко можно менять языковую модель, не теряя функциональности. Это знание упростит вам эксперименты с разными моделями.
Технология сжатия больших текстов позволит вам экономить место в контекстном окне модели для хранения большего объема данных.
Подход на основе prompt engineering в memGPT демонстрирует, как с помощью правильных подсказок научить модель самостоятельно работать с памятью.
Возможности ZEP по анализу диалогов дадут вам инструмент для извлечения нужных инсайтов из разговоров с пользователями.
Обсуждение перспектив этой области поможет вам быть в курсе последних трендов и готовиться к использованию новых технологий по мере их появления.
Смотреть: https://youtu.be/KZA0P-axOXs
Бесплатная модель с окном контекста на 128 тысяч токенов, которая запустится на вашем ноутбуке: https://huggingface.co/NousResearch/Yarn-Mistral-7b-128k
P.S. Это почти 200 страниц текста на английском в одном сообщении
Второй выпуск ИИ-радио, где мы обсуждаем различия между чат-ботами и агентами, использование ноукод систем для создания агентов, основные технологические решения в этой сфере. Обсуждаем применение агентов в различных областях, перспективы создания персонализированных ассистентов и влияние регулирования государством сферы ИИ на технологическое развитие и инновации.
Различия между агентами и ботами - 9:00
Использование ноукод систем для создания агентов - 29:00
Основные решения для создания агентов (лонгчейн) - 46:00
Возможность создания нескольких агентов на основе чат-ботов - 66:00
Применение агентов в колл-центрах и чат-ботинге - 76:00
Влияние регулирования на развитие технологий ИИ - 105:00
Перспективы создания персонализированных ассистентов - 132:00
Нравственные аспекты создания виртуальных личностей - 156:00
Риски чрезмерного регулирования сферы ИИ - 173:00
Слушать в Spotify | Apple | Google или прям тут в телеграме
Учиться у лучших: управление командой
Хотел опубликовать список классных обучений для предпринимателей и подумал что напишу только про одно - но про самое интересное, которое появилось в последнее время. Его делает мой знакомый Виталик Крылов, предприниматель и exCEO Gett. Это именно он с командой вырастил Gett в России с нуля до 4млрд выручки.
Виталий вместе с другими классными спикерами сделал серьезную 4 месячную программу про найм топ команды и делегирование операционки.
Почему я думаю что это лучший продукт про найм на рынке сейчас:
1. Круто что программа начинается с практического тренинга, где все не просто будет сидеть и втыкать в кучу лекций, а будут именно работать в группах и создавать такие важные вещи как видение, ценности, стратегия бизнеса.
2. Дальше группа встречается в январе, феврале и марте на целый день чтобы рассказать как двигается проект и по косточкам разбирает запрос каждого участника.
3. Еще будут закрытые встречи с топ менеджерами известных компаний, где можно подсмотреть как выстроены процессы найма и управления у лучших на рынке.
А людей на программу Виталий лично собеседует, поэтому группа гарантированно будет сильная.
Я сам думаю, что присоединюсь к программе или в качестве участника или спикера на закрытую встречу. В общем если у вас есть запрос про найм и управление командами - я рекомендую идти только к Виталику.
Приходите на канал к Виталику, присоединяйтесь к программе /channel/howtomake10x
Увидимся там!
Скоро выложу запись последнего выпуска выпуска ИИ-радио (подписывайтесь чтобы предложить темы для будущих выпусков), но хочется записать одну мысль, которая спонтанно родилась в процессе диалога:
Регуляция ИИ в текущем виде не решает ни одной проблемы ИИ
Это, кстати, симметрично регуляции крипты. Ни одна страна или закон мира не может прервать работу Биткоина, но зато сильно может усложнить развитие коммерческих продуктов.
Так вот, основные риски ИИ заключаются в:
1. Смерти свободы печати (вы все еще можете печатать что хотите, но на одно ваше слово ИИ будет генерировать 100,000 своих, куда более убедительных)
2. Смерти демократии (вы все еще можете выражать свою позицию, но ИИ будет громче и его контент будет одновременно аппелировать убер-маргиналам со всех краёв политспектра)
3. Смерти экономики (вы всё еще можете работать или делать бизнес, но ИИ это будет делать качественнее, быстрее, креативнее. и бесплатно)
4. Смерти человечества (вы всё еще можете, но не понятно зачем оно, ваше можение, нужно ИИ)
Ограничение развития ИИ предельной когнитивностью в 10^26 флопс это будет больно для стартапов, средних компаний и опенсорса, но совершенно не важно для большого бизнеса (гугл и опенаи получат нужную бумажку) и state actors (китай не будет спрашивать разрешение у бюрократа в сша).
Отличие от крипты тут в том, что любая из альтернатив плохая. Ни регуляция, ни отсутствие регуляции, ни регуляция чего-либо другого не снимает и даже не снижает ни один из этих рисков.
P.S. пока писал пост, нашел сегодняшний отчет британской разведки, в котором она говорит примерно то же самое.
Сурс / пруф выше.
Грубо говоря, по текущим ценам это любая модель, натренировать которую стоит больше $50М или любой кластер с более чем 50к Н100. Такие кластеры уже сегодня есть у Гугла и Майкрософта. Возможно (без пруфов) один такой может быть у китайцев.