vlad kooklev — ai & startups

20 Apr 2023 09:15

Контрибьюшн в опен-сорс в 2023 би лайк:

vlad kooklev — ai & startups

14 Apr 2023 07:25

Попросил вчера AutoGPT собрать мне несколько рисерчей:

1./ План на поездку в Будапешт в Мае →
Сработало неплохо, но все равно нет доверия, что информация актуальная. Хочется видеть источник и узнать почему именно такой выбор, думаю можно просить уточнять выбора через промтп. Оценка: 4/5

2./ Список документов на визу номада в Испанию → 
Не нашел несколько важных документов и наоборот подтащил денежные требования из другой программы. Оценка: 2/5

——

Почему на такие задачи не подходит запрос к обычному GPT и нужен AutoGPT с доступом к интернету?

Ответ в датасете: внутри GPT информация актуальная на конец 2021-го года. Какие-то места в Будапеште уже могли закрыться, а испанская программа кочевника вообще появилась только в начале года. Поэтому нужно ходить по сайтам и рисерчить, это он и пытается делать автоматически.

vlad kooklev — ai & startups

12 Apr 2023 09:54

Давно не писал — чуть позжде расскажу чем занимался все это время (будет интересно!)

А пока репостну один из любимых каналов. Рассказал там про новую хайповую технологоию на базе GPT ↓

vlad kooklev — ai & startups

25 Mar 2023 09:54

👨‍💻Что у тебя в доке на Маке?

Часто интересно какими программами ежедневно пользуется знакомый человек.

По шэрингу экрана с доком я могу построить обширный образ и распознать своего чувака.

Специально для таких ценителей, есть сайт dockhunt, где люди шэрят свои доки.

Я своим тоже поделился! Правда у меня что на телефоне, что на маке все взаимодействие давно идет через поиск, так что получилось минималистично.

Бонус — через секцию топ приложений удобно находить новые интересные аппы. Я так для себя открыл браузер Arc и терминал Warp.

vlad kooklev — ai & startups

23 Mar 2023 12:50

* продолжаем *

6./ Сид — каждая генерация выдает случайный результат, но есть способы частично контролировать результат. Сид как раз один из таких способов. Если используешь одинаковый сид и промпт — можно рассчитывать на похожий результат.

7./ Файнтюнинг — в контексте SD это процесс, когда берется готовая модель и дополнительно обучается лучше решать новую задачу. Вспомните Дримбуф и цифровые аватары из первой части. По сути это Файнтюнинг на то, чтобы генерировать *чье-то реальное лицо* по заданному промпту.

8./ txt2img, img2img — два разных подхода к генерации картинок. В первом задача для генерации целиком задается при помощи промпта. Во втором случае за основу берется картинка, которую загружаешь. В случае с img2img промты все равно можно вводить и управлять генерацией. Также в ход идет важный параметр denoising strength — насколько генерация должна быть похожа на исходную картинку.

9./ Контролнет — еще один способ контролировать результат генерации. Контролнет модели заточены на то, чтобы взять какой-то конкретный параметр исходной картинки — например позу или очертания силуэта. Дальше на основе этих параметром можно сгенерировать новое изображение. Словами объяснить сложновато, посмотрите сами примеры по ссылке.

10./ Чекпоинт — по сути синоним слова модель, которое я использовал выше. Подразумевается, что у модели в процессе тюнинга нет одного финального состояния. Обычного принято делать выгрузку состояния каждые N-шагов обучения и потом тестировать, какой из чекпоинтов срабатывает лучше. Переобучение модели такая же большая проблема, как недостаточное обучение, так что тут всегда ищется баланс количества шагов.

vlad kooklev — ai & startups

22 Mar 2023 16:32

Словарик генеративного арта v.1

За последние недели разобрался, как устроен рынок генеративного арта и фотографии. Хочу начать про него тоже писать, но сначала давайте проясним все базовые термины.

1./ SD (Stable Diffusion) — главный драйвер революции на рынке. Это аналог закрытых моделей DALLE-2 и Midjourney. Ее выложили в открытый доступ и AI комьюнити подхватило разработку. Теперь каждый день выходят модели на SD-архитектуре затюненные под конкретные задачи — например фотореалистичная генерация, аниме или порно.

2./ Промпт — текстовый запрос через который описываем желаемый результат генерации. Для SD-моделей есть еще негативный промт, где описывается то чего не должно быть в генерации. Хорошие генерации это всегда комбинация обычного и негативного промта.

3./ Automatic1111 WebUI — SD-модели стали выходить регулярно, но интерфейсы были на тот момент неудобными. Тогда пришло время локальных веб-интерфейсов. Самый популярный от Automatic1111 — туда можно вводить промты, смотреть результаты и крутить настройки. Затем довезли поддержку расширений → на нем теперь можно крутить десятки моделей основанных на промтах, не только SD.

4./ Дримбуф — технология обучения цифрового аватара, чтобы потом генерить с ней изображения. Помните приложение Ленза выпустила аватары? Там внутри как раз работает Дримбуф. Особенность Дримбуфа в том, что он есть много ресурсов и на выходе получаем совсем новую модель. В основном все сейчас делают Дримбуф на базе SD — на выходе получается отдельный файл модели на несколько гигабайт.

5./ Лора — похожая технология, но если Дримбуф переобучает модель целиком, то Лора внедряется через промт и влияет только на нужный участок. За счет этого можно легко обучить Лору на 20-30 артах определенного художника → прокинуть в промтп при генерации изображения → получить изображение в стилистике этого художинка. Чаще всего это все получается уместить в несколько МБ веса — cами посмотрите.

/— словарик будет пополняться по мере усложнения тем постов —/

vlad kooklev — ai & startups

23 Feb 2023 10:57

А вот еще одно потверждение, что Твиттер — лучшая соцсеть.

Такой же пост как здесь, там слегка завирусился и собрал под 1000 просмотров.

Самое смешное: твит дошел даже до человека, на котором я тестил экстеншен и записал видео-пример. Хотя бы не были подписаны друг на друга..

Телеграм в этом плане намного сильнее ограничен в плане виральности и больше походит на уютный бложик, чем на площадку с потенциалом на масштабирование.

В любом случае мне нравится формат постов в тележку — буду продолжать их писать и эксперементировать с форматами 🕺

vlad kooklev — ai & startups

16 Feb 2023 15:48

Обожаю моменты, когда сначала придумываю продукт, который мне бы обелгчил жизнь.

А затем обнаруживаю, что такой продукт уже сделали и он работает 🤩

Вчера:
- Обсудили продукт c саммаризацией ютуб-видео. Я рассказал, почему он должен работать по другому.
- Это же нелогично сначала заходить на страницу видео, а потом читать там саммари (!!!)
- Намного круче выбрать интересные темы или вопросы и получить по ним саммари из всех видео автора.
- Привел пример своего любимого подкаста Эндрю Хубермана.
- Хочу задать вопрос про силовые упражнения и получить обобщенный ответ из всех подкастов.

Сегодня:
- Буквально натыкаюсь на чатбота обученного на подкастах Эндрю Хубермана
- Он может ответить на любой вопрос по теме его выпусков
- Больше не нужно слушать 1000 часов подкастов…

vlad kooklev — ai & startups

10 Feb 2023 08:54

Что мне сейчас интересно →

Прямо сейчас есть три основные темы:

1. AR и цифровая мода 👟 — с декабре работаю в Фарфече в команде AR/3D. Мы переносим опыт оффлайн-шопинга в мобильное приложение и на сайт. С нашими технологиями можно примерить кроссовки, одежду и часы через камеру телефона, а сумки можно рассмотреть в деталях в 3D.

Вот на днях релизнули в мобильное приложение 3D-просмотрщик для сумок (кстати это мой продукт теперь).

2. ЧАТЖИПИТИ (ChatGPT) и похожие сетки 🤖 — эххх сейчас бы рассказать, как оптимизировал через ИИ свой рабочий день и теперь не работаю, но такого нет. Вместо этого я копаю его с самых основ: фундаментальные ограничения, какие недостатки легко обойти, какие сферы обязательно изменятся в ближайшие годы под влиянием ИИ.

3. Релокация, стартап и номад-визы ✈️ — сама по себе релокация из обузы для меня начинает потихоньку превращаться стартап, где нужно рисерчить, искать хаки и тестить гипотезы. Помимо этого в голове есть гора рефлексии после жизни в 5 странах по 2+ месяца.

Про эти темы я планирую писать ближайший месяц, а дальше уже посмотрим.

Самое время подписаться и скинуть друзьям, которым это тоже интересно 😎

vlad kooklev — ai & startups

09 Feb 2023 10:38

Сегодня тестирую новый модный тул на Мак — Rewind.

Основных фичей две:
— Посмотреть что у меня было на экране в определенное время в любой день → по сути регулярные скриншоты экрана
— Поиск по тексту на этих скриншотах за все время + по всему что было произнесено и услышано (зумколы и ютуб-видео)

Обещают, что все хранится локально и распознование происходит на устройстве. Поиск пока работает только на английском, с голосом думаю тоже самое.

Основной сценарий использования — работа с большим количеством информации в течении недели.

По сути Rewind помогает расслабиться, не раскладывать постоянно информацию по местам «где она не потеряется». К информации всегда можно вернуться, если она понадобится, а в остальных случаях просто не тратишь ресурсы.

Стоит $20/mo, есть триал на месяц. Мнение?

vlad kooklev — ai & startups

05 Feb 2023 13:38

Про рабочее место → 
В самом начале 22-го мы улетели в Таиланд, тогда я же в последний раз работал из своего домашнего офиса.

Сейчас я понимаю, что это место было идеальным: редактируемый по высоте глубокий стол, икеевский стул Маркус, настольная лампа, отдельная комната.

Первое с чем сталкиваешься в переездах — нужно постоянно заново придумывать откуда ты будешь работать. Интернет, шум вокруг, розетки, насколько удобно и как быстро устает спина. Чем больше звонков, тем сложнее.

Между странами процесс тоже отличается. В Таиланде важным фактором выбора будет кондиционер нормальной температуры. В Турции таким фактором будет вайфай из-за того, что нет полноценного мобильного безлимита.

Я посчитал, что переехал с того момента — 27 раз. Собрал для себя небольшой список пунктов по тому, как выбирать жилье и места для работы в перездах.

Расказать?

vlad kooklev — ai & startups

03 Feb 2023 09:45

Заметил себя в состоянии:

— Голова ломится от мыслей, идей: я их никуда не пишу → они там остаются → не появляется пространства для появления новых. В лучшем случае выливаю в чаты или личные сообщения.
— Мозг отказывается воспринимать новый контент: книги и статьи читать не хочется и все ощущается вторичным.

На это же накладывается паралельное обесценивание контента в интернете. Раньше за контентом всегда стоял человек или в худшем случае копирайтер. Теперь это может быть просто выжимка человеческих знаний прогнанная через нейросеть. Вероятность наткнуться на булшит-контент с каждым днем становится больше.

В любом случае принял для себя два решения:
— По максимуму убираю из жизни все источники информации. Удаляю подписки, приложения, эмейл-рассылки.
— Начинаю регулярно выгружать из головы мысли. В приорите на русском в этот канал, затем возможно подключу что-то другое.

Thats it.

vlad kooklev — ai & startups

19 Apr 2023 11:02

Пока вынашивал в голове пост, где рассказывал бы по шагам про агентов — Леша уже его написал, почитайте.

TLDR:
1. Люди прикинули, что если поставить GPT цель, то он неплохо справляется с ее декомпозицией на простые задачи.
2. Люди также прикинули, что если хранить в памяти результаты запросов к GPT, и подбирать для каждого следующего запроса нужную информацию из памяти → то получится обойти ограничения инпута (сейчас это 5k токенов/коротких английских слов)
3. В результате можно поставить задачу агенту, он ее разобъет на подзадачи → начнет решать доступными средствами → будет сверять результат и задачу, продвигаясь все дальше.
4. В агентах нет ничего нового — это склейка нескольких существующих решений, в самом простом примере занимает 100 строчек кода. Они построены вокруг обычного GPT, который попросили писать себе списки задач → затем думать как их решить используя доступные средства. Из текущих средств — браузер + поиск.

Мой опыт:
1. Все эксперименты достаточно примитивны. Я пока ничего практичного не видел, кроме задач на рисерч и структуризацию информации из интернета. Но я вижу большой потенциал в том, что будут расширяться количество интеграций. Сейчас уже появился модуль, что читать ленту в твиттере и писать туда. На реддите видел эксперименты по тому, чтобы дать агентам доступ ко всей операционной системе.
2. Если видите, что кому-то autogpt заработал миллионы, то это полный буллшит.

Предсказания:
1. Контейнеризация агентов, aka “агент под задачу”. Например: агент-рисерчер соберет анализ сайтов конкурентов; агент-маркетолог опишет рекламную кампанию.
2. Расширение способов взаимодействия с миром для агентов. Сейчас это браузер, гугл и инструменты языковой модели. Дальше в руках агентов окажутся интеграции с большинством сервисов → расширится объем действий для достижения цели. Закрытые сервисы (Twitter) начнут еще сильнее душить свое API.
3. Агенты начнут вставать на место конкретных рекуррентных сценариев внутри компаний и делать со временем лучше людей.

vlad kooklev — ai & startups

12 Apr 2023 09:54

AutoGPT — нейронка промптит саму себя

@vladkooklev поделился двумя интересными проектами на Гитхабе — AutoGPT и BabyAGI. Даёте GPT-4 конечное задание и моделька итеративно запрос за запросом двигается в решении. Можно буквально одной кнопкой составить отчёт на какую-то тему, разработать аппку на Питоне или написать фанфик.

Подобные проекты могут стать зачатком «автономных ИИ-агентов» — они уже умеют ходить в Интернет, подключаться к другим приложениям через ChatGPT плагины, а скоро ещё завезут мультимодальность. Но будьте осторожны: если оставить их включенными, они будут бесконечно платить OpenAI 🙂

Здесь появляется хорошая возможность вклиниться в пайплайн со своим LLM DevTool или инфраструктурным решением. Например, в обоих агентах используется векторная база данных Pinecoin. Подобные проекты сейчас активно поднимают инвестиции — см. Pinecoin, Langchain.

vlad kooklev — ai & startups

26 Mar 2023 09:17

🤖🎙️ Видео на воскресенье — интервью с Сэмом Альтаманом у Лекса Фридмана

Почему это стоит посмотреть?
1./ Sam Altman — предприниматель и инвестор, бывший президент Y Combinator и нынешний CEO OpenAI.
2./ Lex Fridman — ученый, автор и ведущий курса по Deep Learning в MIT, один из самых популярных подкастеров в мире.

👉 Ссылка: https://www.youtube.com/watch?v=L_Guz73e6fw

Я пока не смотрел, но судя по тайм-кодам разговор получился сильный:

— Про разработку и возможности GPT-4
— Безопасность и предвзятость искусственного интеллекта
— Размеры нейронных сетей и достижение AGI
— Страхи и конкуренция в отрасли
— Антропоморфизм и будущие применения AI
— Советы молодым людям и размышления о смысле жизни

Смотрим?

vlad kooklev — ai & startups

24 Mar 2023 07:10

🚀 Запустился магазин-приложений для ChatGPT

Ночью вышел крутой анонс — у ChatGPT теперь есть плагины. Они помогут ChatGPT получать актуальную информацию, выполнять вычисления и работать с сторонними сервисами. Таким образом решается одни из главных проблем — точность вычислений и доступ к актуальным данным реального мира.

Какие плагины доступны уже сейчас:
— Планирование путешествий с Expedia
— Онлайн-шопинг с Klarna
— Бронирование столиков в ресторанах с OpenTable
— Обучение языкам с Speak

Подход “промпт как интерфейс” все сильнее укрепляется для разных задач. Интересно, как далеко это зайдет. Вот к примеру портфельная компания OpenAI фонда делает редактор видео и подкастов на промтах.

https://openai.com/blog/chatgpt-plugins

vlad kooklev — ai & startups

22 Mar 2023 17:06

Не верится, что мне пришлось написать предыдущий пост ради этого, но все же..

Прочитайте перед ним обязательно словарик ↑↑↑

На днях вышла модель от китайских рисерчеров для генерации видео по промпту.

Через день под модель уже вышел экстеншен для WebUI, так что я быстро развернул ее в интерфейсе. Дальше 20 минут на подбор промпта, иии.. получаем видео взрывающего на столе хинкали 🏃‍♂

На самом деле результат пока сомнительный, тут важно другое. Stable Diffusion Moment — это событие, когда современная модель выкладывается в открытый доступ и дальше ее подхватывает сообщество.

Значит в ближайшие месяцы нас будут ждать новые и новые модельки заточенные на более узкие сценарии, а качество будет расти. Кстати, на какие именно кейсы комьюнити в первую очередь будет тюнить модельку можно угадать из предыдущего поста.

vlad kooklev — ai & startups

18 Mar 2023 08:13

Выступил позавчера в сообществе R-Founders про GPT. Продуктов внутри GPT-экосистемы стало так много, что решил охватить сразу все (вместе c GPT-4 конечно же).

Рассказал как мы с вами оказались в текущей точке; как я добываю полезную информацию и хаки на GPT-рынке; как нахожу новые продукты на этом рынке; какие GPT-стартапы не стоит придумывать и запускать ни в коем случае;

Публичной записи вероятно не будет, но материал получился мощный — поэтому думаю где еще могу его рассказать.

Идеи?

vlad kooklev — ai & startups

22 Feb 2023 15:00

Обожаю Линкедин! Лучшая соцсеть после Твиттера.

В тоже время ненавижу писать там ответы на сообщения, а 90% переписок — дефолтное вежливое общение.

В честь этого собрал браузерный экстеншен, который генерирует ответ через GPT-3 исходя из контекста. Мне теперь нужно только выбрать намерение ответа через кнопку быстрого ответа.

Думаете это все? А нет — 98% кода экстеншена написано через ChatGPT. Я только командовал и подсвечивал ошибки, как опытный тимлид.

Рассказать больше?

vlad kooklev — ai & startups

13 Feb 2023 17:04

Как работает ChatGPT (ч.1) 🤖 →

Последние недели часто объясняю, как Чат работает изунтри. Отсюда и вырос запрос написать этот текст. Это будет серия постов, где будем вместе разбираться почему с одной стороны это прорыв, а с другой стороны технология, которая доступна уже почти три года.

=== Погнали ↓

Начнем с верхнего уровня: на нем две части, и это неожиданно — Chat и GPT. Сегодня сфокусируемся на GPT.

→ GPT — это GPT-3 — языковая модель, которую компания OpenAI выпустила в мае 2020-го года. После этого ее несколько раз дорабатывали. Последний раз год назад — эта версия и крутится внутри ChatGPT.

В момент релиза GPT-3 стала прорывом, отчасти потому что была обучена на всей текстовой информации в интернете. В последней версии это информация из конца 2021-го. Например, ютуб-видео или подкасты попали внутрь только если у них была текстовая расшифровка в интернете на тот момент.

Модель получилась настолько мощной, что ее не стали выкладывать в открытый доступ, как делали обычного до этого. С одной стороны из-за безопасности, а с другой стороны, чтобы лучше монетизировать. Так GPT-3 стала доступна через API: OpenAI на своей стороне проводят модерацию и берут деньги за каждый запрос.

Также GPT-3 — это черная коробка, на вход она принимает «инпут», а возвращает «аутпут». В базовом сценарии единственный способ повлиять на аутпут — это переписать инпут. Мы не можем гарантировано получить от нее один и тот же аутпут при одинаковом инпуте. Мы не может детально узнать, почему она ответила именно таким текстом. Хотя отмечу, что ребята из OpenAI проделали много работы, чтобы сделать ответы более предсказуемыми.

Технологии почти три года, последнее обновление было год назад. Так почему она взлетела только сейчас? Об этом расскажу в следующем посте.

vlad kooklev — ai & startups

09 Feb 2023 10:39

(вернул клоуна в реакции — можно ставить)

upd: я передумал

vlad kooklev — ai & startups

06 Feb 2023 17:26

Впервые начал вести телеграм-канал в 2016. В пике он был раскачан до 3-4 тысяч подписчиков. Легко закрывал запуск своего курса на пару сотен тысяч рублей из одной его аудитории.

Пролистал сейчас посты, и вот навскидку:
- Предсказание DALLE2-based продуктов и юзкейсов
- Манифесты против классического карьеризма и работы в корпорациях
- Офигенная инструкция по отклику на работу в IT, хоть сейчас могу рекомендовать

Писал это 5 лет назад, в 21 год. Тогда же обучил несколько сот будущих разработчиков Питону. Пиздец я тогда был умный (!!!)

То есть конечно я сейчас знаю в разы больше. Но эти знания как-будто меня сдерживают. Я постоянно стремился последние годы к новым знаниям, мне казалось что есть точка в обучении пройдя которую что-то произойдет. Но теперь мне кажется уже тогда в 2018 у меня было всё, чтобы разрывать. И ни одна новая прочитанная книга или пройденный курс тут не помогут.

Именно поэтому я начал снова писать посты именно с запроса на «обнуление». Меньше думать → больше делать. Пускай это будет моим манифестом на этот год.

vlad kooklev — ai & startups

04 Feb 2023 12:31

Ровно год назад мы жили в «тайском доме» на Пангане — тогда самой большой проблемой были муравьи в доме и постоянная жара.

Пройдет три недели и за тарелкой манной каши в русском кафе я узнал, что началась война. Еще минут через 15 я сниму все деньги в наличные, бегло прогуглив что тайский бат стабилен к доллару последние много лет.

Я несколько раз по фотографиям и сообщениям в ТГ старался восстановить хронологию того дня, пробелов все равно очень много. Я точно знаю, что с первых минут не сомневался, что друзьям и коллегам нужно уезжать из страны и им нужно помочь.

Каким-то образом из этого получился гайд, затем статья на виси. Затем появились и другие гайды, которые уже собирали целые команды, они выполняли свою задачу намного лучше. Но мой был первым и я собрал несколько сотен тысяч просмтров, а люди еще неделями писали и благодарили за помощь.

При этом, главное намерение, которое я изначально вкладывал в гайд было не помощь другим — это была попытка помочь самому самому себе. Я пытался собрать в инструкцию мир, который рушился у меня на глазах. Тогда это был единственный способ обрести контроль и найти точки стабильности. Это помогло.

После этого я еще много раз буду повторять это упраженение в ситуациях, когда ничего непонятно и все вокруг рушится. Человек, бегло изучавший нейробиологию подскажет, что так мы перехватываем контроль у импульсивной лимбической системы мозга и отдает его рациональной префронтальной коре. Более того, любой текст, который мы пишем — это рефлексия, он помогает вырваться из цикла одних и тех же мыслей, взглянуть на мир по другому.

Не хочется избегать и не использовать такой инструмент.