3620
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Чуть чуть подумал. Все еще считаю, что вся эта башня технологий нужна как единственный способ пошатнуть поисковые технологии. Ведь имея лучшую модель по опыту использования общения и понимания языков ты можешь поместить вниз индекс из веба и свою модель и ты получишь новый Google.
Текущая фаза OpenAI и конкурентов прекрасна, напрямую это enterprise. Но все прекрасно понимают где деньги.
Пожалуй это один из немногих за 20 лет моментов, когда можно пошатать поисковый рынок. Тут фишка даже в том, что в теории можно убить Яндекс или любой другой локальный поисковик. Помогут только регуляции, но скорее всего отодвинут прогресс целой индустрии на 1-2 года (время чтобы догнать).
Мой таймлайн чтобы потом проверить(хорошее упражнение для любого менеджера это записать что думаешь и потом проверить):
- в конце года будут релизы всего этого дела в клиентах на всех платформах(риал тайм взаимодействия с ChatGPT)
- в следующем году в каждом телефоне нативно
- в конце следующего года в наушниках Apple будет свой Jarvis
- за два года ставлю на то, что OpenAI поисковик будет иметь какую-то заметную долю (называться будет как-то как ассистент какой-то)
Самые важные задачи для решения:
- построение своего индекса
- очень быстрые итерации по улучшению модели на локальных рынках
- переход на инференс на CPU
- повсеместное кэширование
Я даже в какой-то степени верю, что сегодняшний релиз важнее чем LLM типа ChatGPT 3.5. Потому что в теории тебе не нужно иметь этот огромный архив данных который обучается сотню лет в GPU часах. All hail deep learning. Ой как много всего мы еще сделаем через данные и подгон кривых.
Помните я писал про модель тут, так вот это и была новая модель и она очень хороша судя по бенчам на ChatArena
Мягко говоря выигрывает всех и очень хороша в кодинге (что я заметил сразу).
Снова слухи про предстоящие релизы. Неделя будет жаркая ведь сразу и Microsoft Build, и конфа от OpenAI и Google. Посмотрим.
Но самая крутая инновация в бизнес модели это оплата за токены вперед :) тогда будет дешевле. Вот это четко.
А так все ждут поиск, конкурента Siri (при этом сами договорились продавать API в Apple) и много всего еще. Я жду контекстное окно в 10M токенов чтобы прям много новых сценариев использования попробовать. Ваши гипотезы? :)
Music by elevenlabs, ну ожидаемый ход. Верите что смогут реально хоть один популярный альбом сделать полностью генерацией? И когда?
Читать полностью…
Что там по молекулам и белкам и всему такому. Говорят хорошая моделька поможет нам быстрее побеждать вирусы, делать классные удобрения и все такое.
https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/
Очень хочется и чешутся руки написать подробный разбор данной статьи про методы «увеличения retention» от партнера a16z Bryan Kim, с которым у меня очень спорная история взаимодействия. Потому что его обычный ответ на твой питч это, а где там d30 ~30% и лям DAU, говоришь нету, ну тогда пока.
Но думаю что оформлю свою версию его советов как отдельный большой пост. Тем более материала накопилось.
Из новой статьи Andrew Chen я бы пожалуй сделал вот такое саммари, которое во многом показывает тенденцию так называемого допаминового множителя.
Читать полностью…
Квартальный AMA - ask me anything
https://forms.gle/uQiHqpd86g2NLgQR6
Вышло что-то новое и очень мощное.
Моделька справляется по моим тестам с тем, что gpt4 не очень. Например пишет готовый код мини игр, которые сразу запускаются. Скорее всего релиз ждем официальный на днях. Потестить можно на chatbot arena, выбрать gpt2-chatbot
Память в ChatGPT, не думаю что увеличит их метрики сильно, пока не представляю даже если такие пользователи которым это очень надо. Доступно с 4 версии.
Читать полностью…
Давно не было суботних постов. У нас тут поливает дождь целый день и я наткнулся на интеерсный документ авторства ЦРУ 1944 года (справедливости ради ЦРУ образовались в 1947 году из организации Office of Strategic Services, OSS, документ от них) - SIMPLE SABOTAGE FIELD MANUAL (прикладные рекомендации к саботажу). Документ приложил.
Так вот зацепил параграф: General Interference with Organizations and Production (или как правильно подрывать работу организаций и производства), который ну очень напоминает мне работу многих продуктовых команд и небольших бизнесов/стартапов. Оставлю лучшее, чуть чуть адаптировал текст под современные реалии :)
- Настаивайте на выполнении всего через "официальные каналы". Никогда не позволяйте принимать обходные пути для ускорения принятия решений.
- Делайте "речи". Говорите как можно чаще и очень долго. Проиллюстрируйте свои "точки зрения" длинными историями и рассказами из личного опыта. Не стесняйтесь вставлять несколько соответствующих "патриотических" комментариев.
- По возможности передавайте все вопросы комитетам для "дальнейшего изучения и рассмотрения". Пытайтесь сделать комитеты как можно больше - никогда не меньше пяти человек.
- Как можно чаще поднимайте нерелевантные вопросы.
- Торгуйтесь о точной формулировке сообщений, протоколов, резолюций.
- Ссылайтесь на вопросы, решенные на прошлой встрече, и попытайтесь вновь поставить под сомнение целесообразность этого решения.
- Призывайте к "осторожности". Будьте "неразумными" и призывайте своих коллег быть "разумными" и избегать поспешности, которая может привести к неловкостям или трудностям в будущем.
- Беспокойтесь о правомерности любого решения – поднимите вопрос о том, входит ли такое планируемое действие в юрисдикцию группы или может ли оно противоречить политике какого-либо вышестоящего звена.
Советы менеджерам в комментах :)
Китайская сеточка в конкуренцию OpenAI Sora. Не представляете какое количество инвесторов долины возбудились и сразу говорят, что мол видео подобраны, и это точно максимум на что она способна и все такое. Не привыкли видимо от каких-то no name китайцев получать конкуренцию, когда заливаешь ярды венчурных денег.
На скрине комментарий партнера a16z
Один из самых больших buyback на моей памяти от Google, первые дивиденды. Время шортить Nvidia. Ну а в целом, это очень сильный рыночный ход и уверенность в собственном бизнесе, когда ты тратишь 70% кэша компании на выкуп акций.
Читать полностью…
Ну и вот вам видос, считаю что это отличный релиз и понятно почему Apple хочет такое. Ждем завтра Google и ответочку.
Все еще я вижу в этом большой enterprise business и не очень понимаю как они собрались сделать b2c ибо видеокарт на всех все еще не хватает. Плюс ждем чтобы самим попробовать, как показывает практика демо это одно, а вот живое использование это другое.
И еще немного мыслей Сэма
Страница модели
Если что стрим анонса OpenAI тут. Начало через 10 минут.
https://www.youtube.com/watch?v=DQacCB9tDaw
Меня в целом не удивляет и не оставляет вопросов почему модель от meta так хорошо перформит на диалогах и беседах, и хуже на других задачах типа экзаменов и прочего.
И все авторы и рисчерчеры так рассуждают мол, вот скормили туда датасет аккуратно и все такое. Ну ясен пень у огромной социальной сети есть данные диалогов с данными когда он хороший и успешен и разметка и любой блин контекст. А потом еще фиг докажешь у модели что они тренились на каких-то приватных размеченных данных. Жду когда Google тоже начнет все, что спарсил в датасет помещать. Это все вопрос времени и KPI менеджеров. Тут вот тоже надо было на чатарене место повыше сделать.
30 статей, которые по слухам Илья Суцкевер (один из главных ученых в OpenAI) посоветовал Джону Кармаку (легендарный программист и основатель idSoftware который Quake) чтобы разобраться что к чему в AI. Говорит если эти работы поймешь - все встанет на свои места.
P.S. Я прочитал и понял примерно половину. Ну так чтобы объяснить другому.
KREA.AI похоже делают редактор, где есть всякие плюшки с AI. Аля такой Canva подход думаю только на современный лад и чтобы поиграться еще. В целом и Canva начинала с темплейтов для сторис.
Читать полностью…
TLDR статус AI/ML:
1. Масштабирование и развитие deep learning будет приносить все больше новых возможностей и фичей и делать текущие задачи все лучше и лучше.
2. И в то же время это не приведет нас к AGI.
3. Мы все еще далеки от AGI, и LLM не особо приблизили нас к нему.
4. Мы еще далеко не достигли полного внедрения и интеграции deep learning методов. Все еще огромное количество задач можно решать с его помощью и много еще предстоит построить.
MAI-1 - а вообще названия LLM все больше похожи на названия космических аппаратов. Вояджер, Союз, ТКС и прочее.
Если коротко, то Microsoft наняла бывшего лидера DeepMind и теперь понятное дело учит свою foundation model на 500B параметров, скорее всего релиз на их конфе Build 21 мая. Ну что ж посмотрим как они со своим же стартапом будут конкурировать. Напоминает конструкцию DeepMind & Google.
А вообще вот полезный ресурс для сравнения цены/скорости доступных провайдеров моделек. Надеюсь Microsoft не будет делать так же дорого как OpenAI.
Минутка математики в канале, пока я там смотрю какие, кто вопросы написал, возьмусь отвечать где-то на неделе.
Недавно как я и говорил рассказывал про ICL, готовлю нормальный материал сюда чтобы выложить. И там до меня и моего рассказа была отсылка к тому, что мол в LLM все ой как недетерминировано. На что я возразил, что мол не так, а интерпретация страдает, да и в целом если сэмплинг токенов сделать по самой высокой вероятности - степень так сказать рандома упадет очень низко. И решил в целом думаю посмотрю, а насколько математика может сводить определенные типы задач где много рандома к четкому детерминизму. И оказалось, что вообще-то вопрос решен.
For a 1994 paper, he and the computer scientist Noam Nisan illuminated that connection. They proved that if any natural hard problems exist, as most computer scientists suspect, then every efficient randomized algorithm can be replaced by an efficient deterministic one. “You can always eliminate randomness,” Wigderson said.
Источник
Там недавно помните OpenAI открыли офис в Японии. И вот неожиданно офис в Японии открывает xAI Илона Маска. Совпадение? Не думаю.
Читать полностью…
Всем, кто делает игры или сервисы вокруг них думаю будет полезен такой список гейминг фондов и контактов соотв.
https://nextgengamingclub.com/#investors
В твиттере снова пожар. Или все технооптимисты столкнулись с сенатом штата калифорния, который сегодня запустил вот такую темку в паблик (а скоро наверное и на голосование).
Самый забавный параграф конечно этот:
"If not properly subject to human controls, future development in artificial intelligence may also have the potential to be used to create novel threats to public safety and security, including by enabling the creation and the proliferation of weapons of mass destruction, such as biological, chemical, and nuclear weapons"
Это прям вот сборка всех мемов про терминатора и скайнет.
Если кратко - open source и стартапы будут страдать и регулироваться ой как жестко.
Например там указаны примеры про автоматизацию звонков через AI и телефонные сервисы, камеры на светофорах и прочие модели которые можно для такого(фрод, кража личных данных итд) использовать надо будет так сказать проверить и компанию допустить.
Еще раз повторю, что мне кажется верным. Важна не архитектура модели (если разговор про качество, а не скорость), а датасет. Ничего больше на дистанции не важно. Выиграют данные, а не изощренные методы перестановки слоев и гиперпараметров местами, хотя и моментами кажется что это супер важно.
А если выигрывают данные, значит мы возвращаемся в дивный мир «у кого пользователи, тот и победил». Уверен ребята в OpenAI это крайне хорошо понимают и уже давно сообразили что Microsoft это хорошо.
Древний paper вам для подумать и старый пост на почитать
P.S. Я кстати буду рассказывать про in-context learning скоро небольшую презентацию. Это про то, что люди называют магией, reasoning и прочее, хотя в реальности похоже на Bayesian inference. Но феномен занятный. Вам интересно? (Сердечко в реакцию тогда)
AGI близко!
Видео моего хорошего друга Кирилла отсюда
Девайс
Сегодня наткнулся на один из постов в канале знакомом про поиск COO в стартап. И решил поделиться некими мыслями про найм/поиск людей в команду.
Я когда-то на заре карьеры, еще работая в Яндексе, ездил на конференцию по дизайну (не спрашивайте зачем), и на ней были несколько тогда для меня значимых персон из раннего Facebook, которые достаточно развернуто рассказывали про свои принципы найма. Которые я чуть чуть дополнил и ниже изложу.
Если кратко то люди работают по 4 причинам. Эти причины можно отсортировать по важности для каждого кандидата.
4P = people, product, process, profit.
Пройдемся по каждой.
1/ People. Это тот самый случай, когда «поработайте со мной». Чаще всего сводится на самом деле к двум вещам. Либо друзья работают со своими друзьями (фан, легкость). Либо с очень сильными ребятами. Сила в этом случае должна измеряться недвусмысленно (количество экзитов, релизов, количество людей в команде, ARR, референсы, результаты в Хард скилах типа пэйперы, звездочки на гитхабе) и никак не абстрактными качествами, который каждый оценит по-своему(эмпатия, культура уважения, итд).
2/ Product. Главное что я делаю и для кого. Именно поэтому я в свое время хотел работать в Яндексе. Потому что продуктом который я делал пользовались миллионы людей в день. И мне было пофигу с кем и за сколько. Тут важно соотв продукта и человека. Легче всего в consumer, тяжелее всего в enterprise.
3/ Process. Это когда инженер идет туда где задачи посложнее. Или внутренняя мотивация лежит в области решения как можно более интересных задач с точки зрения hard skills. Поэтому у таких людей очень высокие требования к качеству того что вы делаете. И они любят четкость постановки задач и причин почему они тут нужны.
4/ Profit. Тут думаю все понятно. Деньги они и в Африке деньги. Важно думать про них на дистанции больше чем про в короткую.
И дальше накладываем все это на некую мелкую компанию или на стартап. И в случае стартапа шансы нанять любого есть:
- стартап это синоним роста и амбиций, если ваш проект не поднимает раунды и не растет как вне себя каждый квартал и вокруг вас не бродят слухи про новый единорог то будет тяжело
- стартап это опыт прежде всего и опыт направленный и очень амбициозный, чем выше цель тем легче привлечь людей
- ну трек рекорд основателей, тут вроде все понятно, если реферов на вас нет в сети или значимых релизов(экзитов) - шансы меньше
Цель компании часто лежит в том, чтобы помочь человеку прийти к его цели или найти ему эту цель.
Про найм писал еще тут и тут и даже так
Очень интересная статья про опыт работы с Sora от OpenAI, эта которая генерит видео по вашему запросу.
Все проблемы на лицо. И именно поэтому пока все это в глубокой альфе и до нормального продакшена видео это доберется боюсь не скоро. Но как тул для скетчей или быстрых роликов думаю достаточно скоро. Кстати говоря генерит оно пока максимум в 720p, но все равно долго и поэтому тестеры делают в 480p. Про консистентность же я говорю очень давно. Тут это будет критически важно.