3620
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
К новостям бинаризации моделей (ну на самом деле -1,0,1). Если кратко:
- работа https://huggingface.co/papers/2402.17764
- говорят что дает такое же качество сам трансформер (ого)
- очевидно целый простор оптимизации железа под такие нужды (нвидиа скоро пойдет вниз к концу года)
Почему я тут пишу про все это. Понимание LLM и прочих генеративных моделей и слежка за тем, куда там все движения позволит вам лучше понимать юз кейсы и какие устройства и железо выиграет от всего это движа. Очевидно что этот год будет год оптимизаций и практически все к концу года будет работать on device в том или ином качестве, что конечно же открывает разного рода возможности. Но нельзя забывать:
- все локальные модели будут скорее всего работать только на посл моделях устройств
- все еще это не будет по качеству уровень GPT4, но быстро оценивать и давать саммари прям внутри клавиатуры будет
- все еще плохо с фактами и личными данными (векторный поиск теряет слишком много информации по пути - хотя там есть свои ухищрения)
Уверен, что окно возможностей залететь в этот мир закроется к концу года. Самое время делать что-то :)
Мимолетом вышла работа по генерации уже контролируемых сред. Ну знаете такие миниигры типа Марио.
Все еще напоминаю, что это не значит что всем гейм девелоперам капут. Нужен огромный одинаковый по своей сути датасет что как раз подходит для платформеров.
Внутри:
- LAM Latent Action Model что позволяет делать динамику с действиями (вашим джойстиком)
- стандартная уже тема video tokenizer с трансформером поверх
Итого пока 1FPS и миллионы памяти жрет.
https://sites.google.com/view/genie-2024/
Достаточно интересные данные. А именно пересечение аудитории между Reddit и другими сервисами. Twitch лидер, и оно понятно, на Reddit крайне сильная игровая тусовка.
Читать полностью…
Managing Director YC дает хорошую подсказку о вопросе, а что если Google будет делать тоже самое что и ваш продукт:
When a startup is competing against a large competitor, they aren't competing with the *entire* company, they are likely competing with some PM focused on internal politics/career progression.
With this framing, it shouldn't be surprising to see startups win as often as they do.
Но забывает сказать о силе дистрибуции. Если вы конкурируете с большой компанией вы должны достигнуть достаточного скейла до того как там сделают релиз. А это уже чуть чуть усложняет задачу, чем просто конкуренция с каким-то продактом.
Оффтоп: сейчас читаю занятную книженцию авторства Германа Вейля «О философии математики». Помимо того, что я глубоко уважаю труд этого ученого, который пожалуй приложил руку почти ко всему в математике и матфизике, мне в целом интересно узнавать пути мышления периода революции в физике и математике - начало 20 века.
Заметил в книге слово которое режет глаз - итти. Оказалось до 1956 года так писался глагол - идти. Однако.
Stable diffusion 3 https://stability.ai/news/stable-diffusion-3
- типа генератор текста в картинках нормальный
- сюда тоже завезли трансформер
- пэйпера пока не почитать
Жду потестить и посмотреть результаты
А еще бесят каналы разных суперэкспертов, где нельзя прийти в комменты и откритиковать чушь в посте. Правда ведь? 😏
Читать полностью…
Все подписались на тикток OpenAI? Будем следить за «тиктокеры больше не нужны» openai?_t=8k3A4dvLGmP&_r=1" rel="nofollow">https://www.tiktok.com/@openai?_t=8k3A4dvLGmP&_r=1
Читать полностью…
Для вас мои дорогие б2б гроус хакеры стопицот MRR всего за месяц.
If you are a startup founder and have a productized business:
1. Go to ycombinator. com/jobs
2. Find recently funded startups that are hiring for the role related to the productized service you offer
3. Install the chrome extension "Simplify"
4. Use this extension to fill out the applications
5. Instead of the cover letter, plug in your offer
————
6. Profit?
Насущная проблема современного продакта или фаундера «а что делать, если не покупать траффик?»
Читать полностью…
Первый нормальный подход к генерации видео https://openai.com/sora
Читать полностью…
Новая генерилка голоса из текста от Amazon очень крутая, послушайте сэмлы, особенно эмоции! Круть!
https://amazon-ltts-paper.com
Наконец-то кто-то за меня нормальную аналогию привел. Никита выложил пост, почему интро не делаю/ют. Хороший концепт. Рассматривайте интро как кредитный лимит, у некоторых людей у вас он бесконечный, а вот у других 2-3 штуки в год. Напомню что бесконечный или достаточно большой лимит только у друзей. https://x.com/nikitabier/status/1757278531199926714?s=46
Читать полностью…
В целом тема «маленького уютного интернета» будоражит очень много людей. Много кто из VC постоянно об этом говорит и мне даже под лозунг make internet smaller дали лям баксов. Это у меня в проекте Capture было на одном из слайдов большими буквами.
Идея настолько не нова, что перерождается каждые 2-3 года то в мастодон, то разные протоколы, то в старые новые форумы то еще что-нибудь этакое.
Люди даже собрали коллекцию постов про то, как же раньше было хорошо https://projects.kwon.nyc/internet-is-fun/
В целом, как я говорил в ранних постах этого канала, ностальгия очень сильная штука и я уверен должно что-то появится в consumer сегменте на основе этой эмоции. Потому что на дистанции это тот самый продукт для взрослых.
А вы как думаете имеет ли место полноценный продукт/компания с фокусом на интернет опыт прошлого?
Все конечно же слышали про заработки от каналов. Ну теперь телега будет делиться 50% полученного дохода. Да еще и через TON экосистему выплачивать. Отличный ход - докапитализация своей крипты. Браво.
Но в целом напоминает ход Маска в бывшем Твиттере с выплатами на основе просмотров. Которые первый месяц радовали, а потом резко просели. Аудитория у Telegram в целом не самая дорогая (не так много usage в самых дорогих странах), поэтому будет интересно понаблюдать на динамикой выплат. Но в моменте это отличный ход и движение вперед.
Пост выходного дня. Или мое искреннее удивление. Огромное количество людей читают про всякие продуктивити лайф хаки, чек листы, как успевать все и не забыть ничего, читать книги и делать йогу ведя встречу. Короче всякие GTD.
У меня в жизни:
- тупо Google calendar даже без календли и прочего, большую часть встреч тупо на берегу договорился и кинули инвайт (3-5 в день и 2 1к1 в среднем)
- у меня 3-4 активных почты, и ни разу ни разу (даже когда писали по 100 писем в день с содержанием достойным прочтения) не было «завала»
- этого же завала никогда не было ни в одном мессенджере, тупо есть два способа - не отвечай, читай и не отвечай, поставь автоответ через день типа сорян значит мне не до вас
- у меня никогда не было ни личного ни рабочего списка задач, да я все держу в голове/почте/мессенджере (неотвеченные часто как раз для этого)
- я успеваю: брать высокие игровые ранги (diamond TFT, 3k RIO WoW в первом сезоне правда), читать по 10-50 страниц в день (читаю наискосок и очень быстро - полезный навык), страдать херней и работать иногда по 3, а иногда по 10-12 часов в день
Да и я очень в верю в то, что никакая методика не поможет вам стать эффективнее. Дело привычек.
P.S. На неделе пофигачим интересные инсайты.
Продаю курсы дорого как достичь такого дзена.
Большинство продуктовых каналов фокусируется на процессах управления продуктом или людьми. Что не читаю везде чек листы, описания методов, типичные проблемы коммуникации и пути карьерного роста. Эти знания достаточно в большом количестве есть везде. Тот же reforge. Еще легче сходить в ChatGPT и спросить описав ситуацию. Поверьте ответы будут кайф.
Я считаю это не так важно. Точнее так: есть как мне кажется более важные вещи.
Бесконечное обучение методикам помогает устаканить картинку в голове, лучше понять структуру. Но часто проблема кроется в вопросе « а что блин делать сейчас и почему?».
Стратегия. Приоритеты и как следствие фичи. Умение делать вовремя сохраняя фокус и отбрасывать оптимизации в угоду кратному росту. Для этих задач считаю важным:
- постоянную практику в секторе/индустрии, теорией тут не возьмешь
- нетворк, как инструмент валидации своей логики
- понимание тех или иных релизов как со стороны корпораций так и стартапов, которые пытаются их обогнать
- макроанализ, ведь зачем делать еще одну обертку вокруг ChatGPT API, если не понимаешь фундаментальных ограничений и проблем
- глубокое понимание underline технологий в основе продуктов
- анализ рынка VC и желательно топ тир, ведь там вся команда работает на пункты выше
- предсказывайте, записывайте то что вы считаете актуальным и смотрите динамику рынка, угадали ли вы, какие причины вы увидели для того чтобы сделать прогноз
- крайняя степень самокритичности
В этом маленьком канале я пытаюсь развить это в себе и моих читателях. Ну и люблю открытые честные вопросы и комменты.
Все наверное видели какие картинки генерит или не может сгенерить Gemini от Google. Считаю это лучшее мнение.
https://telegra.ph/The-shining-star-of-corporate-surrealism-02-23
Сила комьюнити. Самого большого пожалуй сейчас. https://www.cnbc.com/2024/02/22/reddit-files-to-list-ipo-on-nyse-under-the-ticker-rddt.html
Reddit идет на IPO. Из интересного:
- да да пользователи с высокой кармой похоже могут поучаствовать
- при расчете рекламного рынка прямым текстом убраны Россия и Китай
- рассчитывают запустить похоже свой Авито (отличный ход)
- хотят я так понимаю ~10% revenue держать в сделках на лицензирование их контента для чего угодно включая LLMs & Search. Google я так понимаю первый клиент за 60М в год.
Чуть чуть классики про идеи и их «неважность». Старый добрый миф про все дело в execution.
https://cdixon.org/2013/08/04/the-idea-maze
Ну и речь Jonny Ive
Наблюдаю за плеядой постов про найм. Ну типа у кого-то прям «тысячи резюме», а у кого-то вот двух программистов найти не могут (слух режет слово программист у меня это уже engineer).
И ведь ладно бы уважаемые господа понимали причину, но пишут и спрашивают как так. Ну на самом деле достаточно просто. Речь про стартапы.
У меня ни разу не было проблем с наймом. Действую по секретной методике:
1) нанимаю только из своего нетворка, либо по реферу
2) обычно люди идут работать к другим людям (особенно покруче, которые уже все поделали или наоборот помладше которые ничего ни с кем большого не делали) и глобально хотят научиться у СЕО/или там VP и так далее. Люди толпами шли работать с императором (Михаил Парахин СТО Яндекса бывший и нынешний глава рекламы и портала в Microsoft), конечно такие же толпы и уходили. Но эффект понятен.
3) все кого я видел предпочитают b2c over b2b etc. Ну просто скучно сотый раз верстать админки и решать «интересные задачи наших клиентов» и «делать этот пайплайн синхронизации данных между предприятиями мир лучше».
4) харизма руководителя значит очень много
5) HR на уровне стартапа == проклятье
P.S. Картинка пример поста про поиск сэйлзов.
Всем фанатам AGI и Generative AI must have к прочтению https://x.com/fchollet/status/1758896780576739485?s=46
Немного инфы. Это достаточно уважаемый человек в мире гугловского AI.
Минутка research. Судя по инфе в твиттерах вот основа новой сетки от OpenAI Sora https://openaccess.thecvf.com/content/ICCV2023/papers/Peebles_Scalable_Diffusion_Models_with_Transformers_ICCV_2023_paper.pdf
Читать полностью…
Очень важная тема в релизе работы (лолкек, а не работа) по Sora. Если кратко там конечно же ничего даже не сказали как и что сделано. НО есть вот это
Simulating digital worlds. Sora is also able to simulate artificial processes–one example is video games. Sora can simultaneously control the player in Minecraft with a basic policy while also rendering the world and its dynamics in high fidelity. These capabilities can be elicited zero-shot by prompting Sora with captions mentioning “Minecraft.”
Это наконец-то приближает нас к реальному VR и полной персонализации игр.
Ну и следом еще новости. Единственно разумный ход и ожидаемый. https://www.theinformation.com/articles/openai-develops-web-search-product-in-challenge-to-google
Читать полностью…
Новый список стартапов от YC которые им интересны, крайне хорошо отражает тренды https://www.ycombinator.com/blog/ycs-latest-request-for-startups
Читать полностью…
Ну аналитика так себе конечно, но интересно что ни слова про полный VR особо и где блин Metaverse. Но самый прикол будет, если Apple сделали «хуже, дороже», но выиграют рынок. Вот тогда будем ржать вместе.
Но если честно Vision Pro и прочие шлемы, это все еще по моему мнению очень нишевые девайсы и для масс нужны очки. Все еще считаю что самый важный признак массовости это возможности выйти на улицу.
Из моего опыта использования Vision Pro:
- это лучший кинотеатр ever личного пользования
- очень прикольно управление взглядом и жестом пальцами, мне кажется крайне удачное решение
- с другой стороны для того чтобы использовать какой-то элемент интерфейса мне надо «пройтись взглядом» там, что в некоторой степени противоречит опыту в жизни, чтобы взять кружку мне не обязательно на нее смотреть, вот этот рассинхрон здесь чувствуется
- физически устаю, тяжелая штука
- зарядка 2 часа
- дороговато имхо
Кстати хотел отметить, что каналу ровно год сегодня. Я очень благодарен моим читателям.
Все органически, никакой рекламы. Только ваши shares and reactions. Ну еще в фб у себя разместил.
К слову о том, какие бывают покупки компаний (мы уж не говорим о смысле вообще этих компаний). Это просто хотелка СЕО и директора. Да да, тот самый стиль который был закреплен Марком Цукербергом, где решаешь все в соло.
Небольшой кейс про Tidal & Block. Видимо с другом попилить бабло решили. Устали работать.