1914
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Короче. Навеяло.
Или обсудим тему «деньги за совет». Этакая платная экспертиза. Где, ну я такой крутой, что мои советы стоят дохрена.
Я не то, чтобы не верю в такую штуку как плата за совет. Но только не в моменте пожалуй. Сам по себе совет не есть работа. Я считаю это как раздача социальных кредитов. То есть я помогу тебе советом, а ты мне потом тоже поможешь. По сути дела вы нарабатываете себе не только репутацию, но и опыт (ведь вам показывают ситуацию, рассказывают вводные). Плюс ваш кредитный скор в комьюнити растет.
Верю, в то что есть ну омегакрутые парни которым это все не надо. Но на моей практике такие ребята как партнеры из a16z, разные фаундеры единорогов легко соглашаются дать вам совет, посмотреть вашу идею. Пусть даже и напишут - херня (чаще даже не ответят после первого сообщения), но для вас это важно.
Поэтому продажа советов это для меня страшная фигня. Самоограничение и отчасти зазнайство. Консалтинг это работа на дистанции, но точно не разовый ответ на пару вопросов. Нет времени - откажись.
Но каждый пусть решает сам.
Сделать этот мир капельку лучше пусть даже советом это уже круто.
В западном твиттере хайпует новый Clubhouse от Навала Равиканта - AirChat.
Это приложение лента с дискуссиями, где вы набираете текст как аудио сообщение и потом еще происходит транскрипция. По сути есть как текстовое сообщение так и ваше аудио (такой опыт аудиокниги или подкаста).
Туда вновь залетела вся тусовка долины и сидит болтает (видимо поднакопилось что сказать с момента релиза клабхауса). Как всегда все через инвайты. В каких регионах доступно не знаю, инвайт идет через телефонный номер вроде. Кому надо - пишите в личку.
Все еще считаю в долгую аудио контент проигрывает видео. Тут правда решили схитрить и совместили с текстом и сохранили голос автора. Посмотрим.
Ссылка на апп
К новостям о длине контекста. Ну я ожидаю что скоро в сетку можно будет закидывать книги, ролики, фильмы, лучше прямо ссылкой, чтобы не париться. Потом это все завезут и на устройство (в этот момент сбрасывайте акции NVIDIA).
Не путайте с тем, что модель стала умнее или научилась понимать мир и все такое. Просто теперь та же техника на которой построен трансформер будет работать ну на очень длинной входной командой. Похоже так сделан последний релиз от Google.
Почитать paper
А тем временем Павел Дуров говорит нам о том, что у Telegram DAU/MAU ~1/2, что невероятно высокий показатель. А в совокупности с тем, что это messenger то и Retention должен быть на высоте. Одним словом грандиозный результат. Ждем превращения в бизнес.
Похожие показатели были у всех успешных consumer (social) компаний и их IPO было тоже очень сильное. Почти все делали рекламную модель (исключение наверное WeChat который начал делать superapp, но объяснение лежит скорее в его локальности).
Поэтому DSP, аукцион, discover etc. Ну либо мы будем наблюдать что-то новое. Сейчас движение идет ближе к стратегии Snap/Discord. А их будущее как бизнеса мне видится нестабильным.
Хотелось бы конечно daily time spent by user. Тут мы сразу бы узнали рекламный потенциал (и возможно необходимость делать feed как в том же WeChat).
Помните релиз программы AlphaGo от Deepmind, которая играла в Go лучше людей. До этого момента эта игра считалась самая вариативная и сложная настольная игра и выиграв у человека AI показал, что мол вот можно даже обучатся играть самой с собой и все равно быть лучше (то есть без датасета партий, а только с учетом правил, по сути партии генерились самой программой. Такая версия называлось AlphaZero) всех игроков.
Так вот то было в 2015-16 году. И есть эффект. Вы не поверите, но игроки а Go стали изобретательнее и лучше. После нескольких лет, слабейшие профессиональные игроки стали играть лучше, чем самые сильные игроки до релиза AI.
Это прекрасный пример тезису «AI поможет стать профессионалам лучше, нужно лишь желание развиваться и учиться новому».
Источник
Когда-то в моем канале было много дизайнов мемов от этого господина. А на самом деле он неплохие вещи предлагает.
Читать полностью…
Презентация Яна Лекуна в Гарварде. Хоть он и ярый критик современного подхода: больше данных, больше серверов и наше все это deep learning only. Выбирая достаточно как по мне странный способ критики - а-ля вот человек может научиться водить машину в 17 лет за несколько там часов, а компьютер нет. Но стоит отметить что все его примеры не учитывают, что до этого ты 17 лет видишь машины на дороге, фильмы про гонки, играешь в игры, родители везут тебя куда-то и это все тот же датасет, и ты и твой мозг все запоминает.
В целом валидные поинты и тем более всегда интересно складный рассказ послушать от главы одной из самых сильных лаб по AI от Meta.
PAPER:
Slides:
Video:
Так получилось, что так или иначе последние пол года много сталкиваюсь с разными компаниями и кейсами и особенно с русскоязычными стартапами (в разных локациях).
Заметил такую интересную штуку. Назову это «эффект низкой налоговой базы». Специалисты (чаще менеджеры), которые решили переехать (на самом деле не важно когда), очень хотят сохранить свой уровень жизни, а то и улучшить его. И вот тут наступает некий для меня странный момент.
Допустим хороший менеджер с опытом в каком-нибудь Яндексе получает 5к USD в месяц в руки. И он переезжая работать куда-нибудь в Европу или там не знаю еще куда, хочет и уровень жизни сохранить и зарплату повысить. И быстренько прикинув получает ну около 10к+ на руки (в баксах для удобства считаю). И знаете ли, ну очень много.
Зарплаты уровня 10к+ в руки в месяц (я вообще забыл что люди привыкли считать в месяц, везде в год, потому что налоги тоже в год) это США или FAANG (Facebook, Google etc, где все на опционах). А вот чтобы менеджер получал 10ку в стартапе это нуууу очень крутой чувак или фаундер. А еще лучше столько в стартапе никому не платить вообще. Слишком дорого.
То есть:
- хочу и уровень жизни повысить
- и жить припеваюче где налоги под 40%
- и еще желательно чтобы компания русскоязычная
- и жилье такое же классное (это считайте х2 по цене)
No offense. Но легче нанять интерна из Stanford за 50к в год, чем «успешного» менеджера за 200к.
Кто там фанат по декам? Ловите коллекцию по AI стартапам - https://decks.chiefaioffice.xyz/
В целом сразу сделаю ремарку - дек не поднимает раунды, поднимают фаундеры и часто без дека 🙂
Ленни иногда выдает хорошие саммари по итогам интервью.
Читать полностью…
Видели deepfake видео с актерами разными в TikTok. Ну там Том Холланд или Киану Ривз.
Так вот компания Intel имеет технологию по детекции того, что видео зафейкано (если что не последнее слово техники). Так вот самое интересное это как они это делают.
FakeCatcher от Intel использует цифровую версию фотоплетизмографии (rPPG) для обнаружения кровотока.
Этот метод работает, обнаруживая изменения объема кровеносных сосудов, анализируя цветовые вариации в пикселях видео, соответствующих кровотоку по лицу.
В основе старые добрые конволюционные сетки (они хорошо подходят для этой задачи). То есть формально мы учим сетку понимать изменения кровотока на лице между дипфэйком и реальным видео.
Спасибо моему бывшему коллеге Артуру за наводку. И вот источник.
P.S. В последнем наборе в YC не одна компания занимается детекциией фэйков.
Если и нужна книжка по менеджементу, то вот этой будет достаточно. Других не надо. Серьезно, лучшее что есть.
https://g.co/kgs/joN9taF
Иногда переписываюсь со всякими известными в тви. Либо в личке либо в реплаях. Обычно спорим на какие-то темы.
Одна из прошедших тем это: да вам не нужны никакие бабки/венчурные бабки для того чтобы достичь PMF. Речь обычно про consumer (b2c). И в пример обычно дают Snap/FB/WhatsApp. И если в целом я согласен с базовой мыслью, чтобы действительно в определенных условиях деньги не нужны чтобы достичь органического роста и так сказать попадания в рынок, но есть нюанс и о нем почему-то все качественно молчат.
Большинство успешных примеров выше истории так называемого роста вместе с рынком, или когда запустили айфон и о пошли приложения, или когда опана камеры стали ок - пошла инста, или веб стал проникать в кампусы появился фб (не надо жестко судить, мысль понятна, и понятно что это не единственная причина роста). Одним словом с ростом и взрослением рынка выпустить новый WhatsApp становится очень сложно. Внимание пользователя ныне дорогое ведь на вашем пути TikTok. Даже если посудить то посл взрывной рост это OpenAI из того что плюс минус закрепилось и там без венчурных денег в начале ну как бы никак (да я понимаю что технология).
И tldr: на взрослом рынке просто взять и так вот дойти до pmf сложнее без денег чем с ними.
Прикольная штука от основателя 37 signals, помните таких?
Говорят saas надоел, хочется разок оплатить и типа все твое. Сделали свой слак https://once.com/campfire
Но я пока немного не понимаю как мигрировать. Может упустил. А это самое сложное. Перешли бы своей командой на такое или бы продолжили платить за saas?
Вот и эмоции в ассистентов голосовых научились хорошо интегрировать
https://demo.hume.ai/
Кризис венчурной индустрии. Зима! Никто не дает денег. А, ну да. https://www.axios.com/2024/04/15/andreessen-horowitz-7-billion-new-funds
Читать полностью…
Это примерно я, когда использую «новый революционный девайс или софт с AI»
Читать полностью…
Ты: платишь подписку за ChatGPT, Claude3 и все такое.
Я: использую помощника в приложении Shopify бесплатно.
P.S. Понимает даже с ошибками.
Одной строкой. Тут за пару дней много интересных релизов навыходило.
Google запустил Gemini 1.5 c очень большим контекстным окном (аж до ляма токенов, в примере там лекцию Jeff Dean загружают на 117к токенов) и возможностью залить видео/аудио.
Сегодня французы из Mistral дропнули новую версию модели. На рынке foundation моделей становится жарко и уже сложно сказать кто будет лидером в ближайшие месяцы, пока OpenAI ничего толком нового не запускает. Дропунли они в своем стиле просто оставив ссылку на торрент в Тви. MoE архитекутра
Известный всему миру эксперт в области AI Андрей Карпаты начинает писать свою библиотеку для обучения сетей на C. Подозреваю готовит нас к миру, где сетки будут обучаться внутри умных устройств дома - в холодильниках там.
Раскатилась новая версия GPT4-Turbo с Vision (можно сувать картинки) на размер контекста 128к токенов. Никакого подробного описания и изменений пока нет. Ждем тестов. А так посмтариваете вот сюда
Хотя чего я там про зарплаты говорил. Пф. Библиотекарь.
P.S. И не просто вот, а на удаленке. Wtf.
У китайцев частенько выходят интересные модели. В этот раз вполне достойный конкурент в области генерации портеров и фотографий людей.
https://cosmicman-cvpr2024.github.io/
А вы используете как-то сетки по генерации картинок? У меня все пока никак для себя применение найти не удалось.
Не мог пропустить эту новость. Пусть она кажется и смешной, но это маленький шаг вперед к очень интересному будущему.
Я верю, что реальный прорыв в технологиях обработки информации и работы с ней придет с эрой настоящих квантовых компьютеров.
Этот конкретный прорыв, вероятно, не окажет немедленного влияния за пределами R&D, если только он не будет хорошо масштабироваться. Два самых больших препятствия для практического использования квантовых компьютеров на данный момент - это недостаточное количество кубитов для чего-либо, кроме экспериментов, и отсутствие эффективной коррекции ошибок, что может измениться благодаря этому прорыву.
Думаю, что в ближайшие 4-5 лет мы увидим первые реальные задачи решаемые на квантовых компьютерах эффективнее чем на классических.
Вроде давно не делал подборку книг, которые считаю самые ну крутые, must read так сказать. Сделаю список:
1/ Путь к реальности или законы управляющие вселенной. Роджер Пенроуз. Да я люблю хардкор и это он в своей чистой форме. Тяжелая монография с кучей формул и заданий. Знатно заставляет мозги работать. Прочитал примерно за 2,5 года.
2/ Думай быстро, решай медленно. Канеман. Классика и думаю в представлении не нуждается, нобелевка по поведенческой экономике, позволяет хорошо понять как работают решения у людей в голове и почему реклама такая какая она есть.
3/ История западной философии. Бертран Рассел. Это позволяет действительно хорошенько окинуть взглядом центральные идеи в культуре, истории и мире. Очень полезно для кругозора.
4/ Вы, конечно, шутите мистер Фейнман. Я даже не знаю, просто прочтите это лучшее что есть про науку и физику в легкой доступной форме.
5/ The hard things about hard things. Ben Horowitz. Я думаю, что если хочется понять что такой стартапы и как там живется и что делается и как дается успех - тогда это наверное единственная нужна книжка. Мне даже кажется, что больше ничего про стартапы читать и не надо, лучше оставить голову чистой и эту книгу.
6/ Записки о Галльской войне. Цезарь. Современный гайд по конфликтам в мире.
7/ The World of Warcraft Diary: A Journal of Computer Game Development. Я провел в World of Warcaft точно больше десятки тысяч часов и наверное, эта одна из лучших игр всех времен и автору удалось очень чутко и интересно передать процесс ее создания. Всем, кто любит игры must read.
Ну какой-то такой шорт лист нонфикшена. Из художки - Достаевский и Толкин. Остальное не зашло 🙂
Мои знакомые запустили свой стартап Higgsfield (явно вдохновлялись физикой частиц)
https://higgsfield.ai/
Помимо моего уважения к Машрабову и ко (ребята которых в свое время купил снап), после Sora будет тяжеловато. Все еще почти все текущие проекты напоминают вариации https://animatediff.github.io (этой штуки около года, если кто не видел), кроме понятное дело OpenAI
Тем не менее грац, ребята подняли сразу 8М со старта, оно и понятно, много надо отдать за видеокарты и обучение. Надеюсь все будет круто! Ждем пэйпер :)
У одного из фондов ранних стадий прекрасная интерактивная карта по разным landscape (направлениям в рынке). Пользуйтесь https://mad.firstmark.com/
Читать полностью…
Как правильно следить за своими конкурентами.
Как обычно самое интересное всплывает в исках одних компаний против других. На этот раз иск против Meta (бывший Facebook). Достаточно познавательно:
- тон писем
- структура решений (явная автократия, ну это не открытие надеюсь, так как в больших тех компаниях только так и работает)
- пишут что у Зака lack of emotional intelligence (эмпатия одним словом), что не удивительно, какая «нафиг эмпатия» в бизнес решениях
Я бы в целом хотел подчеркнуть, что эмпатия и прочее сопереживание редко имеют что-то общее с большими деньгами и решениями.
https://storage.courtlistener.com/recap/gov.uscourts.cand.369872/gov.uscourts.cand.369872.736.0.pdf
И текст письма топ менеджерам от Марка:
Whenever someone asks a question about Snapchat, the answer is usually that because their traffic is encrypted we have no analytics about them.
Given how quickly they're growing, it seems important to figure out a new way to get reliable analytics about them. Perhaps we need to do panels or write custom software. You should figure out how to do this.
И да они выяснили, купили компанию чтобы следить за конкурентами через аналитику траффика.
Жду когда и Telegram начнет качать жестко рекламную платформу ибо премиум жив не будешь. Потому что на данный момент эти две платформы ну очень похожи по структуре релизов. Разве что Telegram в разы больше. Discord будет запускать свою DSP я так понимаю. https://www.wsj.com/tech/discord-to-start-showing-ads-for-gamers-to-boost-revenue-bf5848b9
Читать полностью…
Прощай авторизация голосом. Но самое интересное, что все больше моделей просто боятся выкладывать из-за мошенников по сути. Это весь текущий safety да? Или что-то упускаю?
Тут научились очень быстро и качественно симулировать голос. https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices
Уже и следующую версию подвезли и уверен что этот open source был нафиг не нужен. Кинули версию которая уже совсем не актуальна. https://x.ai/blog/grok-1.5
Читать полностью…
Что там у нас в sequoia думают про AI
Вот плейлист выступлений. В целом верят что это новый виток для зарождения сверхбольших компаний.