By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Ну что ж тем временем сбежавший из OpenAI Илья основал новую компанию и собирается делать супернадежный AI.
Читать полностью…А что вы знаете о культуре и мотивации в вашей команде?
Читать полностью…Voodoo купила социальное приложение BeReal
Видимо не росло годик. Думаю хорошая сделка. Платили за пользователей. 500M deal.
Скоро подкатят прекрасные новости, поэтому я немного выпал :) будет много контента связанного с этим
А пока мемчик
Кому было интересно, ну вообщем начали тренировать новую модель OpenAI - наверное GPT5Q или около того. Известно это стало из новости об образовании safety комитета, ну правильно боятся что натренируют снова ерунды по всяким чувствительным вопросам.
Так же до меня дошло почему Игорь Бабушкин в xAI такой круто и видимо потому что он написал вот такую работу, которая говорит что мол есть такой эффект Grokking (оттуда и название модели Илона видимо), якобы это такая продвинутая генерализация даже если непосредственно таких данных вы в сетку не кормили (Петя друг Вани. Ваня 1999 года рождения. Тогда можем сказать что Ваня 1999 года рождения друг Пети.). Тема интересная так как смахивает на то, что какие-то логические цепочки можно получить скормив ну очень много подобного рода данных. Вы кормите и данные и некоторые зависимости между ними, а модель при очень долгом обучении на таких данных начинает эти зависимости неким образом соединять выводы новые правила (импликация и прочие штуки).
И вот выходит новая работа которая очень хорошо развивает эту тему.
Авторы изучают как же так иногда выходит получить гроккинг (а-ля магия), а иногда нет. Если кратко, то эффект по сути сводится к тому что мы можем получить связи OOD (out of distribution) имея много примеров и связей между ними и потом на них очень долго обучаем. Хороший обзор.
Еще крутая тема это Super-alignment но о ней потом.
Неплохая метрика на средний чек в series B https://x.ai/blog/series-b
Читать полностью…Google раскатил свои генеративные ответы в поиск(только в сша кажется). Добавил конечно же рекламку. Но и ответы жуть, напоминает релиз их модели генерации изображений. Похоже тоже откатят.
Читать полностью…Обработал часть вопросов, которые собирал. Есть парочка где надо прям побольше побольше времени.
https://telegra.ph/AMA-05-22-20
https://www.sequoiacap.com/article/pmf-framework/
Неплохой фреймворк про product market fit. А вообще был в Шотландии несколько дней. Пару фото вам и крайне советую посетить.
Приступаем к постингу :)
Все еще продолжаю удивляться. Антропик нанимает кофаундера инстаграма. Ну знаете как большого продакта со стратегией. Но который думаю за последние лет 7-8 ничего толком не делал в продукте. Артифакт, который был для новостей так и не пошел дальше анонса по сути.
Интересно что формально он был CTO. И занимался скейлингом команды.
Ну что ж ждем новых фильтров от антропика.
А кто для вас идеальный CPO? Ссылку в на линкедин.
Google ожидаемо вынес много всего нового, но я считаю что коммерчески они впереди по понимаю как не потерять денег во всем этом.
AI Overviews. Когда часть запросов отдадут прям в модельку и прямо в поиске. Интересно куда попадет реклама в таком случае, и сколько потеряют ребята. Выкатят в сша уже на неделе - буду следить за отчетом. Но уверен все посчитали и скорее всего будут лидить в YouTube где хорошо растет реклама.
В остальном огромный размер окна, конкурент видео генерации - ну такой себе, куча приблуд с визуальным поиском.
Ну и вот вам видос, считаю что это отличный релиз и понятно почему Apple хочет такое. Ждем завтра Google и ответочку.
Все еще я вижу в этом большой enterprise business и не очень понимаю как они собрались сделать b2c ибо видеокарт на всех все еще не хватает. Плюс ждем чтобы самим попробовать, как показывает практика демо это одно, а вот живое использование это другое.
И еще немного мыслей Сэма
Страница модели
Из прекрасного
https://petapixel.com/2024/06/12/photographer-disqualified-from-ai-image-contest-after-winning-with-real-photo/
Публикую вам черновик своей серии. Начинаю с retention. Кидайте камнями. Писать надо много. Начал по чуть чуть.
Как думаете надо переводить на англ?
https://telegra.ph/Retention-is-all-you-need-Not-really-06-11
Мои пять копеек к анонсу:
- первый час презентации про анонс сайд баров, перекраски цветов иконок и всякой фигни можно пропустить, завезли Android
- понравились жесты в AirPods, кивнул да, помотал головой нет, этого ждал прям давно
- наконец-то мой мак начнет принимать пуши с телефона, и тестировать станет удобнее
Дальше про AI. Маск сгорел от privacy first компании :) ну и правильно. Но в целом я пока не очень понимаю как это все будет работать по качеству. Тут важно насколько система будет адаптироваться и будет ли. Или мы заморозили веса в памяти и все? Что я буду отдавать в OpenAI?
Работать будет только на последних девайсах. Оно и правильно. Ведь компания до сих пор остается продавцом железа и нужно повышать свои продажи. Поэтому они и не думаю про старые устройства.
Одной строкой - подкатил новый мистраль для кода, конкуренция растет.
Читать полностью…Кому интересно ребята собрали раунды в AI landscape. Так для изучения.
Читать полностью…Вообще все работы антропика очень интересно читать. И сегодня есть новенькое.
Про интерпретируемость вышла новая серия.
Предыдущая серия считаю одна из лучших вообще работ по понимаю как работает трансформер.
Если вам нужна на старте, в самом начале, помощь для выхода продукта на рынок от экспертов, менторов, трекеров, консультантов - не делайте такой стартап.
Читать полностью…Чуть чуть подумал. Все еще считаю, что вся эта башня технологий нужна как единственный способ пошатнуть поисковые технологии. Ведь имея лучшую модель по опыту использования общения и понимания языков ты можешь поместить вниз индекс из веба и свою модель и ты получишь новый Google.
Текущая фаза OpenAI и конкурентов прекрасна, напрямую это enterprise. Но все прекрасно понимают где деньги.
Пожалуй это один из немногих за 20 лет моментов, когда можно пошатать поисковый рынок. Тут фишка даже в том, что в теории можно убить Яндекс или любой другой локальный поисковик. Помогут только регуляции, но скорее всего отодвинут прогресс целой индустрии на 1-2 года (время чтобы догнать).
Мой таймлайн чтобы потом проверить(хорошее упражнение для любого менеджера это записать что думаешь и потом проверить):
- в конце года будут релизы всего этого дела в клиентах на всех платформах(риал тайм взаимодействия с ChatGPT)
- в следующем году в каждом телефоне нативно
- в конце следующего года в наушниках Apple будет свой Jarvis
- за два года ставлю на то, что OpenAI поисковик будет иметь какую-то заметную долю (называться будет как-то как ассистент какой-то)
Самые важные задачи для решения:
- построение своего индекса
- очень быстрые итерации по улучшению модели на локальных рынках
- переход на инференс на CPU
- повсеместное кэширование
Я даже в какой-то степени верю, что сегодняшний релиз важнее чем LLM типа ChatGPT 3.5. Потому что в теории тебе не нужно иметь этот огромный архив данных который обучается сотню лет в GPU часах. All hail deep learning. Ой как много всего мы еще сделаем через данные и подгон кривых.
Помните я писал про модель тут, так вот это и была новая модель и она очень хороша судя по бенчам на ChatArena
Мягко говоря выигрывает всех и очень хороша в кодинге (что я заметил сразу).