6096
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в нашем инференс движке.
Для начала Qwen3.6 27B, поддержка Qwen3.8 27B и Muse Glimmer в пути.
Мы сильно превосходим все возможные стеки для Apple Silicon по производительности. Потому что взяли и все сделали как ко-дизайн: кернелы, квантизация и спекуляция. Все с нуля, все свое.
Попробовать можно уже сегодня
M checkpoint - поменьше
L checkpoint (lossless)
Все модели которые мы поддерживаем лежат тут, будем рады если попробуете что-то еще.
Бенчи тут. Можно изучить как и что измерено и насколько лучше.
Подробнее про релиз блог пост
Самое худшее, что может линкануть фаундер стартапа это вайбкоженный дизайн by Claude code design. Не важно дек, сайт, какой-то лендинг небольшой. Первое, что хочется сделать это закрыть.
Не знаю как у вас я узнаю с первого скрола.
Поясню:
- никто не читал контент почти наверняка, там абстрактные фразы, двусмысленные формулировки и так далее
- оооочень много всего и мелким шрифтом
- продуманного повествования почти никогда нет
- но самое важное это то, что в индустрии аллергия на это
- ах да есть люди, которые используют вот такое как плагин в браузере
Сила в своей модели, поверьте. Все кто вырастет должны будут тренировать свое, поэтому сбор данных критическая часть. Вертикализация стэка (чем больше владеешь тем лучше) самое важное, чтобы вам не говорили.
На примере Cursor https://cursor.com/blog/composer
Вышел неплохой отчет, от фонда о котором я ничего не знаю и от человека которого тоже не знаю. Но доводы очень разумные.
1/ big tech начали адски вкладывать в датацентры ака железные дороги (уже 400 ярдов и ожидается еще больше)
2/ прошлые примеры таких вложений в компании которые таким занимались (инфра интернета и жд собственнно) привели не к таким огромным возвратам (ну по сравнению с тем когда эти компании ехали на чужой инфре)
3/ самые большие возвраты были у тех кто стоял рядом или тех, кто этим пользовался (в нашем случае это условные palantir, Walmart etc) или у мелких игроков с дешевыми стоками
Блин, я залип, офигенный сайтик, где можно смотреть карты и границы по времени, прям с древних времен до плюс минус наших дней и еще куча данных про страны, события и личности. Только продажа постеров бесит 🙂
https://www.oldmapsonline.org/
Если вы еще не смотрели, то это наверное лучшее интервью про AI и что там к чему за последние годы. По-моему скромному мнению, конечно же. Андрей Карпаты и Дваркеш. Короче говоря, я наверное по взглядам ближе всего к нему. Точно не к Сэму или Дарио. Те вероятно окучивают инвесторов и им, надеюсь, просто нужно нести такой нарратив. А вот Андрею не нужно.
Что так сказать зацепило:
- AGI за еще десять лет, он делал ставку что до AGI 20 лет когда был в 2015 году в OpenAI (почти самый большой пессимист среди команды), и при том что ничего кардинально оно не поменяет (ну кроме образования по его мнению)
- все текущие агенты «нерабочее гавно», там конечно раскрывается почему и очень даже качественно (нет непрерывного обучения, норм памяти и прочего)
- RL «ужасное гавно», ну потому что люди и вообще кажется даже животные особо его не используют (споры про генетику и что там мол оно на месте)
- ждем алгоритмов нового поколения какие мы видели и последние лет 30, везде будет лучше, сейчас пока недостаточно (но похоже все верит в deep learning)
- верит что AI изменит образование, что конечно разумно, так как индивидуальный учитель эффективнее и еще огромное количество разных подходов можно будет совместить на лету
Короче говоря там такое количество идей и все очень понятно изложено и главное без хайпа. Крайне рекомендую.
Транскрипт в оригинале
Видео на YouTube
TLDR: все тратят на серваки сильно больше чем зарабатывают. Перепродажа GPU часов пока что супер бизнес. Советую почитать статью, хоть это и гадание, но умелое, на ссылках с источниками.
P.S. блог в целом хороший
Однако, Waymo расширяется очень быстро. Написано еще Токио на подходе.
Читать полностью…
🤫 Желание многих global-компаний — законно и без высоких комиссий платить удалённым сотрудникам и фрилансерам
Типичный пример: компания в ОАЭ или на Кипре, а разработка в СНГ, Сербии и Грузии. Каждая ЗП — как квест: банки задерживают переводы, отправляют на жёсткий комплаенс, команда жалуется на задержку с выплатами.
Пока у вас в команде до пяти человек — терпимо. С пятнадцатью — уже пора менять подход.
⭐️ Платформа 4dev.com автоматизирует выплаты удалённым сотрудникам и фрилансерам — по всему миру и в соответствии с законами:
· Один договор на всех сотрудников. Не нужно самостоятельно готовить инвойсы и контракты
· Выплаты в 100+ стран, включая СНГ. Буквально за пару кликов
· Автоматический документооборот. Инвойсы подходят для бухгалтерии, аудитов, due diligence
💵Можно платить команде в криптовалюте и мгновенно получать инвойсы.
Никаких подписок и скрытых платежей. Платформа берёт только комиссию 1-3% от каждой выплаты. Чем больше вы платите команде — тем ниже ваша комиссия.
Запишитесь на демо → на встрече расчитаем стоимость выплат для вашей компании и ответим на все вопросы.
Если у вас компания в США — 4dev.com может стать мастхев-решением, которое заменит релокацию специалистов по визе H1B. Американское правительство на днях ввело дополнительные сборы в $100k с компаний, которые релоцируют сотрудников по этой визе.Читать полностью…
Бот или как? Это же вайб код приложение полугодичной давности. Или нейминг удачный?
Чекнул линкедин - а там даже 5 общих коннекшенов. Ох.
В текущей презентации OpenAI чувствуется как копируют стиль подачи от Apple. Примеры из разных стран. Восхваляющие прилагательные, полный зал, now back to Sam.
https://www.youtube.com/live/hS1YqcewH0c?si=17uy6EZlg06JyOeu
Субботнее. Иногда общаешься или случайно встречаешь фаундера. И складывается ощущение, что основная причина почему он делает стартап это примерно такой набор:
- ну работать впадлу на корпорат, скучно же, еще и собес на нормальную позицию не пройду, а просто так не хантят
- хочется чтобы денежку дали на зп и делать че та прикольное
- ходить и ездить на встречи за счет компании
- постоянно постить как же тяжело поднять бабки
По итогам 2-3 лет написать что было очень тяжело, но пришлось уйти в найм. И дальше снова цикл.
Спасибо Венчуру за такие возможности.
Вышел интересный отчет от команды OpenAI про то, как используют ChatGPT и какие запросы, аудитория и прочее.
Короче:
- растет в развивающих странах с небольшим GDP per capita в этом году по сравнению с предыдущим
- с графиками в отчете как обычно беда (не знаю почему)
- три типа запросов: asking, doing, expressing. Как думаете какие доли?
Ссылка на исследование (сразу pdf)
Типичный цикл AI native компании. Делаем харнесс для какой-то задачи или агрегатор там апишек + промтов. Скейлим платным трафлом (тут умирают 90% потому что это правда сложно). Дальше, когда ты большой уже становится сложно делать фичи ибо зависишь целиком и полностью от модели (ну может она или нет). И пытаешься как Harvey сделать свою или посттрейн хотя бы. Тут ты понимаешь, что стоишь то ты миллиарды, но фичи выпускать уже почти не можешь и в спину дышат лабы. А где найти людей на все такие компании, которые умеют в тренировку моделей и эвалы и все все да и еще и за месяц. А никто не знает.
Вообщем так сейчас у многих;
Самые «классные» бизнес идеи текущего года. Ну типа «норм темки» попробовать с небольшими комментариями:
- вертикальные всякие rl envs, verifiers, прочая муть для упрощения rl. Тут важно перед тем как делать убедиться что есть контакты в лабах, чтобы продавать им это все. В остальном хороший бизнес на оценку 50-100м. Выкупается большими компаниям и лабами часто.
- инфра для роботов, мало шарю, но вроде заезжает норм, говорю про софт. Логика такая же как и в прошлом пункте. Желательно делать со знанием заказчика.
- тяжелые оптимизации на уровне data centers etc. Всякие очень узко заточенные вещи для инференса или тренировки моделей (там где каждый прогон стоит миллионы). Например вы знаете как сделать хорошо тренировку определенной архитектуры или обеспечить более высокий mfu.
- pure research ну потому что даже если вы нихрена не сделаете толком, вас купят как команду. Весь смысл собрать норм состав. Остальное не так важно. Ставка на неолабы у фондов популярна. Потому что возвраты денег почти гарантированы.
- application layer. Но тут важно понимать что актуально скорее не бизнес часть, а UX часть. У лабов и больших компаний есть потребность в реализации определенных фичей (смотрим покупки OpenAI)
Практически все это тяжело валидируется без глубоких доменных знаний. Абсолютно не актуально вне определенных географий и без таланта на борту. Такие дела.
Ну вот уже норм, режиссер настоящий про (вроде Пилу снял), сделал рекламу Nike полностью генеративными инструментами. Как вам? Конечно без согласия Nike, ну да ладно :)
Читать полностью…
Короче есть такая область стартапов: оооо, ща сделаем набор промтов и if then else. Ну так вот у Google регулярно выходят более менее разумные эксперименты(почти уверен их делает небольшая команда чисто чтобы KPI поделать, вдруг зайдет). Пока доступно в US. Вроде нужен именно Google account оттуда чтобы попробовать.
Сервис анализирует ваш веб сайт и предлагает забацать креативы для рекламки (понятно где). Вообщем то топ. В кабинете и везде они доделают интеграцию думаю. Если в целом прикинуть, то практически все такие стартапы будут сделаны внутри корпораций, парочку куплены, наконец-то 1 может сам что-то сможет. Но пока AI сам по себе недостаточно value дает. Нужна связка.
Посмотреть ролик
Потыкать в сша
Одержимость идеей или принцип подготовленного разума.
Не знаю как вы, но я долгое время был в категории фаундеров или людей, которые были одержимы своими идеями (тут не столь важно бизнес или продукт или еще чего). И вот значит так же много я встречал аналогичных людей. Буквально большинство фаундеров такого типа. Но вот меньшинство обладает таким качеством как «подготовленный разум».
Приведу простой пример: допустим вы хотите построить машину времени и вам пофигу на всех и вся. Все вам говорят, мол ты дурак типа. А вы вот идете напролом. Тут есть одна существенная деталь. Чтобы построить машину времени желательно уметь отвечать на вопросы по поводу общей теории относительности. А значит, ну вы поняли (надо что-то понимать в этом).
Вот абсолютно такая же фигня и в стартап мире. Но надо не забывать что это относится ко всем его участникам и в том числе инвесторам. Огромная доля людей банально не понимает что делает и есть такие же люди, которые верят в это (ну потому что тоже не понимают, а вера вопрос рандомный) и получается иногда полная чушь.
Так вот не стоит путать подготовленный разум с опытом. Опыт лишь часть этого дела. Его одного недостаточно.
Другими словами, следите за критикой, и если:
- встретили разумную критику
- у вас нет логически обоснованного ответа
- задумайтесь чуть серьезнее чем «какой-то лох напротив»
Приведу пример: вы решили сделать убер для «подставить что-то». Но его почему-то еще нет. Вот эти вопросы «Почему сегодня а не 10 лет назад» как раз требуют большой подготовки. И не хватает тут «люди же любят это».
Как говорил один мужик во Франции (Пастер вроде):
“Chance favors only the prepared mind” — «Случай благоволит только подготовленному уму».
Бета релиз подъехал. Можно смело качать с сайта наше приложение для Mac, поддержка только M серии процессоров.
Будем очень благодарны фидбеку. Все внутри свое. Инференс, скачивание, клиент.
Зачем это надо: внутри есть раздел Apps в котором мы будем выкладывать различные workflow. Их в будущем можно будет легко повторить у себя зарегавшись в платформе. Многие не знают, на что способны локальные модели. Пока список там не такой большой, квантизация подкатит чуть позже.
Аналитику собираем только для подсчета DAU и активности. У галочки написано что и как. Like, share, retweet как говорят. Будем рады если вы или ваши друзья попробуют.
https://trymirai.com/chat-for-mac
P.S. надо ли класть в open source код? Там грязно чуть чуть :)
B R O W S E R ?
Похоже OpenAI анонсируют свой браузер.
Внимание к деталям. Обожаю. Но дорогое удовольствие. При этом конечно многие отменят «хреновость» обновления iOS.
Когда делаем стартап обычно стараюсь сразу на пороге говорить избегать таких тем и фичей. Но круто конечно. Стрелка начинает на низкой зарядке не плавно двигаться, а прыжками.
Рубрика «прочитано, но не до конца понято»
1/ очень нравится идея model merging и то что над этим вообще работают, такое количество моделей и было бы круто уметь объединять то что они могут (хотя бы в одном домене)
2/ нет новых идей, есть новые датасеты, и тут же подкатывает архитектура mamba3 (это не трансформеры короче), с типа улучшениями, но метрики честно говоря по качеству не особо выросли, но обещают что работать будет быстрее
3/ из философии пытаюсь добить Марка Аврелия «наедине с собой»
4/ о причинности, статистике, связи между явлениями, короче отличная глава из книги the book of why
5/ иногда интересно читать что писали год назад аналитики уважаемые об AI, помогает трезво читать и слушать заявления больших управленцев
6/ о том как делали легендарную игру «принц Персии» на приставках, это прям золото для всех менеджеров и тех кто интересуется креативными решениями и как действовать в условиях ограничений технологий. PDF книги не нашел.
Ну и перед серией добрых интеграций на неделе. Небольшой пост об эффективности.
Короче есть такой миф, басня, твит тренд и так далее: что мол чтобы преуспеть надо работать дофига. Ну вот и есть противники - мол надо работать головой. В целом оба мнения редко нормально обоснуют. Поэтому приведу свои пять копеек. Особенно полезно для нанимающих менеджеров.
Когда говорят про Дженсена Хуанга (СЕО nvidia) и что мол пашет. То в его случае это уникальный навык когда потраченное время напрямую конвертируется в результат и еще на таком уровне. У большинства не так. И вам важно понимать, что вы хотите.
Самый большой шанс конверсии времени в результат, когда человек делает самую простую и одну функцию. Поэтому корпорации стремятся при росте нанимать и твердить мантру: научись быть лучшим в одном и тогда мол все будет круто. Ведь когда ты хорошо знаешь одну фичу - ты идеально быстро конвертируешь время в результат. И таких IC и даже менеджеров стремятся оставить там где они есть и не давать рост.
Бывает наоборот когда скоупа работ нет, ничего не понятно. И тогда конвертер времени в результат построить сложно, вам самим приходится разработать такую систему, чтобы это получилось. Рецептов нет в отличие от работать над цветами кнопок или конверсией в покупку. И вот там обычно рост.
Если с ростом вы все еще видите, как результаты (выручка, пользователи и прочее) растет с вашим вложенным временем - поздравляю вы топ. Вы всегда будете на расхват.
Я знаю единичное количество людей, которые на уровне топ менеджеров или фаундеров люди такого типа. Обычно у них все в порядке с баблом и плохо в личной жизни :)
Будет ли ChatGPT новым аппстором? Сомневаюсь.
Идея-то логичная нужно больше длинных сценариев, больше контента (понятно зачем, надеюсь), больше поводов оставаться в экосистеме.
Но давайте вспомним, что уже было, и какие вопросы стоит задать себе заранее:
1/ Telegram уже пробовал запустить свой AppStore. Даже вроде получилось на пару месяцев. Помните этот бум криптоскамов? Проблема была простая: нет реальной системы рекомендаций. Никакого распределения трафика, только инвайты и внешний UA из ботов хаха. И плюс очень ограниченные возможности для разработчиков.
2/ «А как же WeChat?». Да, WeChat крутой. Но важно понимать контекст: закрытая интернет-среда, языковой барьер, плотные интерфейсы (исторически), госрегулирование. И главное что всё держится на интеграции платежей.
3/ Google? Тоже не миниаппы, но хотя бы понятно, как работает дистрибуция. Есть правила игры: PageRank, ключевые слова, качество контента, ссылки. А про ChatGPT Apps мы что знаем? Правильно, нихрена не знаем.
4/ Отсюда главный вопрос: а как конкурировать? Как разработчику вообще влиять на распределение трафика?
5/ Кто-то увидит в этом анонсе аналог Apple AppStore. Но нет. У Apple есть API для работы с железом. У ChatGPT нет. Ваш главный «суперапп» это ваш телефон. Новый вам не нужен.
Я не думаю, что ChatGPT стоит лезть в игру про вовлечение через аппы. Контент куда более логичное направление.
Хотя в целом ход неплохой, респект команде. Скорость, с которой OpenAI выкатывает новые штукитпросто безумная.
Посмотрим, куда заведёт вся эта история с «GPTs». Интеграции нужны, да.
Но настоящая сила всегда в длинном хвосте. Хочется ошибаться. Хочу новый аппстор.
Тот самый дорогой стартап Миры Мурати запустил первый продукт. Тюнить, тренировать модельки. Перепродажу compute считаю запущенной.
https://thinkingmachines.ai/tinker/
Дамы и господа, мы собираем демо апп под MacOS, ну и там потом все фишки будут появляться нашего движка. Пока что он в альфе режиме, но буду рад если вы дадите фидбек и попользуетесь.
Работает достаточно просто, качаете .pkg и потом без логинов и прочего качаете себе модльку попробовать. Принимаю фичи/баго реквесты активно. Самому лучшему багу и самому лучше фичереквесту от меня подарок.
Возможно код аппа скоро будет в Open Source.
Топ статья. Всем читать кто интересуется AI.
https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/