Кстати раз настройки такие красивые, подсвечивают фичи и выглядят дорого, добавил их тоже в скриншоты на странице (а внутри... всё с плавными анимациями, как вы любите)
https://apps.apple.com/ru/app/vibe-ai/id6553989941
Titan - альтернатива трансформерам от Google #разбор
Google тут втихую выложил интересную работу про LLM с улучшенной памятью и потенциальным контекстом более 2M. Если учитывать то, что Google в последнее время кучно выпускает модели, которые попадают в TOP-10 моего бизнес-бенчмарка, то потенциал у этой затеи очень интересный.
Если в обычном Transformer память о прошлых токенах хранится только в рамках короткого окна self-attention (и приходится хитрить со Structured Checklists, чтобы оптимизировать внимание), то в Titans вводится многокомпонентная система памяти:
(1) Краткосрочная память (ограниченное скользящее окно внимания).
(2) Долгосрочная память (онлайн-обучаемая нейронная память).
(3) Постоянная память (фиксированный набор параметров для общих знаний).
Такое построение позволяет модели "учиться" на неожиданных событиях прямо во время inference. По сравнению с трансформерами, Titans обеспечивают:
(1) Более эффективную работу с очень длинными контекстами, перекладывая «глобальное» запоминание с дорогого self-attention на лёгкий по вычислительным затратам механизм памяти (ближе к O(n) или O (n log n), нежели тупиковый O(n*n))
(2) Увеличенную способность «доставать» нужную информацию из глубокого прошлого за счёт специального, динамически обновляемого модуля.
Это теоретически дает превосходство на ряде бенчмарков, где требуется действительно долгосрочное моделирование (например, cверхдлинные «needle-in-haystack» задачи, задачи из time-series и геномики).
Получится ли у Google забить тот самый гвоздь в крышку гроба трансформеров - еще предстоит посмотреть. Но если это случится в 2025 году - это будет здорово, даже если снова придется пересматривать все архитектуры!
Прочитать статью можно тут.
Ваш, @llm_under_hood 🤗
PS: Google могли бы оптимизировать модели под использование GPU и CPU тесном тандеме, и тогда они могли бы работать только на системах вроде Google TPU или новых супер-чипов NVidia. Но именно в этой архитектуре обновления памяти специально распараллеливаются так, чтобы работать хорошо на традиционных акселераторах. Молодцы!
Невероятно, но факт: я не родился изначально начитанным. Я не читал книги будучи в пеленках, я не читал книги в детском саду, я читал краткие содержания книг, которые задавали на уроках литературы. Мой интерес к чтению по-настоящему разгорелся только в студенческие года, незадолго до того, как мне посчастливилось попасть в философский кружок.
При этом у меня был полный балл по сочинению на ЕГЭ по русскому. В качестве книги-аргумента которые надо было использовать я сослался на брошюрку 144 страницы "Кради как художник" (вот здесь нашёл бесплатные первые 20 страниц), которую я прочел на кануне. В ней описывается одна простая мысль, что, мол, не нужно страдать "синдромом самозванца" и в любом хотя бы отдалённо творческом деле ты всегда сначала учишься повторять за более опытными чуваками, а только потом у тебя из их комбинации + уже личного опыта и вкуса развивается свой стиль.
Последние недели когда я что-то меняю в дизайне приложения, я все чаще вспоминаю эту *книгу*. Как и писал, сейчас когда вижу лендинги, приложения, всегда сканирую их как терминатор на предмет того, есть ли там что-то, что я хочу спиздить. Очень много делаю скриншотов и собираю их в фигму. До пикселей могу изучать разные градиентики, кнопочки, подсветки и т.д.
И всё это действительно важно – и люди это замечают. Дизайн – это один из инструментов трансляции ценности продукта, насколько он качественный, насколько создатели внимательны к деталям. Иметь лояльную аудиторию которая стерпит – это хорошо на старте. Но многие остаются жить на старте, на вайбах "сделаю из говна и палок, и так сойдёт" и не инвестируют в упаковку, сервис, бренд (а ведь люди нас не знающие всегда судят по обложке). Аналогично как в ресторане со средним чеком 5000 рублей и в ресторане со средним чеком 1000 рублей могут подавать одно и то же по составу блюдо, но уровень сервиса и интерьер дают сильный contribution в воспринимаемое качество сервиса, в воспринимаемую вкусность еды. К слову, мысль бьётся с последним мной просмотренным фильмом "Голод": /channel/bogdanisssimo/1079
Мне хочется, чтобы моим пользователям было приятно пользоваться моим продуктом. Чтобы уже при скачивании приложения ты ощущал, что у него свой вайб и оно сделано с любовью, а не "работает и ладно".
помогаем девчонкам красиво отшивать парней… особенно кто общается на вайбах «в душ голая и без меня»
https://apps.apple.com/ru/app/vibe-ai/id6553989941
https://x.com/uberkinder_/status/1877734218345632005
бля ну дизайн и анимации у тебя ебанутые канеш
Немного про приложения-конкурентов
Есть такая девочка, не помню её имени, но гуглится по Hawk Tuah Girl. С ней совершенно рандомно залетел какой-то видос в TikTok на десятки миллионов просмотров, где она кривляется на камеру, произнося нечленораздельное Hawk Tuah. Её начали много где форсить, она стала этот хайп всячески монетизировать: ходить по интервью, продавать мерчи, мемкоины и т.д.
Пару месяцев назад вот выпустила Pookie Tools (Pookie - имя ее бывшего), который по функционалу пересекается вайбом. Про приложение она рассказывала много где, да даже TechCrunch опубликовал анонс.
Как думаете, насколько опасный конкурент? 🍿
В комментарии закину 2 видоса с разбором, один от блогерши, другой от основателя и CEO AppsFigures (одной из самых крупных платформ по аналитике мобильных приложений, сам пользуюсь только им).
А вот вам график скачиваний по дням:
Очень приятно, что кто-то за счёт моего блога, кто-то за счёт качества приложения – предлагает абсолютно бесплатную помощь в маркетинге, как советом, так и продвижением. При этом это очень опытные ребята с 5-10-20 летним опытом, каждый в своей нише
Спасибо что вы есть, я это очень ценю ❤️❤️❤️
вопрос ко всем как к пользователям мобильных приложений
какие самые мягкие, приятные, нераздражающие способы подталкивать вас обновиться до свежей версии вы припоминаете (речь про механики внутри приложения)?
поделитесь в комментариях ❤️
но ты же просто…
…делаешь UI для двух табличек
…продаешь инфу из интернета
…написал обертку над GPT
Чем мне нравится быть фаундером B2C стартапа, у тебя очень короткая петля обратной связи. Ты больше чем во многих других родах деятельности чувствуешь *власть* над миром: что-то делаешь – сразу же реальность бьёт тебя по голове кнутом, если ты не угадал, или даёт пряник если угадал. Ты контролируешь происходящее.
Чем короче петля обратной связи, тем легче подсесть на этот дофаминовый наркотик. Тем в кайф работать по 10-12-14 часов каждый день, потому что у тебя мозг постоянно генерит гипотезы, обновляет внутреннюю модель мира, получает фидбек, и так по кругу. Подкрутил тут и там, расшил какое-то узкое место – и уже через считанные часы/дни/недели ты видишь результат своих усилий в метриках и деньгах.
Конечно, не в каждом бизнесе такое есть. В инфобизе, в B2B, в крупных компаниях цикл продаж сильно длиннее, "обратная связь" от мира в виде денег разовая, соответственно итерации медленнее.
Еще короче петля обратной связи, например, в дейтинге и в написании кода (тем более с cursor.com). Вот там ты получаешь фидбек от мира буквально через секунды, из-за чего тебе еще легче вовлечься, ты быстрее учишься и т.д. И да, мне повезло, что у меня стартап как раз на стыке этих ниш.
😃😃😃
Мне кажется что как в одежде я однажды нашёл свой стиль в классике, так и в дизайне я итеративно нащупал свой стиль в "классических" минималистичных интерфейсах iOS и мобильной версии Arc Browser
Читать полностью…Переслушиваю подкаст, с которого я начал знакомство с Хормози https://www.youtube.com/watch?v=M4PzOjM5BJQ
Читать полностью…Fun fact of the week:
In Ancient Greece and Rome, smaller penises were the ultimate flex. They symbolised self-control and rationality, which were seen as the most desirable traits!
1,600,000+ AI-ответов
22,000+ пользователей
https://apps.apple.com/ru/app/vibe-ai/id6553989941
чуть обновил картинки на странице приложения. не идеально и по мере отладки фичей буду еще итерироваться (третий скриншот кажется перегружен цветами/элементами), но тем не менее чувствую что больше консистентности по стилю, понятнее лозунги и выглядит аккуратнее/дороже
https://apps.apple.com/ru/app/vibe-ai/id6553989941
В сториз выложил фото начала работы, один подписчик задал вопрос:
Почему пользуюсь физическим блокнотом, а не заметками на маке/айфоне?
Manning прислал email, говорит, доступен для чтения финальный PDF книги Валеры Бабушкина и Арсения Кравченко, в написании которой я принимал участие:
https://www.manning.com/books/machine-learning-system-design
P.S. Это были 2022 - начало 2023 года, когда ещё не было ChatGPT или были первые месяцы ☔️
если собирать NPS то только так: https://apps.apple.com/ru/app/vibe-ai/id6553989941
Читать полностью…