Titan - альтернатива трансформерам от Google #разбор
Google тут втихую выложил интересную работу про LLM с улучшенной памятью и потенциальным контекстом более 2M. Если учитывать то, что Google в последнее время кучно выпускает модели, которые попадают в TOP-10 моего бизнес-бенчмарка, то потенциал у этой затеи очень интересный.
Если в обычном Transformer память о прошлых токенах хранится только в рамках короткого окна self-attention (и приходится хитрить со Structured Checklists, чтобы оптимизировать внимание), то в Titans вводится многокомпонентная система памяти:
(1) Краткосрочная память (ограниченное скользящее окно внимания).
(2) Долгосрочная память (онлайн-обучаемая нейронная память).
(3) Постоянная память (фиксированный набор параметров для общих знаний).
Такое построение позволяет модели "учиться" на неожиданных событиях прямо во время inference. По сравнению с трансформерами, Titans обеспечивают:
(1) Более эффективную работу с очень длинными контекстами, перекладывая «глобальное» запоминание с дорогого self-attention на лёгкий по вычислительным затратам механизм памяти (ближе к O(n) или O (n log n), нежели тупиковый O(n*n))
(2) Увеличенную способность «доставать» нужную информацию из глубокого прошлого за счёт специального, динамически обновляемого модуля.
Это теоретически дает превосходство на ряде бенчмарков, где требуется действительно долгосрочное моделирование (например, cверхдлинные «needle-in-haystack» задачи, задачи из time-series и геномики).
Получится ли у Google забить тот самый гвоздь в крышку гроба трансформеров - еще предстоит посмотреть. Но если это случится в 2025 году - это будет здорово, даже если снова придется пересматривать все архитектуры!
Прочитать статью можно тут.
Ваш, @llm_under_hood 🤗
PS: Google могли бы оптимизировать модели под использование GPU и CPU тесном тандеме, и тогда они могли бы работать только на системах вроде Google TPU или новых супер-чипов NVidia. Но именно в этой архитектуре обновления памяти специально распараллеливаются так, чтобы работать хорошо на традиционных акселераторах. Молодцы!
Не, ну по UI/UX я себе смело ставлю 90th персентиль, хуле
Читать полностью…
No work is wasted.Читать полностью…
You are the output of the work.
Not the outcome.
– Alex Hormozi
Закончил обновление Paywall
Показываю «до / после»:
Невероятно, но факт: я не родился изначально начитанным. Я не читал книги будучи в пеленках, я не читал книги в детском саду, я читал краткие содержания книг, которые задавали на уроках литературы. Мой интерес к чтению по-настоящему разгорелся только в студенческие года, незадолго до того, как мне посчастливилось попасть в философский кружок.
При этом у меня был полный балл по сочинению на ЕГЭ по русскому. В качестве книги-аргумента которые надо было использовать я сослался на брошюрку 144 страницы "Кради как художник" (вот здесь нашёл бесплатные первые 20 страниц), которую я прочел на кануне. В ней описывается одна простая мысль, что, мол, не нужно страдать "синдромом самозванца" и в любом хотя бы отдалённо творческом деле ты всегда сначала учишься повторять за более опытными чуваками, а только потом у тебя из их комбинации + уже личного опыта и вкуса развивается свой стиль.
Последние недели когда я что-то меняю в дизайне приложения, я все чаще вспоминаю эту *книгу*. Как и писал, сейчас когда вижу лендинги, приложения, всегда сканирую их как терминатор на предмет того, есть ли там что-то, что я хочу спиздить. Очень много делаю скриншотов и собираю их в фигму. До пикселей могу изучать разные градиентики, кнопочки, подсветки и т.д.
И всё это действительно важно – и люди это замечают. Дизайн – это один из инструментов трансляции ценности продукта, насколько он качественный, насколько создатели внимательны к деталям. Иметь лояльную аудиторию которая стерпит – это хорошо на старте. Но многие остаются жить на старте, на вайбах "сделаю из говна и палок, и так сойдёт" и не инвестируют в упаковку, сервис, бренд (а ведь люди нас не знающие всегда судят по обложке). Аналогично как в ресторане со средним чеком 5000 рублей и в ресторане со средним чеком 1000 рублей могут подавать одно и то же по составу блюдо, но уровень сервиса и интерьер дают сильный contribution в воспринимаемое качество сервиса, в воспринимаемую вкусность еды. К слову, мысль бьётся с последним мной просмотренным фильмом "Голод": /channel/bogdanisssimo/1079
Мне хочется, чтобы моим пользователям было приятно пользоваться моим продуктом. Чтобы уже при скачивании приложения ты ощущал, что у него свой вайб и оно сделано с любовью, а не "работает и ладно".
помогаем девчонкам красиво отшивать парней… особенно кто общается на вайбах «в душ голая и без меня»
https://apps.apple.com/ru/app/vibe-ai/id6553989941
https://x.com/uberkinder_/status/1877734218345632005
бля ну дизайн и анимации у тебя ебанутые канеш
Немного про приложения-конкурентов
Есть такая девочка, не помню её имени, но гуглится по Hawk Tuah Girl. С ней совершенно рандомно залетел какой-то видос в TikTok на десятки миллионов просмотров, где она кривляется на камеру, произнося нечленораздельное Hawk Tuah. Её начали много где форсить, она стала этот хайп всячески монетизировать: ходить по интервью, продавать мерчи, мемкоины и т.д.
Пару месяцев назад вот выпустила Pookie Tools (Pookie - имя ее бывшего), который по функционалу пересекается вайбом. Про приложение она рассказывала много где, да даже TechCrunch опубликовал анонс.
Как думаете, насколько опасный конкурент? 🍿
В комментарии закину 2 видоса с разбором, один от блогерши, другой от основателя и CEO AppsFigures (одной из самых крупных платформ по аналитике мобильных приложений, сам пользуюсь только им).
А вот вам график скачиваний по дням:
Очень приятно, что кто-то за счёт моего блога, кто-то за счёт качества приложения – предлагает абсолютно бесплатную помощь в маркетинге, как советом, так и продвижением. При этом это очень опытные ребята с 5-10-20 летним опытом, каждый в своей нише
Спасибо что вы есть, я это очень ценю ❤️❤️❤️
вопрос ко всем как к пользователям мобильных приложений
какие самые мягкие, приятные, нераздражающие способы подталкивать вас обновиться до свежей версии вы припоминаете (речь про механики внутри приложения)?
поделитесь в комментариях ❤️
но ты же просто…
…делаешь UI для двух табличек
…продаешь инфу из интернета
…написал обертку над GPT
Ты знаешь, кто превратит твои переписки в свидания в 2 клика:
https://apps.apple.com/ru/app/vibe-ai/id6553989941
Fun fact of the week:
Libido might slow down with age, but the fun doesn’t have to stop. Turns out, 37% of men and 18% of women over 75 are still sexually active. Who said retirement was boring?
let’s see paul alan’s ui
https://youtu.be/cISYzA36-ZY
Мне кажется что как в одежде я однажды нашёл свой стиль в классике, так и в дизайне я итеративно нащупал свой стиль в "классических" минималистичных интерфейсах iOS и мобильной версии Arc Browser
Читать полностью…
Переслушиваю подкаст, с которого я начал знакомство с Хормози https://www.youtube.com/watch?v=M4PzOjM5BJQ
Читать полностью…
Fun fact of the week:
In Ancient Greece and Rome, smaller penises were the ultimate flex. They symbolised self-control and rationality, which were seen as the most desirable traits!
1,600,000+ AI-ответов
22,000+ пользователей
https://apps.apple.com/ru/app/vibe-ai/id6553989941
чуть обновил картинки на странице приложения. не идеально и по мере отладки фичей буду еще итерироваться (третий скриншот кажется перегружен цветами/элементами), но тем не менее чувствую что больше консистентности по стилю, понятнее лозунги и выглядит аккуратнее/дороже
https://apps.apple.com/ru/app/vibe-ai/id6553989941
В сториз выложил фото начала работы, один подписчик задал вопрос:
Почему пользуюсь физическим блокнотом, а не заметками на маке/айфоне?
Vibe: спасает в самую трудную минуту
Скачать:
https://onelink.to/get-vibe
Manning прислал email, говорит, доступен для чтения финальный PDF книги Валеры Бабушкина и Арсения Кравченко, в написании которой я принимал участие:
https://www.manning.com/books/machine-learning-system-design
P.S. Это были 2022 - начало 2023 года, когда ещё не было ChatGPT или были первые месяцы ☔️
если собирать NPS то только так: https://apps.apple.com/ru/app/vibe-ai/id6553989941
Читать полностью…
In future IT Department gonna become an AI Agent HR Department
– Jensen Huang
Рост числа мужчин-инцелов, действительно, происходит.
Увидел данные американских социологов.
В 2022-2023 годах 17% молодых мужчин в возрасте 23-28 лет были девственниками, а в 2017-19 годах – только 7%.
Среди молодых женщин идёт обратный процесс – у них стало больше гетеросексуального секса.
В 2022-2023 годах только 8% молодых женщин в возрасте 22-28 лет были девственницами, а в 2017-19 годах – 20%.
(и такие огромные изменения – всего за 4-5 лет)
И судя по прогнозам американских демографов, эта тенденция будет усугубляться: всё больше молодых мужчин станут жить без гетеросексуального секса (а далее – и мужчин среднего возраста), а у женщин, напротив, секса станет больше. Вполне вероятно, треть молодых мужчин к 2030-м будет лишена секса.
Если говорить циничным языком, женщины всё больше выбрасывают мужчин-неудачников (в их глазах неудачников – мало зарабатывающих, с девиациями и когнитивными проблемами) из сексуальной жизни.
(Вероятно, этот же тренд придёт в мегаполисы России)
