1914
By Alexey Moiseenkov about startups, AI, ML and consumer product building. Opinions are my own. Only about tech.
Заметили, как все билдеры аппов на AI (ну все эти эксперты по промтам) типа гороскоп, коуч и прочее резко стали билдить агентов. Мол мы поможем вам создать то, что сами не смогли никому продать. Сделай своего агента, который будет эксель заполнять (кстати можно и без AI там формулки написать).
Так наблюдение.
Иногда буду еще такие короткие факты постить а-ля TIL (today I learned).
Сегодня узнал где мы находимся на очень большом масштабе так сказать. Ланиакея с гавайского (и такой есть да) - необъятные небеса. Просто красивое название.
Одной строкой - вышла новая llama 3.3 70B метрики как у 3.2 405B. Meta норм так идет.
Читать полностью…
Ставшая хитом рубрика "Прочитано, но не до конца понято".
1/ Пэйпер от дуолингво, про как ребята сделали алгоритм для пушей для поддержания вовлечения и так далее (бандиты и все такое).
2/ Какой-то старый курс по рекламке и моделям которые там используются (конечно же старый, но мне нравится как в старых курсах подается база, читал наискосок, вроде ниче сложного)
3/ Достаточно фундаментальная работа про смысл аукционных алгоритмов или что выбрать бабки или эффективность (короче говоря клик бейт или реальная польза от товара/целевого действия). Крайне рекомендую для понимания как работает реклама в целом и где там проблемы.
4/ О том как считать ваши расходы, когда собрались хостить/тренировать свои модели
5/ Что-то Курта Геделя по теме решения уравнений общей теории относительности и первых работ по структуре вселенной и времени в ней, зачем я не знаю, но говорят работа породила целое течение в этой области, какое тоже не скажу 🙂
6/ Старый блог с задачками, в этот раз популярная: Сколько в среднем нужно взять случайных натуральных чисел, равномерно распределенных на отрезке от 1 до n, чтобы их сумма превысила n ?
7/ Пока ниче не делаю читаю книжку про историю Blizzard (игровики такие), там прям ух дух треша чувствуется сильно.
8/ Ну и классика французских мылсителей про закон, мне кажется один из самых сильных трудов да и книга там четкая есть того же автора Фредерика Бастиа
Вот так просто человек показал то, чем все занимаются часами в тиктоке и так далее. Жду новых продуктов, фичи которых можно будет вот так вот понять. Любому, без философии, просто понять и попробовать.
Читать полностью…
Воскресное. Тематическое. В номинации лучший промт победил этот парень.
Читать полностью…
Возвращаемся к жизни после недели дня рожденья. Так вот интересно дела делаются и как мне кажется Антропик по чуть чуть делает для нашего любимого AI больше чем OpenAI, а именно начинают по чуть чуть внедрять стандарты и делать их открытыми (Open AI ахах), на этот раз протокол как скормить свой продукт агентам на основе LLM.
https://www.anthropic.com/news/model-context-protocol
Одна из самых как по мне значимых статей вышла. Она убедительно показывает, что мы достигаем пределов квантизации. В работе говорится: чем больше токенов используется для обучения, тем больше точности требуется. Или помните все эти битнеты(где всего веса из трех цифр 1 0 -1) и прочее (кажется это полное опровержение данной идеи).
Важно:
- почти всегда мы достигали лучшей производительности и прочего путем снижения размерности (пусть даже и циферок)
- другими словами замедление пришло и оно реально, похоже надо учиться улучшать то что есть уже и оптимизировать под более узкие кейсы
Всем интересующимся AI на серьезно обязательно читать
https://arxiv.org/pdf/2411.04330
Не все может в курсе, но было время играл профессионально в футбол за тогда еще Смена, которая потом стала академией Зенита Санкт-Петербург. Поэтому переживаю на спорт и кажется там очень много проблем. Особенно в поиске талантов и процессу как игрок идет от молодежки к взрослому уровню. Кто смотрел такой сериал «вне игры»? Да я в целом верю что с помощью технологий можно значительно улучшить процесс в футбольных школах. Коррупции там тоже дофига.
Например, слежу за JuniStat - там ребята научили сеточки точно считать данные футболистов с помощью мобильника и собрали метрики с тысяч игроков от 8 до 18 лет по всему миру. Клубы и федерации используют эту систему, чтобы отслеживать данные перспективных игроков через тесты, валидированные по стандартам FIFA.
В мое время такие технологии были недоступны - сложно представить сколько детей могли бы показать себя и попасть на радары только по своим данным.
Ну и для тех кому не безразличен спорт и все такое вот канал CEO, и да это не реклама. Один из немногих проектов которые хочется поддержать, и я даже не инвестор @junistatsystem
Ну наконец-то всем фанатам подкатили еще один солидный как по мне бенчмарк на этот раз по математике. И там прям никто не решает его и кстати разницы между o1 & gpt4o тоже нет.
Бесконечный хайп вокруг LLM думаю сильно стихнет, так как текущий прогресс просто банально зависит от разметки и данных о предпочтениях (один вариант лучше другого). Поэтому жду замедления высшей точки и быстрого роста небольших моделей по качеству. Так как их будут тренировать на качественных более данных.
Я когда-то сравнивал современный tech с промышленностью 30-40х годов 20 века. Ну вот же точно оно.
Идем на завод каждое утро да да
Такая тут мысль вспомнилась из классического менеджемента. Может кто поначитанней сразу укажет мне, где такое написали уже.
Так вот в любых корпоративных ситуациях надо учитывать в своих решениях такой параметр как «конфликтоемкость». Это когда ваше решение ситуации затрагивает сразу много сущностей и людей то шанс получить столкновение лбами выше, поэтому всегда выбирайте путь минимального сопротивления участников, а значит наименьшего их количества.
По этой скромной теории да пойти к СЕО всегда самое безопасное решение и самое быстрое. Только часто туда не дойти :)
Так мысли вслух.
Рубрика «прочитано, но может не до конца понято». Выпуск 2. С мобилы.
1/ Классическая работа по тому что есть AGI и как это можно понять.
2/ Я редко использую фреймворки в работе над продуктом. Но этот пожалуй лучшее что я знаю при работе с retention. Вообще самая идея, что под use case нужно подбирать метрики и делать паттерн мэтчинг по многим бенчам это кайф. Да и в целом статья отличная.
3/ я просто люблю читать квантамагазин. Не знаю почему. В этот раз про s матрицы вероятностей.
4/ многие уважаемые мною ученые верят что AGI или просто некст лвл моделька придет когда совместят deep learning и вот это
5/ какие-то мысли умного мужика про мол поиск и обучение будет всегда как методы
6/ старая статейка, но люблю возвращаться к тому как легко можно добавить в Гугле пару тройку ярдов прибыли
Удивительно, но ничего особо не поменялось. Значит рынок плюс минус за 5-6 лет на одном месте. Ну по adoption rate новых приложений и смены девайсов.
Читать полностью…
Google там сделал прогресс в квантовых процессорах, и если половина чуваков вам просто постит заголовок, что мол смотрите штука считает то что классический комп считал бы дофига лет, то я вам всегда советую почитать Reddit или работу и понять, что задача для заголовка выбрана специально, чтобы квантовый проц решал ее быстро, а классический медленно.
А так прогресс ощутимый, еще лет 10 думаю до нормальных применений. Жду.
Кстати еще не люблю культ страданий. Постоянное нытье, как тяжело мол в стартапе быть, в корпорации быть, как сложно код писать когда руководитель дурак или вокруг одни дураки. Вот от людей с таким посылом и в целом нарративом надо бежать. Проблемы обычно именно из-за них. В своем глазу и бревна не увидишь.
Читать полностью…
Короче, ваши ставки «новый Google» или еще один Theranos? Либо я чего-то не понимаю, но здесь что-то не так. А вы что думаете?
Читать полностью…
Яндекс Nebius поднимает 700м ибо надо выходить в США. Но в целом мое ожидание, что это так себе ставка от ребят (по сути думаю кредит).
Могу пожелать удачи в конкуренции с AWS/Azure etc
Думал короче вернусь в режим, но на неделе попал в больницу по абсолютной случайности. Короче жив здоров.
Дальше к делу. Тут такой тред про мотивацию инженеров в корпорациях у одного из моих любимых ныне инвесторов возник.
Позволю себе вольный перевод и свои пять копеек:
1/ есть некий миф или недопонимание мол инженеры (читай программисты) ленивые и вообще ничего не делают и не хотят. Что не совсем так. Скорее в современных корпорациях стимул выстроен в стиле завода 1950х.
2/ а именно нет никаких поощрений за упрощение или удаление ненужных частей кода/процесса. Если ты сделал что-то быстро - значит задача была легкая. Задачи в большинстве своем не вносят никаких существенных изменений в продукт, а лишь двигают KPI на пару процентных пунктов вперед. Помните все эти линкедины «увеличил конверсию на 1.5%», и даже если бизнес выиграл много, задача все равно скучная так как скорее всего вы пилите фреймворк для а/б тестов.
3/ не нравится текущая работа - смени и найди новую, грамотный инженер может себе позволить такое, а значит риск быть уволенным низкий. Инновации заключается в смене мидл менеджеров, которых вращают чтобы те не раскачивали лодку.
4/ почти все акции которые у тебя в опционе или бонусы которые зависят от KPI всей компании никак не связаны с твоим трудом. Твой код очень редко влияет на рост акций компании. Чувствуется что значимая часть твоего дохода (а иногда даже бОльшая часть) вообще к тебе никак не относится.
5/ ротация слабая, если люди слабые то никто их трогать не будет так как найм дороже содержания посредственных людей. Перед акционерами редко стоит обязательство увольнять кого-то, ну разве что ну совсем уже никак, но тогда просто удаляют чтобы финансы подтянуть, а не ситуацию с качеством исправить.
6/ все системы ревью полный треш. Система оценки взламывается через дружбу, делать только «важные» задачи и так далее. Закон Гудхарта. Любые метрики производительности можно взломать и это будут делать.
7/ все эти калибровки уравнивают все команды в один большой поток, где нет лучших и худших. Нет понижения выходит, а значит повышение в любом случае дает чувство безопасности.
Уверен что так почти везде где 10к плюс человек, а может и меньше. На моей практике даже поменьше компании обладают всеми этими чертами. Когда начинаешь измерять интеллектуальный труд получается что фиксить 2 бага в неделю эффективнее чем придумать новый продукт.
TLDR: Единственный способ существенно увеличить доход — получить повышение. Промо-пакеты и политика важнее, чем создание качественного продукта.
Ну и касательно предыдущего тезиса.
Цитата: "Ilya Sutskever, co-founder of AI labs Safe Superintelligence (SSI) and OpenAI, told Reuters recently that results from scaling up pre-training - the phase of training an AI model that uses a vast amount of unlabeled data to understand language patterns and structures - have plateaued." Вообщем наконец-то начали признавать как обстоят дела. И думаю что Илья хорошо понимает что нужны другие методы и алгоритмы для следующего шага. Трансформеры в полной мере примерно показали себя.
До сих пор согласен, что юнит экономика это про далеко далеко, а команда и продукт про самое начало. Доказано путем общения с большим количеством разных фондов и decision makers.
P.S. наверное стоит упомянуть это именно про венчурные проекты (== требующие финансирования для быстрого роста и достижения результатов)
Воскресное. Или о пользе онлайн игр.
Может быть вы слышали или нет, но я много играю в онлайн игры и помимо обычного соревновательного духа и всего такого есть одна вещь, которая мне очень импонирует.
А именно мы поговорим о социализации. Я в целом достаточно закрытый человек и к 33 годам у меня сугубо профессиональный круг общения и близкие. Это в целом ограничивает понимание что и как происходит у разных групп людей и населения. В онлайн играх же вы часто собираетесь в группу и идете вместе убивать боссов или играете команда на команду. Частенько вы сидите в голосовом чате типа Discord. И там как раз вы знакомитесь. И иногда крайне интересно слушать кто чем занимается (например у меня были проводники в поездах дальнего следования, работники нефтяной вышки и так далее) и это очень хорошо отрезвляет и дает хоть какое-то отличное от вашего пузыря виденье. Лично у меня не так много шансов регулярно слышать разные истории такого плана даже если я захочу. Такие дела.
А как вы выходите из вашего социального пузыря?
У кого что там в ChatGPT по промту:
based on what you know about me. draw a picture of what you think my current life looks like
Присылайте свои результаты :) я видимо много спрашивал про wow, потому что так проверяю актуальность в поиске
Раньше инвесторы писали: где у вас потенциал построить миллиардную компанию. Сейчас замечаю: где у вас тут триллионая компания.
Вот она инфляция.
У Claude все больше и больше действительно удобных вещей выходить. Все-таки CPO из инсты влияет кажется.
Читать полностью…
Кому как зашло? Делитесь фидбеком https://openai.com/index/introducing-chatgpt-search/
Я еще не успел попробовать
Набор курсов по использованию LLM от Anthropic. Рекомендую.
Читать полностью…
И так ультимейт гайд по колдаутрич тактик, никаких плюсов в комментах чтобы собрать ваши контакты, подписок на вебинары и прочее.
Буду писать на примере письма инвестору. Думаю переложить сможете.
1/ заголовок - что вы делаете (we are doing commerce solution for gaming influencers) и если вы считаете вас узнают то плюс ваше имя и фамилия (занижайте степень уверенности что вас знают, людям шлют сотни писем в день и если вы не общаетесь лично раз в три месяца с друзьям друзей то вас не знают).
2/ начало это hi <name> дальше представиться (имя фамилия) и добавить трек рекорд из 5 слов: did Prisma, raised from, acquired by etc etc. Без подробностей.
3/ дальше показать что вы следите за чуваком или его работой. Read your twitter and appreciate efforts towards bla bla bla, saw your last deal in bla bla bla. Дальше сказать мол это прям уважуха и релевантно нам.
4/ что делаешь в двух предложениях . We are building ai for dog seaters, this is a special device that helps bla bla bla. Got 3k users, 500 MRR some numbers. We Believe in this 1T market. Ai will change it.
5/ что хочешь от человека. We started fundraising. Wonder if you are interested. Please lmk if you wanna chat.
И ноль ссылок. У меня конвертит лучше всего. Проходит любые фильтры, посылаю с личной почты. Предварительно стараюсь найти чувака в тви и там ему покомментить, но это опционально. Все письмо должно помещаться без скрола на экран телефона. Если есть фактура в виде крутых цифр и результатов всегда вставляйте в блок что делаем, если подробности просьбы есть добавьте максимум одно предложение.
Лучший ответ это краткое да «свяжу с командой, когда созвонимся итд», краткое «нет, не интересно». Никаких между.
👍