Знай своих конкурентов, или рубрика "Почему я не знал об этом раньше?"
Certainly, coming up with new ideas is important, but even more important is to understand the results
– Ilya Sutskever
Focus Routine
Не самая продуктивная Моя неделя, но что круто, доля deep work (70%) выросла более чем в 2 раза по сравнению с прошлой неделей (на графике тёмно-пурпурный – shallow work, ярко-пурпурный – deep work)
Помогает рутина из 5 шагов:
1. Закрыть все источники отвлечений (Telegram, Instagram, dating apps).
Я использую Opal для блокировки сайтов и приложений (включая время сна), что круто, можно настраивать не blacklists, а whitelists, например, для какой-то активности Мне нужны 2-3 приложения на телефоне, а остальное блочит с прикольными мотивационными фразами.
2. Включить в наушниках Endel, режимы Focus, Dynamic Focus или Deeper Focus.
Вообще, музыка довольно эффективный способ приучить мозг к нужному состоянию ума.
3. Начать сессию работы в Session, выбрать задачу (intent) и период работы (time blocking) – период может растягиваться.
4. Открыть задачу в Linear, декомпозировать на подзадачи (можно только первые 3-5 шагов).
5. Начать логировать в Notes в сессии в Session, что делаю, в среднем каждые 20-30 минут – видишь прогресс и сразу обрашаешь внимание сколько минут на что просрал; легче входить в поток.
———
Ближайшие цели: поднимать что общую цифру (до 80+), долю deep work (до 80%), а также уменьшать дисперсию по дням недели 🤗
#LifeOps
Так ребят, кто выходил в AppStore, получал DUNS и проходил прочие круги ада,
Напишите пожалуйста в лс, к вам есть вопросики ❤
@uberkinder
Теперь vibe помнит историю общения (хранится только на устройстве), сам выделяет имя, оценивает уровень вайба в вашей коммуникации и делает много чего ещё…
Заходи, скачивай, пробуй 😘 vibe.meme
Я знаю, что за последние недели на Мой блог подписалось много ребят, кто интересуется машинным обучением и AI (спасибо "папочке"), и многие из вас, либо ещё не имея опыта работы совсем, либо имея его очень мало, тоже могут думать, что говорить про ML / AI в терминах бизнес-метрик – это сложно и приходит только с опытом.
Но как-то давным давно мы с Валерой решили развеять этот миф, поместив карету позади лошади и научив сразу учиться машин лёрнингу и аналитике в терминах метрик, бизнес-проблем и продуктов, ведь так ты сможешь
1. Без проблем себя "продать" на первых и последующих местах работы
2. Обосновать, чем ты ценен и почему тебе нужно давать повышение
3. Эффективно решать задачи, зная "в какую сторону" прилагать усилия
Поэтому 3 года назад (кстати, стукнуло недавно) мы начали разрабатывать Симулятор DS (ранее известный как Симулятор ML), обучающую программу для DS-ов, ML инженеров и аналитиков, в рамках которой через задачи-квесты и практические кейсы из нашей карьеры – объясняются разные шаги построения самых разных ML-сервисов, аналитических решений и AI-помощников, сразу приземлённые на тот или иной продукт, на тот или иной реалистичный бизнес-кейс (к слову, слышал, что обучение через кейсы – основной инструмент обучения в Гарварде).
И Я думаю, что у нас с Валерой и командой младших авторов это получилось, ведь через Симулятор прошло уже более 750+ студентов (а казалось, ещё вчера мы только-только дошли до отметки 100): кто-то успешно нашёл первую работу, кто-то поменял старую на ту, где более интересные задачи или больше платят.
Кто-то добавляет open-source проекты в резюме и потом на их примере демонстрирует своё понимание разработки продукта и скилл проектирования ML систем (проекты, которые команды из студентов разрабатывают помимо упомянутых задач, которых в Симуляторе уже около 100).
Пример комментария к самому первому фото, где была куртка
Ссылка на приложение
#iOS
Multi-Image Upload
Интересное занятие – переносить жизненно важный функционал из бота в #iOS приложение. Загрузка нескольких скриншотов была в списке must have у пользователей (пример: хочется сделать ещё одну зацепку к профилю, когда это уже не первое сообщение; или чтобы вайб лучше понимал динамику диалога; или хочется сделать отсылку к вашему локальному мему на предыдущих скринах)
Набросал простенький интерфейс веером (если скриншот один – показывается как вы видели раньше). Бонусом добавим возможность выбирать скриншот и даже область картинки или слово, на котором вайбу нужно сфокусироваться
Как вам?
P.S. Попробовать можно по всё той же ссылке, обратите внимание, билд должен быть 0.1.7 (20). Кстати, старые билды работать не будут, раз бета-тест, Я, честно, не парился по поводу обратной совместимости 😁
Фаундер должен суметь сделать три вещи:
1. Найти / придумать бизнес - модель с необходимым венчурным масштабом и сформулировать ясный вижен, где находится плодородная земля и как там в будущем
2. Обеспечить стартап необходимым кол-во денег и ресурсов для реализации этого вижена, чтобы корабль доплыл
3. Собрать и объединить выдающихся людей в одну команду с общей культурой, ценностями и вайбом, каждый из которых дополняет, усиливает и вдохновляет друг друга.
Договориться с каждым из этих людей, создав внутри отношений ясность ролей, пути, вознаграждений и не мешать им реализовать свою миссию и предназначение
Эфир с Ником Берёзой
С весны читаю блог Ника Берёзы. Ник – опытный фаундер (за плечами несколько бизнесов). Сейчас он фаундер и CEO стартапа Unimatch AI, "тиндера для фаундеров и инвесторов" (от Unicorn + Match) – уже поднят раунд по оценке в $5M. Вообще, сильно резонирует его восприятие мира стартапов, его подход к найму, менеджменту, организации. Что-то сразу беру на вооружение.
Например, в апреле уже репостил его список убеждений. Советую прогуляться по блогу, там довольно много ёмких формулировок, как собирать сильную команду, кто и как получает много денег в найме, или про цикличные петли роста стартапов. Рекомендую уделить как минимум пару вечеров, там много ценного.
Приглашение Ника на эфир-интервью для Меня имеет конечно же корыстные цели: Ник очень опытный фаундер и интересный гость. Я фаундер пока начинающий и для Меня это возможность показать друг другу свои Notion задать много интересных вопросов о том, как он мыслит в контексте роста стартапа, какой фреймворк выработал для управления командой и создания стратегии, изучить, как он нанимает, как поднимает инвестиции, как в самом Unimatch ИИ выставляет рейтинг для стартапов (и как его оптимизировать), наконец, какие качества отличают успешного фаундера (+ как Ник их развивал сам).
В свою очередь, у Ника появится чуть больше читателей блога, среди которых, уверен, найдутся как фаундеры-пользователи его стартапа, которые ищут инвестиции или таланты, так и разработчики, включая AI-разработчиков, непосрественно в команду Unimatch.
Ждём всех в пятницу, 20:00 по мск
[10 am по Калифорнии]
Здесь, в BOGDANISSSIMO
Ссылка на Google-календарь, чтобы не пропустить
P.S. Кстати, пишите свои вопросы к Нику в комментарии!
Режим дня и недели
Мой целевой распорядок, к которому Я стремлюсь. Реальный расходится на 2-3 часа, но мы над этим работаем
06..07: подъем, душ, уход за лицом, выпить протеин, сесть в такси (12 минут на дорогу)
07-17: кофе, deep work (две сессии по 6 и 4 часа), приезжаю в одни и те же кафе (все по соседству), удобно что там же можно пообедать + триггер в голове что если в кафе, то работаешь, если дома, отдыхаешь
17-18 тренировка, зал в 5 минутах пешком от тех кафе
18-20..21 shallow work: созвоны, кастдевы, разная административная суета
20..21 иду домой пешком (40-50 минут), общаюсь с ChatGPT в Voice Mode, анализирую день и общий прогресс, например, как текущее расписание отличается от идеального (этот модифицированный пеший 1:1 с ChatGPT последние 1.5 мес делаю без исключений, клевая привычка)
22..00 душ, face care, протеин, кондиционер на 18°, сон (в идеале, телефон далеко от кровати; будильник не ставлю)
———
По понедельникам Shallow Work Day, поэтому вместо deep work сессий, сюда накидываю разные активности по тюнингу своего LifeOps, разные созвоны, weekly и другое
Бывают ещё исключения когда нужно как на этой неделе в середине дня ездить в банк, открывать счета и т.д. В такие недели прощаю себе что будет мало часов deep work 🤭
#LifeOps
Бенчмарк новой GPT-4o 2024-08-06 - немного глупее и заметно дешевле
У OpenAI есть привычка. Сначала они выкатывают мощную, но дорогую модель. Потом они делают модель сильно дешевле за счет небольшой просадки в качестве. Потом они начинают работать над качеством.
В долгосрочной перспективе их модели становятся дешевле и лучше.
Такое случилось и с новой версией GPT-4o (gpt-4o-2024-08-06). Она в два раза дешевле топовой GPT-4o v1/2024-05-13 и немножечко глупее, чем новый Gemini Pro 1.5 от Google. Заняла четвертое место.
В итоге у нас получается очень неплохая модель по соотношению цена-качество. Это самая дешевая модель из TOP-8! 🚀
А еще с этой моделью включили поддержку constraint decoding. Они ее называют Structured Outputs. Теперь можно заставить модель всегда отвечать с JSON в определенном формате. Это не делает модель умнее, просто гарантирует формат ответов.
Простейший пример реализации такого подхода я демонстировал в "Как сделать так, чтобы Mistral 7B всегда отвечал на русском". Но OpenAI сделала это нормально и встроила прямо в клиента.
Кстати, Structured Outputs включили и во многих других моделях. Это не требует изменения модели - просто добавления "обвязки" на сервере.
А еще, похоже, у OpenAI усились опасения из-за чудесной интеграции Claude Chat с режимом генерации UI кода. Поэтому они в своей статье выделили главу про автоматическую интерфейсов при помощи Structured Outuputs.
В общем, получилась очень удачная модель по соотношению цена/качество.
Вaш, @llm_under_hood 🤗
---
Предыдущий бенчмарк был про рывок Gemini Pro 1.5 v0801. См другие бенчмарки по категории #bench
Karpathy: RLHF is just barely RL
Karpathy выкатил длинный твит с размышлениями о RLHF:
• RL - мощно, RLHF - не так мощно
• он приводит в пример AlphaGo - модель тренировалась с RL, и в итоге научилась обыгрывать людей. Если бы её тренировали на RLHF, то люди бы оценивали какое состояние доски или какая последовательность действий лучше - по факту модель, аппроксимировала бы среднее поведение людей. И это не смогло бы привести к модели, которая превосходила бы людей
• Причины две - "какой вариант тебе больше нравится" не всегда коррелирует с вариантом, который ведёт к победе в игре; и модель может поломаться на ранее невиданных вариантах
• Его в целом удивляет/впечатляет то, что RLHF работает - ибо по факту оптимизируется на правильное/лучшее решение, а которое больше нравится асессорам. И в целом модель может быстро научиться эксплойтить.
• При всем при этом, RLHF работает и является полезным. Как минимум потому, что людям не надо создавать вариант с нуля - они выбивают что-то из предложенного.
• И есть большой аргумент в пользу RLHF - использовать его для оценочных задач типа "хорошая ли шутка, хорошо ли суммаризирован текст" легко. А вот для RL не понятно, как дизайнить reward function.
И в целом он называет RLHF "vibe check" :)
Tweet
#datascience
Что там с рынком акций?
6:40, Я приехал в кафе – самое время написать пост
Так сложилось, одной из тем, которую мы много обсуждали с ChatGPT последние дни, была тема пузырей, экономических циклов и кризисов, произошедших за последние пару десятков лет (ипотечный кризис, доткомы и т.д.). Мой интерес усилился когда Я спонтанно пересмотрел "Игру на понижение"– и начал допрос ChatGPT по всем финансовым инструментам, которые были задействованы, чтобы разобраться в нюансах. До жопы интересно!
Попробую вкратце раскидать, что происходит сейчас:
1. Как работают экономические циклы? Рекомендую к просмотру легендарное видео Рэй Далио, собравшее 40 млн просмотров. Вкратце,
• Размер экономики = сколько люди тратят денег (отсюда ВВП)
• Кредит = потрать сегодня, заплатив за это завтра
• Процентная ставка = на сколько % больше нужно будет вернуть от суммы взятого кредита (либо сколько % получишь от суммы депозита на счету)
• Ключевая ставка = процентная ставка в ЦБ ("банке для банков"), прямо влияет на ставку в банках для физлиц/юрлиц
• Рост: низкие процентные ставки делают кредиты доступнее → люди берут много кредитов → рост потребления и инвестиций → экономический рост
• Пик: слишком быстрый экономический рост → инфляция (когда деньги "дешевеют", т.е. за ту же сумму ты сможешь позволить меньше товара)
• Сокращение: ЦБ повышает ставку → люди берут меньше кредитов (боятся не вернуть) → люди меньше тратят → экономика замедляется
• Спад: высокие ставки → рецессия (низкая экономическая активность, сокращение потребления и рабочих мест) → снижение инфляции
Затем цикл повторяется один в один. ЦБ разных стран стремятся к инфляции в 2% (инфляция – как быстро дешевеют деньги за 1 год), чтобы стимулировать рост экономики, но без значительного роста цен.
2. Текущий спад начался с банков Японии (см. графики в комментариях)
• В Японии с 1999 была zero interest rate policy (ZIRP), ключевая ставка 0%.
• В 2006 ставку повысили до 0.25%, в 2007 до 0.5%. В 2008 опустили до 0.3%, в 2009 до 0.1%, в 2011 снова до 0%.
• В 2016 ЦБ установил отрицательную ставку в -0.1%, что по сути "штрафовало" если деньги банков просто "лежали без дела" и стимулировало давать кредиты.
Т.е. в японских банках вот уже 17 лет ставка снижается и многие финансовые организации часто берут кредиты ("дешёвые деньги") под инвестиции из японских банков (скажем, в US мог взять кредит под инвестиции на 6.5%, а Японии под 1.5%), переводят йены в usd и вуаля... Тем более, что йены последние 25 лет, за вычетом небольших подъёмов, держались на одном уровне или даже дешевели по отношению к доллару.
Точную цифру Я не нашёл, но в разных источниках пишут, что в районе 10% инвестиций в stock market США взяты на деньги из японских банков.
3. В марте этого года ЦБ Японии впервые за 17 лет повышает ставку, сразу с -0.1% до +0.1%. Казалось бы, терпимо. Никаких больших перемен не произошло.
Дальше лучше: 5 дней назад ЦБ Японии снова повышает ставку за тот же год, повторюсь, после 17 лет монотонного убывания – на этот раз до 0.25%. Это происходит на фоне того в Японии выросла инфляция до 3% (стимуляция экономики-то происходит, вот только не своей экономики).
4. В последние 30 дней японская йена по отношению к доллару выросла более чем на 10% (в том числе на фоне слухов о ещё большем увеличении ставки ЦБ, которые действительно подтвердились).
Т.е. ты взял кредит в йенах, а теперь кроме роста ставки, тебе нужно на самой конвертации потратить на 10% больше, чтобы его вернуть. 🤡
5. После этих новостей, многие инвесторы, инвестиционные фирмы, фонды, финансовые институты, которые полагались на японские банки вдруг начали экстраполировать "а вдруг будет ещё повышение?" – т.е. надо пересматривать текущие и будущие инвестиции.
Например, Уоррен Баффет 40% своих акций держал в Apple, с марта продал половину своих акций Apple. Совпадение?
Индекс волатильности VIX (иногда называемый индекс страха) сильно подскочил (например высокими считаются значения 30 и выше, последние дни на уровне 40-55, см. комменты).
P.S. Кстати, что лично вы думаете будет через неделю / через месяц / к концу года?
Прикольно, у Apple на iOS-устройствах есть CoreML, в котором, например, есть тот же OCR. Обрабатывает за 200ms, причём по картинке в полном разрешении, как загружает пользователь, а не сжатом для передачи по сети виде. Есть нормальная поддержка русского (попробовал много open-source OCR-ок, все или говно по качеству, или страшно медленные)
https://developer.apple.com/documentation/vision/recognizing-text-in-images
Приятная находка
#iOS
Последние дни встаю в 6 и 7 утра без будильника
Спасибо Алексу Хормози за ментальный пендаль
А кто приходит в Симулятор? ChatGPT выделяет такие группы на основе анкет:
A. Студенты и выпускники ВУЗов и курсов, кто хочет попасть на первую работу (кстати, не все даже знали Python на старте, но через пару дней влились; чаще это ребята которые уже смотрели лекции в YouTube или проходили/проходят курсы)
B. Не-ML разработчики и специалисты, которые захотели перейти в DS/ML/AI (например был и Senior-SWE, который благодаря Симулятору переметнулся в AI Developer, приятно отзывался о задаче где мы собираем GPT-2 с нуля)
C. Не-ML ребята, которые хотят пополнить арсенал навыков (например, аналитики, SWE и технические руководители, которые хотят учиться новому, с чем не работали, или лучше понимать ML/DA-коллег, или просто держать навыки в тонусе)
D. Специалисты Junior/Middle уровня, которые решили сменить место работы ближайшее время (приходят, чтобы набрать насмотренность в тех ML/аналитических продуктах и сервисах, с которыми не могут поработать на текущем месте)
E. ML/DA/DS которые не хотят тратить впустую время, пока ищут новую работу, а хотят повышать компетенции ("Continuous learning"), и как следствие, будущий доход
Собственно, все эти ребята умеют разговаривать с бизнесом "на ты", когда занимаются ML/DS/DA, и вполне успешно это делают после прохождения Симулятора DS
Симулятор доступен по подписке на 3/6/9 месяцев по цене 6,833₽ в месяц: https://to.karpov.courses/m_HXSQ (напоминает абонемент в спорт-зал: тоже берёшь на несколько месяцев и тоже за первый раз не успеваешь "пожать сотку" – решить все задачи, тем более, что каждые 2 недели добавляются новые)
P.S. Кстати, знаю, что многие студенты Меня читают, призываю вас поделиться своими впечатлениями от Симулятора DS в комментариях 😎
В своём канале Валера написал короткий пост о том, должны ли айтишники стремиться максимизировать бизнес-value тем, что они делают ("жить в пространстве проблем"), или они должны фокусироваться на технологиях, софте, сложных и интересных архитектурах данных, сервисов или ML-моделей ("жить в пространстве решений"). В обсуждении под постом накопилось 200+ комментариев, крайне рекомендую к прочтению.
Важно отметить, Я очень хорошо понимаю вторых, что такое любить очень крутые системы, что такое любить красивый код, соблюдающий все паттерны и best practices, Я испытываю большую эмпатию к джунам и стажёрам, которые на собеседованиях и на своих первых местах работы стремятся показать свой максимум и демонстрируют самые сложные модели и алгоритмы, которые они знают. Я всё это хорошо понимаю и сам лично это всё проходил.
Но Моё мнение конечно же в том (и естественно совпадает с мнением Валеры, с которым мы работали несколько лет), что инженер, инженерная команда или технический департамент – это не люди, которых компания нанимает просто ради того чтобы какое-то там IT/ML/AI было, или чтобы проспонсировать рисёрч в ML / AI. Их нанимают или в надежде на рост доходов, или в надежде на сокращение расходов (факт, который сложно игнорировать). IT-команда / Data-команда / ML-чуваки – это тоже неотъемлемые части Unit-экономики в рамках всей компании, а не что-то паразитирующее где-то сбоку.
Я конечно же согласен, что тем ценнее специалист или менеджер, чем лучше он понимает свою ценность в рамках компании, а также может сформулировать её на языке, понятном для других (например, для не-технического менеджера или другого коллеги)
В принципе, как и планировал, +- к концу этой недели будет в AppStore-ready состоянии, осталось всего немного
Читать полностью…