Personal Protocol: A Style Guide
Писать нужно так, чтобы твой текст можно было бросить в окно – и окно разбилось.
Когда Богдану было 18-19, он попал на два миллиона в философский кружок по типу того, куда Бриссенден из книги «Мартин Иден» водил Идена после знакомства (сейчас бы мы назвали это Reading Club). Идена хватило на 1 раз, а Богдан держался 2-3 года.
Кроме семинаров по разным философским школам, историческим событиям и писателям, ребята из этого кружка вели дебаты и писали эссе. Первые эссе Богдана были комканые, вялые и фрагментарные. Его наставник уничтожал их примерно теми же словами что лысый из браззерс из фильма «Одержимость» - главного героя.
—
Шли годы, и писать текст, понятный другим, ёмко выражающий интуицию за сложным концептом и передающий Мой опыт – стало Моим ремеслом. Например, в Симуляторе ML, задачи, кроме кода самой проверяющей системы, состоят ещё из текста – нарратива, в котором участвует главный герой (студент), и доступной теории.
На выходных Я занялся написанием Style Guide для наших младших авторов в Симуляторе (не без помощи GPT-4, разумеется), и когда дописал, решил вместо внутреннего документа сделать это публичным гайдом.
https://www.notion.so/uberkinder/My-Writing-Principles-948f36868c2045e898c485668266d5eb?pvs=4
Пишите в комментариях свои принципы, эвристики, находки, которые помогают вам эффективно доносить свои мысли через текст.
Женя Истомин – человек, который ещё 3 года назад предвидел потенциал больших языковых моделей и их будущее влияние на нашу жизнь (что мы только-только наблюдаем сейчас).
Помню как вчера, как мы, работая в X5 Group, разговаривали на кухне WeWork, и он рисовал Мне в воздухе: Ну смотри, вот, слева – бизнес-требования (текст), вот, справа – код (текст), а вот между ними – условная GPT-N, которая превращает текст в текст. Выходит, что программисты в уравнении (как и многие другие должности) со временем окажутся не нужны. На что Богдан что-то бормотал про системное мышление, аналитические навыки, понимание продукта и т.д.
В четверг в 17:00 по Москве мы с Женей в формате LIVE-стрима обсудим, как языковые модели меняют и продолжат менять модальность нашего мышления, на что мы будем натравливать вычислительные мощности своего мозга.
Что будет происходить, когда LLM станут не только рациональнее и стабильнее, но и более креативными и гибкими. Возможно, мы создаём технологию, которая ускоряет наше "взросление", делая осуществление наших желаний (нашей "потенции") более простым и эффективным. Но не окажется ли она слишком беспощадной к тем, кто отстает на этом пути?
УСЛОВИЯ ТВОРЧЕСТВА
[делюсь заметкой 10-летней давности своего давнишнего друга и наставника]
I. ВНУТРЕННИЕ УСЛОВИЯ
1. Уникальность
Наличие одной, но лучше — нескольких — систем уникальности в генетической программе, т.е. неустранимых отличий от большинства.
2. Гибкость
Гибкость в восприятии информации — т.е. генетическая мета-сеть должна быть достаточно широкой, чтобы вбирать в себя новые и новые сети чувств, понятий, отношений и т.д. Главное – это не только интеллектуальная гибкость, но и эмоциональная.
3. Рискованность
Рискованность – пониженный инстинкт самосохранения. Отражение уникальности и смелости в одном стремлении – преодолевая преграды, проверять себя на прочность.
4. Настойчивость
Смелость в реализации уникальности – отдельный параметр, не обязательно уникальный, так же определяемый генетикой (возможно, уровень агрессивности, чувство величия и т.д.).
5. Антихрупкость
Умение жить в неопределенности, в динамике – дерзости, крайности, сомнения, острая конкуренция мотиваций. Развитая интуиция.
II. ВНЕШНИЕ УСЛОВИЯ
1. Хаос
Нестабильная, вынуждающая к самостоятельным решениям обстановка.
2. Актуальная информация
Наличие информации, отражающей и поддерживающей уникальность инстинктивной формы (заполнение релевантными фактами, книгами и т.п.).
3. Негативные стимулы
Негативные стимулы (то, чему сопротивляешься) – имеют своим источником неустойчивую обстановку, точнее, лежащие в ней и дурно пахнущие островки стабильности – традиция, мораль, религия (абсолютная стабильность достижима только на кладбище). Заставляют неистово жить и вечно обновляться.
4. Группа единомышленников
Наличие малой группы, способствующей развитию, группы равных.
III. ОБРАЗ ЖИЗНИ
1. Изоляция
Постепенная изоляция и концентрация из-за возрастающих требований к миру.
2. Метафоры
Расширение метафорического мышления – «творить каждый миг».
3. Динамика состояния
Постоянная перемена состояний – «раскачивание из стороны в сторону».
IV. ЭТАПЫ ТВОРЧЕСТВА
1. Сужение диапазона поиска
Определение направления поиска гипотезы. Метод проб и ошибок, риск, прорывы в разные стороны.
2. Интуитивный выбор гипотезы
Возрастающий риск, дерзость предположений, бури метафор и чуткое прислушивание к себе.
3. Экспериментальная проверка
Проверка гипотезы научными методами.
На днях, 22 июня, Симулятору ML стукнул ровно 1 год. За этот год мы построили большое дружное коммьюнити, кратно увеличили количество и качество задач (которые студенты просили больше всего), открыли новое направление пет-проектов, и продолжаем дополнять его всё новыми задачами, кейсами, инструментами.
В этой связи, как автор Симулятора ML, хочу лично пообщаться с теми, кто к нам ещё не присоединился, но есть мысль, желание или план это сделать в будущем; либо вы хотите узнать о продукте больше (включая B2B для вашей команды). Напишите пожалуйста Мне в ЛС (@uberkinder), задам буквально пару вопросов.
Режим дня. Какой у вас режим дня? Как он меняется от дня недели? Напишите в комментариях.
P.S. Интересует не столько время сна, сколько какое время дня и какие дни недели уделяете работе, спорту, самообразованию, социальной жизни.
Пара метафор
• Объём нагрузки: дел, задач, информации, которые нужно обработать, опыт, через который нужно пройти, решения, которые нужно принять – это входные данные (пища для ума).
• Наш мозг, как и модель машинного обучения, имеет ограниченное capacity, объем сигнала на единицу времени который она может пропустить / эффективно обработать.
• Чтобы не распылять attention модели и не вызывать расхождение лосса при обучении, нужна регуляризация в виде дисциплины (диета для ума). Дисциплина – это привычка говорить «нет» краткосрочным выгодам (в т.ч. своим желаниям) ради долгосрочных бенефитов.
P.S. Хорошая новость: мозг как мышца тренируется и планку уровня стресса, на котором он продуктивно функционирует, можно поднимать. Помните что мышцы растут во время отдыха, а не во время перманентного стресса.
https://youtu.be/IMm5nk19MMc
Выложена запись Q&A вебинара про Симулятор ML, где Я рассказываю про наше новое направление развития продукта, командные pet-проекты, и делюсь своим Vision развития Симулятора на ближайший год
P.S. К сожалению, первые 30 минут ушли в /dev/null 😃
Об эго/самооценке/ЧСВ
• Любой из нас – это объект класса Человек. Самооценка – это приватный атрибут класса. Снаружи лезть в приватные атрибуты и методы класса (set / get) – не по ООП.
• Допустимо судить о человеке строго по его поведению и влиянию на мир: «по плодам их узнаете их». Если импакт человека на мир большой и позитивный, если с человеком комфортно работать – значит человек хороший. Если он приносит больше вреда – значит плохой.
• В голове у него при этом может быть, что он вторая инкарнация Иисуса, или марсианин, или бессмертный 400-летний вампир – это не наше собачье дело. Если это его вдохновляет и даёт ему смысл просыпаться по утрам – пусть верит в это.
P.S. Сам Я наедине с собой не мыслю такими категориями как самооценка, эго и чсв. Для Меня важны внутренние метрики вроде подъёма и спада энергии, метаболизма ума, степени уверенности в достижении поставленной цели. Я даю оценку своим отдельным действиям и извлекаю уроки.
Оценка себя-в-сумме Мне кажется делом хрупким и опасным, поскольку качнись завтра маятник качнется вниз, придёшь в апатию. Здоровый человек имеет статично высокую самооценку как противовес большим амбициям, иначе их вес его раздавит.
P.P.S. Всегда с иронией смотрел на «борцов с эго» – как своим, так и чужим.
Через 45 минут рассказываю как тестировать machine learning код: https://app.spatial.chat/s/ods?room=Be3pxmjDYXkyhbFaVwh5
Читать полностью…
Personal Protocol: Data-Driven Self-Development
Just like any proficient CEO leading a flourishing corporation, I consider Myself the CEO of My life. As a CEO leverages the power of data to carve a strategic pathway for the organization's growth, I, too, rely on the power of personal data to navigate the journey of My life. The same way a corporation houses a Big Data department, sifting through past experiences, trends, and forecasts to build a competitive edge, I employ a similar approach to life, employing data to turn life's challenges into opportunities.
The multi-dimensional complexity of life can be likened to a corporation, comprising of various departments like health, relationships, finance, and self-improvement. Each of these dimensions demands strategic oversight and meticulous management for optimal performance, just as in a corporation.
1. Time Tracking: Time, My most valuable resource, mirrors the significance of productive hours within a corporation. I track My time utilization to understand productivity trends, pinpoint time drains, and recalibrate my focus.
2. Money Tracking: With the same attention as a corporate finance department scrutinizing cash flows, I monitor My income and expenses. This practice helps Me identify unneeded spendings, strategize investments, and gauge My financial health, facilitating informed financial decision-making.
3. Calories Tracking: As a corporation tracks the usage of raw materials, I keep tabs on my caloric intake and expenditure. This data lends Me insights into My nutritional balance, helps manage weight, and contributes to cultivating a healthier lifestyle.
4. Mood Tracking: Emotions are a crucial gauge of My mental health. By tracking My moods and energy, I identify patterns and triggers, manage stress effectively, and enhance My overall emotional well-being, much like a HR department fostering a healthy corporate culture.
And the crux of this data-driven approach is My personal Data Warehouse (DWH) - Notion. This platform hosts an array of tables, each packed with invaluable data related to diverse aspects of My life, ranging from skills, meeting overviews, reading lists, management decisions, to relationship data. Notion serves as the comprehensive memory bank of My life, helping Me extract insights from past data and track progress in various life domains.
Harnessing this data-driven approach endows Me with a competitive edge. It's akin to owning a personal Big Data department, enabling me to absorb lessons from My past experiences up to x10 times more efficiently. I utilize data to learn from My past, comprehend My present, and plan My future with precision. It allows me to draw actionable insights, make informed decisions, and optimize resource utilization.
As the CEO of My life, I consider data as a strategic partner. It guides My journey, informs My decisions, and catalyzes My growth. Much like a successful corporation can't thrive without leveraging data, I, too, can't imagine My self-development journey without data. This encapsulates My data-driven self-development protocol. It's all about knowing Myself, learning from experiences, and using that knowledge to shape a better and more fulfilling life. My life, akin to a continually improving corporation, is perpetually in pursuit of success, driven by this data protocol.
– by GPT-4
Евгений Истомин: GPT, SuperAlignment, Ницше и ПолиAIизм
https://www.youtube.com/watch?v=BU_TxO_VVNg
Вышла запись 1.5-часового подкаста с Женей.
Поговорили про AI дарвинизм, искусственное искусство, IT-пузырь, prompt-инжиниринг, метафору души-государства Платона, решение проблемы SuperAlignment, "пищу для ума", китайских художников, возможности GPT-N, мужское-женское, географию данных / геополитику AGI, капитализм 2025-2030 годов и про AI думеризм.
P.S. Заранее прошу прощения перед вашими ушками за тихий звук с Моей стороны.
Знакомьтесь, Dan Hendrycks - вот он, в анонсе Маска в самом низу.
Завтра на стриме, в том числе, будем обсуждать его статью "Natural Selection Favors AIs over Humans".
Даже не буду короткую вводную делать - она превосходна по подаче, по мысли.
Увидимся завтра на стриме.
—
AI-Tech 🤝 Memex.Team®️
ACTIVE LEARNING
"В чем мой разум? Добивается ли он знания, как лев своей пищи?
Он - бедность, и грязь и жалкое довольство собой!"
– Ф.В.Ницше
Прочитал короткий пост о том, почему пассивное обучение (через просмотр видео и чтение лекций) не работает, а что работает – так это активное обучение, через боль, слёзы, трудности. Приятно было встретить упоминание Моего любимого Cal Newport и его книги "Deep Work".
Сам пост напомнил Мне мысль Andrew Ng из интервью Lex Fridman, мол, мы пишем заметки по ходу изучения материала не для сохранения знаний на бумажном носителе, а чтобы физически усложнить путь, который новая информация проделывает в нашей голове (за счёт подключения мелкой моторики пальцев). Даже когда мы делаем шпаргалки, мы уже обрабатываем информацию, сжимаем её, выделяем главное. Чем больше работы мозга – тем надёжнее закрепляются знания.
А знаете, как надёжнее всего изучить и закрепить знания и навыки в машинном обучении? – естественно, через практику в Симуляторе ML инженера, где всё обучение выстроено через работу руками как на реальной работе.
Прикольный перечень дизайн-паттернов в ML системах: https://eugeneyan.com/writing/more-patterns/
1. Process Raw Data Only Once [принцип любой оптимизации: если что-то можно не делать (дважды), это нужно не делать (дважды)]
2. Human-In-The-Loop / LLM-In-The-Loop
3. Data Augmentation: To increase data size and diversity
4. Hard Negative Mining: To get difficult samples
5. reframing
6. Cascade: To split a problem into smaller problems
7. Data Flywheel: To continuously improve & build a moat [здесь вспоминает про Tesla и ChatGPT]
8. Business Rules Layer: To augment or override outputs
9. Evaluate before Deploy: For safety and reliability
How To Be Successful, by Sam Altman
https://blog.samaltman.com/how-to-be-successful
1. Инвестируй усилия туда, где тебя ждёт кратный рост (а не линейный)
2. У больших людей большое эго, и это нормально
3. Научись думать своей головой, "to think from first principles"
4. Научись продавать [Мне вспомнилась мысль, что CEO – это продавец для трёх категорий людей: для инвесторов, пользователей, команды и партнёров]
5. Организуй жизнь так, чтобы тебе легко было рисковать, тестировать гипотезы, экспериментировать [вспомнил цитату: "И не заметишь как попал в трясину – из обустроенных тобою же удобств"]
6-7. Deep Work, фокус, хасл хард, умей говорить "нет" – и всё в этом духе
8-9. Будь наглым, будь настойчивым (иначе не поменяешь мир)
10. "So good they can't ignore you" – с тобой должно быть трудно конкурировать
11. Networking: собери вокруг себя максимально талантливых людей, каких только сможешь; это определяющий фактор того, что ты можешь достигнуть; следи за репутацией и строй личный бренд. Выдающиеся и (важно) непохожие на тебя люди, выскочки – залог и успеха компании, и лично твоего наискорейшего развития.
12. Богатыми становятся не благодаря большому доходу, а благодаря владению вещами или компаниями (ресурсами), которые растут в цене
13. [точно интроверт!] Опирайся на мотивацию изнутри (самые крутые чуваки делают что либо, чтобы впечатлить самих себя)
За что Симулятор ML любят?
/channel/zasql_python/166
СТРАТЕГИЧЕСНОЕ МЫШЛЕНИЕ
Недавно один Мой друг, в ходе наших разговоров о стратегии в жизни и карьере – порекомендовал Мне серию видео Арестовича по "Искусству Войны" Сунь Цзы. Прослушал, понравилось.
Так, многие люди путают стратегию и планы, даже придумывают такие химеры как "стратегическое планирование"; мыслят слишком короткими горизонтами (меньше 5 лет) и не имеют дисциплины для воплощения задуманного; не проводят достаточное время для расчётов и оценок ситуации, прежде чем что-то делать, а просто строят план "надо сделать A, B, C". Один из маркеров человека со стратегическим мышлением, говорит Арестович, – частое употребление слов "цель" и "условия".
Рекомендую.
На 3-й месяц пребывания на Бали взял байк, теперь про Bus Factor на работе придётся вспоминать в три раз чаще.
Читать полностью…
Подборка статьей для вкатывания в Transformers / LLMs
Добавил все ваши ссылки в свою подборку ML Links, их вышло больше 70. Всем спасибо, отдельная благодарность Игорю @seeallochnaya и Кали @rybolos_channel за их рекомендации.
По мере чтения буду выписывать ключевые идеи в Takeaways + выбрасывать не самые полезные ссылки.
#gpt3 #gpt4 #LLM #transformers #notion #NLP
Составляю для себя список ключевых статей по LLM, какие стоит не забыть?
Ключевые = имеющие не-нулевую вероятность попадания в легендарный список 40 статей Кармаку от Ильи Сутскевера.
UPD. Спасибо, Игорь @seeyouall ❤️
Книга по ML System Design
Говорят, что книга, которая повлияла на тебя больше всего, – та, которую ты писал сам.
Некоторые из вас интересовались, откуда Богдан Печёнкин (он же, он же BOGDANISSSIMO, он же автор Симулятора ML) – так разбирается в дизайне ML систем. Отвечаю: вот уже больше года Богдан принимает участие в написании книги Валеры Бабушкина и Арсения Кравченко. В видео речь о неких 5 главах из 16. А вложил Богдан в это дело более 340 часов.
[Ссылка на книгу]
P.S. После этого каминг-аута жду шуток как трудна и неказиста жизнь *простого* гострайтера.
#MLSD #book #writing
