Евгений Истомин: GPT, SuperAlignment, Ницше и ПолиAIизм
https://www.youtube.com/watch?v=BU_TxO_VVNg
Вышла запись 1.5-часового подкаста с Женей.
Поговорили про AI дарвинизм, искусственное искусство, IT-пузырь, prompt-инжиниринг, метафору души-государства Платона, решение проблемы SuperAlignment, "пищу для ума", китайских художников, возможности GPT-N, мужское-женское, географию данных / геополитику AGI, капитализм 2025-2030 годов и про AI думеризм.
P.S. Заранее прошу прощения перед вашими ушками за тихий звук с Моей стороны.
Знакомьтесь, Dan Hendrycks - вот он, в анонсе Маска в самом низу.
Завтра на стриме, в том числе, будем обсуждать его статью "Natural Selection Favors AIs over Humans".
Даже не буду короткую вводную делать - она превосходна по подаче, по мысли.
Увидимся завтра на стриме.
—
AI-Tech 🤝 Memex.Team®️
ACTIVE LEARNING
"В чем мой разум? Добивается ли он знания, как лев своей пищи?
Он - бедность, и грязь и жалкое довольство собой!"
– Ф.В.Ницше
Прочитал короткий пост о том, почему пассивное обучение (через просмотр видео и чтение лекций) не работает, а что работает – так это активное обучение, через боль, слёзы, трудности. Приятно было встретить упоминание Моего любимого Cal Newport и его книги "Deep Work".
Сам пост напомнил Мне мысль Andrew Ng из интервью Lex Fridman, мол, мы пишем заметки по ходу изучения материала не для сохранения знаний на бумажном носителе, а чтобы физически усложнить путь, который новая информация проделывает в нашей голове (за счёт подключения мелкой моторики пальцев). Даже когда мы делаем шпаргалки, мы уже обрабатываем информацию, сжимаем её, выделяем главное. Чем больше работы мозга – тем надёжнее закрепляются знания.
А знаете, как надёжнее всего изучить и закрепить знания и навыки в машинном обучении? – естественно, через практику в Симуляторе ML инженера, где всё обучение выстроено через работу руками как на реальной работе.
Прикольный перечень дизайн-паттернов в ML системах: https://eugeneyan.com/writing/more-patterns/
1. Process Raw Data Only Once [принцип любой оптимизации: если что-то можно не делать (дважды), это нужно не делать (дважды)]
2. Human-In-The-Loop / LLM-In-The-Loop
3. Data Augmentation: To increase data size and diversity
4. Hard Negative Mining: To get difficult samples
5. reframing
6. Cascade: To split a problem into smaller problems
7. Data Flywheel: To continuously improve & build a moat [здесь вспоминает про Tesla и ChatGPT]
8. Business Rules Layer: To augment or override outputs
9. Evaluate before Deploy: For safety and reliability
How To Be Successful, by Sam Altman
https://blog.samaltman.com/how-to-be-successful
1. Инвестируй усилия туда, где тебя ждёт кратный рост (а не линейный)
2. У больших людей большое эго, и это нормально
3. Научись думать своей головой, "to think from first principles"
4. Научись продавать [Мне вспомнилась мысль, что CEO – это продавец для трёх категорий людей: для инвесторов, пользователей, команды и партнёров]
5. Организуй жизнь так, чтобы тебе легко было рисковать, тестировать гипотезы, экспериментировать [вспомнил цитату: "И не заметишь как попал в трясину – из обустроенных тобою же удобств"]
6-7. Deep Work, фокус, хасл хард, умей говорить "нет" – и всё в этом духе
8-9. Будь наглым, будь настойчивым (иначе не поменяешь мир)
10. "So good they can't ignore you" – с тобой должно быть трудно конкурировать
11. Networking: собери вокруг себя максимально талантливых людей, каких только сможешь; это определяющий фактор того, что ты можешь достигнуть; следи за репутацией и строй личный бренд. Выдающиеся и (важно) непохожие на тебя люди, выскочки – залог и успеха компании, и лично твоего наискорейшего развития.
12. Богатыми становятся не благодаря большому доходу, а благодаря владению вещами или компаниями (ресурсами), которые растут в цене
13. [точно интроверт!] Опирайся на мотивацию изнутри (самые крутые чуваки делают что либо, чтобы впечатлить самих себя)
За что Симулятор ML любят?
/channel/zasql_python/166
СТРАТЕГИЧЕСНОЕ МЫШЛЕНИЕ
Недавно один Мой друг, в ходе наших разговоров о стратегии в жизни и карьере – порекомендовал Мне серию видео Арестовича по "Искусству Войны" Сунь Цзы. Прослушал, понравилось.
Так, многие люди путают стратегию и планы, даже придумывают такие химеры как "стратегическое планирование"; мыслят слишком короткими горизонтами (меньше 5 лет) и не имеют дисциплины для воплощения задуманного; не проводят достаточное время для расчётов и оценок ситуации, прежде чем что-то делать, а просто строят план "надо сделать A, B, C". Один из маркеров человека со стратегическим мышлением, говорит Арестович, – частое употребление слов "цель" и "условия".
Рекомендую.
На 3-й месяц пребывания на Бали взял байк, теперь про Bus Factor на работе придётся вспоминать в три раз чаще.
Читать полностью…
Подборка статьей для вкатывания в Transformers / LLMs
Добавил все ваши ссылки в свою подборку ML Links, их вышло больше 70. Всем спасибо, отдельная благодарность Игорю @seeallochnaya и Кали @rybolos_channel за их рекомендации.
По мере чтения буду выписывать ключевые идеи в Takeaways + выбрасывать не самые полезные ссылки.
#gpt3 #gpt4 #LLM #transformers #notion #NLP
Составляю для себя список ключевых статей по LLM, какие стоит не забыть?
Ключевые = имеющие не-нулевую вероятность попадания в легендарный список 40 статей Кармаку от Ильи Сутскевера.
UPD. Спасибо, Игорь @seeyouall ❤️
Книга по ML System Design
Говорят, что книга, которая повлияла на тебя больше всего, – та, которую ты писал сам.
Некоторые из вас интересовались, откуда Богдан Печёнкин (он же, он же BOGDANISSSIMO, он же автор Симулятора ML) – так разбирается в дизайне ML систем. Отвечаю: вот уже больше года Богдан принимает участие в написании книги Валеры Бабушкина и Арсения Кравченко. В видео речь о неких 5 главах из 16. А вложил Богдан в это дело более 340 часов.
[Ссылка на книгу]
P.S. После этого каминг-аута жду шуток как трудна и неказиста жизнь *простого* гострайтера.
#MLSD #book #writing
Женя Истомин – человек, который ещё 3 года назад предвидел потенциал больших языковых моделей и их будущее влияние на нашу жизнь (что мы только-только наблюдаем сейчас).
Помню как вчера, как мы, работая в X5 Group, разговаривали на кухне WeWork, и он рисовал Мне в воздухе: Ну смотри, вот, слева – бизнес-требования (текст), вот, справа – код (текст), а вот между ними – условная GPT-N, которая превращает текст в текст. Выходит, что программисты в уравнении (как и многие другие должности) со временем окажутся не нужны. На что Богдан что-то бормотал про системное мышление, аналитические навыки, понимание продукта и т.д.
В четверг в 17:00 по Москве мы с Женей в формате LIVE-стрима обсудим, как языковые модели меняют и продолжат менять модальность нашего мышления, на что мы будем натравливать вычислительные мощности своего мозга.
Что будет происходить, когда LLM станут не только рациональнее и стабильнее, но и более креативными и гибкими. Возможно, мы создаём технологию, которая ускоряет наше "взросление", делая осуществление наших желаний (нашей "потенции") более простым и эффективным. Но не окажется ли она слишком беспощадной к тем, кто отстает на этом пути?
УСЛОВИЯ ТВОРЧЕСТВА
[делюсь заметкой 10-летней давности своего давнишнего друга и наставника]
I. ВНУТРЕННИЕ УСЛОВИЯ
1. Уникальность
Наличие одной, но лучше — нескольких — систем уникальности в генетической программе, т.е. неустранимых отличий от большинства.
2. Гибкость
Гибкость в восприятии информации — т.е. генетическая мета-сеть должна быть достаточно широкой, чтобы вбирать в себя новые и новые сети чувств, понятий, отношений и т.д. Главное – это не только интеллектуальная гибкость, но и эмоциональная.
3. Рискованность
Рискованность – пониженный инстинкт самосохранения. Отражение уникальности и смелости в одном стремлении – преодолевая преграды, проверять себя на прочность.
4. Настойчивость
Смелость в реализации уникальности – отдельный параметр, не обязательно уникальный, так же определяемый генетикой (возможно, уровень агрессивности, чувство величия и т.д.).
5. Антихрупкость
Умение жить в неопределенности, в динамике – дерзости, крайности, сомнения, острая конкуренция мотиваций. Развитая интуиция.
II. ВНЕШНИЕ УСЛОВИЯ
1. Хаос
Нестабильная, вынуждающая к самостоятельным решениям обстановка.
2. Актуальная информация
Наличие информации, отражающей и поддерживающей уникальность инстинктивной формы (заполнение релевантными фактами, книгами и т.п.).
3. Негативные стимулы
Негативные стимулы (то, чему сопротивляешься) – имеют своим источником неустойчивую обстановку, точнее, лежащие в ней и дурно пахнущие островки стабильности – традиция, мораль, религия (абсолютная стабильность достижима только на кладбище). Заставляют неистово жить и вечно обновляться.
4. Группа единомышленников
Наличие малой группы, способствующей развитию, группы равных.
III. ОБРАЗ ЖИЗНИ
1. Изоляция
Постепенная изоляция и концентрация из-за возрастающих требований к миру.
2. Метафоры
Расширение метафорического мышления – «творить каждый миг».
3. Динамика состояния
Постоянная перемена состояний – «раскачивание из стороны в сторону».
IV. ЭТАПЫ ТВОРЧЕСТВА
1. Сужение диапазона поиска
Определение направления поиска гипотезы. Метод проб и ошибок, риск, прорывы в разные стороны.
2. Интуитивный выбор гипотезы
Возрастающий риск, дерзость предположений, бури метафор и чуткое прислушивание к себе.
3. Экспериментальная проверка
Проверка гипотезы научными методами.
На днях, 22 июня, Симулятору ML стукнул ровно 1 год. За этот год мы построили большое дружное коммьюнити, кратно увеличили количество и качество задач (которые студенты просили больше всего), открыли новое направление пет-проектов, и продолжаем дополнять его всё новыми задачами, кейсами, инструментами.
В этой связи, как автор Симулятора ML, хочу лично пообщаться с теми, кто к нам ещё не присоединился, но есть мысль, желание или план это сделать в будущем; либо вы хотите узнать о продукте больше (включая B2B для вашей команды). Напишите пожалуйста Мне в ЛС (@uberkinder), задам буквально пару вопросов.
Режим дня. Какой у вас режим дня? Как он меняется от дня недели? Напишите в комментариях.
P.S. Интересует не столько время сна, сколько какое время дня и какие дни недели уделяете работе, спорту, самообразованию, социальной жизни.
Пара метафор
• Объём нагрузки: дел, задач, информации, которые нужно обработать, опыт, через который нужно пройти, решения, которые нужно принять – это входные данные (пища для ума).
• Наш мозг, как и модель машинного обучения, имеет ограниченное capacity, объем сигнала на единицу времени который она может пропустить / эффективно обработать.
• Чтобы не распылять attention модели и не вызывать расхождение лосса при обучении, нужна регуляризация в виде дисциплины (диета для ума). Дисциплина – это привычка говорить «нет» краткосрочным выгодам (в т.ч. своим желаниям) ради долгосрочных бенефитов.
P.S. Хорошая новость: мозг как мышца тренируется и планку уровня стресса, на котором он продуктивно функционирует, можно поднимать. Помните что мышцы растут во время отдыха, а не во время перманентного стресса.
https://youtu.be/IMm5nk19MMc
Выложена запись Q&A вебинара про Симулятор ML, где Я рассказываю про наше новое направление развития продукта, командные pet-проекты, и делюсь своим Vision развития Симулятора на ближайший год
P.S. К сожалению, первые 30 минут ушли в /dev/null 😃
Об эго/самооценке/ЧСВ
• Любой из нас – это объект класса Человек. Самооценка – это приватный атрибут класса. Снаружи лезть в приватные атрибуты и методы класса (set / get) – не по ООП.
• Допустимо судить о человеке строго по его поведению и влиянию на мир: «по плодам их узнаете их». Если импакт человека на мир большой и позитивный, если с человеком комфортно работать – значит человек хороший. Если он приносит больше вреда – значит плохой.
• В голове у него при этом может быть, что он вторая инкарнация Иисуса, или марсианин, или бессмертный 400-летний вампир – это не наше собачье дело. Если это его вдохновляет и даёт ему смысл просыпаться по утрам – пусть верит в это.
P.S. Сам Я наедине с собой не мыслю такими категориями как самооценка, эго и чсв. Для Меня важны внутренние метрики вроде подъёма и спада энергии, метаболизма ума, степени уверенности в достижении поставленной цели. Я даю оценку своим отдельным действиям и извлекаю уроки.
Оценка себя-в-сумме Мне кажется делом хрупким и опасным, поскольку качнись завтра маятник качнется вниз, придёшь в апатию. Здоровый человек имеет статично высокую самооценку как противовес большим амбициям, иначе их вес его раздавит.
P.P.S. Всегда с иронией смотрел на «борцов с эго» – как своим, так и чужим.
Через 45 минут рассказываю как тестировать machine learning код: https://app.spatial.chat/s/ods?room=Be3pxmjDYXkyhbFaVwh5
Читать полностью…
