Пара метафор
• Объём нагрузки: дел, задач, информации, которые нужно обработать, опыт, через который нужно пройти, решения, которые нужно принять – это входные данные (пища для ума).
• Наш мозг, как и модель машинного обучения, имеет ограниченное capacity, объем сигнала на единицу времени который она может пропустить / эффективно обработать.
• Чтобы не распылять attention модели и не вызывать расхождение лосса при обучении, нужна регуляризация в виде дисциплины (диета для ума). Дисциплина – это привычка говорить «нет» краткосрочным выгодам (в т.ч. своим желаниям) ради долгосрочных бенефитов.
P.S. Хорошая новость: мозг как мышца тренируется и планку уровня стресса, на котором он продуктивно функционирует, можно поднимать. Помните что мышцы растут во время отдыха, а не во время перманентного стресса.
https://youtu.be/IMm5nk19MMc
Выложена запись Q&A вебинара про Симулятор ML, где Я рассказываю про наше новое направление развития продукта, командные pet-проекты, и делюсь своим Vision развития Симулятора на ближайший год
P.S. К сожалению, первые 30 минут ушли в /dev/null 😃
Об эго/самооценке/ЧСВ
• Любой из нас – это объект класса Человек. Самооценка – это приватный атрибут класса. Снаружи лезть в приватные атрибуты и методы класса (set / get) – не по ООП.
• Допустимо судить о человеке строго по его поведению и влиянию на мир: «по плодам их узнаете их». Если импакт человека на мир большой и позитивный, если с человеком комфортно работать – значит человек хороший. Если он приносит больше вреда – значит плохой.
• В голове у него при этом может быть, что он вторая инкарнация Иисуса, или марсианин, или бессмертный 400-летний вампир – это не наше собачье дело. Если это его вдохновляет и даёт ему смысл просыпаться по утрам – пусть верит в это.
P.S. Сам Я наедине с собой не мыслю такими категориями как самооценка, эго и чсв. Для Меня важны внутренние метрики вроде подъёма и спада энергии, метаболизма ума, степени уверенности в достижении поставленной цели. Я даю оценку своим отдельным действиям и извлекаю уроки.
Оценка себя-в-сумме Мне кажется делом хрупким и опасным, поскольку качнись завтра маятник качнется вниз, придёшь в апатию. Здоровый человек имеет статично высокую самооценку как противовес большим амбициям, иначе их вес его раздавит.
P.P.S. Всегда с иронией смотрел на «борцов с эго» – как своим, так и чужим.
Через 45 минут рассказываю как тестировать machine learning код: https://app.spatial.chat/s/ods?room=Be3pxmjDYXkyhbFaVwh5
Читать полностью…
На 3-й месяц пребывания на Бали взял байк, теперь про Bus Factor на работе придётся вспоминать в три раз чаще.
Читать полностью…
Подборка статьей для вкатывания в Transformers / LLMs
Добавил все ваши ссылки в свою подборку ML Links, их вышло больше 70. Всем спасибо, отдельная благодарность Игорю @seeallochnaya и Кали @rybolos_channel за их рекомендации.
По мере чтения буду выписывать ключевые идеи в Takeaways + выбрасывать не самые полезные ссылки.
#gpt3 #gpt4 #LLM #transformers #notion #NLP
Составляю для себя список ключевых статей по LLM, какие стоит не забыть?
Ключевые = имеющие не-нулевую вероятность попадания в легендарный список 40 статей Кармаку от Ильи Сутскевера.
UPD. Спасибо, Игорь @seeyouall ❤️
Книга по ML System Design
Говорят, что книга, которая повлияла на тебя больше всего, – та, которую ты писал сам.
Некоторые из вас интересовались, откуда Богдан Печёнкин (он же, он же BOGDANISSSIMO, он же автор Симулятора ML) – так разбирается в дизайне ML систем. Отвечаю: вот уже больше года Богдан принимает участие в написании книги Валеры Бабушкина и Арсения Кравченко. В видео речь о неких 5 главах из 16. А вложил Богдан в это дело более 340 часов.
[Ссылка на книгу]
P.S. После этого каминг-аута жду шуток как трудна и неказиста жизнь *простого* гострайтера.
#MLSD #book #writing
