4253
❤️☠️🤗 идейная миграция небытия
Корпоративная культура и бесплатные обеды
Многие компании покупают лояльность начинающих спецов простыми хаками - когда ты на втором курсе бесплатный обед в красивом офисе весомый аргумент чтобы выбрать компанию R а не B, а там глядишь и проработает десяток лет без вылазно, сами вырастим, потом ипотеку поближе к работе поможем взять, а это ещё лет на 10.
Ладно, я гиперболизирую, но суть понятна.
А дальше начинаются увлекательные финты: ну это, мы тут тебе акций отсыпем(сумма < Годового оклада) ну там на коэф надо поработать, тут команду потыкать. - если вы редкий специалист или перформите значимо лучше других.
А обычно: обеды по бейджу и 5% скидка на подписку на Психолога (самого дешёвого)
А потом ты узнаешь что коллега умирает в 32 от инсульта.
В компании забудут и забьют, умер и умер, неприятно конечно, тасочки в джире двигать некому будет, ну да ладно, наймут нового зубастого или кому то работы подкинет. Похуй, так поедет.
Лояльность компании не оплачивается, вас бросят с вашими проблемами как только вы перестанете быть выгодным.
Не работайте на выходных.
Не думайте по ночам как улучшить ваше суб оптимальное решение.
Бессовестно украдено из старого чата канала.
И когда 7b стало small language model
Читать полностью…
Привет!
Хочу запоздало поделиться релизом OpenMetricLearning (https://github.com/OML-Team/open-metric-learning) 2.0!
Это библиотека для тренировки deep learning моделей, представляющих ваши данные как вектора.
А ещё, у нас есть зоопарк предобученных моделек для картинок, DDP, много примеров и доков.
Что нового в релизе?
- Переехали на PyTorch 2.0 (было изи) & Lightning 2.0 (было больно)
- Уменьшили количество зависимостей, которые ставятся через pip
- Сделали стабильную поддержку всех актуальных версий Python: теперь CI/CD гоняет тесты на всём -- 3.8 , 3.9, 3.10, 3.11
- Пофиксили мелкие неприятные баги, причесали документацию, упростили запуск пайплайнов на публичных датасетах (InShop, Stanford Online Products, CARs, CUB)
Надеемся, что все эти изменения сделают OML более удобным для вкатывания.
Ваши ⭐️ на GitHub очень приветствуются!
Мы с корешами на защите проекта в школе:
Читать полностью…
Доехал релиз mj v6
- т5 как энкодер, твердо и четко
- 2.7x быстрее(кэшинг? lcm?)
#чтивонаночь по быстрому
Челы из apple придумали sliding window c предиктером какие веса грузить и это ускорило инференс во много раз!
Папир
Фэйлы на собесах: 2023 edition
#career #interview #fail
Тут в описании канала говорится, что он в том числе про фэйлы. Так что надо поддерживать темп фэйлов. В предыдущих сериях:
- “Статистика моих собесов в 2022”
- “Cобесы в Яндекс и Амазон и куча советов от непрошедшего”
- “Пока туповат для 400к/год на удаленке”
- “Собес с HuggingFace в 2019 и бодрое тестовое”
Картинка ниже – авторства Бори Зубарева (placement: проверьте его X-LLM для файнтюнинга LLM, вдруг зайдет), которую он мне скинул после поста про неудачные собесы в 2022.
Погнали:
- Uber, Senior Applied Scientist – прошел один собес, сказали, закрыли саму вакансию (и правда, звучало подозрительно, что это синьор без подчиненных);
- eBay, Principal Applied Scientist (Gen AI) – прошел HM, а вот миддл решил меня погонять по своей боевой задаче – всякие bi-encoders, cross-encoders в задаче предсказания ключевых слов для объявлений. Причем копал глубоко. Я в теме про семантический поиск, слежу за проектом коллег, но тут прям реально глубоко... если сам не ковырял, не ответишь. Ну да, и хотел production-опыт RLHF 😳 Удачи! Надеюсь, нашли такого.
- LLM researcher в устоявшийся стартап – команда крутая, много GM-ов, все прошел, услышал много комплиментов, а дальше отмазу, что “мне у них будет не интересно”, расстался с довольно странным ощущением, как будто не знают, что хотят (еще один сильный чел, все тот же Боря Зубарев то же самое от них услышал)
- 2 хардкорных HFT-фонда - в одном домашка на дебаггинг PyTorch-кода не зашла, в другом почти идеально решил алгоритмическую задачу, но к концу 4-го часа начал тупить с ML-ной задачей. Денег там, конечно, море, но и work-life balance хромает, и C++… В-общем, тут я сам не дотягиваю.
- наконец, Amazon, Applied Scientist да в Амстере, прошел снова всю хурмомятню из 7 собесов. В этот раз, в отличие от 2022 года, до матча с командой не дошло, услышал стандартный минимальный фидбек, что bar raiser-у что-то не понравилось в одном из ответов.
Ну, как Би-2 поет, “Я двигаюсь дальше”, благо текущие задачи очень интересные, да что-то из сторонних проектов тоже заходит. По собесам из “успехов” на данный момент только отклик другого бигтеха на мой холодный заброс резюме, готовимся к еще одной мясорубке из семи собесов.
Жду ехидные комментарии с отсылками к этому посту про менторство. Делаю шаг на опережение: у моих менти дела идут отлично, лучше, чем у меня 🙂 Один менти устроился так, что сам меня собеседовал 😂, второй, мой друг, скоро переезжает в Нидерланды, третий – на финальных этапах с тем же Амазоном, четвертый получил оффер в долине (правда, уже там находясь). Еще четверо в процессе. А сапожник пока без сапог, беру откровенностью (а новых менти все равно пока не ищу).
Хороших вам фэйлов, таких чтоб с градиентами. Ну и любая череда фэйлов когла-то заканчивается, чего всем и желаю. Если очень упорно подкидывать монетку, она таки упадет нужной стороной.
Расширенная версия с примерами вопросов на собесах: пост.
midjourney v6 > dalle3
foxes running away from a nuclear explosion with a fighter jet overhead and mushrooms in the foreground
вообще очень интересно что у них с текстовым энкодером, прошлые версии были на CLIP, а вот что с будущей хз(т5?)
Хочу поздравить и поблагодарить всех вас: сегодня был дан официальный старт нашей избирательной кампании!
Больше 700 сторонников встретились сегодня в Москве, чтобы поддержать мое выдвижение. В зале в прямом смысле яблоку негде было упасть!
Инициативная группа, в которую вошли 522 человека, проголосовали за, собрание состоялось. Не обошлось и без сомнительных инцидентов, которые в общем-то не повлияли на ход мероприятия. Это первая серьёзная победа на нашем пути 💪🏼
Но впереди еще много работы: 19 декабря мы предоставим документы собрания в Центральную избирательную комиссию. После этого я смогу открыть избирательный счет, а после начать сбор подписей.
❗️Уже в январе каждый из вас сможет оставить подпись в поддержку моего выдвижения — центры сбора подписей будут работать в городах России. Всего нам нужно собрать 300 тысяч подписей меньше, чем за месяц.
🔸 Если готовы помочь нам организовать сбор подписей в своем городе, заполните эту анкету: https://forms.gle/UGKiGiKiug9Q5uF78
🔸 Если готовы подписаться, оставьте свой контакт на сайте кампании: https://duntsova2024.ru/#rec666190555
Мы оповестим вас о точке сбора подписей в конце декабря.
Я верю, что вместе мы победим и сделаем Россию свободной и мирной страной!
Подписывайтесь на канал и приглашайте друзей: @DuntSova
>>электрон тетраэдр так же неисчерпаем, как атом треугольник (Ленин Руденко).
>>
Даня Руденко занимался алгебраической геометрией, и по ходу открыл новое тождество для тетраэдров (по ссылке вполне mesmerizing story об этом). После долгих поисков он обнаружил похожее тождество в старинном журнале The Educational Times.
Потом он же сотоварищи сделал сайт с геометрическими задачками из старых журналов.
На сайте тысячи старинных задач с прикрученным поиском. Красота! Практически склеил двух столетий позвонки (в хорошем смысле).
Если есть предложения как улучшить сайт с задачами: предлагайте!
#чтивонаночь
Сел на поезд хайпа и написал обзор на MoE трансформеры.
alexwortega/BmwV-nq0DdO">блог
📝 Официальный подробный гайд по Prompt Engineering в GPT-4 от OpenAI
https://platform.openai.com/docs/guides/prompt-engineering/strategy-test-changes-systematically
Чуваки доехавшие на конфы в этом сезоне такие типа:
Читать полностью…
Apple выложили код к обучению их трансформера с измененной параметризацией весов для достижения стабильной энтропии на каждом слое внимания.
Я уж очень люблю внутренние способы стабилизации показателей во время обучения или инференса. Примечательно для меня и то, что затрагивается несколько модальностей в их работе (не одновременно). Минус для меня, что нет весов (по крайней мере я не нашла), да и то, что написано на jax, но для кого-то это может оказаться плюсом))
🤓Статья (аларм, много формул)
😆Дискорд, через который генерала картинку
For Distillation, Tokens Are Not All You Need
Mrigank Raman, Pranav Mani, Davis Liang, Zachary C. Lipton
Статья: https://openreview.net/pdf?id=2fc5GOPYip
Новости дистилляции. Статья с воркшопа Instruction Tuning and Instruction Following на NeurIPS 2023.
TL;DR Авторы предложили метод дистилляции LLM под названием SLIM, использующий значения топ 5% логитов для дистилляции на каждом шаге декодирования + динамическое взвешивание KL/CE лоссов. Результат лучше классической дистилляции, SFT и MiniLLM. Метод скейлится до учителей размером ~70B.
Если поглубже, то современные LLM доросли до огромных размеров и часто используются для аннотирования и генерации инструкций для файнтюнинга малых моделей. Классика файнтюнинга при этом -- supervised fine-tuning (SFT), дообучение на новых (сгенерированных) текстах как на hard labels. Мы знаем, что этот метод несёт сильно меньше информации о распределении, чем мог бы (/channel/gonzo_ML/1911).
Дистилляция уже используется для LLM (и многие маленькие LLM получаются из больших, та же Gemini вроде как) и с ней есть сложности. Например, маленькая модель может быть недостаточно выразительной, чтобы покрыть все моды распределения учителя.
Недавний метод MiniLLM (https://arxiv.org/abs/2306.08543) заменяет forward Kullback-Leibler divergence (KLD) на reverse KLD, чтобы предотвратить переоценку студентом низковероятностных регионов распределения учителя. Там для обучения использовался RL, что добавляло сложности. Текущая работа всё упрощает и улучшает, подход назвали SLIM (Sparse Logit Infused Modeling).
Идея проста. Давайте по нашему датасету для обучения через модель-учителя создадим датасет логитов (выходы нейронов без применения функции активации). Для каждого токена в последовательности получаем соответственно V (размер словаря) значений, это будут soft targets. Проблема с таким подходом, что это требует дофига места. Для уменьшения требований предлагается взять только 5% максимальных логитов для каждого токена, остальные считать нулями, так получаются разреженные логиты.
Дальше запускаем процедуру дистилляции (для тех, кто забыл как это работает, можно почитать тут /channel/gonzo_ML/118), где в качестве целей берутся soft targets и лосс, являющийся взвешенной суммой обычного кросс-энтропийного лосса (CE) и традиционного KL лосса. Вес KD лоссу даётся зависящий от соотношения логита учителя и студента, таким образом он получается адаптивным и у KL компоненты больше вклад, когда у учителя больше уверенность в предсказании, чем у студента.
Подход проверили на задачах следования инструкциям. Оценивали по Rouge-L и через фидбек от GPT-4. Сравнивались с SFT на hard labels и MiniLLM, для обучения использовали 7B модели LLaMA, LLaMA 2, MPT, учитель был 13-30B. SLIM даёт результат лучше бейзлайнов. SFT вообще хуже всех.
Затем проверили на downstream задачах: ARC, Hellaswag, MMLU, TruthfulQA. Здесь сравнивались с SFT на LLaMA 2 70B в качестве учителя и Llama2-7B в качестве студента. Тоже лучше.
Также проверили генерацию данных для предобучения. Взяли Pythia-6.9B и сгенерили ей датасет текстов + 5% логитов. Затем обучили случайно инициализированную Pythia-160M на подвыборках датасета разного размера. По графику перплексии показали, что SLIM более sample efficient, чем SFT и обычная дистилляция. Я тут не до конца понимаю, что именно они всё-таки под обычной дистилляцией подразумевают, более классический KL лосс чтоли и без топ 5%?
Anyway, просто и эффективно. Метод вроде не сильно отличается от классической дистилляции, не назвал бы его радикально новым, по мне так скорее итеративное улучшение. Интересно, как сами OpenAI, Гугл и остальные внутри себя модели дистиллируют. Есть ли большая разница.
в сегодня лет я узнал о существовании gradient_penalty для diffusion
Читать полностью…
тред статей 2023
закидывайте статьи с которыми по вашему мнению должны ознакомиться спецы из других областей
Zero1
Zero2
Zero3
Анимешники ебучие в Microsoft работают короче.
Новый Брокен Дэнс — про Муджуса 💗
Для меня «Downshifting» Муджуса всегда будет тем альбомом, с которого в российской музыке официально закончились 2000-е и начались 2010-е.
Я прекрасно помню «Афишу» с Романом на обложке, где было написано, что он новый Цой (фотография, кстати, Гоши Рубчинского). Покадрово знаю клип «Выздоравливай скорей». И благодарен людям, которые почти целиком засняли для ютуба выступление Муджуса на Пикнике-2011 — неровное, неидеальное, стеснительное, но хорошо схватившее энергию Романа в тот момент.
Мне всегда нравилось думать про этот альбом как про отложенную смску, которая дошла до адресатов («адресантов», сказал бы Муджус) сильно позже, но вдохновила целое поколение следующих музыкантов (от Петара Мартича до Куока) на собственные опыты с песнями.
Про все это рассказываю в новой серии «Базы». Таким выпуском не стыдно закончить год, но закончу все-таки другим.
Спасибо главному евангелисту Муджуса в России Саше Горбачеву за то, что принял участие в видео. Подписывайтесь на его канал @musicinanutshell и слушайте его прекрасный подкаст «Он увидел солнце».
Приятного просмотра!
https://youtu.be/kHAzkHYVNYg
Я сам знал много математиков, они все реально шизанутые. У них реально с головой не все в порядке, потому что они живут в каком-то своем мире, мире цифр. Они не разбираются вообще, что происходит в обществе, они не разбираются в политике например. Вспомните, есть ли хоть один политик, особенно революционер, который бы был математиком. Таких просто нет. Например, Ленин он был юристом, Че Гевара он был врачом. И ни одного революционера не было математика, ни одного! И это связанно именно с чертами характеров таких людей, потому что математики они полностью аполитичны. Поскольку произвести они ничего не могут, они полностью не способны к ручному труду, например. Им нужно чтобы за ними кто-то ухаживал, они большие дети, которые без помощи там мамы (обычно они живут с мамой до 50 лет) сами ничего сделать не могут.
Математика это совершенно не наука, абсолютно бесполезное хобби. Это люди, которые вот в силу своего характера, не хотят работать, не хотят бороться против капитализма за светлое будущее, им наплевать на всех людей. Они вот замкнуты в своей голове, и в своей голове они сидят высчитывают. Математика это переливание из пустого в порожнее.
Вот доказал ты какую-то теорему, кому нужна эта теорема? Что она дает людям? Да ничего она не дает, это просто разминка для ума и интеллектуальный онанизм, и вот математики они всю жизнь занимаются онанизмом и считают, что это нормально. Математики это вот реально зло, как и математика, математика это реально зло. Ее надо запретить, она приводит к тому, что люди сходят с ума.
Вот мужчины математики это да, это вот с лохматыми волосами сумасшедший профессор, который там может обоссаться и не заметить, и ходить в ссаных штанах, потому что он математик, он решает примеры. Математика это способ заставить народ отказаться от социальной борьбы. Если занять мозг человека этими бессмысленными вычислениями, то у него не остается времени и просто ресурсов мозга, мыслей не остается, чтобы задуматься - а почему нас угнетают капиталисты?
И ведь смотрите, это рассчитано именно на умных, на элиту, не на маргиналов. Как маргинализировать умного, талантливого, гениального человека? Заставить математикой заниматься! И причем смотрите, какая мощная манипуляция получается: он будет считать что он великий ученый, что он занимается наукой, он будет всем говорить - вот, смотрите, какой я пример решил, какую задачу решил, какой я умный. И он не будет понимать, что он просто поонанировал интеллектуально, и вся его эта задачка она не нужна, понимаете, просто не нужна.
В советские годы тоже насаждали математику, чтобы народ меньше занимался свободомыслием, и вот этот спор из 60ых годов про лириков и физиков. Физики, вас гораздо меньше, вы единицы, вы маргиналы, и вы не нужны. Победа будет за лириками, за теми, кто хочет любить, кто хочет чувствовать, кто хочет быть человеком, а не вычислительной машиной.
Заберите свою математику, и засуньте ее себе в одно место, и не пихайте ее нам - нам она не нужна!
Выпустили первую стабильную версию Tensorflow-GNN 1.0! 🎅
TF-GNN – библиотека для графовых нейросеток, которая ориентирована на гетерогенные графы и суровый продакшн. Для этого релиза я работал над алгоритмами обучением без учителя и метриками из нашей статьи. Так, чтоб в проде было хорошо, стабильно 🇷🇺, приятно.
Из забавного – прямо перед выпуском нам сильно вставил палки в колёса керас своей версией 3.0, которая резко оборвала обратную совместимость, а заодно и поддержку нашей библиотеки, забив на релизный цикл TensorFlow и правила релизов в гугле. Я бы за такое давал по жопе, но кто ж меня спрашивает. 😛
не читавшие scaling laws cмеются над моим grad accum=512. Я смеюсь над их метриками.
Читать полностью…
даже если все будет хуево моя совесть будет чиста: я сделал что считаю нужным.
Читать полностью…
#чтивонаночь по быстрому
Are Emergent Abilities of Large Language Models a
Mirage?(NIPS top4)
вам никогда не казалось что вас хотят наебать рассказывая про Emergent Abilities у LLM? ну типа что начиная с какого то размера у LLM чо то переклинивает в MLP и они вместо попугая становяться ASI и начинают думать, а не бредить?
Вот и мне иногда так кажется(особенно с учетом хайпа вокруг OA и публичых спикеров вокруг)
Чуваки из stanford, взяли топовые модели, посмотрели на графики метрик, и заметики что:
Model families display sharp and unpredictable increases in performance at specific tasks as scale increases.
чего вообще то быть не должно, они взяли, перестроили графики в Token Edit Distance(какова вероятность верного токена) по шкале Y и получились очень плавные кривые рост(совпадает со скейлом моделей)
вывод достаточно громкий: при правильной метрике Emergent abilitys пропадают!
paper
Студенты московского физкультурного коледжа притворяются что не делают мета отсылок
Читать полностью…
притащили подписчики, выглядит забавно если не было б так страшно
Читать полностью…
Однажды у каждого появляется 30летний цундере сталкер
Читать полностью…
Помните я участвовал в соревновании от Альфа Банка 💳? Так вот тру стори про наше с ними общение 😃.
🔵После того как объявили победителей, наступает бюрократический момент в оформлении документов на передачу интеллектуальной собственности и выплате вознаграждения за него. Напомню что соревнование закончилось 6 августа 2023 года.
🔴Первые пару недель с нами вообще никто не связывался. Я понимаю что инициатива должна исходить от обеих сторон, но как правило в соревнованиях организаторы делают первые шаги. Пришлось самому дописываться до них. После этого нам скинули шаблоны документов и попросили заполнить их.
🔵Небольшое отступление: документы для соло участника и документы для команды прилично отличаются, потому что передать общую интеллектуальную собственность немного сложнее чем соло.
Так что же из себя представляли эти документы? Поломанная табуляция, которая настолько ломала смысл документа и пункты в нем, что мне человеку без юридического образования было сложно понять что в нем происходит. Пункты с правообладателями (участниками команды) были наложены друг на друга, что тоже усложнило их разделение. Места для вставок (обычно в документах нижние подчеркивания) тоже были поломаны и не понятно было что там нужно было писать. Я попросил ответственное лицо исправить документ и выслать повторно, на что в ответ получил «исправляйте сами». После поджога моей жопы и небольшого скандала я добился того, чтобы они скинули исправный документ. Мы его заполнили, собрали пакет документов и направили им по почте. Документы мы направили 6 октября 2023 года.
🔴Спустя 10 дней, то есть 16 октября нам пришел ответ: документы передали в бухгалтерию и в течении 2 рабочих недель с ними ознакомятся и произведут выплату.
🔵После этого начинается долгое ожидание и постоянное напоминание о том, что мы существуем и ждем деньги. За это время ответственное лицо успело даже в отпуск съездить. На данный момент повествования альфа банк ни разу не сделал первый шаг в нашу сторону, все что мы имели это моя заслуга постоянного напоминания о себе.
🔴Наступает 6 декабря и впервые альфа банк решил сам написать. Меня это одновременно удивило и нет, потому что заканчивается календарный год и альфа банку нужно отчитаться перед ФНС за выделенные бюджеты и запланированные выплаты, иначе ФНС сделает ай-ай-ай альфа банку. Оказывается, что все это время бухгалтерия смотрела на документы с ошибками (всем было глубоко насрать на нас) и нас попросили самостоятельно исправить документ. Нам скинули правильный вариант. Что из себя он представлял? После просмотра документа я сразу понял, что это документ человека с 2-3 места, откуда вырезали всю персуху. Но почему то решили оставить серию и номер паспорта и сумму выплаты. Таким образом я понял что это была серия и номер паспорта человека с 3 места (альфа банк слил его паспортные данные, он мне потом это подтвердил). И плюсом это был документ для соло участника. Мне пришлось самостоятельно мержить два документа (исправленный соло и ошибочный для команды). Исправленный документ я отправил 13 декабря.
🔵После этого мне приходит сообщение, что оказывается еще каких то справок не хватает. Они сделали справку на мои ФИО и, ВНИМАНИЕ, попросили поменять ФИО на моих сокомандников (то есть они даже не в силах сами заполнить наши ФИО).
🔴На данный момент история еще не закончена, выплат нет (ни у нас, ни у людей со 2-3 места), все это длится уже 5 месяцев.
Если у вас было что-то подобное, то го в комменты, интересно будет почитать. Уже хорошо, что недавно мне разрешили подробно рассказать про наше решение, поэтому если вам это будет интересно накидайте огонечков🔥 и я сделаю пост с разбором решения. Всех с наступающим 🙌!
я 250usd поставил что до 24 года гпт4 в опенсурсе не побьют, по грани прошел
Ну и классический вопрос: гугл чо с лицом?