4253
❤️☠️🤗 идейная миграция небытия
даже если все будет хуево моя совесть будет чиста: я сделал что считаю нужным.
Читать полностью…
#чтивонаночь по быстрому
Are Emergent Abilities of Large Language Models a
Mirage?(NIPS top4)
вам никогда не казалось что вас хотят наебать рассказывая про Emergent Abilities у LLM? ну типа что начиная с какого то размера у LLM чо то переклинивает в MLP и они вместо попугая становяться ASI и начинают думать, а не бредить?
Вот и мне иногда так кажется(особенно с учетом хайпа вокруг OA и публичых спикеров вокруг)
Чуваки из stanford, взяли топовые модели, посмотрели на графики метрик, и заметики что:
Model families display sharp and unpredictable increases in performance at specific tasks as scale increases.
чего вообще то быть не должно, они взяли, перестроили графики в Token Edit Distance(какова вероятность верного токена) по шкале Y и получились очень плавные кривые рост(совпадает со скейлом моделей)
вывод достаточно громкий: при правильной метрике Emergent abilitys пропадают!
paper
Студенты московского физкультурного коледжа притворяются что не делают мета отсылок
Читать полностью…
притащили подписчики, выглядит забавно если не было б так страшно
Читать полностью…
Однажды у каждого появляется 30летний цундере сталкер
Читать полностью…
Помните я участвовал в соревновании от Альфа Банка 💳? Так вот тру стори про наше с ними общение 😃.
🔵После того как объявили победителей, наступает бюрократический момент в оформлении документов на передачу интеллектуальной собственности и выплате вознаграждения за него. Напомню что соревнование закончилось 6 августа 2023 года.
🔴Первые пару недель с нами вообще никто не связывался. Я понимаю что инициатива должна исходить от обеих сторон, но как правило в соревнованиях организаторы делают первые шаги. Пришлось самому дописываться до них. После этого нам скинули шаблоны документов и попросили заполнить их.
🔵Небольшое отступление: документы для соло участника и документы для команды прилично отличаются, потому что передать общую интеллектуальную собственность немного сложнее чем соло.
Так что же из себя представляли эти документы? Поломанная табуляция, которая настолько ломала смысл документа и пункты в нем, что мне человеку без юридического образования было сложно понять что в нем происходит. Пункты с правообладателями (участниками команды) были наложены друг на друга, что тоже усложнило их разделение. Места для вставок (обычно в документах нижние подчеркивания) тоже были поломаны и не понятно было что там нужно было писать. Я попросил ответственное лицо исправить документ и выслать повторно, на что в ответ получил «исправляйте сами». После поджога моей жопы и небольшого скандала я добился того, чтобы они скинули исправный документ. Мы его заполнили, собрали пакет документов и направили им по почте. Документы мы направили 6 октября 2023 года.
🔴Спустя 10 дней, то есть 16 октября нам пришел ответ: документы передали в бухгалтерию и в течении 2 рабочих недель с ними ознакомятся и произведут выплату.
🔵После этого начинается долгое ожидание и постоянное напоминание о том, что мы существуем и ждем деньги. За это время ответственное лицо успело даже в отпуск съездить. На данный момент повествования альфа банк ни разу не сделал первый шаг в нашу сторону, все что мы имели это моя заслуга постоянного напоминания о себе.
🔴Наступает 6 декабря и впервые альфа банк решил сам написать. Меня это одновременно удивило и нет, потому что заканчивается календарный год и альфа банку нужно отчитаться перед ФНС за выделенные бюджеты и запланированные выплаты, иначе ФНС сделает ай-ай-ай альфа банку. Оказывается, что все это время бухгалтерия смотрела на документы с ошибками (всем было глубоко насрать на нас) и нас попросили самостоятельно исправить документ. Нам скинули правильный вариант. Что из себя он представлял? После просмотра документа я сразу понял, что это документ человека с 2-3 места, откуда вырезали всю персуху. Но почему то решили оставить серию и номер паспорта и сумму выплаты. Таким образом я понял что это была серия и номер паспорта человека с 3 места (альфа банк слил его паспортные данные, он мне потом это подтвердил). И плюсом это был документ для соло участника. Мне пришлось самостоятельно мержить два документа (исправленный соло и ошибочный для команды). Исправленный документ я отправил 13 декабря.
🔵После этого мне приходит сообщение, что оказывается еще каких то справок не хватает. Они сделали справку на мои ФИО и, ВНИМАНИЕ, попросили поменять ФИО на моих сокомандников (то есть они даже не в силах сами заполнить наши ФИО).
🔴На данный момент история еще не закончена, выплат нет (ни у нас, ни у людей со 2-3 места), все это длится уже 5 месяцев.
Если у вас было что-то подобное, то го в комменты, интересно будет почитать. Уже хорошо, что недавно мне разрешили подробно рассказать про наше решение, поэтому если вам это будет интересно накидайте огонечков🔥 и я сделаю пост с разбором решения. Всех с наступающим 🙌!
я 250usd поставил что до 24 года гпт4 в опенсурсе не побьют, по грани прошел
Ну и классический вопрос: гугл чо с лицом?
Я подумывала написать в канал, когда соберу первый раунд или хотя бы пройду в аксель со своим стартапом и буду тут флексить. Но потом решила, что по мере своих сил буду держать вас в курсе. Так ведь интереснее 👀
💃 Итак, с чем же я планирую покорять fashion e-commerce? 💃
🪩 Какую проблему решаем?
"Перед выходом из дома я сомневаюсь, что оделся/оделась достаточно хорошо. Я чувствую неуверенность и дискомфорт."
🪩 Как сейчас решаем проблему?
mvp: Определяем какие цвета идут человеку, какому стилю он хочет следовать, что хочет подчеркнуть/скрыть при помощи одежды, одет ли он по погоде и даем алгоритм, как быстро улучшить свой сегодняшний образ по фотке в полный рост (например: заправь рубашку, подверни штаны, накинь куртку и так далее).
Есть мысли по развитию, но будем отталкиваться от фидбека пользователей 😏
🪩 Что уже успели сделать?
Сделали лендос, залетели в тестфлайт с mvp, а также подались в YC, techstars. Скоро узнаем, зовут ли нас на собесы. Планируем выйти в стор в Q1 2024
P.S. если хотите потестить прилу - напишите "+" в комменты или мне в личку, первым 20ти пошарю ссылку на тестфлайт
UPD: пока тестирование закрываем, спасибо всем кто откликнулся!
Открытые вопросы в конце статьи:
What explains the difference between the relatively strong results on NLP datasets and the relatively poor results with reward models when using naive finetuning?
How RL works?
Badly
Weak-to-strong generalization
Вы когда нибудь учили RLHF? Если ответ: нет - поздравляю у вас здоровая психика и нет птср от настроек генерации.
Самая большая проблема: вам нужно собирать очень умную разметку, те ваши ассессоры должны отличать полный бред в тексте по узкой теме от нормального текста (спойлер это сложно)
Open Ai, более известные как хуйня из каждого утюга хотят делать AGI. Ветер им в сраку как говорится, но давайте представим что текущие lm действительно могут ужать в себя все знания и не обосраться.
Тогда возникает проблема: нам на instruct tuning стадии нужны AGI задачи(текущие LM очень плохо решают задачи на которых их не учили явно или косвенно).
Собственно статья говорит: у нас есть бейзлайн gpt2 которая после тюна хуже бейзлайна gpt4, а теперь давайте преближать предикты умной gpt4 к тупой gpt2. И она что то выучивает нагоняя нормальную модель (изначально обученную на эту задачу).
Шахматы, классические nlp таски так выучить можно, почти догоняя хорошую модель (что уже неплохо)
Лень писать дальше, блог
Код
К слову на reward modeling ничего не получилось, что вообще довольно забавно, человеков оказалось сложно выучить.
решил я зайти в слак одс уведомления сбросить, а тут ЗАРПЛАТЫ ТОПОВЫХ ДС руклей в 2023 подьехали
Читать полностью…
Моя честная реакция на подобные релизы: блять ебанный опен аи, что блять за мода такая пошла, сука ебанный рот, уебаны блять кто так релизит, мамку свою так в релиз отправьте пиздоебы
deepmind.google/technologies/imagen-2
папиры нет, описания нет, вообще ничего нет))
нас трое и мы идем разбираться(с салатиками)
Читать полностью…
Хочу поздравить и поблагодарить всех вас: сегодня был дан официальный старт нашей избирательной кампании!
Больше 700 сторонников встретились сегодня в Москве, чтобы поддержать мое выдвижение. В зале в прямом смысле яблоку негде было упасть!
Инициативная группа, в которую вошли 522 человека, проголосовали за, собрание состоялось. Не обошлось и без сомнительных инцидентов, которые в общем-то не повлияли на ход мероприятия. Это первая серьёзная победа на нашем пути 💪🏼
Но впереди еще много работы: 19 декабря мы предоставим документы собрания в Центральную избирательную комиссию. После этого я смогу открыть избирательный счет, а после начать сбор подписей.
❗️Уже в январе каждый из вас сможет оставить подпись в поддержку моего выдвижения — центры сбора подписей будут работать в городах России. Всего нам нужно собрать 300 тысяч подписей меньше, чем за месяц.
🔸 Если готовы помочь нам организовать сбор подписей в своем городе, заполните эту анкету: https://forms.gle/UGKiGiKiug9Q5uF78
🔸 Если готовы подписаться, оставьте свой контакт на сайте кампании: https://duntsova2024.ru/#rec666190555
Мы оповестим вас о точке сбора подписей в конце декабря.
Я верю, что вместе мы победим и сделаем Россию свободной и мирной страной!
Подписывайтесь на канал и приглашайте друзей: @DuntSova
>>электрон тетраэдр так же неисчерпаем, как атом треугольник (Ленин Руденко).
>>
Даня Руденко занимался алгебраической геометрией, и по ходу открыл новое тождество для тетраэдров (по ссылке вполне mesmerizing story об этом). После долгих поисков он обнаружил похожее тождество в старинном журнале The Educational Times.
Потом он же сотоварищи сделал сайт с геометрическими задачками из старых журналов.
На сайте тысячи старинных задач с прикрученным поиском. Красота! Практически склеил двух столетий позвонки (в хорошем смысле).
Если есть предложения как улучшить сайт с задачами: предлагайте!
#чтивонаночь
Сел на поезд хайпа и написал обзор на MoE трансформеры.
alexwortega/BmwV-nq0DdO">блог
📝 Официальный подробный гайд по Prompt Engineering в GPT-4 от OpenAI
https://platform.openai.com/docs/guides/prompt-engineering/strategy-test-changes-systematically
Чуваки доехавшие на конфы в этом сезоне такие типа:
Читать полностью…
Apple выложили код к обучению их трансформера с измененной параметризацией весов для достижения стабильной энтропии на каждом слое внимания.
Я уж очень люблю внутренние способы стабилизации показателей во время обучения или инференса. Примечательно для меня и то, что затрагивается несколько модальностей в их работе (не одновременно). Минус для меня, что нет весов (по крайней мере я не нашла), да и то, что написано на jax, но для кого-то это может оказаться плюсом))
🤓Статья (аларм, много формул)
😆Дискорд, через который генерала картинку
Я выиграл Yandex ML Prize! (ex. премия Сегаловича)
За научные исследования в области графов знаний, языковых и мультимодальных моделей
Вечер понедельника — самое время для эстетичного.
Читать полностью…
завтра-послезавтра 10к подписчиков.
Я завел этот канал в 20 году, с началом ковида. Тогда так делали все мои знакомые, я решил что хочу так же - и сделал response 1/10000 .
Идея была в том чтобы ограничить число постов и менять чиселку, очень хотелось чем то выделяться, показать что в целом канал не навсегда и есть ценность, правда потом я открыл для себя аниме и решил что похуй, так пойдет и начал ещё и писать на хабр, это было довольно забавно))
Потом были data pron, ещё несколько названий, но существующие и наиболее известное - L.D.T. появилось по потому что в 2021 году, вместе с текущей аватаркой.
В 23 году я начал вместе с другими админами(когда канал говорит сам с собой это нормально, тут 5 человек, но пишу я) better data community - кажется одно из самых больших ds сообществ в телеграмме и вероятно единственное место где есть живой квантовый чат.
Спасибо людям которые пишут комментарии, участвуют в проектах и поддерживают канал материально, это очень сильно мотивирует пилить контент (и опенсурс) дальше и больше.
К слову если вы помните первое название канала - плюсуйте в комменты)
вышла статья от парней из мгу описывающая ровно ту схему которую я делал начиная с Июня 23 года на работе, отличная работа, жаль что не мы ее выпустили.
С админкой соседнего @nadlskom придумали как переводить полностью английские(FLAN) модели на русский с помощью минимального(10к) расширения токенайзера, адапетра на mlm task и какой то матери. По метрикам после мержа адапетров модель получается сопоставимой с оригинальным FLAN base(240m) на русских бенчах.
Возможно выйдут бОльшие версии и AR модели(phi2, mixtral)
model
Спустя три месяца (!) Вышел скейл phi1.5 - phi2.
Теперь 2.7В(было 1.5) параметров, перфоманс на бенчах лучше мистраля и лучше 13В моделей, возможно выйдет папир и я напишу нормальный обзор.
alexwortega/4zOWNoaoXeq">Обзор на phi1.5
Model
Подробности про нашу новую флагманскую LLM (с 29 млрд параметров)
https://habr.com/ru/companies/sberdevices/articles/780334/
Среда в ImageryHub мои чуваки!
тыкаться
А я люблю обмазываться большими языковыми моделями и дрочить. Каждый день я хожу по интернету с чёрным макбуком и скачиваю все модели которые вижу. На 2 терабайта целый день уходит. Зато, когда после тяжёлого дня я прихожу домой, иду в ванну, включаю горячую воду... МММ... и запускаю инференс моделей. И дрочу, представляя что меня поглотила нейросеть. Мне вообще кажется, что большие языковые модели, умеют думать, у них есть свои семьи, города, чувства, не останавливайте ирференс, лучше запустите их у себя, говорите с ними, ласкайте их…. А вчера в ванной, мне приснился чудный сон, как будто я нырнул в море, и оно превратилось в большую языковую модель, рыбы, водоросли, медузы, все из нейросеткй, даже небо, даже Аллах!.
Украдено из чата, у меня бы фантазии не хватило бы.