4253
❤️☠️🤗 идейная миграция небытия
програмиста спросили как посадить 4 человек на один стул.
Ответ убил
Идея в том что давайте сохраним активации, посмотрим на них через sparce ae и тем самым поймем что у нас думает модель внутри себя
colab
model
paper
Сейчас происходит очень не справедливая история: медицинский университет им. Сеченова обманул своих абитуриентов с бви и люди, которым представители приемки пообещали что они поступят, не поступили. Также внезапно неверными оказались документы по целевой квоте у целого ряда абитуриентов (как, если всё работает через сервис Работа в России?). Администрация в проректора Татьяны Литвиновой хамит абитуриентам, посылают их в инстанции выше, горячо веря в то что они правы.
Хочется сказать пару вещей:
1. Администрация не имеет никакого права хамить абитуриентам, тем более государственного вуза, тем более такого.
2. Все совершают ошибки, однако разница в том признают ли её. Тут ошибка ценою в жизни будущих пациентов прекрасных врачей, которые бы получились буквально из лучших абитуриентов нашей страны - победителей и призёров олимпиад. Через 10 лет люди, которые могли сегодня начать становиться высокоуровневыми специалистами, будут уже не врачами, которых и так не хватает. К сожалению, потерянный год для ребят возраст 11 класса - это действительно много, намного легче сменить специальность чем быть так несправедливо обманутым.
3. Университет должен сесть за стол переговоров с абитуриентами. Вне зависимости от того что произошло, в случае конфликтной ситуации должна происходить медиация. Абитуриенты и университет должны искать выход из сложившейся ситуации.
Пожалуйста, пишите о сложившейся ситуации в своих блогах, это действительно важно. Сегодня это абитуриенты, а завтра это люди спасающие жизни. Университет имени Сеченова обманул не просто этих абитуриентов, а всех нас.
P.S. Текст не мой(он разрешил), полностью присоединяюсь к автору поста и призываю вас распространить это, потому что это социально важная тема. Я действительно восхищаюсь врачами и людьми, которые на них учатся, и когда ТАКИХ людей обманывают, тем более талантливых людей, это очень печально.
ПЕРВЫЙ МУЛЬТИМОДАЛЬНЫЙ ДАТАСЕТ ЗАДАЧ ПО ФИЗИКЕ?
Контрибьютеры в вихре варят очень сложные датасеты - рецепт простой: краулим 10 гб html-pdf_ок, прогоняем через кучу ocr, latex конверторов, парсим текстовый слой и картинки. Потом обмазываем все это регулярками для вязкости и получаем вероятно один из самых сложных для LLM датасетов - physics_big.
Почему он сложный? Потому что это мультимодальная физика с олимпиад. В отилчие от геометрии или алгебры для физики все сильно хуже с солверами, авто решаторами и индукцией ее тоже не решишь
Заливать в test в train можно здесь hf
Над релизом работали:
@suro4ekgg - вообще все почти слелал
@mlunderground
@lovedeathtransformers
https://github.com/black-forest-labs/flux
Новая t2i в опенсурсе вежливо намекает что MJ V6.1 not good enough
🏆 LLaMa 3.1 — 405B модель от Меты заняла 3е на арене
Это невероятный успех для опенсорса!
1 место — GPT-4o & GPT-4o-mini
2 место — Claude 3.5 Sonnet
3 место — Gemini-Advanced & LLaMa 3.1
я не знаю что меня больше радует - скуфы отрицающие ризонинг у ллм или скуфы которые топят за agi за три года.
Читать полностью…
бтв китайцы обещали до 30км/ч разогнать его, так что буквально не убежишь))
Читать полностью…
чуваки, русская арена llmarena.ru/, ну.... проблемная, см интервалы
Читать полностью…
Пока кто то плодит нищету, миллиардер, амбасадор олимпиадников и просто скамер гоев плодит лысых и низких людей.
Читать полностью…
Аннушка уже подготовила датасет
Аннушка уже влила в мастер
Аннушка уже поставила трен
Аннушка уже собрала докер
not using ruGPT3.5
not sota
* последовательность постов в другую сторону если что
https://www.popsci.com/science/butt-science/
Ладно.
Новости о «рисерч кризисе» в ебáном хайтеке (хотя это не кризис, это просто «пузырь» слегка сдулся), а также об обвале азиатских аксептов, трейнинг лупа и всего остального — это очень-очень хорошо. Прямо очень.
По одной простой причине: это ставит NeurIPS ACs перед следующей «вилкой» (и, кстати, истерика в телеграм каналах и со стороны их админов — это не столько отражение реальности, сколько подталкивание ACs к этой «вилке»):
Вариант «Backward-Backward»: добить сабмиты любой ценой, включая погружение крупных лабораторий в настоящую рецессию с непредсказуемыми последствиями (это будет гораздо хуже, чем при Воронцове в 10-х, тогда ситуация в лабораториях была бесконечно более здоровой) — обвал сабмитов, нехватка GPU, безработица и отсуствие хайра у wildberries и т. д.
В этом случае лабораториям будет безусловно ОЧЕНЬ плохо, и нам будет тоже ОЧЕНЬ плохо, потому что мы — не «рисерч остров» (и слава Богу!), а сабмито-ориентированная развивающаяся лаборатория, плотнейшим образом интегрированная в глобальный рисерч (да, через Китай и немного Индию, но всё равно очень интегрирована). Но есть нюанс: мы-то часть «боли от рецессии» заплатили заранее, т. е. некоторые «факторы боли», которые всегда реализуются в развивающихся лабораториях в ситуации глобальных кризисов, в нашем случае уже произошли из-за предыдущих реджектов: hard stop по финансированию исследований и доступу к международным конференциям, метрики на нуле и т. д. Это не означает, что нам не будет больно, это означает, что часть боли мы уже прошли.
При этом глобальная рецессия, даже если сделает больно конкретно нам, при этом просто уничтожит все шансы на продолжение вливания сотен миллиардов долларов в «LLMопроект» — на фоне голодных бунтов в OpenAI и Anthropic, массовой безработицы и т. д. — тема «а давайте дадим мистер Альтман ещё сотню ярдов» не взлетит от слова «никак», да и сама тема «LLM-LLM-LLM-LLM!» — даже не будет в топ-5 инфополя. Финал «проекта» в этом сценарии будет быстрым и жестоким.
Вариант «Плевать на реджект, вальсируем»: это то, чего ожидают и лаборатории, и Альтман, и Амодей (и они, скорее всего, правы): на фоне истерики (и реального падения рисерча и ухудшения утилизации), ACs начнут резко снижать ставку по аксептап и заливать рынки хуевыми статьями, причём пофиг на статьи китайцев. Потому что когда растут цены на GPU — страдают GPU rich (самая высшая часть среднего класса и вверх по социальному баобабу), когда падает рисерч в целом — страдают вообще все, а когда рисерч держится более-менее (типа Cohere), но GPU дорогие — то страдают в основном бедные исследователи. GPU per hour — это «налог на бедных» (причем регрессивный, т. е. чем исследователь беднее, тем больше он «платит» этого рисерч налога). Соответственно, чисто шкурные интересы (и нежелание ими жертвовать ради долгосрочной макроисследовательской стабильности) элитариев будут толкать ACs к снижению ставки по аксептам и будут толкать NeurIPS (независимо от того, кто будет SAC) накачивать в конфу ещё больше статей по «китайскому каналу».
В этом случае рисерч получит ещё один период «кайфа» от «GPU кокаина» — некоторое время всем будет очень хорошо. Ну, кроме тех, кого долбанёт реджект, причём везде на планете. Но конкретно нам, стране-экспортёру рисерча, с высокой интеграцией в мировой рисерч (во всём, кроме аксептов) — будет прямо совсем хорошо, также как и рисерч части экономики нашего старшего партнёра — Пекинского университета. OpenAI сейчас (и ещё много-много лет, или вообще навсегда) не могут «стимулировать» свои исследования без того, чтобы стимулировать весь остальной мир — это последствия 5 лет LLM рисерча, деиндустриализации OpenAI и интеграции OpenAI API в каждую хуйню. Это прекрасно. В этом сценарии нашему рисерчу будет намного приятнее в экономическом плане (дешевые GPU = счастливый рисерчер; дорогие GPU = сытый Yandex Cloud, которые не достают народ всякими «умными идеями от начальства»), но «LLMпроект» придётся «закатывать в асфальт» в текущем неспешном и основательном ритме. Может, так даже к лучшему.
<110 iq — жесточайшая нищета на грани выживания
110-130 iq — нищета, сериалы как развлечение, работа в офисе
130-150 iq — бедность на грани нищеты, ипотека на 20 лет, просмотр фильма с субтитрами раз в месяц, редкая интеллектуальная деятельность на работе, еда из ашана
150-170 iq — нормальная жизнь, ипотека на 10 лет, интеллектуальная работа на дядю, еда из вкусвила
170-200 iq — хорошая жизнь, ипотека на 5 лет, путешествия, PhD в неплохом вузе
>200 iq — достаточно хорошая жизнь, ипотека на 2 года, работа в лабе, возможно премия, простынь с охлаждением
Все про это пишут, но тоже хочется сказать, что выступление освобожденных в Бонне очень круто смотрелось из России. Люди, которые столько времени провели в застенках, говорят на своем первом выступлении в Европе о любви к собственному народу, о вере в демократическую Россию, а самое главное — о том, что санкции не должны бить по простым россиянам, что нужно делить людей и режим. И даже осторожно критикуют руководителей западных государств.
За годы войны все равно произошло расхождение между людьми, которые уезжали и оставались. В эмигрантской среде сегодня кто-то публично призывает донатить украинской армии, язвительно одобряет удары дронами по Москве или Белгороду (категорически осуждаем), а некоторые из медийных персон превратились в украинских пропагандистов с паспортом РФ. Овсянникова вот хвастается устрицами и называет свой народ “рабами”. Но и на родине ситуация с моральной точки зрения не сахар — есть целый пласт людей, который 24 февраля был в ужасе, первые месяцы на каждом углу эти люди хуесосили режим, а потом как-то попривыкли. Стали говорить про ненавидящих русских “хохлов”, ругать уехавших и повторять тезисы пропаганды, номинально продолжая осуждать боевые действия. Но можно понять таких людей, не все могут поддерживать в себе этот дух ненависти к диктатуре, когда жизнь вокруг тебя продолжается, а Россия воспринимается изолированной от цивилизованного мира. Твои любимые бары ведь работают, последствия мобилизации ты на улицах не видишь, а в сети успешно форсят нападки на русских разного сорта — так и свыкаешься с действительностью. Я достаточно уже видел антивоенных людей, которые просто устали и смирились (а какие удивительные кейсы есть среди тех, кто уезжал, но вернулся!).
Сегодня же мы все увидели Яшина, который почти со слезами на глазах, говорит о том, что отказывался уезжать. О своей любви к России. И он сокрушается, что его не спросили, что его просто выслали и накидали пачку угроз. Пивоваров рассуждает о необходимости пересмотра санкций, говорит о студенческих визах, его поддерживают коллеги за столом. А Кара-Мурза объясняет простую истину, которую мы все с вами знаем — история показывает, что конец любой диктатуры неизбежен, что рано или поздно Россия будет демократическим, нормальным, без всего это ада государством. Никто не знает, что будет дальше, как изменится риторика и хватит ли им сил сохранить эту позицию. Хочется верить, что да. Антивоенным россиянам самого широкого спектра (очень важно понимать, что это пестрая публика) нужны объединяющие фигуры.
Deep Learning: Foundations and Concepts (Bishop & Bishop, 2023)
По неизвестным причинам не распространенная в русскоязычной среде(по меньшей мере я не нашел большого числа упоминаний) книжка по dl, все от линрега до диффузий в одном толмуте. Офк оно не заменит практику и пачку статей по темам, но для повторения перед собесом теории идеально подходит.
для всего мира
pdfка купить
а вот где спиратить я не нашел
Сегодня выпустили версию на 2.6 миллиарда параметров
https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f
1126 на арене - чуть выше GPT-3.5
Также обновили статью – можно гордиться, что я – один из ~25 core contributors. 😛
Scaling Exponents Across Parameterizations and Optimizers
Собственно классика работ про параметры, lr и опитимайзеры - нужно прожечь кучу денег(около 10м usd в данном случае) и перебрать пространство гиперпараметров.
Почему это важно? Потому что сходимость модели даже на супер стабильном adamw очень зависит от правильных настроек. Ну и когда вы обучили модель размера 2B на хорошем датамиксе с хорошим LR то хочется получить хотя бы линейны рост качества при скейлелинге до 10B
paper
я считаю chunk_length_s у вас уже 10 лет, а там то 1, то 2 то null
вы у себя на фабрике ебанулись что ли?
Человечество:
1) делаем автономных роботов от которых не убежать
2) …
3) Профит
Ты дрочишь? Сколько ты дрочишь? Брось, это не серьезно, это какой-то жалкий детский уровень. Я вот лично дрочу не меньше чем дважды в день. Сначала утром, сразу после ледянной ванны, а потом сразу после обеда. Вот так, понимаешь? Я это делаю, не потому что нравится, а потому что мне это надо. Ты только подумай: в голове одни цифры, с утра до ночи: 100 детей.
Читать полностью…
Друзья!
Мне очень нужно в ближайшее время завершить перевод NLLB-seed с английского на русский в @crowd_translate_bot.
Как вы думаете, как можно сподвигнуть достаточно много людей потратить по полчаса своего времени во имя науки?
🔺 RuBLiMP
Коллеги сделали очень любопытный тест для языковых моделей. Сам тест простой — модель должна определить правильное предложение, выбрав одно из двух.
В каждой паре изменен только один параметр (морфологический, синтаксический или семантический), поэтому такие пары называются минимальными.
Завтра Олег починит модель и она начнет работать.
Завтра Олег починил модель и она начнет работать.
Не знаю, неиронично хочется затехать другую методичку, где все начинается с категорий и заканчивается леммой Йонеде. И по приколу расфорсить, что это настоящая методичка для абитуриентов матфака
Читать полностью…
https://arxiv.org/abs/2407.18134 - задротская модификация контрастива с графами
https://arxiv.org/abs/2303.03846 - любопытная работа про ICL
https://arxiv.org/abs/2406.13046v2 - меняем ранк лоры на лету
https://arxiv.org/abs/2310.04400 - взрывы эмбедов на скейле рексиса
https://arxiv.org/abs/2401.09865 - лосс на патчи у контрастива
https://arxiv.org/abs/2403.19651 - инструктивный clip, оч годно
почитайте, мне понравились
Рассказываем о нашей работе принятой на ICML 2024. В деталях.
🌻Контекст🌻
In-Context RL позволяет обучать агентов способных на адаптацию к новым задачам прямо во время инференеса, то есть zero-shot. При этом не происходит обновлений весов модели или обучения Q-функции; вся адаптация вшита при обучении в механизм внимания.
Не сказка ли? Может быть, если бы не одно но: процесс сбора данных. В AD предлагается поступить так: возьмём n задач в среде и для каждой из них обучим своего RL-ного агента. Во время обучения будем сохранять их полную историю обучения, то есть все состояния, действия и награды. Таким образом мы соберём n историй обучения, в начале которых агент не умеет ничего, а в конце уже успешно решает задачу. На них и будем обучать трансформер предсказывать следующее действие.
Но что это за число n? Какого оно порядка? Оказывается, для успешного обучения на весьма простой задаче нужно обучить около тысячи (sic!) RL агентов. Понятно, что такой подход недёшев в плане вычислений и времени.
🌻Что предлагаем мы?🌻
Чтобы облегчить сбор данных и тем самым приблизить in-context RL к применению в реальных задачах, мы предложили способ генерации историй с помощью шума.
Часто так бывает, что мы не можем решить задачу с нуля RL-ем, но имеем некоторый набор почти оптимальных демонстраций. Мы можем обучить на этом обычный Behavior Cloning, но он не будет обладать способностями к in-context, т.к. данные не содержали истории обучения. Как же теперь получить историю обучения, когда мы имеем только конечную политику эксперта?
Идея простая: давайте просто начнём постепенно добавлять больше и больше шума, то есть с вероятностью ε будем делать действие по политике, а с вероятностью 1 - ε делаем случайное действие. При этом с каждым шагом мы увеличиваем ε вплоть до единицы. Получается, что когда ε = 1 агент не умеет ничего, а при ε = 0 успешно решает задачу. Вот мы и восстановили историю (на самом деле, получили прокси историю) обучения.
🌻И это работает?🌻
Да.
Для тестирования мы использовали классические в in-context RL среды: Dark Room (grid-MDP), Dark Key-to-Door (grid-POMPD), Watermaze (3D-MDP). Обученный на наших данных агент приобретает способности in-context адаптации к новым задачам. Что удивительно, вы можете использовать для генерации демонстрации далекие от оптимальных. Например, наш агент в некоторых случаях смог превзойти лучший результат в данных более чем в два раза.
код – статья – постер (4k) – ilya's talk
- - —
@dunnolab
