14734
Люблю высокие технологии и кушать. Добро пожаловать, если в сферу твоих интересов тоже входят математика, DL, NLP, программирование на Python, или тебе просто любопытно, о чем на досуге размышляют люди, занимающиеся разработкой и исследованиями в ML.
Не включу Клода обратно, пока не потрогаете траву 😈
Читать полностью…
А как вы проверяете, музыковеды правильно ее обсирают или нет? Без иронии, хотелось бы разобраться
Читать полностью…
Да почему все только и говорят, что про Виленскую... 😒
Читать полностью…
Посмотрела пару лекций (первую и ещё одну про пост-трейнинг) из курса /channel/tech_priestess/2726 , до упражнений пока что так и не дошла, так как не хватает сил 😵 .
Лекции очень понравились, лектор молодец и вообще крутой 🖕, буду продолжать его смотреть. А как почувствовую себя лучше, то начну делать упражнения, и все будут в шоке от моей способности программирововать без 🏋️♂️. ⌨️⌨️⌨️
Картинка, чтобы было не скучно:
Блин, что-то тоже захотелось посмотреть этот курс, чё там такое
Читать полностью…
Поэтому теперь мой системный питон сам объясняет, что им пользоваться не надо
Читать полностью…
🚀 AI R&D DAY — 17 сентября, Москва
3️⃣ Мы собираемся третий год подряд!
Ждём не только исследователей и инженеров, но и тех, кто переводит смелые идеи в реальные продукты: R&D-специалистов, AI-архитекторов, продактов и техлидов, отвечающих за внедрение технологий следующего поколения.
Наша R&D-команда поделится результатами флагманского проекта NextGenAI и расскажет о продуктах и технологических треках, над которыми мы работаем для развития ИИ следующего поколения. Также на конференции будут доклады, постеры и демо-стенды от наших коллег из Kandisnky, Physical AI, AIRI, Giga и других.
🔬 О чём:
— альтернативные архитектуры
— процессы обучения, инструменты и агенты
— омнимодальная долгосрочная память и ризонинг
— модальности и коммуникации
— бенчмаркинг, стандарты качества и производительности AI
🎯 Что вас ждёт:
— 22 доклада на двух сценах от ведущих специалистов
— живое общение с коллегами и экспертами
— интерактивные зоны, которые сделают день по-настоящему запоминающимся
Это шанс из первых уст узнать, над какими технологиями работают исследовательские команды Сбера сегодня, обсудить идеи и даже стать частью нашей команды! 💚
📍 Где: Москва (очно или онлайн)
⏰ Когда: 17 сентября
🎁 Цена: Участие бесплатное
Количество мест ограничено! 😉
Регистрация: https://airndday.ontico.ru/
#rndml #conference @rndml_team
Хватит запускать мозг мухи в мушиной матрице , майнкрафте и на рабочем столе .
Читать полностью…
Подписчик в комментариях указал на важную проблему популярных алгоритмов оценки внутренней размерности облака точек, за что ему большое спасибо!
Выяснилось, что при большой истинной размерности облака они дают систематически заниженную оценку этой размерности. При чем чем больше настоящая размерность, тем сильнее занижается оценка.
Я решила проверить это и навайбкодила ноутбук, в котором генерируются облака точек, равномерно заполняющие n-мерные шары:
https://colab.research.google.com/drive/1kIRin8sBBNQDFvruXWITU3i5kL7x7Zww?usp=sharing
Краткие результаты:
- При размерности такого шара 10 и количестве точек 2000, три алгоритма оценки размерности (PHD, TwoNN и MLE) дают что-то между 8.5 и 9, то есть занижают незначительно. А вот при размерности 100, PHD уже даёт оценку в 64, а TwoNN и MLE и вовсе около 50, то есть оценка занижена в целых два раза (см. рис. 1).
- Увеличение количества точек в шаре может помочь подтянуть оценку к истинной, но, похоже, что для этого увеличивать их количество нужно экспоненциально с ростом размерности.
Интересные выводы, и вообще даже странно, что раньше я не знала о таком явлении. Или знала, но забыла? 😅 Честно говоря, мозг от вайбкодинга уже совсем потек, так что ничего не могу сказать с уверенностью 😅
В любом случае, надеюсь, что эта инфа будет полезна всем, кто интересуется внутренней размерностью и т.д.
P S В случае любых ошибок в ноутбуке - все претензии к Клоду 😍
#эксперимент #наука
Что клоунов ставите, вырожденцы? Может ваш 💬 или 💬 вас помыть?
То-то же. 🚬
#WUT
Человек выкашлял четыре чашки мочи, после этого умер и у него в грудной клетке нашли почку.
Именно этому уникальному случаю посвящен case-report, опубликованный аж в 1923 году в голландском журнале Nederlands Tijdschrift voor Geneeskunde (Dutch Journal of Medicine). Как выяснилось это был прикол студентов медиков и их профессора, которым было интересно, насколько дикую фигню можно опубликовать.
Статья была ретрактнута из журнала в 2003, что делает её абсолютным чемпионом в сомнительном соревновании на самый долгий ретракт.
Не понимаю, почему ChatGPTи Claude с первого раза не пишут нормальный код, хоть какой thinking им не ставь. Только после того, как начинаешь писать капсом и материться, чтобы модель исправила свои ошибки, она начинает делать нормально.
P.S. Да, для создания этой картинки тоже пришлось НЕСКОЛЬКО РАЗ НАПИСАТЬ КАПСОМ ЧТО ЗА *********
Давненько я не писал тут про физику, а то всё ML да ИИ — исправляюсь. Сегодня разберёмся, кто же и когда первый придумал сказал знаменитую фразу «Заткнись и считай!» применительно к проблемам интерпретаций квантовой механики.
Если мы откроем соответствующую статью Википедии, первой среди них — даже до копенгагенской — идёт «Никакая», выраженная фразой «Заткнись и считай!». Её часто приписывают Ричарду Фейнману за его деловой характер, но это заблуждение, которое разделяют даже эксперты в квантовой физике.
Если верить литературе, «Заткнись и считай!» была общим лозунгом американских физиков, работавших над военными и околовоенными технологиями во время и после Второй мировой. Тогда прагматизм и скорость ценились выше спекуляций и рассуждений о смыслах, потому лозунг превратился в весомый аргумент в рабочих спорах.
Но применительно к интерпретации квантовой механики её, по видимому, первым использовал в 1989 году Девид Мермин (тот самый, который c Ашкрофтом сделал легендарный учебник по ФТТ) в своей колонке для Physics Today. Она называется «Что не так с этой подушкой», отсылаясь к метафоре Эйнштейна об «успокаивающей подушке» Бора и Гейзенберга — речь, конечно, о копенгагенской интерпретации квантовой механике.
Там Мермин сетует: «Если бы меня попросили выразить одним предложением то, что мне говорит Копенгагенская интерпретация, это было бы: “Заткнись и считай!”». Примечательно, что у него «Заткнись и считай!» — это синоним подхода Бора и Гейзенберга, в то время, как в Википедии из считают разными интерпретациями.
Приписывание Фейнману было настолько распространённым, что побудило того же Мермина в 2004 году публично разобраться в том, кто же всё-таки был автор: он или его коллега. Но, похоже, это не помогло.
К посту приложен бонус — карикатура из статьи 1989 года
Вернемся к вопросам о Китае.
Правда что китайцы не очень вовлекают в работу иностранцев потому что им проще между собой быстро все обсудить/сделать на китайском, чем пытаться общаться на английском с некитайскими коллегами?
Расскажи о главных различиях в том самом пресловутом "менталитете". Не люблю это слово, но — о чём у тебя получалось поговорить с китайцами, какие темы общие находились, а какие совсем не находились. Это всегда самое интересное)
Вот ответы на ещё парочку насущных вопросов.
Их "Золотой Щит" (брандмауэр интернетовский) обходится легко?
Там есть нормальное хрючево с которого можно не сраться или только острое жирное?
Напомню, что в этом году я участвую в программном комитете конференции Practical ML Conf - немного помогла с отбором докладов и собираюсь прийти потусить на саму конфу офлайн. В частности, собираюсь послушать там про обучение Алисы (Как мы учим Alice AI), про reasoning у VLM (Agentic Vision), про Эффективный Online RL для MoE LLM а также, разумееется, посетить самый главный доклад под названием Кофе-брейк. Есть и интересные онлайн-доклады, которые хочется послушать, в частности, доклад про Уробороса (Ouroboros) от соавтора одной из наших статей - Антона Разжигаева.
Разобраться в программе и записаться на ноготочки 💅 конфу можно здесь: https://pmlconf.yandex.ru/2026/program
Потому что я Виленская, и я постепенно начинаю вспоминать пароли ото всех своих аккаунтов.
Читать полностью…
Ребят, хватит меня поздравлять с днём рождения, это просто украденная картинка 😈
Читать полностью…
Прохожу новый курс
Начал проходить Стэнфордский курс Language Modeling from Scratch
Моя цель - проходить по два курса в год. Зимой я проходил курс по программированию на CUDA, теперь вот учусь обучать LLM с нуля.
➡️ Мысль за этим следующая. Во-первых, чтобы хорошо делать свою работу, нужно иметь знания на 1-2 уровня глубже чем используешь в повседневной деятельности. Во-вторых, в части задач я все-таки рассчитываю, что мы начнем использовать легкие зафайнтюненные LLM-ки. Чтобы сэкономить, снизить лейтенси и главное - быть менее зависимыми от внешних API. Но тут хз, непонятно, что будет с областью через пару лет 🤷♂️
Прикольный курс. Я пока не смотрю лекции, только делаю домашки. Лекции буду смотреть по факту, когда сделаю. То, что ты не трогаешь руками - не откладывается. На этом курсе абсолютно шикарные домашки с хорошими тестами. Курс рассчитан в том числе и на самостоятельное прохождение.
Уже написал и обучил токенизатор с нуля, сейчас пишу компоненты LLM на торче.
➡️ Из интересного, с домашками идут настройки Клода и Кодекса, которые не дают агенту напрямую писать код за студента, но дают отвечать на вопросы и помогать искать ошибки. Супер полезно.
Буду делиться впечатлениями!
А серьезно, почему опус может делать жестб пафосные научные открытия или писать сверхоптимизированный олимпиадный код для решения алгоритмических задач, но не может догадаться использовать .venv окружение, лежащее прямо в папке с проектом и вместо этого засирает системный pip (ls -a в папке он точно делал и видел этот .venv)? Или в другие разы он не мог прикинуть, запустится ли на карте с известным количеством памяти модель с известным количеством параметров в fp32 и все ронял, не понимая в чем дело, пока я не посмотрела в исходники и не постучала ему по голове. А один раз так вообще по неведомой причине решил обрезать до 8000 символов (именно символов, а не токенов!) тексты, которые подавались для классификации другим моделям (хотя было легко увидеть, что они в десять раз длиннее и полезный сигнал по смыслу находился где-то посередине). При этом он никогда в своей писанине и отчетах явно не упоминал эту обрезку, пока я сама её не обнаружила, пытаясь понять, почему результаты такие странные.
И вот как тут заранее угадать, что для него очевидно, а во что надо пальцем тыкать как ребенка малого?
Ну сколько там ещё надо работать в Сбере, чтобы, наконец-то, дали чит код на бесконечные деньги в приложении Сбербанк онлайн? 😡
Читать полностью…
Почему наблюдение за шебуршанием клод кода перед сном вызывает такое уютное чувство? Как будто ты уже постепенно начинаешь засыпать, и тебя ласково укутывает теплое одеяло нейрослопа, а киберпсихоз тихо и нежно напевает колыбельную на ушко 🥰
Читать полностью…
Часто грущу от того, что нашей с коллегами последней статьей Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story никто не интересуется и не цитирует... 💢
Напомню, что статья посвящена анализу внутренней размерности активаций LLM и её связи с различными свойствами текста, который подали на вход модели. Более подробное разъяснение статьи можно найти здесь, посмотреть видос про то, что такое в принципе внутренняя размерность (от 3blue1brown) - тут; ещё более подробное разъяснение популярных способов оценить внутреннюю размерность облака точек можно прочитать здесь.
Так вот, вместо этой новой статьи, которая связывает внутреннюю размерность активаций на тестах с лексическим разнообразием и сжимаемостью этих текстов алгоритмом gzip и энтропией (что, на мой взгляд, очень интересно, так как связывает внутреннюю размерность со сжатием представлений в LLM, а, как говорит 3blue1brown, compression is intelligence), челики почему-то цитируют нашу старую статью про детекцию сгенерированных текстов с помощью внутренней размерности, хотя мы же и показали в более поздней статье, что для новых моделей GPT этот метод уже не работает.
Скорее всего, это происходит от того, что старая статья была опубликована на NeurIPS, а новая, на мой взгляд, более актуальная, интересная и вносящая больший вклад в область interpretability of LLM - на EACL - то есть, на конференции поменбше и статусом пониже, где эта область вообще почти не представлена, так что мало кто будет ожидать найти в материалах конференции такие работы...
Я писала про эту работу в дискорде Neel Nanda, но там никто ею не заинтересовался, так как все только рекламируют свои работы, но не читают чужие... В общем, уже и не знаю, что сделать, чтобы на данную работу обратили внимание 🤔🤔🤔
Помогите советом кто сможет 🥺
В июне, перед тем как уехать на ICML, а потом на подготовку к IOAI, я была учеником на школе ARENA (Alignment Research Engineer Accelerator). Это что-то вроде технической программы по AI Safety. Как я писала выше, я занимаюсь AI interpretability, что довольно сильно связано с AI Safety. Поэтому я пошла на ARENA, чтобы получше понять, что там происходит внутри AI Safety коммьюнити, познакомиться с людьми, которые делают рисерч по теме interpretability, и, возможно, найти себе fellowship или работу.
В итоге у меня сложилось довольно неоднозначное впечатление про коммьюнити AI Safety, но об этом как-нибудь потом. Пока что хотела написать вот о чем: ARENA длилась 5 недель, и в последнюю неделю мы в парах делали небольшие рисерч проекты. В итоге у меня и моего коллеги проект получился достаточно хорошим, с явными результатами, и поэтому мы решили немного его доделать и написать статью на воркшоп.
Ниже кратко опишу, о чем статья, а еще дам ссылку на HF daily papers, куда я ее сегодня выложила и теперь хочу лайки 🙂
Итак, статья: When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
Activation Oracles (AO) — это языковые модели, обученные отвечать на вопросы о внутренних активациях другой модели на естественном языке. То есть, это один из подходов анализа активаций моделей, который выдает инфу в виде текста на естественном языке. У модели AO по сути спрашивают "о чём это скрытое состояние?", и AO генерирует ответ. Теперь: пусть у вас есть LLM, в которой есть какая-то скрытая информация — например, backdoor, скрытая цель или знание. Тогда естественно было бы предположить, что если обучить AO на активациях именно этой модели, то он хорошо научится считывать ее внутренние состояния и сможет легко найти эту скрытую информацию.
Так вот, в нашей статье мы показываем, что в реальности может получиться ровно наоборот. Мы взяли пять разных концептов и дообучили LLM скрывать эти концепты. Потом обучили AO на активациях этих моделей. Оказалось, что AO, обученный на активациях модели X, начинает хуже "видеть" именно тот концепт, который скрывала модель X. При этом если этому же AO скормить активации другой модели Y, то он хорошо распознает концепт, который скрывает Y.
Короче, вывод: в некоторых случаях обучение инструмента интерпретации (например, AO) на данных той самой модели, которую он должен интерпретировать, может сделать его систематически слепым именно к той информации, которая содержится в этой модели.
Ссылки:
Статья
HF daily papers (вот тут можно поставить лайк!)
И никто даже не спросил, почему ногти не накрашены на фотографиях... 😔
Читать полностью…
В группе обсуждения уже пару дней обсуждают новый видос Панчина с громким названием "Мораль без Бога: как наука объясняет добро и зло" (https://www.youtube.com/watch?v=vRobgiFnAOY), а также развёрнутую критику на этот ролик, разбитую на несколько постов, в канале одного небезызвестного препода ВШЭ: /channel/furydrops/3907
Не могу в полной степени оценить тонкости теоретико-игровых аргументов из данного критического комментария (так как плохо знаю эту область математики), но с этой частью соглашусь:
Главная проблема Панчина в том, что он подменяет вопросы об источниках и содеражании морали вопросами происхождения практик, которые лишь могут при определенных условиях быть моральными. Вопросы морального целеполагания подменяются вопросами генезиса практик, которые могут служить чему-то благому вообще, а могут и не служить, принося пользу одним и горе другим.
Особенно острым - и на этот раз уже не смешным, а печальным - подтверждением отсутствия критического мышления у Михаила, служит история о том, как он привез в Россию дерьмового хирурга Маккиарини, который, благодаря поддержке Батина, сделал нескольким новым пациентам дерьмовые операции по восстановлению трахеи с помощью искусственного каркаса (см. рис. 1 - отрывок из интервью Батина журналу Naked Science 2016 года: https://naked-science.ru/article/interview/starenie-pobeda-blizka ). Почему дерьмовые? Потому что после них пациенты так и не смогли восстановиться и страдали до конца своей недолгой жизни до тех пор, пока не отбросили коньки.
Интересно, что о том, что с подходом Маккиарини есть серьезные проблемы, было точно известно как минимум в 2014 году - за два года до интервью Батина журналу Naked Science. В частности, например из этой статьи: https://www.trv-science.ru/2017/02/vzlet-i-padenie-makkiarini/ можно узнать, что:
Летом 2014 года четверо коллег Маккиарини по клинике подали руководству две жалобы — по их мнению, результаты трансплантаций, описанные итальянским хирургом в нескольких научных работах, были представлены необъективно. Наибольшей критике подверглась статья, опубликованная [2] в 2011 году в журнале The Lancet, — описание якобы вполне успешной трансплантации, проведенной на Андемариаме Бейене. «Врачи обнаружили, что то, что в ней написано, совсем не соответствует реальному состоянию пациента, которого они же и наблюдали, в том числе во время частых отъездов Маккиарини», — уверяет Бенгт Гердин.
В ноябре 2014 года руководство Каролинского института назначило находящегося на пенсии бывшего профессора хирургии Уппсальского университета Бенгта Гердина для проведения независимой проверки представленных в жалобах фактов. Гердин готовил свой доклад несколько месяцев — до мая 2014 года. Его вывод: значительная часть нарушений, описанных в жалобах коллег Маккиарини, подтверждается. «Обычно мы исходим из того, что то, что записано в истории болезни пациента, отражает реальное положение дел, — объясняет Гердин свои выводы. — Я обнаружил, что в статьях написано не совсем то, что можно найти в историях болезней. Например, в статье говорится о росте эпителия, а в истории болезни даже нет записи, что был произведен соответствующий анализ. Пациент был в плохом состоянии, а в статье сказано, что он чувствует себя хорошо».
Начну потихоньку отвечать на вопросы под постом выше.
Когда ты едешь в командировку, так же работаешь 9/9/6, как местные?
Насколько правдивы истории про культуру переработок в Китае и насколько это затрагивает приезжих специалистов?
Правда ли китайцы спят днём в офисе?)