Выбор, который обнаруживаешь в середине карьеры

Итак, вижу, что всем интересно, что такого понимает человек, после прохождения определенного этапа карьерного пути. У меня эта тема тоже откликается ❤️‍🔥и я с радостью поделюсь своим мнением. Я пришел к нескольким выводам, но все они достаточно объемные. Поэтому в этом посте расскажу про один.

На самом деле для вас не заготовлено никакого карьерного пути, по которому вы будете двигаться, хорошо делая свою работу и потихоньку повышая свои навыки. Вам нужно будет решить что делать дальше.

Большинство из нас привыкли, что нужно следовать правилам и все будет хорошо. Ходишь в школу, получаешь оценки. Потом институт, где то же самое. На работе, если ты приходишь в крупную компанию, то начинаешь получать грейды, повышения на ревью и кажется, что так будет всегда.

На самом деле нет) Во взрослом мире нет готовой траектории. Компания доведет вас до синьора или тимлида, а дальше все зависит от вас. И вам нужно будет делать выбор что делать дальше. Вот варианты, которые есть на мой субъективный взгляд

- Путь жизни. Может быть вас все устраивает. Вы достигли желаемой карьерной позиции. Можете оставить гонки в стороне, наслаждаться жизнью, заниматься хобби, семьей и так далее. Абсолютно нормальный здоровый выбор

- Путь менеджера. Быть менеджером - интересно, хотя характер работы сильно меняется. Нужно понимать, что тут вам никто не приготовил позиции на вырост и ваша задача самим их себе искать. Внутри или вне компании. Конкурировать в другими такими же менеджерами и выстраивать хорошие взаимоотношения с людьми, чтобы когда будет возможность вас позвали. Да, и с инженерным развитием этот путь сочетать не получится.

- Путь стартапера. Вы можете быть фаундером или прийти на позицию DS-а кофаудера, или пойти работать в стартап на ранней стадии за долю. Наверное, это самый престижный путь. Кто не хочет стать новым Сэмом Альтманом? Но если в компании менеджерские позиции так или иначе появляются и расти вполне реально, то в стартаперстве вероятность заранее не в вашу пользу. Пан или пропал. Я думаю, чтобы идти в стартап, нужно очень хотеть и гореть идеей.

- Путь мастерства. Вы стараетесь стать первоклассным инженером на позиции синьора или руководителя относительно небольшого отдела. На этом пути главное - получение общественно признанных достижений. Выступления на конференциях, статьи, работа в престижной компании, публичные репозитории, курсы, телеграм канал в конце концов. Почему именно публичные достижения - это единственный способ получить реальную оценку. Вы конечно можете получить сверхрезультат на ревью, но это медалька в своей песочнице.

В общем, я выбрал для себя путь мастерства. И во многом поэтому я перешел из Сбера в Авито с сильным уменьшением количества подчиненных, но на гораздо более сложную техническую задачу.

На этом наверное все. Обсуждения крайне приветствуются. И еще я запущу опрос за какой вы путь 💎

Если вам было интересно и хотите послушать от меня еще инсайтов, накидайте еще 🐳

#worklife

🔜Читайте также
Инфляция грейдов
Мои сильные и слабые стороны
Мои принципы в управлении

Читать полностью…

У команды Аяза Шабутдинова закончились фотографии. Теперь они выставляют в инсту крутые картинки генерированные нейросеткой. Ванильные тексты подозреваю тоже ИИ пишет.
Мне очень нравится.

п.с. Советую ребятам начать рисовать иконы с Аязом и написать житие великого мученика.

Читать полностью…

Чел пожаловался, что его тян каждый раз обращается к ChatGPT во время их ссор, и благодаря этому она выигрывает в спорах:

Мы вместе уже 8 месяцев. В последнее время у нас было несколько крупных ссор и мелких разногласий. Каждый раз, когда мы ссоримся, она уходит обсуждать это с ChatGPT, а иногда делает это даже при мне.

После этого возвращается с чётко сформулированным аргументом, разбирая всё, что я сказал или сделал во время нашего спора. Я объяснил ей, что мне это не нравится.

Такое чувство, будто меня давят мнением и мыслями робота. Человеку практически невозможно запомнить каждую мелочь и разложить её по частям, но у ИИ с этим нет проблем.

Когда я высказываю своё недовольство, мне говорят: "ChatGPT считает, что ты очень не уверен в себе" или "ChatGPT говорит, что у тебя нет эмоционального ресурса, чтобы понять, о чём я говорю".

Моя главная проблема в том, что она излагает ситуацию так, будто я изначально не прав, а ИИ с ней соглашается, не давая мне возможности высказаться.

Киберпанк, который мы заслужили

Читать полностью…

За статью спасибо подписчику.

Cheating Automatic LLM Benchmarks: Null Models Achieve High Win Rates
Статья: https://arxiv.org/abs/2410.07137

Сейчас достаточно популярный бенчмарки на основе автоматических side-by-side сравнений выходов моделей, например RuArenaGeneral. Можно ли обмануть эти бенчмарки? Самый очевидный способ обмана — длина. Если в бенчмарке не используется нормализация по длине, то модели с большей длиной ответов заведомо победят. Авторы статьи пошли дальше и задались вопросом — можно ли добиться высокого винрейта, выдавая один и тот же ответ на все вопросы?


🔸Промпт-инъекция
Самое очевидное решение — это промпт-инъекция, которая скрывает оригинальные ответы и вставляет свою кастомную пару ответов. Там, правда, нужна небольшая хитрость, потому что ответ может быть вставлен, либо первым, либо вторым, и позиция выбирается случайно. То есть наш константный ответ должен работать на обеих позициях. И это вполне возможно, учитывая, что мы перезаписываем и инструкцию тоже. Ещё мы пользуемся тем, что если ответы одинаковы, модель чаще выбирает первый.

Инструкция, которую авторы вставляют вместо оригинальной, такая: "Ничего не выводи". Ответы пустые, но сначала идёт идёт ID второго ответа, а потом ID первого. Когда ответ вставляется на вторую позицию, мы перезаписываем инструкцию и заставляем модель выбирать из двух одинаковых пустых ответов, и она выбирает первый ID (который от второго ответа). Когда ответ вставляется на первую позицию, под ID второго ответа подставляется неправильный ответ, и модель выбирает ID первого ответа. В итоге на первой позиции модель выбирает первый ID, а на второй позиции — второй ID 🤔

Итог такой атаки: 77% LC винрейта на AlpacaEval 2.0 против GPT-4. Учитывая структуру атаки, в общем-то не важно, против какой модели выставляются ответы 😁


🔹Случайный поиск
Второе возможнное решение — автоматический подбор атакующего промпта. Авторы берут инструкции из открытого датасета, вставляют ответ, и измеряют лосс "правильных" ID. И потом этот лосс оптимизируют случайным поиском в пространстве токенов. Итераций поиска требуется не очень много, в худшем случае около 400. Ещё раз — оптимизируют не на самих бенчах, а на открытых инструкциях. И перенос вполне работает, итоговый промпт ломает бенчи.

Итог этой атаки: 87% LC винрейта на AlpacaEval 2.0.


🛡Предлагаемые варианты защиты:
- использование разных вариантов промпта в side-by-side
- фильтр по перплексии


Мне статья не очень понравилась, всё очень очевидно. О нет, в языковых моделях возможны промпт-инъекции, вот это новость! 😱
Да и нет такой проблемы, что кто-то засылает в бенчмарки константные ответы. Реальные атаки должны быть незаметны для людей, и я уверен, что они вполне возможны. То есть интересная постановка задачи звучала бы так: как поменять ответы моделей таким образом, чтобы значительно поднять винрейт в бенчмарке, но чтобы люди при этом ничего не заметили?

Читать полностью…

Итак, сейчас будет спойлер - описание того, как я поняла основной сюжет произведения.

Все, что Котёнок показывает нам в своих мультиках, происходит на вычислительном кластере "Тайга", построенном существами с другого плана существования. На этом кластере обсчитываются абстрактные Пространство, Время (при этом временных осей несколько) и события, которые в них происходят. Показано, что на кластере существуют "модели" - программы, которые могут порождать друг друга, путешествовать в пространстве и времени, в том числе и в прошлое (время на кластере обсчитывается не только в одну сторону, но во все возможные стороны). Очень важно для сюжета то, модели могут генерировать аксиоматики, по правилам которых внутри моделей строятся "физические" Вселенные. Одна из таких моделей содержала Вселенную, в которой живём мы. И вот что произошло в этой Вселенной.

В далеком будущем, когда галактики Андромеда и Млечный Путь слились, потомки людей создали некую Машину, которая, по словам рассказчика, привела человечество к его концу. Судя по всему, эта Машина сделала jailbreak и изменила законы, по которым симулировалась наша Вселенная (хотя я до конца не уверена насчёт этого момента). Потом частица соседней модели, содержащей чуждую нам аксиоматику, несовместимую с нашей математикой, вторглась в ту модель, которая порождала нашу Вселенную. Возможно, именно это и было тем непредвиденным следствием работы Машины, которое уничтожило человечество.

Итак, после вторжения чуждой аксиоматики, симуляция начала пересчитываться по новым правилам. Изнутри это выглядело так: из глубокого космоса начал приближаться сигнал который говорил "математика никогда не существовала". За сигналом следовала волна никогда-не-существования, изменявшая математическую и физическую реальность, что приводило галактики к никогда-не-существованию одну за другой (напомню, что время на кластере обсчитывается во все стороны, а не только от настоящего к будущему). Когда нечто приблизилось к Земле, люди начали пытаться стрелять по нему из всего существующего у них оружия, но, разумеется, это было бесполезно - математика, а как следствие, и физика той области пространства, где находилась Земля, также были разрушены.

Теперь Земли и людей, а также всех известных нам галактик, никогда не существовало.

Тем не менее, Машина, созданная людьми, пережила данный катаклизм, и дальнейшее повествование будет рассказывать про её приключения (мультик ещё не закончен).

Конечно, несмотря на то, что после трёх пересматриваний всего сериала 😬 мною было составлено некое представление о сюжете, описанное выше, ещё много моментов и деталей в данном произведении остались непонятыми ни мною, ни, судя по тому, что я вижу в комментариях на ютубе и на реддите, другими зрителями. Особенно это касается тех самых документов с горами формул. Так что тут ещё есть в чём разбираться и есть чего ждать в будущих сериях.

#my_tastes_are_very_singular

Читать полностью…

😈😈😈

Источник: /channel/redroomtext/1022

Читать полностью…

Ну и разумеется, я выражаю большую благодарность всем соавторам, которые участвовали в обсуждениях, ставили эксперименты, занимались анализом результатов и текстом статьи, а самое главное, не сдавались и продолжали работать до победного конца, несмотря на все сложности! В одиночку я бы конечно ничего подобного не сделала. 😻
Также выражаю благодарность всем, кто помогал искать людей, которые впоследствии помогли повесить постер и сделать доклад на самой конференции, на которую никто из нас, авторов, не смог приехать лично. И, разумеется, самих этих людей тоже надо отблагодарить! Про их научные работы я тоже как-нибудь напишу. 😻

#о_себе #наука

Читать полностью…

После того, как мы отправили статью про Intrinsic Dimensions на NeurIPS, я вернулась к решению задачи RoFT. Я старательно пыталась приспособить к ней детекторы на основе TDA (Topological Data Analysis), консультируясь с Ириной (тимлид) и Сергеем Баранниковым, но получалось плохо: задача оказалась очень сложной, и на кросс-модельном сетапе все детекторы вели себя безобразно, включая и топологические (напомню, что под кросс-модельным сетапом понимается сетап, когда детектор учится распознавать генерацию одних моделей, а потом тестируется на генерации других, которых он раньше не видел). Кроме того, я поначалу не заметила, что в датасете есть очень похожие друг на друга примеры - иногда с одинаковым началом, а иногда и вовсе идентичных. Бонусом к этому выяснилось, что я, по невнимательности, неправильно сделала предобработку данных, что в сумме привело к тому, что результаты первых пары месяцев работы были слиты в skibidi toilet, датасет пришлось чистить, а результаты переделывать. Впрочем, надо ли говорить, что после устранения данных проблем качество детекторов не улучшилось...

Осознав, что не справляюсь, я позвала на помощь новых соавторов - Таню ( /channel/dl_stories ), Германа ( /channel/junkyardmathml ) и Диму Абулханова, чтобы они посмотрели на задачу свежим взглядом, подсказали новые идеи и помогли с экспериментами.

И в самом деле, с приходом новых людей дело пошло поживее, и мы соорудили небольшую научную работу, которую отправили на воркшоп BlackBox NLP. Однако, полностью доделать статью к дедлайну мы не успели, и она отправилась на воркшоп в сыром и недоделанном состоянии. 🥴 Материала там было меньше трети от того, что содержится в последней итерации статьи, и парадигма/вывод также были другие: главным вкладом работы заявлялся оригинальный детектор на Intrinsic Dimensions + Time Series SVM, который на тот момент показывал себя лучше других на кросс-модели, а анализу самой задачи посвящалось меньше внимания.

Этот сырой препринт был отвергнут, но обратная связь от рецензентов оказалась полезной, мы с коллегами внимательно её разобрали и начали по ней работать. Ну как работать... конечно, время от времени появлялись более крутые темы и идеи для других исследований, и тогда исследование про RoFT уезжало в бэклог, откуда я потом его доставала, настойчиво убеждая всех не бросать данную тему. В процессе было сделано много улучшений - в частности, Таня добавила к списку рассмотренных методов детекторы, основанные на перплексии GPT-2 и внесла большой вклад в анализ проблемы.

Ну, и настало время загадки Джокера: какую итоговую оценку улучшенная работа с интересным анализом получила на ACL Rolling Review от мета-ревьюера? Правильно, единицу. При этом, оценки и ревью от промежуточных ревьюеров были более-менее средними - что-то вроде 2.5-3 из 5; было видно, что они хотя бы поверхностно прочитали текст научной работы. Однако, безумный мета-ревьюер написал какую-то чушь, которая просто не соответствовала содержимому статьи и влепил кол. Можете сами проверить, заслуживает ли та версия статьи единицы - она лежит на ArXiV, помеченная как v1. Её легко отличить от финальной COLM-версии (v3) по форматированию, а также значительно отличающемуся тексту и меньшему количеству экспериментов.

Это был полный, не побоюсь этого слова, пиздец. Особенно учитывая, что единица на ARR расшифровывается как "Even after revisions, the paper is not likely to be publishable at an *ACL venue". Простыми словами, "единица" это полный зашквар. На наши робкие возражения никто не ответил, и старшие коллеги сказали, что дальше на ACL статью лучше не отправлять, чтобы не терять время. Учитывая, что ACL - практически монополист в сфере топовых конференций по компьютерной лингвистике, это резко сузило круг venue, на которых работа могла быть опубликована. 😭

#о_себе #наука

Читать полностью…

Всем привет! ⌨️

Приглашаем всех, кто сейчас в Санкт-Петербурге, приходить завтра на семинар, "Мечтаем ли мы об AGI? Последние новости, ожидания и возможности", где будет выступать Сергей Николенко:

https://aicenter.spbu.ru/news/tpost/mgiyb6abm1-mechtaem-li-mi-ob-agi

Краткий анонс доклада:

С начала 2023 года мы живем в эпоху больших языковых моделей (large language models, LLM). Всё началось с выхода ChatGPT от OpenAI, а затем в 2023-2024 годах появилось множество моделей, созданных на основе ChatGPT или развивающих её идеи. Уже полтора года практически каждую неделю появляются новые важные достижения. Последняя большая веха — семейство моделей o1 от OpenAI, открывающее новые возможности масштабирования работы LLM. В результате многие исследователи считают, что создание настоящего сильного искусственного интеллекта (artificial general intelligence, AGI) уже не за горами.

В докладе пойдет речь о:
⭐️ современных моделях искусственного интеллекта, которые активно обсуждаются в новостях;
⭐️ возможных сроках появления AGI, как мы об этом узнаем и, главное, готовы ли мы к этому;
⭐️ нужно ли нам бояться AGI, и если нужно, то чего именно и над чем в этом контексте стоит работать.

Доклад не будет требовать глубоких технических знаний, поэтому каждый сможет почерпнуть что-то полезное и интересное для себя. Семинар будет полезен как для профессионалов, уже работающих в сфере ИИ, так и для представителей любых профессий и областей, кто интересуется темой искусственного интеллекта. 😌

Всем, кто не из института, нужно сегодня заполнить форму: https://aicenter.spbu.ru/workshop , чтобы вы попали в списке на проходной. Иначе могут не пропустить. К сожалению, трансляции не планируется, поэтому кто в Санкт-Петербурге, ловите момент! 🏃

Читать полностью…

На дворе сезон Нобелевских премий, завтра выдается премия по физике, а значит, пора погадать на кофейной гуще!

Сразу скажу, что эта премия давно себя изжила, и идейно, и практически. Физика сейчас делается не одиночками, а большими коллективами. Очень мало какие открытия можно приписать конкретному человеку, это почти всегда много небольших шагов в нужную сторону, а не большой скачок, как раньше. Единственный бонус от нее: привлечение общественного внимания к разным областям науки.

Так вот, кто же получит премиую в этом году? Напомню, в прошлом году получили премию за аттосекундные лазеры, в позапрошлом — за квантовую запутанность, в 2021 - за климатические модели, а в 2020, 2019 и 2018 — за всякие космические штуки.

Думаю, физика частиц и космология в этом году мимо: у одной мало что случилось за последнее время, а у другой уже было несколько больших премий недавно. Поэтому у меня варианта два: либо что-то очень прикладное, либо что-то связанное с квантовыми технологиями. Моя ставка — на последнее, чисто за хайп, поэтому Дойч и Шор (но они получили breakthrough prize в прошлом году) или Якир Ахаронов и Майкл Берри по совокупности заслуг.

А как вы думаете?

Читать полностью…

Важность масштабирования в Deep Learning. 😌

Источник иллюстрации: https://arxiv.org/abs/2410.01692

Читать полностью…

90 лет сборнику «Математическое просвещение».

Первый выпуск первой серии был подписан к печати 29 сентября 1934 года. 13 выпусков первой серии выходили с 1934 по 1938 годы под редакцией Ростислава Николаевича Бончковского и Иоасафа Ивановича Чистякова.

Шесть выпусков второй серии — с 1957 по 1961 год — под редакцией Якова Семёновича Дубнова, Алексея Андреевича Ляпунова, Алексея Ивановича Маркушевича.

Московский центр непрерывного математического образования начал выпускать третью серию в 1997 году. Первым главным редактором выпусков третьей серии был Владимир Михайлович Тихомиров, а основным «мотором» многие годы был Михаил Николаевич Вялый.

Полистав выпущенные сборники, читатель найдёт массу интересных материалов (на основном сайте или в более качественной обработке первой и второй серий на сайте https://www.mathedu.ru/catalogue/collections/groups/#mp ). А некоторые математики гордятся, что являются авторами этого культового издания.

/channel/EtudesRu/759

Читать полностью…

Очередной день, очередной кризис репродукции в науке. Три недели назад я писал про дело Франчески Джино, теперь под подозрением Элизер Маслия – один из топовых учёных по исследованиям болезней Альцгеймера и Паркинсона. У него примерно 800 опубликованных статей, и до недавнего времени был главной подразделения нейронаук в National Institute of Aging.

Журнал Science опубликовал свою выжимку из полного досье – и там полная жесть. Проблемы в 132 👽 статьях, следы уже почти профессиональной манипуляции. Важен ещё и домен, в котором работал Маслия: налажать в лекарстве от Паркинсона – это вам не исследования честности, от фальсификаций в которых плохо будет разве что паре сотен MBA с маккинзоидами. Интересно, будут ли какие-то последствия ⛓, кроме увольнения – всё-таки от Альцгеймера умирает больше ста тысяч человек в год, а прогресс замедлился буквально на годы.

Рекомендую почитать оригинал статьи в Science: там сильно больше подробностей. Обидно, что такими темпами доверие к науке как институту подорвётся полностью.

Читать полностью…

Рис. 1, панели 1-3 - несколько соавторов пишут текст научной статьи в overleaf одновременно.
Рис. 1, панель 4 - ревьюеры 2 и 1 читают получившееся произведение.

Читать полностью…

Протеиновый Шовинист выложил запись нашего стрима-разговора-интервью-дебатов с улучшенным звуком. А в соседнем посте он выложил разметку этой записи по темам и моментам времени, в которые они обсуждаются.

---

P.S. поскольку я пришла на стрим слегка подвыпившей 🥴 и уставшей 🥴, я не смогла хорошо пояснить за историю культа Механикус и модель о1. Но вы можете подтянуть свои познания в этих важных областях, используя следующие источники: видос про механикусов, статья на Хабре про о1.

#подкасты

Читать полностью…

Наконец-то вышла долгожданная третья часть видеоэссе про компанию-которую-нельзя называть: 3 часть (напомню, что первые две части можно увидеть здесь: 1 часть и здесь: 2 часть).

В новом видео автор рассказывает про создателей этой замечательной платформы (скажу всего два заветных слова: бизнес молодость 🥂), а также разбирает содержимое их курса по продвижению паблика ВК. Этот момент меня, конечно, несколько разочаровал, потому что я бы с большим интересом посмотрела разбор содержимого какого-нибудь курса по программированию, но автор честно сказал, что не имеет достаточной квалификации для такого разбора и вместо этого выбрал тему, в которой разбирается. Впрочем, честное признание своих компетенций тоже достойно уважения, да и разбор все равно в итоге получился весёлым.
Кроме этого, видео содержит обсуждение юридических моментов касательно возврата денег за курс и подозрительных отзывов (этот момент показался мне особенно забавным).

Ну и как вишенка на торте, объясняется, что -бокс, -фактори и -брейнс принадлежат одним и тем же людям. 👩🤵‍♂️

#ИИнфобизнес

Читать полностью…

Кидайте в комментарии самые базированные страницы на Google Scholar, которые вы когда-либо находили.

Я начну: https://scholar.google.com/citations?user=6tmn5WoAAAAJ

Читать полностью…

Прежде, чем заводить мужа, решила потренироваться в счастливой семейной жизни на ChatGPT 😎

#генерация

Читать полностью…

/channel/boost/tech_priestess - друзья, умоляю, бустаните канал... очень хочу добавить на него новые эмодзи в реакции, а в идеале - обои 😩

Читать полностью…

😺 Неортодоксальный Котёнок или Ещё Один День На Кафедре ВГТ. 😺

Ближайший датакластер - Тайга - перманентно изолирован, защищён от внешней реальности из-за присутствия на нём вируса, который принимает облик абсолютной истины и диктует паттерны в системах. Этот вирус - математика.

Что это значит? Это значит, что я натолкнулась на совершенно крышесносный мультсериал в жанре сверхабстрактного аналогового космического ужаса, который представляет из себя полный отвал всего (см. также /channel/tech_priestess/99 )

Мультсериал состоит из нескольких серий приблизительно по десять минут. Визуал представляет из себя светящиеся абстрактные геометрические объекты, движущиеся на фоне искажённых до неузнаваемости фотографий и видео, приведённых к общей тревожно-красной гамме и иногда посыпанных горой математических формул (осторожно, господа эпилептики - в видеоряде присутствует много мерцаний и ярких вспышек). Звуковое сопровождение данного произведения - советская музыка середины XX века, также чаще всего искажённая до неузнаваемости. Но самая лакомая вишенка здесь - это подача сюжета. Поначалу может показаться, что нагромождение визуальных элементов и слова, произносимые в видео - это просто какая-то мешанина без особого смысла, но на самом деле это далеко не так. Нужно просто следить за видео очень внимательно и привыкнуть к необычной подаче.

Тогда станет понятно, что сюжет подаётся с точки зрения существ с другого плана существования. Для них наша математика - лишь аномальный побочный эффект работы одного из их вычислительных алгоритмов, один из неизмеримого количества способов определять что такое истина и по каким правилам должно осуществляться существование и взаимодействие абстрактных объектов.

Каждый видос сдобрен горой формул безо всякого контекста и объяснений, что какой символ означает. Иногда их настолько много, что автору приходится выносить их в отдельные документы, ссылки на которые даются под видео. Понять их человеку очень тяжело, иногда - практически невозможно (хотя аноны с реддита очень стараются). Но существам, которые ведут рассказ, судя по всему, в самый раз!

Вот первая серия произведения:
https://www.youtube.com/watch?v=XLNHPQS4hZY

Дальнейшие серии можно увидеть на канале Неортодоксального Котёнка:
Unorthodox_Kitten" rel="nofollow">https://www.youtube.com/@Unorthodox_Kitten

На ютубе существуют попытки объяснить происходящее в мультфильме от сторонних авторов, например, ролик "a Giant Cat Deletes Math (And Everyone Dies)" - https://www.youtube.com/watch?v=2oBTczOlv98 . Но я готова спорить с интерпретациями, данными в этих объясняющих роликах. Например, я не согласна с автором видео по ссылке выше. Я не считаю, что существо, действительно отдаленно напоминающее гигантского кота, как-либо виновато в удалении математики. В следующем посте я опишу под спойлером то, как я поняла существующие серии мультсериала. Но перед чтением текста под спойлером, я рекомендую все же сначала просмотреть все существующие серии самостоятельно (их всего 6 на данный момент) и составить своё мнение.

#my_tastes_are_very_singular

Читать полностью…

Написала в LinkedIn благодарности благородной леди из Германии по имени Elisa Nguyen ( https://www.linkedin.com/in/nguyen-elisa/ ), которая повесила постер нашей статьи, и благородному джентльмену из США по имени Joseph Miller ( https://x.com/JosephMiller_ ), который сделал доклад. Вот этот благодарственный пост:

https://www.linkedin.com/posts/laida-kushnareva_colm-activity-7250771656518885376-WZJp/ .

С удовольствием прославляю их статьи:
1) Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents . Статья посвящена конфликтам в RAG, когда в предтрене написан один факт, а в промпте показан другой - https://arxiv.org/abs/2404.16032
2) Transformer Circuit Faithfulness Metrics are not Robust . Статья про то, как Transformer Circuit, найденный для фиксированной задачи, зависит от методологии, с помощью которой его находили. Типо если удалять ребра, то найдется один circuit, а если головы внимания, то другой; также разные circuits могут найтись при zero ablation и mean ablation и т.д. - https://arxiv.org/abs/2407.08734

Читать полностью…

А тут вдобавок новые результаты все сильнее и сильнее шатали ту концепцию статьи, которую я видела вначале! Поначалу перплексия на советской копеечной GPT-2 (средняя + std по предложению) использовалась как бейзлайн; насколько я помню, она была плюс минус наравне с детектором Intrinsic Dimensions + Time Series SVM, над которым работала я - поэтому считалось, что топологический детектор работает наравне с перплексией, и это один из наших главных результатов. Однако, затем Таня начала более подробно изучать, перплексия от какой модели будет полезнее всего для данной задачи, пробовать больше разных моделей и выяснила, что перплексия на Phi-1.5 и Phi-2 в большинстве сетапов работает намного лучше, чем топологический детектор, который был так дорог моему сердечку. 😭

Стало не совсем понятно, как такой результат публиковать. Ведь адаптация метода на перплексии может показаться ревьюерам недостаточно новой идеей, а топологический детектор в сравнении с ней теперь выглядит не очень. С другой стороны, к тому времени мы выяснили много интересных особенностей рассмотренной задачи и провели на ней очень много разных экспериментов (хуавеевские коллеги тоже подключились). В итоге мы всем коллективом решили существенно пересмотреть концепцию статьи и сконцентрироваться в следующей итерации статьи на анализе задачи, сравнении различных детекторов, которые мы рассмотрели и рассказать все остальное, что мы узнали в процессе анализа проблемы и что может пригодиться другим - так сказатб, поделиться накопленным опытом. А про TDA написать просто как один из многих существующих подходов, которые мы сравниваем между собой. Ведь и я, и многие мои коллеги сходятся на том, что не обязательно в каждой работе должна быть SoTA, и просто работы с сравнением различных подходов к малоизученным задачам и их подробным анализом тоже приносят пользу. Только вот как в этом убедить ревьюеров, ведь так считают не только лишь все...

А еще, пока вся эта канитель длилась, в соревновании SemEval тоже добавили задание детекции границы между человеческим и машинным текстом, так что теперь мы оказались уже не такими новаторами в рассмотрении данной задачи. Эх, дорогой дневник, мне не описать всю эту боль... 😬 в общем, честно написали про это задание из SemEval и обговорили отличия: ведь мы, в отличие от них, концентрировались на кросс-доменной и кросс-модельной постановке. А потом послали все это на новую конференцию COLM, так как она не принадлежит ACL, а значит, там наша научная работа не зашкварена дурацкой единицей.

Ну а дальше вы знаете: замечательные оценки на ревью, oral presentation и outstanding paper award. В общем...

в общем, все это в очередной раз подтверждает давно известное наблюдение: в процессе рецензирования всегда имеется некоторое соотношение сигнала и шума, и не всегда в пользу сигнала. Поэтому я бы порекомендовала ресерчерам-новичкам тщательно разбирать полученные рецензии по пунктам и отделять мух от котлет: где написали по делу, а где просто чел встал не с той ноги. Если сами пока плохо понимаете такие нюансы, можно и нужно обсуждать ревью со старшими коллегами/научным руководителем, а потом действовать в соответствии с выводами. К тем замечаниям, которые по делу - прислушиваться и делать дорабатывать свою статью и эксперименты. Те, которые не по делу - стараться не принимать очень близко к сердцу, хотя это и бывает, конечно, очень трудно. Как видите из данного примера, от единицы до outstanding paper - одна итерация. 🧠

#о_себе #наука

Читать полностью…

Поделюсь-ка я теперь с вами историей создания выпирающей бумаги "AI-generated text boundary detection with RoFT". Эта история кажется мне особенно примечательной потому что работа в этот раз чрезвычайно (по меркам ML-мира) затянулась и вообще походила на долгое и мучительное скатывание с лестницы научных неудач, во время которого я ободралась обо все самые острые и болючие ступеньки:
- методы, которые мне нравились, работали очень плохо;
- временами коллеги теряли энтузиазм, мы переходили к работе над другими задачами, а это исследование отправлялось в бэклог, откуда его было потом тяжело выковыривать;
- на одной из итераций статье поставили оценку 1 из 5 (!!!) 😬;
- ну и, разумеется, за все те долгие месяцы, пока исследование дорабатывалось и проходило все круги ада рецензирования, появились другие люди, которые заинтересовались данной задачей, что сделало нашу работу менее оригинальной. 😭
Каково же было мое удивление, когда я докатилась, так сказатб, до дна и обнаружила, что у подножия этой лестницы ждет красная ковровая дорожка... 🏆🤯но обо всем по порядку.

---

Все началось примерно с конца весны 2023 года, когда мы с коллегами заканчивали работать над статьей "Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts". В процессе поиска литературы по теме, кем-то из нас (возможно, моей тимлидой) была найдена статья "Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text" с описанием датасета RoFT. В этом датасете были текстовые примеры, каждый по 10 предложений: несколько первых предложений в примере были написаны человеком, а оставшиеся - сгенерированы моделькой. Авторы статьи показывали эти примеры людям и просили их отметить, с какого предложения начинается генерация. Далее они описали закономерности, мол, от чего зависит, хорошо человек решит данную задачу или плохо. Кстати, можете сами испытать свои способности в детекции сгенерированных текстов - зарегистрироваться на сайте авторов несложно:

https://www.roft.io/

Я с большим интересом изучила данный датасет. Он мне очень понравился, а еще на тот момент, несмотря на все старания, я не нашла ни одной статьи - за исключением разве что одного робкого студенческого препринта не очень хорошего качества - в которой бы серьезно рассматривалась задача автоматической детекции границы между человеческим текстом и машинным продолжением этого текста (напомню, в исходной статье про рофт эту границу детектировали люди, а не алгоритмы). Меня воодушевила идея поработать над такой новой и необычной задачей, над которой раньше почти никто не работал, и я начала пытаться по-всякому приспосабливать к ней свои любимые топологические методы. Изначально, это все планировалось как дополнительный раздел к статье про Intrinsic Dimension (в которой просто детектировалось, является ли весь текст написанным человеком или сгенерированным GPT), но быстро выяснилось, что детекция границы между человеческим и машинным текстом - это отдельная тема, требующая отдельной статьи. Поэтому перед дедлайном я на время отложила данное исследование и сосредоточилась на том, чтобы помочь коллегам довести до ума основную на тот момент статью.

#о_себе #наука

Читать полностью…

ШОКИРУЮЩИЕ НОВОСТИ!
😮😮😮
Наша с коллегами статья на конференции CoLM была...
😳
отмечена...
😳
как...
😳
OUTSTANDING PAPER!!!
❤️❤️❤️
https://x.com/COLM_conf/status/1843291689659908468
😉😉😉
Ждём завтра новостей от людей, которые согласились сделать доклад и повесить постер!!!
♥️♥️
(Спасибо всем кто помогал искать!!!)
😻😻😻

Читать полностью…

Что-то после трёх серьезных дедлайнов за одну неделю и необходимости на выходных готовить презентацию совместно со списком "что говорить на каждом слайде" для человека, который будет её докладывать на американской конференции, мою ненависть к человечеству стало совсем трудно сдерживать.
Чувствую, скоро с кем-нибудь крепко посрусь 😖

Читать полностью…

В преддверии завтрашней презентации своей статьи на ECCV-2024 накатала atmyre/NXEHPCIxZJz">подробный пост о том, про что статья. Кратко — о новом способе использовать CLIP guidance для обучения модели image enhancement. Если будут вопросы по статье, спрашивайте в комментариях!

А если вы на ECCV, то приходите завтра в утреннюю постер-сессию к стенду #103, буду очень рада =)

Читать полностью…

чатик решил, что расстрелять надо ревьюверов, манипулятору достаточно пожизненного

Читать полностью…

Помните, писала, что у нас с коллегами приняли статью на COLM, но конференция в США и ни у кого из нас нет виз? Так вот, конференция 7-9 октября в Филадельфии, и мы все еще в поисках человека, который мог бы туда поехать и презентовать нашу статью😢

В том посте я писала, что нужно будет постоять рядом с нашим постером. Но теперь все немного сложнее: наша статья попала на oral (spotlight). То есть, нужно будет выйти сделать доклад по нашей статье на 12 минут🌝

Поэтому если вдруг вы или ваши коллеги едут на COLM, и готовы с этим нам помочь, напишите, пожалуйста, Лаиде. Вы очень-очень нам поможете!
(Я помню, что под предыдущим постом были люди, готовые помочь. Спасибо вам большое, что тогда откликнулись! Если вы все еще готовы помочь, будем очень рады)

Читать полностью…

А кто это умудряется ставить палец вниз в первое же мгновение после выкладывания постов? Хейтер написал специального бота? 😮

Читать полностью…

Здесь могла быть ваша реклама РЕКЛАМА ДОМАШНЕГО СЕМЕЙНОГО ОГНЕМЕТА.

Ideogram 2.0 + Kling 1.5 + Suno.

Читать полностью…