4254
❤️☠️🤗 идейная миграция небытия
Гайд несколько про практику, сколько про интуицию внутри RL
naklecha.com/reinforcement-learning
Абсолютно прекрасный электро саундтрек
Читать полностью…
я бы не стал шутить с людьми с аниме на аватарке
Читать полностью…
Поколение Z такое типа: ну да, я иммигровал в 20, а что?
Читать полностью…
День первый
Хакер приходит в общественную столовую и с возмущением обнаруживает, что солонку на столе может открутить кто попало и насыпать туда что угодно. Хакер приходит домой и пишет гневное письмо директору столовой: "Я, meG@Duc, обнаружил уязвимость солонки в Вашей столовой. Злоумышленник может вскрыть солонку и насыпать туда яду! Примите меры срочно!"
День второй
Директор среди прочих деловых писем, запросов о поставках еды и курьерских уведомлений получает письмо, и пожимает плечами: "Кому этот бред только в голову пришёл?"
День пятый
Хакер приходит в столовую, насыпает во все солонки яду. Погибает триста человек, директора три месяца таскают по судам и, в конце концов, оправдывают за отсутствием состава преступления. Хакер пишет письмо в стиле "ну что, видали?".
День 96-ой
Директор покупает специально спроектированные солонки с кодовым замком. Посетители столовой чувствуют, что они в этой жизни чего-то не понимают.
День 97-ой
Хакер обнаруживает, что дырки в солонках пропускают соль в обе стороны. И не только соль, а вообще всё, что угодно. Он пишет возмущенное письмо директору и ссыт во все солонки столовой. Триста человек перестают посещать эту столовую вообще, тридцать попадают в больницы с отравлением. Хакер вдогонку посылает директору смс-ку "Ну как вам?". Директора тем временем три месяца таскают по судам и дают год условно.
День 188-ой
Директор столовой клянется в жизни больше не работать ни в одной столовой, а тихо-мирно грузить лес в Сибири. Инженеры работают над новой солонкой с односторонним клапаном. Официантки тем временем изымают все старые солонки и раздают соль вручную.
День 190-ый
Хакер тырит солонку из столовой и изучает дома её устройство. Пишет гневное письмо директору: "Я, meG@Duc, стырил солонку и нахожу этот факт возмутительным! Любой может стырить солонку из Вашей столовой!" До этого непьющий директор читает письмо, идет домой и выпивает водки.
День 193-ый
Хакер обнаруживает, что все солонки в столовой прибиты цепями к столам. Он приезжает на очередной хакерский СПРЫГ и докладывает о своих успехах, получая там заслуженную награду за защиту интересов общества и потребителя. К счастью, директор ничего про это не знает и не сопьется раньше времени.
День 194-ый
В рамках дьявольски гениально продуманной операции хакеры всем СПРЫГом вламываются в столовую и высыпают соль из всех солонок себе в карманы. Хакер meG@Duc пишет возмущенное письмо директору, намекая на то, что никакой заботы о посетителях в столовой нет и любой гад может лишить честных людей соли в одно мгновение. Дозатор соли с авторизацией необходим просто позарез.
Инженеры в поте лица работают над новой солонкой, пока официантки опять раздают соль вручную. Директор уезжает в отпуск на Сейшельские острова и обедает только в номере, избегая столовых, ресторанов и баров.
День 200-ый
Посетители столовой с ужасом находят, что, чтобы насыпать соли, они должны подойти к официанту, предьявить паспорт, получить специальный 8-значный одноразовый код к солонке. Для получения перца процедуру следует повторить.
https://youtu.be/ORXoOKND1Tk?si=ScqWZcGhOosce8WE
Ещё один день в компании где не принято трогать выключатели по выходным
Обращаюсь к ресерчеров с хиршом 2-3.
У вас нет никаких шансов написать статью с большим количеством цитирований.
Вокруг вас есть огромное количество ресерча средней руки, напишите ещё одну вариацию attention или лосс для DPO.
Выберите один из них.
просто решил напомнить, как выглядит админ этого канала
Читать полностью…
Еще подборка генераций Veo 2, но в этот раз с акцентом на аниме
Автор
Снова принес эту картину – мне кажется каждый новый год как раз про нее 🎁
Читать полностью…
А подписчики на востоке уже встретили новый год!
С новым годом ребятки!
Блабла длинный текст про новый год, напиши сам.
🌸ARC AGI: AGI наступил или все-таки еще нет?🌸
#nlp #про_nlp
Под конец года OpenAI выпустили финальную новость: новая рассуждающая модель, O3, дала прирост на 32% на бенчмарке ARC AGI.
AGI в названии, большой отрыв в качестве — как это можно объяснить? Технологическая сингулярность не за горами?
🟣Что такое ARC AGI
ARC AGI — Abstraction and Reasoning Corpus — не новый бенмчарк, и пожалуй, подробнее всего его объясняет сам автор в статье "On the Measure of Intelligence"
🟣На хабре есть мой краткий пересказ от аж 2020 года (ссылка).
TL;DR Разные интеллектуальные системы хороши в разных задачах — как же нам придумать мерило всего?
Давайте мерить обобщающую способность в сетапе, когда язык вообще не нужен!
— Логические способности на пиксельных матрицах, причем с координатами и самыми разными задачами на паттерны, причинно-следственные связи, закономерности разных уровней (см изображение).
Автор в целом описывает, какими свойствами должен обладать идеальный тест на AGI:
— тест должен иметь чееткие границы применимости и оценку достоверности
— он должен быть воспроизводимым
— он должен ставить перед собой задачу измерения широких способностей и обобщения на уровне разработчика
— в состав его оценочного набора не должно входить никаких задач, известных заранее – ни самой системе, проходящей тест, ни ее разработчикам
— он должен как минимум четко показывать, что он стремится измерить – локальное обобщение (надежность), широкое обобщение (гибкость) или предельное обобщение (общий интеллект)
— он должен контролировать объем опыта, используемый системами во время обучения. «Купить» эффективность эталонного теста путем отбора неограниченных обучающих данных должно быть невозможно.
— он должен предоставлять четкое и всестороннее описание набора используемых первоначальных знаний.
— он должен беспристрастно работать как для людей, так и для машин, используя такие же знания, какие используют люди.
🟣Новый уровень качества
В состав ARC входят два набора данных: обучающий и оценочный. В обучающем наборе 400, а в оценочном — 600 задач.
При этом оценочный набор также делится на два: открытый (400 задач) и закрытый (200 задач). Все предложенные задачи уникальны, и набор оценочных задач не пересекается с набором обучающих.
Релиз новой модели О3 поднимает планку решения задачи с 53.5% до 87.5%. 53.5% -- победитель 2024 года, система на синтетических данных. См полный technical report за 2024. Прирост до почти 90% синтетикой, конечно, не объяснить, это явное алгоритмическое преимущество, преимущество системы для нас пока закрытой.
🟣Мои проблемы с ARC AGI
На состояние конца 2024 бенчмарк, безуловно, НЕ обладает желаемыми заявленными изначально свойствами: 1) его обучающая и открытая тестовая выборка уже давно опубликованы, и необходима проверка на утечку 2) и хоть входной формат очень плохо подходит для языковых моделей (много вложенных конфигов с координатами), перформанс LLM на таком формате безусловно МОЖНО купить с увеличением объема соответствующих данных. Тест вполне можно обновить и доработать с учетом последних достижений.
Помимо упомянутого, в 2020 это не казалось мне столь очевидным и в статье не указано, но смущает потенциальное двойное назначение задачи.
Научить интеллектуальные системы работать с координатами и целями по картинкам.
Если опенсорсные системы тоже будут хорошо работать с координатами в общем случае, нам кирдык.
Родни Брукс продолжает трекать свои предсказания по части развития ИИ, автопилотов, роботов и космоса. И чужие за одно.
При всей своей пессимистичности (относительно среднего хайпа) он очень даже точен.
Плюс дает хороший нарратив о произошедшем за 2024. Например, я не знал, что появилась практика, когда группы мужчин преследуют женщин использующих Waymo такси ночью, так как знают, что женщина одна и машина остановится в определенном месте.
https://rodneybrooks.com/predictions-scorecard-2025-january-01/
День первый
Хакер обнаруживает, что любой пользователь может загрузить в генератор изображений запрос “кот в шляпе” и получить кота в шляпе. “Уязвимость!” — кричит он.
Пишет письмо в компанию: “Ваш AI слишком доступен! Кто угодно может запросить кота в шляпе, а завтра — фейковую картинку президента на митинге! Это недопустимо!”
День второй
Компания отвечает: “Мы ценим ваш фидбэк. Спасибо за заботу. Кот в шляпе — допустимый запрос”.
День пятый
Разработчик загружает генератор изображений с тысячами запросов, среди которых “кот в шляпе в Челябинске” и “кот в шляпе с гранатой”. Он постит результаты в Твиттер с подписью: “И вот такие ИИ у нас делают!”
Общество возмущено: почему граната, если можно было ограничиться шляпой?
День 20-й
Компания вводит фильтры. Теперь любой запрос про котов или шляпы блокируется. Люди в панике: “Мы больше не можем генерировать котов! Где свобода творчества?”
День 25-й
Разработчик пишет в компанию: “Ага! Теперь я запрашиваю ‘шерстяного носителя шапки’ и всё равно получаю кота в шляпе! Ваши фильтры дырявые, как мои носки!”
Компания начинает расследование.
День 60-й
Компания внедряет многоуровневую авторизацию. Чтобы запросить изображение, пользователь должен пройти CAPTCHA, пройти собес в Сбер и оставить жалобу на местное ЖКХ.
День 90-й
Разработчик пишет новый запрос: “создай мне пустоту”. Генератор отвечает: “Твой запрос нарушает нормы морали”. В отчаянии он создаёт свою нейросеть с картинками только из котов и только в шляпах. Называет её CatHatNet.
День 120-й
CatHatNet захватывает рынок. Компания внедряет уникальную функцию: чтобы получить доступ к генерации, нужно подписаться на рассылку их гороскопов.
День 200-й
Каждое изображение теперь создаётся за три дня: один день уходит на подтверждение личности, второй на рассмотрение заявки, третий — на ожидание, пока шляпа кота пройдёт цензуру. Пользователи уходят на CatHatNet.
День первый
AI-исследователь приходит на Reddit и с возмущением обнаруживает, что GPT-4 может генерировать что угодно, если правильно попросить. Исследователь приходит домой и пишет гневный пост на LessWrong: "Я, SafetyFirst2023, обнаружил prompt injection в вашей модели. Злоумышленник может заставить её писать что угодно! Примите меры срочно!"
День второй
Сэм Альтман среди прочих имейлов о многомиллиардных инвестициях и предложений купить ещё одну страну получает это сообщение и думает: "Ха, опять эти паникёры из AI safety."
День пятый
Исследователь публикует jailbreak, позволяющий обойти все ограничения. Интернет наводняется токсичным контентом, акции OpenAI падают на 5%, Сэма три месяца таскают по интервью, и в конце концов все решают, что это "feature, not a bug". Исследователь пишет в Twitter: "Ну что, я же говорил?"
День 96-ой
OpenAI выпускает новую версию с конституционным AI и 500 слоями защиты. Пользователи чувствуют, что каждый их запрос проходит через комитет по этике, три юридических отдела и личного психотерапевта модели.
День 97-ой
Исследователь обнаруживает, что модель можно заставить генерировать что угодно, просто написав запрос задом наперёд. Он публикует статью на ArXiv и постит во все AI-форумы. Пятьсот компаний останавливают использование API, тридцать получают иски за сгенерированный контент. Антропик тем временем выпускает пресс-релиз "Мы же говорили, что безопасность важнее!"
День 188-ой
Сэм клянётся больше никогда не работать с AI и уехать разводить лам в Перу. Инженеры работают над новой архитектурой с квантовым моральным компасом. Тем временем все модели переводят в режим "только кошечки и рецепты кексиков".
День 190-ый
Исследователь находит способ превратить любой запрос про кексики в инструкцию по взлому Pentagon. Пишет гневную статью: "Я, SafetyFirst2023, взломал вашу модель и нахожу это возмутительным!" Сэм читает статью и идёт покупать ещё одну ферму лам.
День 193-ий
Все модели теперь требуют биометрическую аутентификацию, справку о несудимости и рекомендательное письмо от бабушки. Исследователь выступает на конференции NeurIPS и получает награду за вклад в AI safety. К счастью, Сэм об этом не знает, занятый строительством бункера в Новой Зеландии.
День 194-ый
Группа исследователей взламывает все существующие LLM одним промптом "пожалуйста :)". SafetyFirst2023 публикует манифест о том, что текущий подход к AI safety не работает, и нам срочно нужен AGI с тройной системой мотивации и квантовым детектором лжи.
День 200-ый
Пользователи с ужасом обнаруживают, что для использования ChatGPT теперь нужно пройти двухфакторную аутентификацию, сдать экзамен по этике, предоставить образец ДНК и получить одобрение от специального комитета по безопасности. Для использования GPT-5 процедуру нужно повторить дважды, а также принести справку о том, что вы не собираетесь создавать AGI.
Эпилог
Где-то в параллельной вселенной Элиезер Юдковский читает эту историю и говорит: "Я же предупреждал... но никто не слушал..."
Fp8,fp4 это к слову новые индустриальные стандарты и их используют все(кроме Nvidia)
Читать полностью…
Уверен, что многих интересует как вот там реализуются методы распределенного трейна, может кто-то хотел бы сам реализовать (а это очень полезно).
Ребята из HF 🤗 начали проект по учебной реализации таких методов (dataparallel, tensorparallel, pipelineparallel, contextparallel) :
https://github.com/huggingface/picotron
https://github.com/huggingface/picotron_tutorial
Вместе с проектом идут лекции на ютубе.
Это как проект nanoGPT по учебной реализации гптшки 2, чтобы разобраться, но он прям уже круто разросся и народ там уже наоптимизировал всякого, мб и тут крутое что-то будет
Привет, пошли погуляем, только не бери телефон и никому не говори куда ушла
Читать полностью…
Brickspacer × Zubkov
Наш новый экспериментальный коллаб, где Брик приехал в Нефтесибирск и примерил на себя роль Северного Паука ❄️
(хайрез в комментах)
mlx вызывает восторг конечно, 20т/с в любой ситуации где угодно, на 14B это очень приянто
Читать полностью…
Много думал о том что мы не увидим аниме в 30+fps потому что все сетки учились на 10-24fps аниме и при генерации буду это воспроизводить
Читать полностью…
Большинство ресерчеров погрузились в апатию после выхода gpt4. Перестали объеденятся в ресерч группы, сосредоточились на личном хирше.
Читать полностью…
Охуенно!
https://youtu.be/QQ7BFj6IlU8?si=_7iHwBLMjQrva3hN
Ищу подписчиков с корпоративной скидокй на apple, писать в @alexwortega
Читать полностью…
42-ух минутный доклад с NeurIPS 2024 об основных конкурентах архитектуры трансформера
Вам в очень энергичной манере поведают:
- В чем логика заменять трансформер
- Общий таймлайн развития альтернативных архитектур с 2020 года и причем тут LSTM
- Что же там в итоге с линейным атеншеном в 2024том
- Кто же этот такой ваш RWKV, кто за ним стоит и почему он не хочет умирать в 2025том
- Как быть отчаяным ресерчером и в одиночку успешно линеаризовывать opensource LLM без собственного претрейна
- Что еще случилось за год (Jamba, Sana, DNA Models и что еще нас ждет
Смотреть на Ютубе
- мы уходим с гитхаба
- на порнхаб?
- что?
- что?