13017
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Autonomous Overhead Powerline Recharging for Uninterrupted Drone Operations
Думал, что это первоапрельская шутка, но нет.
Дрон, способный самостоятельно подзаряжаться от ЛЭП, причем и от постоянного тока в том числе.
Если такой системой оборудовать дроны, которые уже используются для очистки ЛЭП от паутины, мусора, и обрезки ближайших деревьев, получим первый пример киберпанк-симбиоза.
Дроны-прилипалы!
Paper
@derplearning
Вышел ресеч по AI-детекторам текста, это которыми студентов и откликающихся на вакансии пугают – мол не используйте ChatGPT, мы все узанем.
Можете показать этот пост HR или тем кто учится:
— Точность AI-детекторов в среднем по рынку всего 39.5%;
— Вы можете добавить в сгенерированный текст разные виды атак и точность определения AI-текста упадет до 22%;
— Только 67% текста написанного человеком было помечено как «Реальный»;
Эффективные виды атак на AI детекторы — каждая из них серьезно влияет на точность определения AI текста:
1. Добавление орфографических ошибок и опечаток:
Вместо: «The quick brown fox jumps over the lazy dog.»
Пишем: «The quikc brown fox jmups over the lazy dog.»
То есть будто мы спешили и быстро псиали.
2. Написание текста как не-нейтив спикер:
Попросите LLM писать текст будто вы не нативный владелец этого языка.
Вместо: «I am very happy to write this essay for my English class. I hope to get a good grade.»
Пишем: «I am very happy to writing this essay for my English class. I hope to get good grade.»
Для нас совсем простой хак 🌚
3. Увеличение неравномерности:
Вместо: «Солнце ярко светило. Птицы щебетали. Легкий ветерок шелестел листьями. Это был идеальный день для пикника в парке.»
Пишем: «Солнце ярко светило. Птицы щебетали. Легкий ветерок шелестел листьями, создавая умиротворяющую атмосферу. Это был идеальный день для пикника в парке, где семья и друзья собрались вместе, чтобы насладиться прекрасной погодой.»
То есть длина и структура предложений варьируются, чтобы создать более динамичный и насыщенный деталями текст. Короткие предложения сочетаются с более длинными и описательными, имитируя повествования человеческого письма.
Мое мнение про AI-детекторы:
Это шлак 😎 — на них нельзя полагаться.
Бонус:
На основе этого ресеча и основных аттак я собрал GPT «Anti AI-Detection» — вставляете туда текст, и она его переписывает применяя эти атаки. Работает не так хорошо как люди, конечно же, но работает.
Исследование целиком:
https://arxiv.org/abs/2403.19148
Видели такое?
Тут говорят можно разные техники, лоссы, архитектуры DL наглядно изучить. Фреймворк DL Pytorch.
Удобно?
https://nn.labml.ai/
claude-llm-trainer
Чел из hyperwriteai.com выкатил любопытный пайплайн, который обучает язвыковую модель по описанию задачи.
Описываете задачу текстом, например "генерация кода на питоне", а дальше с помощью Claude 3 генерится датасет под задачу и тренится моделька. Лама 2 7б в колабе, локально, или вообще гпт3.5 через апи - не принципиально.
Насколько такие модели действительно полезны (по сравнению с обученными кожаными мешками на реальный данных) - большой вопрос, но как демка пайплайна - очень даже любопытно.
Возможно, генерация датасетов подобным образом нарушает условия anthropic, но что вы нам сделаете, мы сдругова горада.
git
tweet
Finally some code with no docs/comments required by default 🤡
Читать полностью…
🔥RadSplat - качество рендеринга как NeRF, но в 900FPS!
Переносить реальные пространства в VR в высоком разрешении - это то к чему многие ресерчеры стремятся. Но для реального применения, тут важно уметь быстро рендерить реалистичную картинку отсканированных объектов.
Концептуально в новом методе RadSplat всё очень просто: сначала тренируем нерф и запекаем его в гауссовый сплат. Потом, сравнивая с нерфом, определяем важность каждого элемента сплата и обрезаем ненужные. От такого прунинга качество, внезапно, даже растёт.
Для ускорения на больших сценах предлагают разбить сцену на несколько кластеров, определить что из каждого кластера видно и рендерить только это. В чём-то это похоже на VastGaussian, о котором я рассказывал пару недель назад.
В целом оно быстрее обычных нерфов вплоть до 3 тысяч раз(!), что по скорости примерно на уровне метода Re-ReND от нашей команды, где мы запекали нерф в light-field на меши, что позволяло рендерить со скоростью до 1000FPS на GPU и 74 FPS на шлеме Oculus Pro.
Сайт проекта
@ai_newz
OpenAI дали доступ к SORA разным креативным людям по миру – и те показали свои первые работы с ней.
Выкачал вам все примеры – как по мне, довольно клево вышло, в руках профи SORA по настоящему раскроется.
Пост тут:
https://openai.com/blog/sora-first-impressions
Вышла GGUF версия Grok
hf за линк спасибо labmember04
💣 Одним из самых запоминающихся моментов с конференции Nvidia GTC 2024 стало выступление Хуанга, когда он под конец попросил выйти на сцену двух маленьких роботов, выполненных в стилистике "Звёздных войн".
Эти роботы не просто аниматроника; они научились ходить с помощью платформы Isaac Sim — платформы для моделирования робототехники.
Мы привыкли воспринимать большую часть информации посредством картинок и видео из интернета, но только представьте, что что-то, что само научилось ходить и видеть, проходит в таком виде мимо вас. Мне кажется, первый контакт будет незабываемым и запомнится на всю жизнь.
its not a world model if its not hype enough - open sora
Китайская версия Sora начала учиться чуть больше месяца назад, и за всего то 200 а100 дней и 400к видео начала генерировать вполне неплохие 2s видео!
А, это не финальный чекпоинт и это всего 16×512×512
repo
blog про ускорение обучения
Чел в кожаной куртке : “ChatGPT момент для роботов может быть уже за углом”
На вчерашнем ивенте Дженcен Хуанг, CEO Nvidia, представил новые GPU, а также анонсировал GR00T - Generalist Robot 00 Technology.
GR00T (отсылка к Марвелу) позиционируется как foundation модель для будущих роботов, от простых манипуляторов до робо-гуманоидов. Моделька способна обрабатывать мультимодальные данные, такие как видео, текст и другие сенсоры, выдавая действия робота в ответ на различные ситуации. В придачу с ним можно разговаривать и голосом – LLM-ка все осилит. Кроме того, GR00T может обучаться эмулировать действия, наблюдая за человеком.
Однако данных для тренировки таких роботов не наберешься, как я уже говорил, например здесь. Поэтому Nvidia представила обновленный Isaac Lab – среду для обучения роботов c помощью RL в симуляции, максимально приближенной к реальному миру.
Так например натренировали Isaac Manipulator – это умная роборука. Эта штука может выполнять простые задания получая на вход текстовые указания и на лету адаптироваться к изменяющимся условиям, находя новое решение для задачи. Скоро на заводах тоже пройдут лэйофы, ведь люди больше не будут нужны : )
А гоняется моделька GR00T на мобильном GPU-чипе Jetson Thor (800 TFlops в FP8), специально разработанном для управления роботом с минимальной задержкой.
Похоже, Nvidia хорошо так притопила в разработке роботов. В ближайший год стоит ждать больше и больше новостей про умных гуманоидов.
@ai_newz
https://github.com/xai-org/grok
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2FannounceЧитать полностью…
Все уже наверное слышали про генератор песен suno.ai — но я тут обнаружил, что если скармливать туда стишки-пирожки (привет 2011) и выбирать разные стили металла, то получаются дико легендарные баллады, сделал вам подборку 🍊
Теперь моим планом «Б» будет выступление глэм рок группой на свадьбах
В мире компьютерной безопасности сегодня интересный день. Точнее, он начался вчера вечером, когда немецкий разработчик Андрес Фройнд опубликовал отчет о тайной лазейке (бэкдор), которую он обнаружил в новых версиях широко используемой библиотеки для сжатия liblzma (часть архиватора xz). Лазейка позволяет взломщикам заходить через SSH на системы, в которых установлены эти новые версии - к счастью, похоже, что это всего несколько дистрибутивов Линукса в их до-релизовых версиях.
Всех очень впечатлило, насколько эта лазейка была сделана хитро, и как взломщик или взломщики серьезно поработали над тем, чтобы замести следы:
- взломщик под именем/псевдонимом Jia Tan почти два года (!) участвовал в разработке опенсорсного пакета xz, завоевал доверие его мейнтейнеров и получил доступ к прямому коммиту в его репозиторию. Он сделал больше 700 коммитов, лишь малая часть которых медленно подготовила код для лазейки
- основной код лазейки спрятан в тестовых файлах проекта (примеры "плохих" и "хороших" архивов)
- исходный код, который включает лазейку в собственно библиотеку, вообще не является частью основной репозитории в Github. Он спрятан в тар-архивах двух последних релизов, которые обычно используются мейнтейнерами дистрибутивов. То есть есть таг релиза, есть архив, якобы собранный из репозитории в момент этого тага, но на самом деле в нем есть крохотная добавка; в самой репозитории ее нет
- эта добавка прячется в конфигурационной магии autoconf, которую все ненавидят лютой ненавистью и никто никогда не заглядывает внутрь
- она проверяет, когда исходники конфигурируют именно для постройки дебиан-пакета или RPM-пакета (т.е. то, что будут делать мейтейнеры дистрибутивов), и только в этом случае вынимает из тестовых файлов определенные куски и добавляет в код библиотеки
- внутри библиотеки код лазейки заменяет несколько функций, которые работают с символьными таблицами библиотек во время их подгружения. Затрачены специальные усилия, чтобы имена функций не появлялись в двоичном коде. Что именно дальше делает код лазейки, до конца еще не ясно, но он обрабатывает сам символьные таблицы библиотек, и видимо находит то, что имеет отношение к SSH серверу, и что-то там заменяет. Это еще проверяют сейчас.
- интересно, что openssh, стандартный SSH-сервер под линуксом, не использует библиотеку liblzma, в которую вставили эту лазейку, но несколько популярных дистрибутивов добавляют в него поддержку уведомлений системы, systemd, а библиотека libsystemd уже в свою очередь использует liblzma.
- после того, как вышли версии библиотеки с ошибкой, несколько разных людей с незамеченными до того именами (очевидно, альты взломщика или сообщники) стали открывать запросы в разных программах и пакетах сделать апгрейд на эти новые версии, и в некоторых случаях преуспели
Взломщик допустил только одну ошибку: код лазейки, когда он работает как часть openssh, довольно медленно обрабатывает эти символьные таблицы, или что он еще там делает, и даже неудачная попытка логина на такую систему занимает на полсекунды дольше, чем обычно. Андрес Фройнд заметил эти полсекунды задержки. Они его раздражали. Он решил найти, какой новый баг к этому приводит, и нашел эту лазейку.
Если бы все происходило быстро и не было задержки в полсекунды, очень может быть, что это не заметили бы месяцы и годы, и этот код попал бы в основные дистрибутивы, в версии Линукса, которые запускаются у основных облачных провайдеров итд. Они реально очень, ОЧЕНЬ хорошо замели следы.
Теперь все думают, что надо было/надо теперь делать по-другому, и как обнаружить следующую лазейку такого типа - или предыдущую, если она уже есть и никто не знает! - не опираясь на удачу и героическую занудливость Андреаса Фройнда.
Вышел апдейт viggle.ai
Подняли разрешение видео, ускорили генерацию, улучшили лица и быстрые движения.
Надеюсь, пофиксили главную проблему - фон, залезающий на текстуру по краям модели.
Если не в курсе - это сервис, который генерит и текстурирует модельку по фото и анимирует все это по опорному видео, в том числе с лицевой анимацией.
Хоть какой-то глоток свежего воздуха на фоне вариаций animatediff с различными свистоперделками.
Блогеры - все. Вы не поверите, это девушка полностью генерация!
Ох, ребята, иногда у меня подгорает с твиттерских "аи-блогеров" (ex. криптобро), обожающих бомбить громкими заголовками ради репостов, не проверяя информацию, а потом это мощно тиражируется.
Люди на видео реальны, вы даже можете нанять их, чтобы сделать видео здесь, например:
https://fiverr.com/amarie1717
Другими словами, "стартап", получил лицензию на нескольких людей "говорилок" и подключил HeyGen (пруф) для их анимации/кастомизации.
Все.
🚀SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions
Подход: Введение уменьшенных моделей и сокращение шагов выборки значительно снижает время генераций. Дистилляция знаний и упрощение U-Net и декодеров изображений, а также новая техника обучения DM обеспечивают прорывную скорость.
☺️ 1 шаг = 1 картинка
Обещают две модели(Старая версия SDXS-512 доступна на HF):
— SDXS-512, 100 FPS (30x faster than SD v1.5)
— SDXS-1024, 30 FPS (60x faster than SDXL)
указано, что скорость достигается на одной GPU, но без указания какой, 🐈⬛предположим A100.
Так же показывают, что возможно дообучение ControlNet.
INFO—PAPER—WEIGHTS(OLD SDXS-512)—COLAB(OLD SDXS-512)(Быстрый даже на T4, сделал там и вариант с видео, где батчем сразу собирается в короткий ролик)
Ждем полноценных весов и тестим на рейлтайм генерациях в СomfyUI.
Вебкамщицам к цифровой сингулярности приготовиться
https://x.com/dreamingtulpa/status/1772311202871312655?s=46&t=2mo-W_Ay5P2D-PKnXI2DOA
AnyV2V - инновационная пайплайн для редактирования видео, позволяющий использовать готовые модели для изменения первого кадра и генерации последующих кадров с сохранением согласованности с исходным видео.
Это упрощает редактирование видео до двух этапов:
— модификацию первого кадра с помощью моделей типа InstructPix2Pix, InstantID
— генерацию видео через I2VGen-XL для инверсии DDIM и инъекции признаков.
AnyV2V расширяет возможности редактирования за счёт поддержки новых задач, включая передачу стиля и редактирование, ориентированное на объект, превосходя традиционные методы по выравниванию подсказок и предпочтениям пользователей.
INFO—PAPER—GITHUB(код есть и рабочий)—DEMO(Replicate)
Работает это все пока только на A100, и чтобы попробовать на своих видео нужно менять конфиги:template.yaml
group_config.json
InstructPIX2PIX занимает больше всего времени, в стандарте 16 кадров всего из оригинального видео. Буду следить когда добавят в ноду для ComfyUI.
Поговорим об анонимности. Например, криптовалют.
Но, для начала, надо понять что такое "свидетельство канарейки". Термин пошёл из добычи угля. Зарываясь всё глубже в землю, шахтёры рисковали нарваться на подземный газовый карман и умереть задохнувшись. Чтобы это предотвратить, они таскали с собой клетку с канарейкой. Птичка весело чирикала и прыгала туда-сюда по клетке, но благодаря быстрому обмену веществ, могла умереть даже от мельчайшего воздействия газа. Так что если канарейка в глубинах шахты вдруг переставала чирикать, все люди в срочном порядке эвакуировались.
В общем, это и есть "свидетельство канарейки" (warrant canary).
В 2001 году в США приняли "Патриотический акт", закон направленный на борьбу с терроризмом и дающий правительству права весьма широкой слежки за своими гражданами. Согласно этому акту, правительство может направить секретный приказ провайдеру услуг на слежку за пользователем. По закону, компания не имеет права разглашать, что она получила этот приказ.
Но тут вступает в силу идея с канарейкой. Да, тебе запрещено говорить о том, что ты получил такой приказ. Но тебе ничего не мешает говорить о том, что такой приказ ты не получил. Каждый день. Пока, в один прекрасный день ты просто об этом не сообщаешь и все люди, которые следят за обновлениями, точно поймут, что приказ всё же был получен.
Собственно, именно это произошло сейчас с криптовалютой Etherium. На гитхабе их сайта заметили коммит, в описании которого написано: "мы удалили раздел нижнего блока сайта, поскольку получили добровольный запрос от государственного органа, содержащий явное требование о соблюдении конфиденциальности". Говоря по-простому, до эфира добралась ФБР.
Это не значит, впрочем, что крипта полностью скомпрометирована и товарищ майор знает, когда и кому вы пересылали деньги. Это просто значит, что к сотрудникам пришли люди в форме с требованием слежки за пользователями и об этом никому сообщать было нельзя. Благодаря "свидетельству канарейки" мы знаем, что это, всё же произошло.
@zavtracast
А вот и двухминутная сцена из Fallout подъехала.
https://www.youtube.com/watch?v=Z_7jXPMu0Nk
AnimateDiff Lightning
в 10 раз быстрее оригинального AnimateDiff.
Инструкции по использованию в ComfyUI прилагаются
#text2video
StyleGaussian новая разработка, расширяющая возможности работы с 3D-сканами — перенос стиля с картинки на 3D среду. То есть можно отсканировать окружающий мир своим смартфоном и дальше красить как угодно.
Пока без демок, только с примерами и кодом. Выглядит пока страшненько, но все когда-то выглядело страшненько.
Mapillary - уличные карты на стеройдах
Думаю, что не все слышали о картах Mapillary (да я и сам не знал, что есть такой отдельный продукт).
Mapillary - это сервис который позволяет просматривать виды улиц, тыкнув на карту, основываясь на краудсорсинговых видео и фотках. Фирма существует с 2013 году и была приобретена Meta в 2020 году.
Mapillary предлагает изображения улиц, аналогичные Google Street View, причем позволяет пользователям загружать фотографии с любой камеры и использовать их для совместного создания вида улиц по всему миру. То есть там можно прогуляться не только по автодорогам, как в Google Street View, но и по мелким пешеходным улицам, т.к. любой пользователь может загрузить свое видео или фото.
Под капотом сервиса бегают алгоритмы CV, для создания консистентного экспириенса прогулки по улицам и склеивания фоток. А вчера на карту добавили еще и Нерфы! То есть любой может отснять локацию, следуя инструкциям, и через пару дней на карте появится 3D нерф, на основе его снимков!
Я снял для вас короткий видос о том, как работает апка. Вот тут можно потыкаться в карту самому https://mapillary.com/app
@ai_newz
Vision-RWKV
Неплохо, показывает себя наравне с ViT схожего размера (2-я vs 3-я картинка), но при этом отлично скейлится на большие разрешения, не улетая по памяти и времени инференса в космос.
И все это на базе RWKV-2, так что интересно посмотреть, как оно будет на RWKV-6, которую доучат через месяц.
Хочу аналог sora на D-VRWKV вместо DiT!
github
paper
@derplearning
Учёные из Google Deepmind представили свою работу по созданию нейросети SIMA (Scalable Instructable Multiworld Agent, Масштабируемый Инструктируемый Многомировой Агент).
Цель SIMA - следовать инструкциям людей на естественном языке для выполнения задач в различных условиях видеоигр. Ученые объясняют её создание так: "как и в реальном мире, виртуальные миры в видеоиграх представляют собой насыщенную обучающую среду с быстро меняющейся в реальном времени обстановкой и целями".
SIMA - это ИИ общего назначения для виртуальных 3D-миров. Эта работа не направлена на достижение высоких результатов в таких играх, а скорее научится взаимодействовать с миром в целом. Научиться играть даже в одну видеоигру - это уже технический подвиг для систем ИИ, но обучение следовать инструкциям в различных игровых ситуациях может открыть более полезные применения ИИ для любой среды.
Пока что SIMA учится на девяти разных видеоиграх. Одна из них это No Man's Sky от студии Hello Games, а вторая - Teardown от Tuxedo Labs. На скринах можно заметить также Valheim, Hydroneer, Wobbly Life, Satisfactory и Goat Simulator 3.
Нейросеть обучают целому ряду навыков, которые ей нужно освоить: от простой навигации и использования меню до добычи ресурсов, полета на космическом корабле или же крафтинга.
Также ученые сделали четыре исследовательские среды на движке Unity, где агентам нужно строить скульптуры из строительных блоков, что проверяет их умение манипулировать объектами и интуитивное понимание физического мира.
Обучается она при этом на стримах людей-игроков, причём один игрок давал указания другому. Также нейросети наблюдают за тем, как игроки играют свободно, без указаний.
Текущая версия SIMA оценивается по 600 базовым навыкам, включая навигацию ("повернуть налево"), взаимодействие с объектами ("подняться по лестнице") и использование меню ("открыть карту").
Результаты работы SIMA демонстрируют потенциал для разработки новой волны универсальных, управляемых голосом ИИ-агентов.
Исследование находится на ранней стадии.
@zavtracast
🔥PIXART-Σ:
Weak-to-Strong Training of Diffusion Transformer for 4K Text-to-Image Generation
Китайцы из Huawei опубликовали новую text2image модель, которая может генерить картинки в 4к! Результаты выглядят очень достойно.
Архитектура основана на DiT (как и у Stable Diffusion 3), но с модифицированным аттеншеном. Кажется, теперь все новые text2img и yext2vid будут на базе DiT, UNet уходит в историю.
Сайт проекта
Демо (только в 1024p)
Кода пока нет
@ai_newz