13183
Используем ИИ строго не по назначению. Заметки про ИИ, IT, компьютерные игры, и всякие инженерные интересности.
Еще одна занятная новость с CES: это демка Nvidia ACE, в которой показывают в уже известном окружении разговор двух NPC, умеющих управляться с языковыми моделями.
Каждый раз их разговор не похож на предыдущий. И убер-фишка: это то, что можно взаимодействовать с NPC голосом, почти без задержки, это тянет на успех.
Рамки взаимодействия для ИИ становятся шире, и продолжат это делать до тех пор, пока они не получат полную свободу самовыражения в игровых мирах.
Оригинал
Там заанонсили кроссовер-ивент в Apex Legends в честь релиза очередного ремастера Final Fantasy VII.
Если вы не успели проорать со скина Aerith, то самое время.
Asian Gamedev vs Woke Gamedev, как говорится.
Постеры, кстати, сгенерены ИИ поверх 3д, что вызвало очередное бурление среди художников.
@derplearning
UEVR: На Quest3 выходят 11000 игр на движке UE4/5
Шок видео скачать без смс и регистрации!!!11один
(на самом деле нет)
Пока мы все находились в анабиозе\путешествовали во времени с 25 декабря по 7 января,
в опенсорс выкатили тулзу, позволяющую попытаться запускать любые игры на Unreal Engine 4/5 в VR.
Понятное дело, что ожидать VR-механик из коробки не стоит, но глянуть на привычные игры в настоящем 3д очень даже хочется.
Да, много игорей глючит, не запусается вообще, а VAC или любой другой античит вас сразу забанит. Не стоит забывать, с первого релиза не прошло и месяца, так что скрестим пальчики и будем посмотреть!
На видео - GTA SA. Признайтесь, всегда хотелось услышать "Ah shiet, here we go again", угнать байк, follow the damn train, и охладить трахание именно от первого лица, а не вот это вот все.
Гитхаб
Таблица совместимости игр
Доки
Дискорд Flat2VR
@derplearning
Потатошка.
Жаль, что при добавлении Элли пса попердолело.
Милота дня!
Штоето? Kittenpillat? Пусеница? Гусенок?
source
Бесплатные облачные кредиты для стартапов
Многие из нас что-то пилят (или как говорят в Долине we are builders). Одно дело делать блокнотик в колабе, и совсем другое запускать что-то в продакшен. Для этого нужны деньги.
К счастью, у больших организаций типа AWS, Microsoft, NVidia и Google есть программы для стартапов, в которых они дают бесплатные облачные кредиты для реализации ваших идей.
Мне удалось получить их все, без официальной регистрации компании
Формы заявки довольно простые для заполнения:
AWS Activate - $1000+
NVidia Inception - $10000+
Microsoft for Startups -$1000+
Google for Startups - $2000+
Попадание в каждую из этих программ дает множество дополнительных плюшек, типа бесплатных кредитов на Notion, Miro, Assana, Vercel и тд
Happy building!
В х-иттере вирусится пост про прохождение верификации из r/stablediffusion.
И пока твиты набирают миллионы просмотров, оригинальные посты на реддите уже потерты модераторами.
До прохождения видео верификации навскидку даю ещё ну где-то полгода 😅🥲
Последний пост автора на реддите с воркфлоу (в комментах схороню скрин с ним на всякий)
@derplearning
Кулибины из Stanford University x DeepMind из говна и палок собрали робота за $32k
Он управляется нейросеткой с ноутбука с GPU 3070TI и способен обучаться сложным задачам всего за 50 демонстраций. «Демонстрацией» тут называется последовательность действий, осуществляемая человеком со специальными контроллерами в руках (см. тут и на видео). Авторы тестировали робота на многих задачах, и в целом в более чем 50% случаев у него всё получается после шага обучения «подражанию» людям.
Делает ну буквально всё: готовит, заправляет стиралку, подметает, заправляет подушку в наволочку, протирает мебель... был бы у меня такой робот — я б может и не женился 🍷
Инструкция «собери сам» доступна тут, в основе лежат покупные робо-детали и распечатанные на 3D-принтере компоненты.
Больше демок: тут, тут, тут и тут. Тем, кто досмотрит приложенное видео до конца — бонус с нарезкой людей фейлов бота при готовке. Тут платформой управляет человек (пока), то есть происходит та самая демонстрация.
———————————
Начинаем 2024й год в AI с хороших новостей для сотрудников фастфуда☕️
Мой любимый формат загадки – в видео ниже:
🏬 – ставьте домики если считаете что это реальное видео
🪿 – ставьте гуся если считаете, что это компьютерная графика
Результаты подведем завтра ☕️
AnyText: Multilingual Visual Text Generation And Editing
Ну що, с наступающим?
Alibaba, очевидно, не дают покоя лавры dalle3 в части генерации всратого текста, поэтому они выкатили свою вариацию LDM, заточенную на генерацию текста с картинками.
Назвать этот пайплайн "генераций картинок с текстом" язык не поворачивается :D Также поддерживает добавление текста на картинку, его редактирование и, как следствие, удаление вотермарков
Диффузная модель теоретически совместима со stablediffusion, так что скоро и все привычные свистоперделки можно будет подключить.
Го кидать сгенеренные открытки в комменты, я создал!
Git (apache 2.0)
Demo (если вы китаец :D)
Paper
@derplearning
Немножко странного на ночь.
Нейронка сгенерила людей, которых арестовывает полиция за ношение огромных ботинок.
в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д.
и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза
с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе
внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально.
запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты
это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает
гайд о возможностях StableZero123 от Оливио
гайд от Матео Latent Vision
страничка воркфлоу в дискорде banodoco
всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра
@тоже_моушн
Последнюю неделю ходил по магазинам и ловил себя на мысли, что если бы нашел что-то похожее с голосовыми ассистентами, сразу бы купил.
Это и для детей, и для взрослых будет очень значимым этапом, который изменит восприятие общения с ассистентами, и для самих ассистентов будет новым опытом, когда они научатся различать, имеют ли они физическое воплощение или нет, пусть даже это и не будет осознано в полной мере.
Mr.Rob построен на Raspberry Pi, сменных батареях, сервоприводах, отвечающих за повороты головы, OLED-дисплеях для анимированных глаз, а способность описывать мир работает через GPT-4. Так как изначально она не предназначена для этого, справляется пока средне. Может понять, что смартфон – это цифровое устройство, но не более.
PowerInfer, aka как гонять LLM-ки быстрее lamma.cpp (по крайней мере на Linux авторы демонстрируют заметное ускорение, чего нельзя пока сказать о Mac OS). Такой эффект происходит за счет предзагрузки на GPU только так называемых hot-activated нейронов, и расчета на CPU cold-activated нейронов. В общем то основная суть деления на такие холодные и горячие – это то, как при генерации активируются разные нейроны в трансформере исходя из входной последовательности токенов ⏰
🖥Репозиторий
Сразу несколько новостей от Nvidia.
Во-первых, анонсировали новые карточки серии Super. Готовьтесь, что в ретейле будет дороже. Карты появятся в продаже 17 января.
- RTX 4070 Super – $599
- RTX 4070 Ti Super – $799
- RTX 4080 Super – $999
Хорошо что не 5я серия, потому что я не умею так быстро копить деньги на новые карточки.
Во-вторых, подготовили под это пару ремастеров, типа HL2, Morrowind и Portal. Выход 22 января. С помощью утилиты RTX Remix добавили новые материалы, текстуры и рейтрейсинг и DLSS 3.5.
В марте добавят рейтрейсинг в Diablo4.
Презентация тут
Microsoft added
192.168.1.0 and 192.168.1.1
To their DNS records, lol
Just in case you had some weird issues somewhere before new year 👀
https://news.ycombinator.com/item?id=38702783
Shoe cleaning company: makes a customer support chatbot via ChatGPT
Jailbreaking users:
Когда забыл картошку в ящике на полгода
@derplearning
Civit.ai вводит пейволл - Clubs
Собсно, то, чего боялись после ввода их внутриигровой валюты Buzz, свершилось.
В ближайшее время на платформе появится местный аналог patreon. Обещают, в принципе, все то же самое - подписки с тирами за Buzz.
За пейволл можно прятать все типы контента, то есть модели, Лоры, картинки и их настройки, посты. Родной генератор картинок платные модели без подписки потрогать тоже не даст.
Обещают и возможность "пробных" версий одного и того же контента: недообученные модели, менее подробная мета для генераций.
С одной стороны это, конечно, прекрасно - создатели контента для взрослых, коих там субъективно 99%, наконец смогут выйти из своих подвалов и купить еды. С другой - манчкины, скрейпившие терабайтами контент, легко заменят сайт одним торрентом.
К тому же валюту buzz нельзя вывести с платформы, а можно потратить собсно на подписки, чаевые, и генерации картинок. (надеюсь, потом исправят)
Отдельно встаёт юридический и моральный вопрос, так как данные для моделей и лор вряд ли были собраны с соблюдением всех лицензий. Пока это было для всех даром - вопросов было мало. Как только в этом появятся деньги - появятся и вопросы, а, может, и первые робкие иски.
В общем, будем посмотреть. Один скандал с генерацией цп у них недавно был, реддит уже полыхает, поэтому приготовим попкорн для следующих скандалов и будем надеяться, что это не будет для них юнити-моментом.
UPD: они уже немного дали заднюю и завели тред с обсуждением возможных вариантов монетизации
reddit срач
анонс clubs
faq clubs
обсуждение монетизации
@derplearning
Paranoid Pandemonium
Психоделический таймлапс создания не менее психоделического полотнища. 2 недели времени и 6000+ инпейнтов.
сорс
Какой на самом деле саундтрек играл в демо-видосе из этого поста
Ну что, кто уже заказал все запчасти для DIY-сборки, скачал клип известной группы, и с нетерпением ждет возможности обучить эту несчастную железку по-настоящему социально полезным навыкам? :D
Три минуты худших способов изменения громкости.
Потому что почему бы и нет.
@derplearning
Новогоднее поздравление сына маминой подруги.
Будьте собой.
Мы живем не во вселенной Altered Cabron Carbon, и все люди, к счастью, смертны.
(кекаю с этой пасты)
НАСТОЯЩИЙ МАТЕРИАЛ (ИНФОРМАЦИЯ) ПРОИЗВЕДЕН, РАСПРОСТРАНЕН И (ИЛИ) НАПРАВЛЕН ИНОСТРАННЫМ АГЕНТОМ (НАИМЕНОВАНИЕ, ФАМИЛИЯ, ИМЯ ОТЧЕСТВО (ПРИ НАЛИЧИИ), СОДЕРЖАЩАЯСЯ В РЕЕСТР ИНОСТРАННЫХ АГЕНТОВ) ЛИБО КАСАЕТСЯ ДЕЯТЕЛЬНОСТИ ИНОСТРАННОГО АГЕНТА (НАИМЕНОВАНИЕ, ФАМИЛИЯ, ИМЯ, ОТЧЕСТВО (ПРИ НАЛИЧИИ), СОДЕРЖАЩАЯСЯ В РЕЕСТР ИНОСТРАННЫХ АГЕНТОВ)
https://www.youtube.com/watch?v=0DgX9136eKc
MonadGPT is a chatbot trained on 11,000 early modern texts in English, French, and Latin — up to the 17th century.
Chat now: https://huggingface.co/spaces/Pclanglais/MonadGPT
Я всегда любил маленькие умные модели. Не очень сложно на большом масштабе получить хорошие результаты, а вот на маленьком - сложно.
Чуваки сделали 1.3b(mini llama based) в стиле llava модель, которая почти не уступает (3 цифра после запятой) 7b llava.
Hf
Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis
Собственно, позволяет в реальном времени рендерить видео-нерфы на основе видео с нескольких камер.
Сама оптимизация, конечно, не риалтайм, но рендер заявлен в 60 фпс на 4090 @ 8k
Когда уже увидим воксельные игры с таким подходом к рендеру?
Git (MIT)
Подробнее
Демки
Ютуб
@derplearning
Юмор выходного дня.
Как твоя мама видит mixt of Mistral experts.
Тут буквально на днях Microsoft выложили код огромной проделанной работы. Речь идет о LongNet представленном в июне этого года. Очередная попытка побороться с квадратичной сложностью внимания и заскелить длину последовательности до (просто вдумайтесь) 1B токенов (см график на срине 1) 😳
Звучит круто, на деле механизм следующий: будем делить последовательность на сегменты, а внутри еще на уровень разреженности (ну типо как sparse attention). Посмотреть визуализацию можно на скрине 2.
Но это еще не все. Это дело все можно распараллелить на гпушки следующим образом: возьмем длину последовательности, разделим объем последовательность на сегменты, количество которых равно количеству карт. Дальше на каждой карте будут свои матрицы Q, K, V. Но объеденим далее мы в одну только матрицы K, V, а Q будет на каждой карте своя в итоговой формуле. (Скрин 3)
Так вот. Для всего этого дела теперь есть код в открытом доступе. Вот репа (заходим в директорию torchscale/model и наслаждаемся)
НО ЭТО ТОЖЕ ЕЩЕ НЕ ВСЕ. Также в начале декабря они зарелизели LongVIT, который представляет из себя такой же алгоритм, только картинка будет разделена на патчи (скрин 4), что и представит последовательность (код можно найти в той же репе, но директория examples/longvit)
🖥Еще раз. Код весь туть
