CGIT_Vines

10 Dec 2024 16:23

Прошло каких-то 8 лет с тех пор, как я мечтал, что кто-нибудь сделает просто стельки: удобные, лёгкие, прочные стельки для трекинга ног в VR. Я сдуваю пыль с аббревиатуры VR и пишу, что всё время, пока я пользовался разными шлемами, отсутствие нормальных ног сильно выбивало из погружения.

VR отложен до лучших времён. Они обязательно наступят, но уже с нейрорендерингом, чипами и полным трекингом всего. И, конечно, это будет не VR-устройство, каким мы привыкли его воспринимать.

Следующий виток развития VR должен случиться с нормальным драйвером, с чем-то вроде вышеперечисленного, потому что доверие к технологии подорвано ребятами типа Цукерберга, жадными инвесторами и самой технологией.

А пока — только стельки.

CGIT_Vines

07 Dec 2024 08:44

Просил разные модели объяснить мне шутку, не справился никто. Тестил (Geminy, GPT, Claude, Copilot, Grok). Кажется вот где пригодится подписка за $200. Одна надежда на вас. Примеры ответов в комментах.

CGIT_Vines

06 Dec 2024 14:13

Когда не хватает времени протестировать самому, хотя хотелось, конечно, но помощь приходят знакомые готовые окунуть себя в Nau Engine. (Кто не в курсе это продукт который должен импортозаместить Unreal)

CGIT_Vines

04 Dec 2024 15:01

#реклама

Стрим финала онлайн-челленджа КомпОт

Совсем скоро эксперты КРОК и Yuri the Professional объявят победителей каждой номинации среди тех, кто сам собирает и разгоняет ПК:

👾 GGWP – качество и аккуратность сборки
👾 Rare – нестандартность комплектующих и корпуса
👾 Press_F – кринжовость сборки
👾 MVP – производительность процессора, ОЗУ и видеокарты

Трансляция пройдет сразу на 3 площадках. Если боитесь забыть про финал, оставляйте почту, куда получить пуш с напоминанием ➡️ http://croc.global/2i1?utm_erid=LjN8KAWAu

Встречаемся 6 декабря в 18:00 по Москве ⬇️

YouTube: http://croc.global/2hy?utm_erid=LjN8KAWAu
Rutube: http://croc.global/2hz?utm_erid=LjN8KAWAu
VK: http://croc.global/2i0?utm_erid=LjN8KAWAu

CGIT_Vines

03 Dec 2024 06:54

Китайцы (Tencent) опять ИИ boot!
Выложили крупнейшую, на 13b параметров, опенсорсную text2video модель HunyuanVideo.

По скорости генерации чуть обходит GEN3, ну и опять же — опенсорсная.

Минимально требуемый объём памяти графического процессора составляет 60 ГБ для 720px × 1280px × 129f и 45 ГБ для 544px × 960px × 129f.

Вообще, в последнее время выходит просто тонна всего и по итогу теряется в общем потоке. Остаются только имплементированные в продукт решения с возможностью гибкой донастройки. Т.е. именно упаковка продукта и возможность подкрутить под себя дают моделям жизнь и шанс стать действительно массовыми.

Вертикальный рост хорош в гонке, но действительно полезных инструментов мы не получим, пока компании не перейдут в горизонтальное развитие. Text2anything сыт не будешь.

Поэтому гипотетическая модель от OpenAI, когда они её таки выпустят, конечно, это будет не SORA, а что-то с дополнительными опциями. Выйдет в красивой коробке, и вы не захотите пользоваться никакими, просто самыми большими моделями. Вам нужна зависимость от продукта, и там это понимают.

CGIT_Vines

29 Nov 2024 14:02

#реклама

IT-пчеловод, повелитель света, создатель лучших микрофонов, строитель, дизайнер — что общего между ними? Они смогли! Стали одними из лучших в своей сфере и... героями предновогодней конференции 🎄

20 декабря не пропустите «Рождественские лекции: путь основателя». Создатели заметных компаний из разных отраслей поделятся своими историями: какие препятствия были у них на пути и как они их преодолевали, почему важно «гореть» тем, что делаешь, зачем и как делать фанатов из своих клиентов, что помогает не сдаваться в самые трудные минуты.

Вас ждут:

*️⃣Выступления основателей в формате TED и интервью
*️⃣Live-концерт Polina band
*️⃣DJ-сет
*️⃣VR-хоккей и симулятор полетов
*️⃣Виртуальный Майкл Фарадей в качестве ведущего вечера

Среди спикеров:

🟠Александр Дубовенко, основатель GoodWood
🟠Павел Баздырев, сооснователь «Союз Майкрофонс»
🟠Александр Ус, основатель и креативный директор SILA SVETA
🟠Артем Жаров, основатель компании Пчелошеринг
🟠Дарья Самкович, основатель I AM STUDIO, сооснователь DIVNO, экс-креативный консультант EKONIKA

🔜
Подробности и регистрация

Реклама ГБУ «Агентство инноваций Москвы» ИНН 7703770430 erid: 2SDnjcrC4qH

CGIT_Vines

29 Nov 2024 08:15

#реклама

🔥 Ищете свежие идеи и актуальные тренды в digital-мире? Присоединяйтесь к @nako_digital!

Nako — команда экспертов в Web-разработке, UX/UI дизайне и data-driven маркетинге. Мы адаптируем многостраничные сайты, оптимизируем мобильные приложения и повышаем конверсию с помощью актуального дизайна.

В нашем канале:
🔹 Практические кейсы по созданию сайтов и улучшению UX/UI.
🔹 Советы по ASO-оптимизации, чтобы ваши приложения выделялись в топах App Store и Google Play.
🔹 Инсайты и тренды из мира digital и eCommerce для роста вашего бизнеса.
🔹 Пошаговые разборы успешных проектов и полезные лайфхаки от команды.

👉 Подпишитесь на @nako_digital, чтобы быть на шаг впереди конкурентов и вдохновляться крутыми идеями и решениями!

Реклама ООО "БОДРЫЙ КУБ" ОГРН 1157847156510 2VtzqwPAcQN

CGIT_Vines

28 Nov 2024 06:29

Есть ещё пару способов получения трёхмерного пространства. Один из них работает на основе видео, через CogVideoX. Второй — на основе статических изображений. И в одном, и в другом случае идея состоит в том, чтобы получать дополнительные, обычно четыре, ракурса и на их основе создавать облако точек. Просто в 2D это делается в разы быстрее, чем в 3D.

И первый, и второй вариант имеют проблемы с консистентностью, искажённой перспективой и т.д. Интерполяция вида не приносит должного выравнивания в объёме, и искажения всё равно остаются. Тут нужно идти через другие способы и "костыли", такие как использование симметрий, вспомогательной разметки, сегментации или входных данных в виде трёхмерных блокаутов либо хотя бы дополнительных ракурсов.

Ещё раз: проблема сейчас именно с консистентностью и выравниванием. Я даже готов двигать дополнительные тангенты, чтобы выравнивать промежуточные ракурсы и править перспективу через грид, но при этом не терять объёмы.

@CGIT_Vines

CGIT_Vines

26 Nov 2024 19:42

Если бы мы знали, что происходит, но мы не знаем, что происходит

CGIT_Vines

25 Nov 2024 06:50

Первые тесты и сравнения Edify и Meshy (не знаю, за что так любят второй, он в разы ущербнее Tripo).

Первое — сетка получается квадной, преимущество которой сомнительно в некоторых случаях. Уже писал про это.

Второе — это работа с альбедо. На примере у Edify она ближе к референсу, что может быть проблемой при более цветном референсе или референсе с наличием артефактов цвета или теней.

Как сам доберусь до тестов, сравню нормально, но сейчас уже кажется, что Tripo пока лидирует.

Я где -то видел, что уже открыли тесты Edify, но не могу найти никаких доступов, на офф сайте в том числе. Если мне не приснилось, закиньте, плз линк в комменты.

P.S. а вот и линк нашелся.

CGIT_Vines

21 Nov 2024 05:19

Проснулся стартап PimEyes с вирусной рекламной кампанией про определение людей по фотографиям практически в реальном времени.

Конечно, это не немецкий журналист, конечно, его очки не умеют ничего распознавать. Ходит с какими-нибудь Ray-Ban Stories, стримит в соседний фургон, где тип сидит и через сайт PimEyes переходит по ссылкам, смотрит, кто кем работает, имена, фамилии и т. д. В общем, всё то, что вы выкладываете добровольно о себе в интернете. В целом, с саммари по списку ссылок можно даже эффективнее собрать информацию.

Сам стартап имеет мутную историю: зарегистрирован на Георгия Гобронидзе, сама компания оформлена в Дубае. Изначально разрабатывался двумя поляками потом был выкуплен через подставную компанию. В общем, просто не удивляйтесь, если какой-то "журналист" к вам подойдёт и будет рассказывать, что вы megavduvatel3000, и сыпать вашими цитатами из соцсетей. Особенно не говорите ему цифры с обратной стороны карты. It's a trap!

@CGIT_Vines

CGIT_Vines

18 Nov 2024 17:54

MagicQuill 🪄 редактор с функцией инпэинта.
Набор из кистей позволяет добавлять, удалять и  перекрашивать отдельные части изображения.

Использовать можно через hugging face или поставить на свою машину локально. Быстро, удобно, бесплатно.

Hardware Requirements
GPU is required to run MagicQuill
Instant prompt guessing ("Draw&Guess") requires ~5GB VRAM
Image editing operations require ~15GB VRAM
@CGIT_Vines

CGIT_Vines

16 Nov 2024 08:45

Я не знаю каждого из вас, но есть одна вещь, в которой я уверен абсолютно: что среди вас не найдется ни одного человека, который не слышал бы о Half-Life.

Последние пару недель очень много отдельных новостей: то сделают бесплатной для скачивания весь набор, deathmatch, первый и второй эпизод, (забрать тут), то гейб делает отсылки к цифре 3 с бочками, то вот выпускают двухчасовой фильм об истории игры к 20 летней годовщине. И я, конечно, не хочу ничего сказать, но мыслишки знаете ли закрадываются.

Если вам тяжко с анг., запускайте через Яндекс браузер с неро переводом, и хорошего просмотра.

20th Anniversary

CGIT_Vines

14 Nov 2024 18:37

Nvidia Research расписали довольно интересную статью про проект Edify 3D.

Если коротко, то это генератор 3D-моделей на диффузии и трансформерах, но отличает его от подобных, Meshy и Tripo, в том, что Nvidia собрала довольно много подходов в одном инструменте, и, если они доведут его до релиза и будут поддерживать, это будет реально полезная продакшен-тулза. Но кажется, Nvidia не софтверная компания.

Как и конкуренты, Edify генерирует необходимые карты PBR, умеет создавать представления объектов с разных ракурсов, в дальнейшем используя их же для текстур, а отсутствующие части между ракурсами аппроксимирует. Тут важно сравнивать, как алгоритм работает с задними частями модели, потому что в imgTo3D это обычно является слабым местом. В textTo3D с этим должно быть проще.

Дальше про сетку. В презентации ретопология, по всей видимости, работает по схожим алгоритмам с Houdini и Zbrush, и справляется в целом неплохо для танцующих анимированных болванчиков, в продакшен такое не потащишь, к тому же для статик-мешей гораздо лучше использовать триангулированную сетку, особенно если это не хард-сёрфейс. Надеюсь, они сделают кнопку переключения this, quads.

Самое крутое — это создание сцен из набора ассетов, что-то подобное пробовал сделать Andrey Maximov с Promethean AI, но без генерации ассетов. Надеюсь, у Nvidia получится.

Проект
@cgit_vines

CGIT_Vines

04 Nov 2024 13:41

Decart в демку Oasis добавил возможность создавать представления на основе вашей входящей картинки.

Ожидаемо, такой мир довольно быстро начинает деградировать и разваливаться. В следующих версиях обещают сделать его более стабильным. Все инсинуации с будущим оставляю вам в комментариях.

Пробовать всё там же. Свои миры кидайте в комменты — либо картинками, либо видосами.

@CGIT_vines

CGIT_Vines

10 Dec 2024 07:10

Опубликовали работу по реконструкции 3D-объектов из 2D-представления.
Отличает её от подобных работ то, что генерация происходит сразу по всем объектам с учётом контекста сцены, пропуская многоступенчатое подразбиение сцены на отдельные несогласованные объекты.

Для простых стилизованных сцен время создания составляет от 40 секунд до 1 минуты. Правда, непонятно, на каком железе.
Маленький пазл в сегментировании и понимании контекста сцены может быть полезной опцией, когда вам не нужна излишняя гибкость.

Текущие генераторы, как правило, позволяют работать только с одним объектом, что, на самом деле, на данном этапе более предпочтительно из-за всратого качества самих генераций, так как позволяет более гибко настраивать и без того ущербные модели.

Проект

CGIT_Vines

06 Dec 2024 14:13

Nau Engine выпустили бету и я решила ее протестировать

Nau Engine новый движок от наших разрабов. Я уже скачала даже с фиксом, но результат пока меня не очень впечатлил.
▪️Нет возможности добавлять форматы obj, fbx, нашла только решение добавлять формат usd
▪️Добавление мешей в сцену как отдельный вид мазохизма. Вы добавляете новый меш, там применяете объект который хотите добавить и делаете отдельно текстуру для него. Все руками..
▪️Нет возможности копирования объектов, т.е при копировании появляется пустой куб, а не ваш объект.
▪️При добавлении нового меша во вкладке ассет все названия отображаются как стандартные фигуры cube, plane, а не название вашего файла. ( При 100 кубов сложно найти нужный)
▪️Нет тайлинга/адаптивности текстур
▪️Сложные 3д объекты не добавляются полностью, а только частично
▪️Создание текстур через танцы с бубном
▪️Текстуры выше 1к не поддерживаются, программа просто вылетает, как я выяснила ломается из-за шероховатости
▪️Настройки текстур и VFX вообще не несут никакого функционала, я пробовала ставить разные значения, но изменений нет.
▪️Сохранение сцены и сохранение проекта это 2 разные кнопки, раз 10 пыталась сохранить проект, пока не догадалась, что нужно нажать сохранить сцену, чтобы что-то осталось. Это вообще за что и почему
▪️Освещения просто нет, единственный какой-то источник света Directional Light невозможно повернуть, можно только усилить свет и поменять немного цвет. Настройка цвета отдельная боль ползунками.
▪️Вообще в целом везде нужны ползунки, а не ручное изменение значений.
▪️Программа очень часто вылетает, когда начинаешь выполнять несколько действий или менять значения, что-то видимо конфликтует друг с другом, так один проект заскуфился и вообще не открывается теперь.
▪️Нет возможности удалить что-то внутри папок проекта, нужно переходить в папку на компе и там удалять.

В целом пока очень сырой продукт, который сложно назвать полноценным движком для создания даже простых проектов. Стоит его еще допилить и вернуться с улучшенной версией. Так потенциал есть.
Я решила использовать меш уточки, который делала в блендере. Уточке стало немного плохо. Если и сами хотите испытать немного боли от частых вылетов, непонимания вообще что происходит, то идите качайте
Уточка в Nau Engine vs Уточка в UE5

#NauEngine #UnrealEngine5

CGIT_Vines

04 Dec 2024 17:31

Игровые движки и игроделы — В С Ё!

Google опубликовали блогпост (не статью и не веса) про Genie 2. Про первую версию я аж хотел написать лонг, но как-то всё забылось в потоке новостей, и силы ушли на Sora.

Genie — модели, которые генерируют видеокадры из игры. Они принимают на вход сигналы вашей клавиатуры или мышки, и рисуют картинку следующих кадров исходя из команд. Вторая версия сильно прокачалась в качестве (первая была во многом про 2D-игры) и консисентности. Весь геймплей в роликах к посту сгенерирован. Что отмечают гуглеры:
— Long horizon memory (если отвернуться от пространства, а затем повернуться обратно, то будет примерно то же самое, а не абсолютно новое)
— Long video generation with new generated content (до минуты генераций)
— 3D structures
— Object affordances and interactions
— Character animation
— NPCs (другие персонажи в игре)
— Physics
— Gravity
— Lighting
— Reflections (RTX не нужен, но GPU не выбрасываем 😏)

В конце блогпоста самое интересное: в эти симулированные миры поместили SIMA, агента для игр, про которого Google выпустили статью с полгода назад. SIMA контролирует «клавиатуру и мышь» при генерации Genie 2, и две нейронки как бы играют сами в себя.

> we believe Genie 2 is the path to solving a structural problem of training embodied agents safely while achieving the breadth and generality required to progress towards AGI.

😭 лонг про Sora вспомнили?

CGIT_Vines

04 Dec 2024 13:44

Некоторые знают мою любовь к визуальному стилю серии Destiny, Star Wars, и вот сейчас я с нетерпением жду Marathon.
Мне, честно, наплевать, даже если игра будет полным гавном, но то, какую работу они проделали по сборке визуального стиля для этой игры, достойно отдельного места на аллее дизайна.

Пост взял у моего знакомого арт-директора Романа, вот тут.

Смотрите видео о том, как этот стиль собирался Крегом Малинсом и Джозефом Кроссом.

CGIT_Vines

29 Nov 2024 16:33

Геометрия вытащенная из Silent Hill 2 remake.
Ваше мнение?
Продолжение скину в комменты 🏳
@CGIT_Vines

CGIT_Vines

29 Nov 2024 11:11

Вернулся в начале недели к Comfu UI. Учу свою LoRA уже 4 дня, по ночам. AI должен упрощать жизнь и лишать художников работы, а не вот это всё!

А когда-то я давал себе обещание не садиться учить Houdini.
Ноды не мои, но у меня так же, только хуже.

CGIT_Vines

29 Nov 2024 06:05

Наконец-то посмотрел короткометражку "Король и Голем".
Она в последних кадрах ставит экзистенциальный вопрос сосуществования ИИ и человека.
Король приходит к логической дилемме: может ли он доверять Голему? Проверкой служит отправка Голема на смерть. В итоге король отказывается уничтожить ИИ. На русском можно смотреть через яндекс браузер.

С одной стороны, в этой ситуации Голему можно доверять: если задача Голема — исключительно следовать приказам, король может быть уверен в его предсказуемости. Такой Голем выполняет свою функцию как инструмент.

Нельзя доверять полностью: Голем, способный уничтожить себя, лишён самостоятельной оценки ценности своей миссии. Это делает его менее адаптивным и потенциально опасным, если команда ошибочна или дана сгоряча.

Как следствие, отсутствие самосохранения означает, что он может быть использован как оружие для разрушения.

Разные инструкции в этой ситуации либо ставят ИИ под контроль человека или группы людей. В этом случае слепое повиновение, где Голем не способен принимать решения, приводит к тому, что он будет выполнять любые, в том числе ошибочные, указания.

И нам нужно снова создавать Голема зависящего от языка и письменности.

CGIT_Vines

27 Nov 2024 19:38

Маск неожиданно анонсировал в ретвите X, что его @xAI планирует открыть AI-игровую студию, что бы это ни значило.

Вероятно, его игровые инфоповоды последние пару недель были не просто так.

"Слишком много игровых студий принадлежат огромным корпорациям", — сказал Маск, видимо имея в виду, что для еще одной корпорации должно найтись местечко.

CGIT_Vines

25 Nov 2024 10:28

Футуристы: Летающие машины, роботы, делающие рутинную работу, мир без войн, космические круизы и бесконечная жи...

Мир: Не-не-не, Снуп с толпой укуренных хомис и белый пляшущий робот с IQ выше, чем у шести человек. Вот это вот будет 🤡

@CGIT_Vines

CGIT_Vines

25 Nov 2024 06:14

Супер быструю модель (SANA 1.6B-1024) собрали для графических возможностей ноутбуков, противопоставляя себя огромному и неповоротливому Flux. SANA в 20 раз меньше и в 100 быстрее.

Может выдавать разрешения до 4к. Тратя на 1к примерно 1 сек., хотя заявляют, что меньше.

Правда, ноутбук получится довольно дорогим, потому VRAM нужно 16Gb.

На тестах довольно высокое обобщение на деталях, даже на высоких разрешениях. Но генерации и правда выходят довольно шустро.

Есть и
Проект и
Код и
Описание

CGIT_Vines

19 Nov 2024 05:37

Claude Computer Use прогрессирует и учится взаимодействовать с пользовательскими интерфейсами. В примере показана игра Honkai: Star Rail. На самом деле, любая пошаговая JRPG подойдёт. Я сразу подумал про боёвку в BG3, а в PDF с описанием обновлений модели увидел примеры с Hearthstone. В прошлых постах вы писали про кейсы с покером — возможно, тоже зайдёт, но не играйте на деньги!

В итоге мне, конечно, хотелось бы запустить это всё на песочнице типа Sims и заставить Claude жить его лучшую жизнь😡

Прогрессия в управлении интерфейсами, не сказать, что идёт быстро. Модель всё ещё не умеет скроллить страницы, а без этого понимание того, что происходит на экране, не полное. К тому же разрешение входных скриншотов тоже имеет критическое значение.

Я частенько вижу статьи о том, что скалирование моделей упирается в том числе в нехватку данных. Интерфейсы и игры — это одно из окон возможностей, но куда больше модели смогут получить, если им дадут возможность видеть просто через камеру. В ближайших релизах у OpenAI как раз планируется такой функционал.

Project
Code

CGIT_Vines

18 Nov 2024 06:52

Еще одна работа из института Торонто, выполненная во время стажировки в Nvidia.

Подход выбран довольно простой и оптимизированный. Через описание вершин, записанных в obj файл, если кто не знал, obj файл геометрии — это просто описание последовательности точек в виде координат, записанных просто текстом. Используются пространственные данные, которые уже есть в LLM + дополнительное обучение по туторам на ютубе) Так что помните: с каждым новым записанным обучающим видео вы вбиваете гвоздь в крышечку 😈)

В общем, метод рабочий для простых риалтаймовых представлений, для web, например, работать со сложными многосоставными или органическими структурами так не получится. И еще он хорошо пакуется, потому что это просто текст.

Только не просите его сделать что-то слишком сложное, например, дерево, он не сможет.
Сгенерированные координаты потом вставляйте в поле с визуализацией меша, чтобы посмотреть результат.

Проект
Тут поиграться с проектом
Code

CGIT_Vines

15 Nov 2024 07:07

Немного дикого лора из недр 1995 года и Unreal Engine 1.

Чувак удивляется, почему на новостной плашке в Fortnite у него появилась плесень. Sweeney объясняет, что это текстура, которую он в 95 году на 90 мегагерцовом Pentium загрузил в Unreal 1 как дефолтную текстуру, и, когда кто-то из проггеров забывает подгрузить нужную картинку, ставится этот плейсхолдер. ⛔️

CGIT_Vines

14 Nov 2024 09:02

Продолжая тему реалистичной мимики робо-лиц.


Инженеры из Колумбийского университета запилили интересную робоголову, естесственно, на нейронках, куда ж сейчас без них. Нужны эти нейронки для того, чтобы предсказывать выражение лица человека, с которым ведется диалог. А предсказывать выражение лица собеседника нужно потому, что замедленная мимика робота выглядит неискренней и кринжовой, а то ж нам эффекта зловещей долины не хватает.

Но больше всего понравился метод обучения этой железной башки эмоциям: её тупо поставили перед камерой и позволили совершать случайные движения своми 26-ю приводами, наблюдая за собой. Через несколько часов робот научился соотносить получившиеся выражения лиц с двигательными командами — так же, как люди тренируют мимику, глядя в зеркало. Затем показали железке различные видосы с разными выражениями лиц людей, чтобы обучить предсказывать эмоции по едва заметным движениям частей лица.

Момент, где он кривляется, глядя на себя в зеркало офигенный.

Тут подробнее:

CGIT_Vines

01 Nov 2024 17:59

Offline is new luxury
#PIA