CGIT_Vines

19 June 2023 18:10

Ура, добывающая профессия теперь и в МЛ. Infinigen - «золотоносная» жила для генерации качественных синтетических 3D сцен для задач компьютерного зрения

Двигатель прогресса в МЛ - качественные данные. С этим много сложностей от этичного сбора до проклято-трудоемкой аннотации (особенно видео). Исследователи давно работают над симуляцией, и пока это не было достаточно хорошим решением (ограниченная вариативность, упрощенные текстуры и геометрии, зависимость от референсов).

Ученые из Принстона представили Infinigen - источник бесконечных возможностей генерации природных 3D сцен с автоматической аннотацией.

Infinigen восхитительный, потому что:
Процедурный. Каждый объект, от формы до текстуры, создается с нуля по стохастическим правилам и настраивается(!), а количество интерпретируемых человеком степеней свободы (типа материала и размера камней, формы листьев и лепестков) не менее 1070.

Геометрически достоверный. В нем не используются рельефные карты или прозрачности. Все детали геометрии реальные. В этом помогает Blender.

Вдохновлен эволюцией. Зрение млекопитающих развивалось в мире растений, животных, ландшафтов и природных явлений: огонь, дождь, снег. И важно в геологоразведке, навигации беспилотников, экологического мониторинга, спасательных работ, автоматизации сельского хозяйства.

Автоматически аннотируется. Для различных задач CV от оптического потока, 3D-flow сцены, нормалей поверхности до паноптической сегментации и границы окклюзии.

Доступный. Открытый код и artist-friendly с конвертацией Blender Nodes в питон.

Теперь почему это труд и нужен инпут сообщества.
Среднее время создания пары изображений 1080p составляет 3,5 часа. Примерно один час из этого времени используется GPU для рендеринга. Требует в среднем 24 Гб памяти (тестировали на 2 процессорах Intel(R) Xeon(R) Silver 4114 @ 2.20GHz и 1 из 5 NVidia-GPU).
Зато получается годно с первого раза.
Обещают в ближайшее время выложить предсимуляции и создать большой репозиторий с общей копилкой генераций.

🔑Сайт
⛏Код
📖Пейпер

@GingerSpacetail