Исследователи Vast AI, шанхайской ИИ-лаборатории, гонконгского университета и техасского университета в Остине выпустили TripoSG и TripoSF. Это открытые модели для генерации 3D-моделей высокого качества, которые можно использовать в разработке игр или печати. Отмечается, что нейросеть может обрабатывать даже сложные топологии.
Авторы проекта отмечают, что за последние несколько лет нейросети научились генерировать тексты, изображения, музыку, код и даже видео. При этом модели машинного обучения всё ещё очень плохо работают с 3D-графикой. Трёхмерные фигуры сложной формы получаются плохо, с большим количество артефактов и не годятся для использования без значительных правок.
Разработчики попытались решить проблему, используя новый подход — трансформеры с выпрямленным потоком (rectified flow transformers). В итоге авторам исследования удалось уменьшить количество шума и повысить детализацию готовых моделей.
Исследователи выпустили сразу две нейросети:
TripoSG — модель с 1,5 млрд параметрами для преобразования изображений в трёхмерные объекты и детализированные 3D-меши.
TripoSF — продвинутая нейросеть для генерации высокодетализированных моделей, которые можно использовать в 3D-печати, инженерном деле или разработке игр. Разработчики отмечают, что TripoSF может генерировать сложные внутренние объекты и детали сложных механизмов.
Сравнение TripoSG с другими моделями
Код проектов опубликовали на GitHub (1, 2), а модели — на Hugging Face (1, 2). Больше примеров работы нейросетей и детали исследований можно найти на официальных страницах проектов (1, 2). Также для TripoSG есть демонстрационное приложение.
