Membuat konten 3D dari pemindaian RGB-D adalah tugas yang populer di visi komputer. Sebuah makalah baru-baru ini mengusulkan untuk menyesuaikan dgn mode mesh yang direkonstruksi dengan tekstur RGB eksplisit. Misalnya, dimungkinkan untuk menjelajahi ruang dalam VR dan melihatnya dilukis dengan gaya Van Gogh.
Kredit gambar: Matthias Niessner (gambar diam dari video YouTube)
Masalah minimisasi energi menggabungkan pemetaan tekstur dengan transfer gaya dan meminimalkan kerugian transfer gaya. Pengoptimalan yang sadar akan kedalaman menciptakan pola stilisasi berukuran sama yang dioptimalkan dengan cara yang tidak bergantung pada tampilan. Untuk membuat pola gaya yang tidak teregang, sudut antara normal permukaan dan arah pandang digunakan untuk pengoptimalan.
Eksperimen menunjukkan bahwa metode yang diusulkan menghasilkan tekstur yang konsisten dan mengurangi artefak yang bergantung pada tampilan. Ini mengungguli metode mutakhir baik secara kualitatif maupun kuantitatif. Selain itu, representasi tekstur eksplisit dapat digunakan secara langsung dengan pipeline rendering tradisional.
Kami menerapkan transfer gaya pada rekonstruksi mesh dari pemandangan dalam ruangan. Ini memungkinkan aplikasi VR seperti mengalami lingkungan 3D yang dilukis dengan gaya artis favorit. Transfer gaya biasanya beroperasi pada gambar 2D, membuat stylization mesh menjadi menantang. Saat dioptimalkan pada berbagai pose, pola stilisasi menjadi melebar dan ukurannya tidak konsisten. Di sisi lain, ada metode transfer gaya 3D berbasis model yang memungkinkan stilasi dari kumpulan gambar yang jarang, tetapi memerlukan jaringan pada waktu inferensi. Untuk tujuan ini, kami mengoptimalkan tekstur eksplisit untuk jaring adegan yang direkonstruksi dan menyesuaikannya dengan gaya bersama dari semua gambar input yang tersedia. Optimalisasi kedalaman dan sudut pandang kami memanfaatkan data normal dan kedalaman permukaan dari mesh yang mendasarinya untuk menciptakan gaya yang seragam dan konsisten untuk seluruh pemandangan. Eksperimen kami menunjukkan bahwa metode kami menciptakan hasil yang tajam dan detail untuk pemandangan lengkap tanpa artefak yang bergantung pada tampilan. Melalui studi ablasi ekstensif, kami menunjukkan bahwa kesadaran 3D yang diusulkan memungkinkan transfer gaya untuk diterapkan ke domain 3D mesh. Metode kami dapat digunakan untuk merender mesh bergaya secara real-time dengan pipeline rendering tradisional.
Makalah penelitian: . Tautan ke artikel: https://arxiv.org/abs/2112.01530
