HAIR RENDERING SYSTEM BASED ON DEEP NEURAL NETWORK
A method of rendering an object, the method comprising: capturing a plurality of images of the object from a plurality of views; obtaining an alpha mask for each image; obtaining a 3D proxy geometry through a structure from silhouette algorithm; rendering a depth map for each image using the 3D prox...
Gespeichert in:
Hauptverfasser: | , , , |
---|---|
Format: | Patent |
Sprache: | eng ; fre |
Schlagworte: | |
Online-Zugang: | Volltext bestellen |
Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Zusammenfassung: | A method of rendering an object, the method comprising: capturing a plurality of images of the object from a plurality of views; obtaining an alpha mask for each image; obtaining a 3D proxy geometry through a structure from silhouette algorithm; rendering a depth map for each image using the 3D proxy; training a neural radiance field-based (NeRF-based) deep neural network with images with depth; and rendering a plurality of images for a plurality of new views. The method can generate photo-realistic rendering results. Particularly, an acceleration method is applied in our framework, which can speed up training and rendering processes. In addition, a patch-based training scheme is introduced, which significantly increases the quality of outputs and preserves high frequency details.
La présente invention concerne un procédé de rendu d'un objet. Ledit procédé comprend : la capture d'une pluralité d'images de l'objet à partir d'une pluralité de vues; l'obtention d'un masque alpha pour chaque image; l'obtention d'une géométrie de mandataire 3D via une structure à partir d'un algorithme de silhouette; le rendu d'une carte de profondeur pour chaque image à l'aide du mandataire 3D; l'apprentissage d'un réseau neuronal neuronal basé sur un champ de luminance énergétique neuronale (basé sur NeRF) avec des images de profondeur; et le rendu d'une pluralité d'images pour une pluralité de nouvelles vues. Le procédé peut générer des résultats de rendu photoréalistes. En particulier, un procédé d'accélération est appliqué dans notre plateforme, ce qui peut accélérer des processus d'apprentissage et de rendu. De plus, la présente invention concerne également un schéma d'apprentissage basé sur des vignettes qui augmente de manière significative la qualité de sorties et préserve des détails de haute fréquence. |
---|