METHOD AND SYSTEM FOR EFFECT CONTOURING IN AN AUGMENTED REALITY EXPERIENCE

Methods, apparatus and techniques shape localized objects using a shape model for rendering a reshaped object with an effect such as for a virtual try on (VTO) experience. A VTO can simulate finger/toe nail effects of a nail product or service to nail objects. An example system comprises a nail localization engine including computational circuitry to localize one or more nail objects in an input image of a hand or foot via one or more deep neural networks; a nail shaping engine including computational circuitry for reshaping, via a trained shape model, the one or more nail object as localized by the nail localization engine; and a rendering component including computational circuitry to render an output image simulating a nail product or nail service applied to the one or more nail objects in accordance with the reshaping by the nail shaping engine to provide a virtual try on experience. L'invention concerne des procédés, un appareil et des techniques de forme d'objets localisés à l'aide d'un modèle de forme pour rendre un objet remodelé avec un effet tel que pour une expérience d'essayage virtuel (VTO). Un VTO peut simuler des effets d'ongle de doigt/orteil d'un produit ou d'un service d'ongle sur des objets d'ongle. Un système donné à titre d'exemple comprend un moteur de localisation d'ongle comprenant des circuits de calcul pour localiser un ou plusieurs objets d'ongle dans une image d'entrée d'une main ou d'un pied par l'intermédiaire d'un ou de plusieurs réseaux neuronaux profonds ; un moteur de mise en forme d'ongle comprenant des circuits de calcul pour remodeler, par l'intermédiaire d'un modèle de forme entraîné, le ou les objets d'ongle tels que localisés par le moteur de localisation d'ongle ; et un composant de rendu comprenant des circuits de calcul pour rendre une image de sortie simulant un produit d'ongle ou un service d'ongle appliqué au ou aux objets d'ongle conformément au remodelage par le moteur de mise en forme d'ongle pour fournir un essayage virtuel lors de l'expérience.