AI

De nieuwe AI-tool van Facebook transformeert 2D-afbeelding naar 3D-modellen

De nieuwe AI-tool van Facebook transformeert 2D-afbeelding naar 3D-modellen


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Als het gaat om het schatten van 3D-modellen op basis van 2D-bronnen, komen we in een hoek terecht door een conflict tussen geheugencapaciteit en nauwkeurigheid. We hebben een duurzame hoeveelheid gegevensstroom nodig om een ​​hoge context voor onze machines te behouden, terwijl een hoge resolutie nodig is voor nauwkeurige weergave met neurale netwerken. Tot dusverre gaven toepassingen op dit gebied de voorkeur aan inputs met een lage resolutie om in het algemeen meer terrein te bestrijken. Deze studie brengt ons een sprong voorwaarts naar een gezellige middenweg.

Facebook Research pakt dit probleem aan door een meerlagig analysesysteem toe te passen. Een grove analyse neemt het hele beeld over, gericht op een alomvattende redenering van wat waar is. Een tweede niveau neemt uitvoergegevens van hier om te gebruiken als een roadmap en stelt een meer gedetailleerde geometrie met behulp van afbeeldingen met een hogere resolutie.

ZIE OOK: WAT IS DIEP LEREN EN WAAROM IS HET RELEVANTER DAN OOIT?

Dit onderzoek is niet de enige onderneming op dit gebied. Menselijke digitalisering kan de deur openen voor vele mogelijkheden voor verschillende gebieden, zoals medische beeldvorming naar virtual reality naar gewoon een aangepaste 3D-emoji-weergave. Tot op de dag van vandaag was deze technologie beperkt voor het grote publiek vanwege beperkingen zoals de behoefte aan meerdere camera's en strikte verlichtingseisen. Het team in Facebook-onderzoek streeft naar een zeer flexibel weergavesysteem dat een hoge betrouwbaarheid kan behouden als het gaat om details zoals plooien in kleding, vingers en nuances in gezichtskenmerken.

De eerder bestaande technologie

Een opmerkelijk voorbeeld, SCAPE, gepubliceerd in 2005, had Stanford in dienst voorgemodelleerde mazen via beeldinvoer om 3D-renderingen te produceren. Hoewel deze op zichzelf gedetailleerd lijken, zijn ze vertegenwoordigde niet getrouw wat ze aan het modelleren waren. In dit project er wordt geen 3D-geometrie opgelegd op de beelden wordt geometrische context toegepast op hogere niveaus zonder voorbarige veronderstellingen te maken. Dit betekent dat, van grove invoer tot gedetailleerde analyse, ontbrekende details stapsgewijs worden geïmplementeerd en de uiteindelijke bepaling van de geometrische eigenschappen van het model pas op het laatste niveau wordt gedaan.

De achterkant

Maar hoe zit het met de achterkant? Het blijft onopgemerkt in een reconstructie van één afbeelding. Ontbrekende informatie zou ongetwijfeld wazige schattingen van billen en rug betekenen, toch? Welnu, het team loste dit probleem op door normalen aan de achterkant te bepalen, zoals ze het uitdrukten: "We overwinnen dit probleem door gebruik te maken van beeld-naar-beeld vertaalnetwerken om normalen aan de achterkant te produceren. Het conditioneren van onze multi-level pixel-uitgelijnde vorm-gevolgtrekking met de afgeleide normaal op de achterkant verwijdert dubbelzinnigheid en verbetert de perceptuele kwaliteit van onze reconstructies aanzienlijk met een meer consistent detailniveau. "

Als u geïnteresseerd bent, hebben ze een zelftestkit bij Google Colab weggelaten, maar om eerlijk te zijn, vereist dit een bepaalde hoeveelheid technische kennis en een basiskennis van programmeeromgevingen rennen.


Bekijk de video: AI Generates 3D Human Model from 2D Image PIFuHD - FacebookAI (November 2022).