Nieuws

Nieuw systeem combineert iPhone-video's voor toegankelijke 4D-videobewerking

Nieuw systeem combineert iPhone-video's voor toegankelijke 4D-videobewerking

Onderzoekers van de Carnegie Mellon University hebben iPhone-video's gecombineerd met afzonderlijke camera's om 4D-visualisaties te maken, waarmee kijkers snelle actie vanuit verschillende hoeken kunnen zien, aldus een nieuw persbericht. Het nieuwe opnameproces kan zelfs mensen of objecten uit het zicht verwijderen.

Deze nieuwe methode - waarmee video-editors in realtime met nieuwe trucs kunnen pronken - kan gevolgen hebben voor een tijd waarin face-swapping-technologie al op het punt staat een seismische verschuiving in de betrouwbaarheid van video-inhoud te veroorzaken.

GERELATEERD: DE VIERDE DIMENSIE BEGRIJPEN VANUIT ONS 3D-PERSPECTIEF

4D-scènes maken van meerdere visualisaties

Stel je een live-evenement voor waarbij het concert of de sportwedstrijd (bijvoorbeeld) wordt vastgelegd vanaf elke smartphone in het theater of de arena, en dat elke belemmering van het gezichtsveld snel kan worden verwijderd.

Het is duizelingwekkend, maar ook spannend.

Elke video - onafhankelijk geschoten vanuit verschillende gezichtspunten - van gasten op een huwelijksreceptie, zou kijkers kunnen plaatsen, midden in momenten die eeuwig duren, Aayush Bansal, een Ph.D. student in het Robotics Institute van CMU, uitgelegd in het persbericht.

Een andere toepassing ligt in het opnemen van acteurs in de ene setting en ze vervolgens in een andere in te voegen, voegde hij eraan toe.

"We zijn alleen beperkt door het aantal camera's", zei Bansal, en hij legde uit dat er geen bovengrens is voor het aantal videofeeds dat kan worden gecombineerd.

Filmstudio's naar iPhones brengen

'Gevirtualiseerde realiteit', zoals het persbericht van Carnegie Mellon het noemt, is niets nieuws. Deze nieuwe video-opnamemethode is belangrijk omdat deze zowel gemakkelijk als toegankelijk is in gebruik. Hoewel het niets nieuws is, was gevirtualiseerde realiteit voorheen exclusief voor studio-opstellingen zoals CMU's Panoptic Studio, die beschikt over meer dan 500 videocamera's ingebed in de geodetische muren.

Het was echter tot nu toe niet mogelijk om visuele informatie te combineren van scènes uit de echte wereld die zijn gemaakt met meerdere onafhankelijke camera's en handcamera's om één uitgebreid model te maken dat een 3D-scène reconstrueert.

Om hun methode te ontwikkelen, gebruikten Bansal en zijn collega's convolutionele neurale netten (CNN's), een soort diep leerprogramma dat bedreven is in het analyseren van visuele gegevens. Het team ontdekte dat scènespecifieke CNN's verschillende fragmenten adequaat kunnen samenstellen tot een volledige 4D-scène.

'De wereld is onze studio'

Om hun methode te demonstreren, gebruikten de onderzoekers tot 15 iPhones om verschillende scènes vast te leggen - waaronder dansen, vechtsportdemonstraties en zelfs flamingo's in de National Aviary in Pittsburgh, in de Verenigde Staten.

"Het doel van het gebruik van iPhones was om te laten zien dat iedereen dit systeem kan gebruiken", zei Bansal. "De wereld is onze studio."

Bansal en zijn collega's presenteerden vorige maand hun 4D-visualisatiemethode op de virtuele conferentie Computer Vision and Pattern Recognition. Hoewel ongekend, is deze nieuwe technologie slechts het begin van een nieuwe toekomst voor media- en video-opname.


Bekijk de video: iOS Preview! Coming Next Week? (September 2021).