Innovatie

Nieuw algoritme verwijdert vervormingen onder water voor heldere, kleurrijke foto's

Nieuw algoritme verwijdert vervormingen onder water voor heldere, kleurrijke foto's


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Heb je ooit een onderwaterfoto gemaakt die alleen in tinten groen en blauw uitkwam? Dat komt doordat licht zich anders gedraagt ​​in water.

Hoewel het misschien gewoon een spelbreker is bij het maken van persoonlijke foto's, is het fenomeen eigenlijk een groter probleem in de wetenschappelijke gemeenschap waar het onvermogen om nauwkeurige foto's te maken van het zeeleven essentiële vooruitgang belemmert. Nu hebben oceanograaf en ingenieur Derya Akkaynak en ingenieur Tali Treibitz, van de Universiteit van Haifa, een nieuw algoritme voor kunstmatige intelligentie ontwikkeld dat dit allemaal misschien wel kan oplossen.

Hoe ziet de #oceaan eruit zonder water? Bekijk hier het Sea-thru-algoritme dat water uit uw onderwaterbeelden verwijdert: https://t.co/bHJq73gWVF#CVPRpic.twitter.com/VAWubfSPsQ

- Derya Akkaynak (@dakkaynak) 14 juni 2019

Water verwijderen

De beste manier om te beschrijven wat het algoritme doet, is zeggen dat het het water verwijdert. Dit komt omdat het het mogelijk maakt om onder water foto's te maken alsof ze op het droge zijn gemaakt.

De onderzoekers hebben hun nieuwe systeem Sea-thru genoemd en het is ronduit buitengewoon. In tegenstelling tot photoshop die foto's kunstmatig corrigeert, is Sea-thru een real-time fysiek nauwkeurige correctie.

Deze afbeelding die in het werk van de onderzoekers wordt gedeeld, laat echt zien wat het algoritme kan bereiken:

Echte kleuren verkrijgen

GERELATEERD: NVIDIA AI MAAKT KUNSTENAARS UIT IEDEREEN

Het algoritme heeft de wetenschappelijke gemeenschap in het zeeleven enthousiast gemaakt. "Wat ik leuk vind aan deze aanpak is dat het echt gaat om het verkrijgen van echte kleuren", vertelde Pim Bongaerts, een koraalbioloog aan de California Academy of Sciences.Wetenschappelijke Amerikaan. "Door echte kleuren te krijgen, kunnen we veel meer uit onze huidige datasets halen."

IE had de gelegenheid om Akkaynak over haar werk te interviewen.

D.W.Z: Hoe heb je het algoritme uitgevonden?
Akkaynak: Ik heb het Sea-thru-algoritme ontwikkeld tijdens mijn postdoctorale fellowship aan de Universiteit van Haifa, Marine Imaging Lab, als resultaat van drie jaar theoretisch en experimenteel werk. Digitale camera's (samen met onderwaterbehuizingen) zijn eigenlijk pas sinds het begin van de jaren negentig in de handel verkrijgbaar, dus sindsdien was het consequent corrigeren van kleuren in onderwaterbeelden een uitdagend en open probleem in ons vakgebied. Dat was het probleem waar ik aan begon te werken in 2015 toen ik voor het eerst bij de Universiteit van Haifa kwam.

Na verloop van tijd werden de redenen voor het ontbreken van een robuust en consistent kleurcorrectie-algoritme duidelijk: onderzoekers gebruikten een vergelijking die beschrijft hoe licht in de atmosfeer beweegt om een ​​beeld op de camerasensor te produceren, om kleuren in onderwaterfoto's te corrigeren. Wat er met licht onder water gebeurt, is heel anders dan wat ermee in de lucht gebeurt. Eens ontdekte ik dat ik een (meer) fysisch nauwkeurige vergelijking specifiek voor de oceaan had geformuleerd, en die vergelijking is de echte doorbraak die leidde tot het Sea-thru-algoritme. Die vergelijking is waarom het Sea-thru-algoritme beter werkt dan bestaande algoritmen, en in staat is geweest om de verbluffende correcties (algoritmisch) te produceren die je hebt gezien.

D.W.Z: Hoe werkt het algoritme?
Akkaynak: Het enige niet-standaard stukje informatie dat het nodig heeft, is een ‘afstandskaart’ - die
vertelt ons de afstand van elk object in de scène tot de camera. Anders dan dat, werkt het op onbewerkte RGB-afbeeldingen die bij natuurlijk licht zijn gemaakt. Het heeft geen kleurenkaart nodig in de afbeeldingen. Het is geen AI-algoritme - dus er zijn ook geen neurale netwerken of training bij betrokken.

Er zijn verschillende manieren om een ​​afstandskaart te verkrijgen. We schatten dat het gebruik maakt van meerdere afbeeldingen van de scène. U kunt ook een stereocamera-instelling gebruiken en afstand verkrijgen van een enkel beeldpaar, zonder dat u meerdere beelden nodig hebt. Zodra het algoritme afstand heeft, schat het alle noodzakelijke parameters voor het verwijderen van de "mist" en het herstellen van kleuren op basis van de vergelijking die ik hierboven noemde.

D.W.Z: Welke toepassingen voorziet u voor het algoritme?
Akkaynak: Sea-thru werkt al op video, wat erg gaaf is, omdat het de behoefte aan meerdere afbeeldingen wegneemt, aangezien videoframes inherent meerdere afbeeldingen van dezelfde scène zijn. Het neemt ook de noodzaak weg om kunstlicht mee te nemen, wat voor veel fotografen minder kosten en uitrusting betekent.

Maar waar het een enorme waarde zal toevoegen, zal de automatisering zijn van de analysebeelden en video die zijn gemaakt door mariene wetenschappers. Wanneer deze afbeeldingen (bijv. Onderzoeken van riffen, zeebodem, visbestanden, enz.) Worden voorbewerkt met Sea-thru, kunnen wetenschappers krachtige computervisie- en machine learning-methoden gebruiken om te kunnen tellen, identificeren, segmenteren en classificeren dieren en andere voorwerpen erin. Momenteel verwerven we enorme hoeveelheden afbeeldingen, maar de meeste analyses worden handmatig uitgevoerd, wat vervelend, traag en duur is.

Op dit moment werkt Sea-thru alleen op foto's die onder natuurlijk licht zijn gemaakt, maar we zullen het uitbreiden naar het geval van kunstlicht, want zo wordt het grootste deel van de oceaan verkend. En natuurlijk zie ik het als een module in Photoshop, geïntegreerd in consumentencamera's en zelfs duikmaskers. Het is slechts een kwestie van tijd!


Bekijk de video: Alles over onderwaterfotografie - Sealife Micro win actie - Kamera Express (December 2022).