Jeffrey Cross
Jeffrey Cross

Lichtfeldfotografie verstehen

Dynamisches Lichtfeldbild. Klicken Sie, um neu zu fokussieren. Klicken / ziehen Sie, um die Perspektive zu verschieben.

Herkömmliche Kameras, egal ob digital oder analog, erfassen eine Szene aus einer einzigen Perspektive. Photoshop (und ähnliche Programme) ermöglichen es uns, erstaunliche Dinge mit diesen Bildern zu tun, aber keine Nachbearbeitung kann die durch das Originalgerät kodierten Informationen erhöhen. Ein naheliegender Weg ist die Vergrößerung des Bildsensors. Mit dem Fortschreiten der digitalen Fotografie haben wir aus diesem naheliegenden Grund einen stetigen Fortschritt zu immer größeren Sensoren erlebt.

Tatsächlich übertrifft die erreichbare Größe von CMOS-Bildsensoren die Anforderungen fast aller praktischen Anwendungen deutlich, und wie wir später erklären werden, ist dieser „Überschuss“ an Sensorpixeln einer der Schlüsselfortschritte, der den Weg zu einer weit verbreiteten Implementierung von „Licht“ eröffnet Feld ”(oder“ plenoptisch ”). Das große Versprechen dieser neuen Art von Fotografie ist die Möglichkeit, nicht nur mehr Informationen über eine Szene zu erfassen, sondern mehr Arten von Informationen. Der Zugriff auf diese neuen "Datentypen" eröffnet eine Reihe von Optionen für die Nachbearbeitung von Software, die mit herkömmlichen Kameras nicht möglich sind - Optionen wie dynamisches Refokussieren, Perspektivverschiebung und sogar 3D-Scannen.

Wie es funktioniert

Das Lichtfeld ist repräsentativ für alle Strahlen, die in die Kamera eindringen, nicht nur für diejenigen, die auf den Film oder Sensor fokussiert sind. In einer herkömmlichen Kamera werden Lichtstrahlen von einer Szene durch die Linse auf den Film oder Sensor fokussiert. In einer digitalen Fotografie hat jedes Pixel einen Zahlenwert, der die Helligkeit angibt, was wiederum repräsentiert die Summe aller Lichtstrahlen aus allen Teilen der Szene durch die Linse auf diesen Teil des Sensors fokussiert. In einer Lichtfeldkamera werden jedoch die verschiedenen Strahlen, aus denen jedes Pixel besteht, nicht summiert, sondern separat gemessen und aufgezeichnet, und zwar sowohl hinsichtlich ihrer Helligkeit als auch der Richtungen, aus denen sie stammen.

Hardware

Das Lichtfeld ist eigentlich eine mathematische Abstraktion, die Anwendungen in Bereichen hat, die von der Physik über Machine Vision bis zur Computergrafik reichen. Geräte, die einen Teil des Lichtfeldes erfassen, gibt es in vielen Formen. Das Lytro erfasst das Lichtfeld, indem es die Lichtstrahlen, die in die Hauptlinse eintreten, auf ein Array von über einhunderttausend Mikrolinsen richtet. Die Mikrolinsen richten die Lichtstrahlen wiederum auf einen 6,5 x 4,5 mm großen CMOS-Sensor, der elf Millionen Lichtstrahlen erfassen kann, die in einem Raster von 3280 x 3280 angeordnet sind. Die gespeicherten Informationen umfassen Farbe, Intensität, Richtung und Entfernung. Jede Mikrolinse verwendet einen ungefähr 10 × 10 Pixel großen Teil des CMOS-Sensors.

Das Lichtfeld von Lytro für Konsumenten gibt es bereits seit einigen Jahren. Die meisten Leute scheinen darüber zu sprechen, dass sie den Brennpunkt eines Bildes korrigieren oder ändern können, nachdem es aufgenommen wurde. Aber das ist nicht die ganze Geschichte. es ist tatsächlich nur die Spitze des Eisbergs.

Das Bild oben zeigt die Lichtstrahlen von rechts, die in die Kamera einfallen und durch das Mikrolinsenarray auf den CMOS-Sensor gerichtet werden.

Die Software

Die Erfassung des Lichtfeldes ist nur der erste Schritt. Im nächsten Schritt erstellen Sie ein Bild, das angezeigt werden kann. Dies wurde als "Raytracing in umgekehrter Richtung" beschrieben. Um zu erklären, was dies bedeutet, werde ich die Funktionsweise von Lochkameras beschreiben, kurz durch Raytracing gehen und schließlich den Lytro-Rendering-Prozess erklären. Alle drei haben zwei Dinge gemeinsam. Erstens gibt es einen Beobachter, der die Szene betrachtet, und zweitens muss die Szene irgendwie auf einen Bildschirm gerendert werden.

In einer Lochkamera treten Lichtstrahlen durch ein Loch in der Vorderseite der Kamera ein und erscheinen auf der gegenüberliegenden Oberfläche als verkehrtes und umgekehrtes Bild. Die Rückwand ist im Wesentlichen ein Bildschirm.Wenn Sie sich mit dem Rücken zur Lochblende in der Kamera befänden, würden Sie das projizierte Bild vor sich sehen. (Das „Szenenobjekt“ soll ein Kaktus sein. Es kann jedoch alles sein. Idealerweise würden alle Diagramme aus einer Pseudo-3D-Perspektive stammen, was aber meine Fähigkeiten zum Zeichnen übersteigt.)

Beim Raytracing wird eine Szene mathematisch mit geometrischen Formen, Texturen und Lichtquellen beschrieben. Ein Punkt außerhalb der Szene wird ausgewählt, der die Position des Beobachters darstellt, und ein Bild wird aus der Perspektive dieses Beobachters erzeugt. Die Strahlverfolgung unterscheidet sich in drei Punkten vom Beispiel der Lochkamera. Erstens existiert die Szene nicht in der realen Welt und muss gerendert werden. Zweitens ist die "echte" Szene vor dem Betrachter und nicht hinter und schließlich, da die Szene virtuell ist, muss das Bild auf dem Bildschirm gerendert werden. Dies erfolgt Pixel für Pixel. "Ansichtsstrahlen" werden für jedes Pixel in die Szene geworfen, und die Farbe des Pixels wird auf der Grundlage der Objekte und Lichtquellen berechnet, die jeweils Strahlenschläge anzeigen, während sie die Szene durchqueren. Das Senden von Ansichtsstrahlen vom Beobachter reduziert die Renderzeit erheblich.

Im Falle des Lytro haben wir die gespeicherten Lichtstrahlen, die die Szene beschreiben, die aufgenommen wurde, als das Bild aufgenommen wurde. Um ein Bild auf unseren Bildschirm zu projizieren, muss ein Fokus ausgewählt werden. In Anbetracht des ausgewählten Fokuspunkts verwendet die Lytro-Software die gespeicherten Lichtstrahlen, um das Bild zu rendern. Dies ist eine umgekehrte Strahlverfolgung, indem die Strahlen, die auf den Bildschirm projiziert werden, um ein Bild zu erzeugen, ihren Ursprungspunkt innerhalb der Szene haben und nicht vom Betrachter und durch den Bildschirm in die Szene projiziert wurden.

Um zu überprüfen, wird beim Raytracing die Szene gerendert, indem Sichtstrahlen vom Beobachter nach außen und durch den Bildschirm geschossen werden, während beim Lytro die Szene gerendert wird, indem in der Szene erfasste Lichtstrahlen auf den Bildschirm geschossen werden.

Die Zukunft

Eine kürzlich hinzugefügte Erweiterung der Lytro Library-Software ist die Möglichkeit, 3D-Bilder zu erstellen. Diese Fähigkeit zeigt einen weiteren Vorteil der Erfassung des Lichtfeldes. Wenn Sie in der Kamera nach links oder rechts, nach oben oder unten schießen, erhalten Sie eine etwas andere Ansicht oder Perspektive. Die zum Rendern dieser Übergänge erforderlichen Daten sind Teil des erfassten Lichtfelds und können zur Erzeugung von 3D-Renderings der erfassten Szene verwendet werden. Alles, was Sie brauchen, ist eine preiswerte Anaglyphenbrille. Es ist einfach, die Bilder als JPGs zu exportieren, damit sie von jedermann mit einer Anaglyphenbrille betrachtet werden können.

Ein Nachteil der Lytro-Kamera ist das Fehlen einer veröffentlichten API für die Bildmanipulation. Lytro verwendet ein proprietäres Bildformat, und obwohl viel Arbeit geleistet wurde, um es rückzuentwickeln und Software zu erstellen, um Bilder zu bearbeiten, während ich dies schreibe, ist keine umfassende plattformübergreifende API oder Software für die Arbeit mit LFPs (Dateien mit „Lichtfeldbild“) verfügbar ). Die beste Ressource, die ich gefunden habe, ist "Lytro Meltdown", die eher Windows-zentrisch ist, aber viele nützliche Informationen enthält.

Die Lichtfeldfotografie steckt noch in den Kinderschuhen. Die Preise waren anfangs hoch und die Ergebnisse sind nicht sehr beeindruckend, aber die Dinge beginnen sich auf beiden Seiten zu ändern. Die Basis-8-GB-Lytro-Kamera wurde in letzter Zeit häufig für 200 bis 300 US-Dollar verkauft, und sowohl die Kamerafirmware als auch die Lytro Library-Fotomanagementsoftware werden regelmäßig um neue Funktionen erweitert.

Was ich am liebsten sehen möchte, ist eine umfassende, plattformübergreifende Open Source-Bibliothek, mit der LFP-Dateien bearbeitet und verwaltet werden können. Der heilige Gral wäre eine Software, die in der Lage ist, eine rohe Lytro-Datei aufzunehmen und Bilder zu rendern.

Aktie

Leave A Comment