The Integral-Fiber optical AR-Glass Design

IntegralFiberDesign SqThe integral fiber optic AR design for minimalist AR-spectacles is the foundation of the AR blockchain revolution and is described in detail in the explanatory videos. As long as no detailed video documentation on the proof of concept is available, this compilation builds up the understanding of this proof with external YouTube videos. However, the physical principles used in the integral fiber design are so new and unknown that only few videos are publicly available about it today.

First of all, the introductory video about the integral fiber design in shortened 8 minutes. Then the individual concepts in external videos.

The optical system of the pinhole integral image is the first fundamental physical principle, which is well visualized in the following video. In the video you can see nicely how the image emerges only from a grid of tiny dots, and how most of the area is really just black. In the integral fiber design, these points are the tips of the optical fibers, and the black surface is the transparent lens. The overlaps of the circles are cut off in the AR glasses to achieve a homogeneous picture.
Below you can watch the visualization done by Nvidea.
IFD Lightfield2

Das optische System des unsichtbaren Kanals in einem Glas ist seit seinem wissenschaftlichen Durchbruch in 2006 bekannt, jedoch in der Praxis ungenutzt. Für das optische KaraSpace-Integral-Faser-Design stellt es jedoch einen essenziellen Bestandteil für den Durchbruch der Mainstream-Augmented-Reality dar, weil die feine Hardware im Glas komplett verborgen werden kann, was ein rahmenloses Brillendesign für absolute Sozialverträglichkeit ermöglicht. Das Prinzip ist in einem dichten optischen Medium wie Glas einfach anwendbar, indem um den verborgenen Kanal herum der Beugungsindex stufenweise stark abnimmt. Die Forscher konzentrieren sich jedoch auf die Anwendung dieses Prinzips in der normalen Atmosphäre, was jedoch für normales Licht momentan noch unmöglich ist und so den ganzen Forschungsbereich diskreditiert.

Hier ein Statement von Professor Sir John Pendry, einem hoch angesehenen Physiker aus England.Sketch9

Das fundamentalste und neuste optische Konzept für AR-Brillen ist der Multi-Mode-Glasfaser-Projektor, der ein ganzes Bild in höchster Geschwindigkeit durch eine einzige dünne Glasfaser transportieren kann.
Hier eines der wenigen Videos über Multimode-Glasfaser-Projektoren von Joel Carpenter aus Sidney, die das Prinzip verständlich visualisieren. In diesem Fall nur mit 45 Moden bei einer Wellenlänge 1550 nm, weil dem Forschungsteam nur Hardware für Kommunikationstechnologien zur Verfügung steht.   Für AR haben die Fasern dann viele tausend Moden im sichtbaren Lichtsprektrum. Man kann durch das Video gut verstehen, wie durch Moden-Drehungen, das Auflösungspotential der Glasfaser durch mehrere Bildzyklen gesteigert werden kann.IFD Amplitude Phase

Die Schlüsseltechnologie für die AR-Brille ist die bereits sehr ausgereifte MEMS-Fertigungstechnik, mit der optische Weichen und Spiegelfelder mit integrierter IC-Logik für die AR-Brille auf kleinsten Stäbchen realisiert werden können. Diese Hardware kann dann in optisch getarnten Bereichen im Glass positioniert werden. Zur Veranschaulichung, hier die Beschreibung eines MEMS-Gyroskops. IFD Mems Sripes

Die Technologie zur Erzeugung der Bilder, ist die ausgereifte DMD MEMS-Technik, die aus viel kleinen beweglichen Einzelspiegeln in einem großen Feld bestehen. Diese Spiegelfelder können über 30.000 Bilder in der Sekunde erzeugen, welche für die vielen einzelnen Bilder des Integralbildes benötigt werden. Für die AR-Brille werden die Grautöne durch andere optische Systeme erzeugt, sodass die vielen Zyklen nur für die Einzelbilder und die drei Farbzyklen gebraucht werden. Auch werden keine Farbräder wie im Video genutzt, sondern eigens dafür angebrachte DMD Felder, sodass die von der DMD-Technik bekannten Farb-Artefakte nicht mehr auftreten. IFD DMD1

Zur Generierung der Bilder wird die Technik der komplex modellierten computergenerierten Holographie genutzt, wie im folgenden Video schön beschrieben. Das Integral-Faser-AR-Design erzeugt also Hologramme, die durch SLM-Chips generiert werden, welche sowohl die Amplitude sowie die Phase modulieren können. Außerdem werden komplexere Lichtfronten zur Beleuchtung des SLM-Chips genutzt, was extrem gute Hologramme ermöglicht. Jedoch werden die Hologramme durch die Integral-Glasfasern transportiert, wofür die Holographie zusätzlich zur Wellenfront-Umformung gemäß der Glasfaser-Transmissionsmatrix genutzt wird. So wird das potential dieser genialen Technologie zusätzlich ausgeschöpft. Das Video bestätigt außerdem unsere eigenen Ergebnisse, dass die Hologrammberechnung extrem optimiert und in Echtzeit durchgeführt werden kann.Sketch13

Die Produktionstechnik der Wafer-Level-Optics, ermöglicht das Aufbringen feinster optischer Strukturen direkt auf den Mikrochip. Diese Technik wird ergänzt durch das 3D-Drucken feinster Optiken, zum Beispiel auf die Spitze der Glasfaser. Das Video zeigt solch einen Druck mit dem Nanoscribe-Drucker.IFD Mems Sripes

Die Augenverfolgung mit der IR-Kamera ist die Grundvoraussetzung für extreme Auflösungen der AR-Brille, weil nur der gerade fokussierte Bereich hoch aufgelöst dargestellt wird. Im Video wird die Zuverlässigkeit und Ausgereiftheit dieser Technologie visualisiert.Sketch12

Foveated rendering bedeutet, dass nur die tatsächlich fokussierten Bereiche hoch aufgelöst berechnet werden, wogegen die Peripherie nur niedrig aufgelöst bleibt. Bei der AR-Brille baut die gesamte Hardware auf dieser Strategie auf, indem die einzelnen Bildausschnitte in verschiedenen Auflösungen angesteuert, oder gar nicht genutzt werden. Das Video visualisiert dieses Konzept in einem geschlossenen VR-Headset.IFD Foved1

Zum Verständnis der Überlegenheit des Integral-Faser-Designs, gegenüber den anderen optischen AR-Systemen folgt hier eine Darstellung des Bild-Einmischverfahrens. Der Ort, an dem das reale Bild (blau) und das virtuelle Bild (rot) miteinander kombiniert werden (der Combiner) ist bei den bisherigen Systemen entweder eine Teilspiegelfläche (erstes Bild, Meta 2) oder eine strukturierte Fläche mit feinen optischen oder holographischen Strukturen (zweites Bild, Hololens). Dafür wird die gesamte Durchsichtsfläche genutzt. Bei dem Integral-Faser-Design werden nur einzelne Punkte genutzt, die erst durch die Breite der Pupille zu einem flächigen Bild werden (drittes Bild). Das Kombinieren der Bilder entsteht an keiner Fläche, sondern durch das nur punktuelle Einblenden in die Augen-Linse selbst. Dies hat große Vorteile, weil die Combiner-Fläche immer auch unerwünschte Effekte wie Doppelspiegelung oder Streulicht mit sich bringt. Das Integral-Faser-Design bietet somit perfekt transparente Durchsicht ohne jegliche fehlgeleitete Lichteffekte. Zusätzlich bietet das erzeugte Bild extreme Schärfentiefe, was die Problematik der Focus-Anpassung an die Realität stark vereinfacht. (Focus Vergenz Anpassung) 

Further information videos can be found here!