Erleb-AR
Die Schweiz hat ein reiches und langes Kulturerbe. Leider ist vieles davon heute nicht mehr oder nur noch teilweise sichtbar. Durch neue Technologien soll Vergangenes wieder erlebbar gemacht werden.
Steckbrief
- Lead-Departement Technik und Informatik
- Institut Institute for Human Centered Engineering (HuCE)
- Forschungseinheit HuCE / Labor für Computerwahrnehmung und virtuelle Realität
- Förderorganisation Schweizerische Eidgenossenschaft (Bundesverwaltung)
- Laufzeit (geplant) 01.04.2019 - 30.06.2021
- Projektverantwortung Prof. Marcus Hudritsch
- Projektleitung Prof. Marcus Hudritsch
- Partner Bundesamt für Kultur
- Schlüsselwörter Augmented Reality, Virtual Reality, Computergrafik, Bildverarbeitung
Ausgangslage
Vieles, des reichen Schweizer Kulturerbes ist heute nur noch teilweise, in Form von Ruinen oder archäologischen Fundstücken, vorhanden, oder es ist gänzlich verschwunden. Oft wird nur durch einfache Informationspanele an die historische Signifikanz eines Ortes erinnert. In Museen und ortsnahen Installationen wird bereits viel Wissen vermittelt, dennoch ist es oft schwierig, sich die Vergangenheit lebhaft vorzustellen. Durch neu aufkommende Technologien wird es möglich, Kamerabilder mit Modellen historischer Gebäude, Gegenständen und Personen zu verschmelzen. Durch die so angereicherte Realität („Augmented Reality - AR“) muss nicht mehr nur auf die eigene Vorstellungskraft gesetzt werden, sondern man wird am Ort des Geschehens in die Vergangenheit versetzt. So kann auf eine plastischere Art, als es bisher möglich war, Wissen vermittelt werden und das Schweizer Kulturerbe wird im wahrsten Sinne des Wortes erlebbar gemacht. Obwohl Augmented-Reality-Anwendungen heute schon verfügbar sind, ist insbesondere das präzise Zusammenfügen von existierenden Strukturen im Aussenbereich mit 3D-Modellen auch heute noch schwierig. Sich ändernde Witterungs- und Lichtverhältnisse, Jahreszeitenwechsel sowie sich bewegende Objekte wie Autos und Fussgänger sind nur einige der Schwierigkeiten, welche man für ein gutes AR-Erlebnis lösen muss.
Vorgehen
Aufgrund der hohen Anforderungen an Präzision und Stabilität wurde das Open-Source-Projekt ORB-SLAM als Basis für die Entwicklung eines eigenen AR-Frameworks ausgewählt. Bestehende Lösungen von anderen Anbietern wurden evaluiert. Diese erfüllten entweder unsere Anforderungen nicht oder waren zu Beginn des Projekts noch in einem zu frühen Entwicklungsstadium. ORB-SLAM erstellt auf Basis von markanten Punkten in einem Kamerabild eine Punktewolke, welche man sich als dreidimensionale Landkarte vorstellen kann. Aufgrund dieser kann die Position der Kamera präzise festgestellt werden („relokalisieren“). So kann ein 3D-Modell passgenau in das Kamerabild eingefügt werden. In einem iterativen Prozess, bei dem immer wieder an verschiedenen Standorten die bestehende Lösung getestet wurde, wurde unser AR-Framework mit Funktionalität erweitert, welche es uns erlaubt eine solche Punktewolke zu erstellen, zu speichern und ein 3D-Modell auf diese einzupassen. Leider mussten wir feststellen, dass es nicht überall möglich ist, eine Punktwolke zu erstellen, in der es in jedem Fall möglich ist sich zu relokaliseren. Aus diesem Grund haben wir verschiedene Rückfalllösungen entwickelt, welche es erlauben auch eine Augmentierung anzuzeigen, wenn die Lokalisierung fehlschlägt, wenn auch mit weniger hoher Präzision und Stabilität. Diese Lösungen basieren auf Sensoren, welche in modernen Mobiltelefonen eingebaut sind (GPS & Orientierungssensor), sowie auf fixen, an den Standorten vorhandenen Markern
Ergebnisse
Entstanden ist eine App, welche im Android Play Store sowie auch im Apple Store gratis zum Herunterladen zur Verfügung steht. Mit der App können an momentan drei Standorten historische Gebäude, welche nur noch teilweise bestehen oder ganz verschwunden sind, wieder sichtbar gemacht werden. In der ehemaligen Römersiedlung Aventicum (Avenches) können das Amphitheater, das Cigognier-Heiligtum und das Theater sichtbar gemacht werden. In der Schwesterstadt Augusta Raurica (Augst) der Schönbühltempel sowie das dritte Theater, von dem auch heute noch ein Grossteil sichtbar ist. Zu guter Letzt kann man in Bern am Bahnhofsplatz den Christoffelturm, welcher Mitte 19. Jahrhunderts abgerissen wurde, an seinem originalen Bauplatz bestaunen.
Ausblick
Die von uns entwickelte App liesse sich mit relativ geringem Aufwand mit weiteren Standorten historischer Signifikanz erweitern, an denen eine AR-Szene Sinn machte. Die für das Projekt erstellten Modelle wären auch gut geeignet für die Verwendung in der virtuellen Realität („Virtual Reality – VR“), in dem der Benutzer komplett in eine andere Szene immersiert wird. Durch das erarbeitete Know-How ist das HuCe-cpvrLab gut aufgestellt auch andere Projekte im Bereich von AR/VR zu realisieren, sei es für die Visualisierung von nicht mehr existierenden oder von noch nicht existierenden Objekten.
