Hauptinhalt

Topinformationen

Andre Sanders:
Ein mobiler Augmented-Reality Ansatz zur Erkennung kontextabhängiger Teilbilder mittels Feature-Matching

Erstgutachter: Prof. Dr. Oliver Vornberger

Zweitgutachterin: Prof. Dr.-Ing. Elke Pulvermüller

Arbeit als PDF: Bachelorarbeit (∼26 MB)

Zusammenfassung

Mit Hilfe der quelloffenen Bildverarbeitungsbibliothek OpenCv wurde eine Anwendung entwickelt, die vorab definierte Teilaspekte von beliebigen 2D-Bildern durch eine Kamera erkennt und dem Nutzer im Sinne einer AR-Anwendung dazu hinterlegte Informationen auf dem Display oder via Sprachausgabe präsentiert. Dazu können Interessante Punkte (Features) von Bildern mithilfe eines Extraktionsalgorithmus erfasst und miteinander verglichen werden. Für die Anwendung werden ausschließlich Inhalte des quelloffenen unter BSD-Lizenz veröffentlichten Frameworks verwendet, dessen Funktionen stetig von der Community optimiert werden.

Die genutzte OpenCv-Implementierung des von David Lowe patentierten SIFT-Algorithmus wird zukünftig ebenfalls mit OpenCv durch ein nicht-patentiertes Verfahren ersetzt, um eine kommerzielle Nutzung gewährleisten zu können.

Die Reduktion des Problems auf einen allgemeinen Use-Case ermöglicht die Nutzung der Applikation in verschiedenen Szenarien. Beispielsweise können die Personen auf den Algorithmenfotos der Universität Osnabrück identifiziert werden, deren Konturen als Polygondaten inklusive einer Textinformation hinterlegt sind. Dazu kann der Nutzer mit Hilfe einer mobilen Kamera z.B. eines Smartphones den für ihn interessanten Teilaspekt anvisieren und sich entsprechendes Wissen über die gewünschte Region aneignen. Zusätzlich ist in Kooperation mit dem Felix-Nussbaum-Haus der Stadt Osnabrück eine Testinstanz eines ausgestellten Gemäldes entstanden, für welches interessante Regionen des Exponates und zugehörige Informationen hinterlegt wurden, die den Nutzern über eine Sprachausgabe präsentiert werden. Durch die Kooperation konnte in der Arbeit gezeigt werden, dass die auf OpenCv basierende mobile Echtzeit- Applikation in verschiedenen Anwendungsfällen eingesetzt werden kann und zusätzlich stabile Ergebnisse liefert. Die Anwendung könnte die Basis für ein zukünftiges „Besucherleitsystem“ bilden, dass die herkömmlichen in Museen verwendeten Audioguides ersetzt und museumsübergreifend Besuchern aller Altersgruppen eine manuelle Entdeckungsreise der einzelnen Gesamt- sowie derer Teilregionen mit Hilfe von Augmented-Reality ermöglicht. AR wird schon in einigen wenigen Museen verwendet, jedoch erkennen übliche Anwendungen meist die gesamten Exponate und nicht explizit deren Teilaspekte. Die Teilbilderkennung jedoch ermöglicht branchenübergreifende Lösungen, wie beispielsweise die Erkenunng von Teilinhalten eines Bilderbuches oder einer Wandtapete um z.B. Kindern Lerninhalte näher zu bringen.

Link zu OpenCv: https://opencv.org/

Link zum Felix-Nussbaum-Haus: https://www.osnabrueck.de/fnh/start-fnh.html