Projektergebnis: Lean-Prototyping-Umgebung auf Basis von Blickshift Analytics
- Gemeinsame Entwicklung einer Umgebung zur schnellen, günstigen Entwicklung und Validierung von Interaktionskonzepten
- Entwicklung und Implementierung einer Aufmerksamkeitserkennung mit Hilfe von Blickshift Analytics
- Entwurf und Aufbau eines Mock-Ups
Zusammen mit dem Open Photonics – BaKaRoS Projektteam am Fraunhofer IAO haben wir im Projekt „Blickshift – Powered by Fraunhofer IAO“ eine Lean-Prototyping-Umgebung entwickelt, um Interaktionskonzepte basierend auf einer Aufmerksamkeitsmessung zu evaluieren. Dazu messen wir die Aufmerksamkeit von Passagieren in Level 3 oder 4 Fahrzeugen mit Hilfe von Eye-Tracking und nutzen ein Gamification-Konzept, um mit diesen Passagieren auf Basis ihres jeweiligen Zustands zu interagieren. Eine Standardanwendung dieses Setups besteht beispielweise später darin, Fahrer auf eine sichere Übergabe bei Fahrzeugen auf dem Level 3 vorzubereiten.
Im Gegensatz zu Serienfahrzeugen, in denen die Aufmerksamkeit mit Hilfe von mehr als 100 Indikatoren inklusive der Änderung des Lenkradwinkels ermittelt wird, nutzten wir in unserer ersten Version nur einen Eye-Tracking-Sensor. An nur einem Tag hatten wir den Hardware-Mockup gebaut, der aus zwei Racingcarsitzen, einem Dashboard mit einem integrierten Beamer, einem Wide-Screen-Monitor vor dem Dashboard und einem großen Bildschirm, der die aktuelle Verkehrssituation zeigte, besteht (siehe Abbildung 1). Die anderen Tage des Projektes nutzten wir, um das Interaktionskonzept und die algorithmischen Komponenten zu entwickeln.
Abbildung 1: Lean-Prototyping-Umgebung zur Entwicklung und Evaluation von Interaktionskonzepten auf Basis einer Aufmerksamkeitsmessung.
Während einer Fahrt im Simulator der Lean-Prototyping-Umgebung nahmen wir dann durchgängig die Augenbewegung auf und berechneten den aktuellen Aufmerksamkeitszustand mit Hilfe eines Algorithmus. Die Ergebnisse der Aufmerksamkeitsberechnung wurden an einen Microcontroller gesendet, der die Lichtbedingungen im Fahrzeug änderte. Sobald die Aufmerksamkeit unter einen gegebenen Grenzwert fiel, startete ein Pong-Spiel auf dem Wide-Screen-Monitor vor den Passagieren. Die Passagiere spielten dieses Spiel mit Hilfe von Hand-Controllern. Diese Interaktion zielte darauf ab, die Konzentration der Passagiere auf das Computerspiel zu lenken, um damit schnellere Augenbewegungen zu provozieren und damit eine höhere kognitive Anstrengung hervorzurufen. Sobald die Aufmerksamkeitserkennung einen Wert höher als den gegebenen Grenzwert detektierte, stoppte das Spiel und die Lichteinstellung wechselte wieder in den Anfangszustand.
Abbildung 2: Ein Perzeptionsmodell, entwickelt mit Blickshift Analytics, berechnet den aktuellen Aufmerksamkeitszustand und sendet diese Information an verschiedene Aktuatoren für eine Änderung der Lichtbedingungen im Simulator oder um ein Computerspiel zu starten.
Für die Entwicklung der Aufmerksamkeitserkennung nutzen wir zum ersten Mal die brand neue Komponenten “Algorithm Development” in Blickshift Analytics. Diese Komponente arbeitet wie folgt: Eine Visual Studio Solution bietet alle notwendigen Schnittstellen, um Daten vom Blickshift Framework zu empfangen oder Daten an das Framework zu senden. Für die Entwicklung unseres Algorithmus zur Erkennung der Aufmerksamkeit nutzen wir eine spezielle Klasse in dieser Solution, um eine neue Spalte im Datenmodell des Blickshift Frameworks zu erzeugen. Nachdem die Visual Studio Solution kompiliert hat, ist ein neuer Analyseknoten direkt im User-Interface von Blickshift Analytics vorhanden. Da alle Knoten, sowohl zur Analyse als auch zu Visualisierung, direkt im Framework miteinander verbunden werden können, ist der Algorithm Development Knoten ebenfalls nahtlos in den Workflow integriert. Damit konnten wir den Algorithmus zur Aufmerksamkeitserkennung einfach parametrisieren und die ermittelten Ergebnisse direkt visuell validieren.
Abbildung 3: Ein neuer Analyseknoten „Algorithm Development” in Blickshift Analytics. Sowohl die Eye-Tracking-Daten aus seiner realen Umgebung (linke Spalte) als auch die Ergebnisse der Aufmerksamkeitserkennung (mittlere Spalte) werden visualisiert. Mit Hilfe einer Visual Studio Solution wurde der Algorithmus zur Aufmerksamkeitserkennung implementiert. Neue Ergebnisse können direkt mit Hilfe von Visualisierungen in Blickshift Analytics validiert werden. Diese Möglichkeit führt zu einem iterativen Entwicklungsprozess für Algorithmen in der Mensch-Fahrzeug-Interaktion.
Am 4. Juli präsentierten wir den Prototyp in der Zentrale von Fraunhofer in München. Zusammen mit unserem Projektpartner, Fraunhofer IAO, arbeiten wir jetzt an der nächsten Version der Entwicklungsumgebung.
Das Ziel besteht darin, Fahrzeugherstellern und Zulieferern eine Umgebung zum Lean-Prototyping anzubieten, in der sie schnell bei einem kleinen Budgetumfang Interaktionskonzepte entwickeln und validieren können. Zusätzlich bieten Blickshift und das Fraunhofer IAO Innovationsworkshops an, um neueste Interaktionskonzepte für eine neue Mobility Experience zu entwerfen.
Kunde
Am Fraunhofer IAO haben wir uns darauf spezialisiert, die Entwicklung von Produkten und Dienstleistungen im Mobilitätsumfeld zu unterstützen: Von der Ladestation über die Mobilitätsdienstleistung bis hin zum kompletten Fahrzeug. Dafür stehen verschiedene Rapid-Technologien, zum Beispiel ein 3D-Drucker, sowie eine Werkstatt für mechanische und elektrotechnische Arbeiten zur Verfügung.