Wie kann Klarheit und eine angenehme Atmosphäre für das Miteinander im sozialen Umfeld geschaffen werden?
Ein Semesterprojekt von Daria Savchenko
4. Semester, 2024
Betreuende Dozenten: Prof. Tsunemitsu Tanaka, Romina Marsico, Sarah Antes
Interactive Media Design
Der Nutzer
Das Projekt richtet sich an Menschen, die aufgrund mangelnder sozialer Kompetenzen Schwierigkeiten haben, effektiv zu kommunizieren. Zu den häufigen Problemen, mit denen diese Nutzer konfrontiert sind, gehören Schwierigkeiten im Umgang mit persönlichen Ängsten und Frustrationen, unbeabsichtigte nonverbale Signale und ein Mangel an Empathie. Diese Probleme führen oft zu Missverständnissen und unangenehmen sozialen Interaktionen.
Das System
Das System besteht aus drei Hauptkomponenten: dem Psychologen, der Augmented-Reality-Brille (AR-Brille) und dem Smart-Armband und ermöglicht Klarheit durch Aufmerksamkeit auf nonverbale Sprache und eine angenehme Gesprächsatmosphäre durch einen besseren Umgang mit eigenen Emotionen und den Emotionen des Gesprächspartners. Jede dieser Komponenten spielt eine spezifische Rolle im Prozess der Verbesserung sozialer Kompetenzen, von der Vorbereitung, über das Gespräch selbst bis hin zur Reflexion.
Vorbereitung
Der Psychologe bereitet den Nutzer auf die Gespräche vor. Ob Angst vor der Initiierung des Gesprächs oder der Umgang mit Frustrationsgefühlen wegen nicht gelingender Kommunikation – der Spezialist schlägt Praktiken vor, die der Nutzer während des Gesprächs als Werkzeuge nutzen kann.
Das Gespräch
Der Psychologe lässt den Nutzer nicht nur mit mentalen Werkzeugen, sondern bietet auch ein System von intelligenten Objekten als Unterstützung vor Ort während des Gesprächs. Beide Gesprächspartner tragen die Technologien, sei es aus Notwendigkeit oder aus dem Wunsch heraus, zu helfen.
Die Aufgabe der AR-Brille ist es, auf die nonverbale Kommunikation zu achten und auf Emotionen wie Wut, Ekel oder Langeweile, die durch Mimik oder Gestik vermittelt werden, aufmerksam zu machen. Wenn die Brille des Gesprächspartners beispielsweise Wut erkennt, wird diese Erkenntnis an die eigene Brille weitergeleitet. Der Nutzer sieht dann einen Wut-Charakter auf seiner Brille.
Das Smart-Armband dient als „Anxiety Helper“ und hilft dem Träger, seine eigenen emotionalen Reaktionen zu überwachen und auf die Gefühle des Gesprächspartners zu achten. Der untere Teil des Armbands misst Biomarker wie Herzfrequenz und galvanische Hautreaktion (GSR) und sendet beruhigende Vibrationswellen, wenn Stress erkannt wird. Der obere Teil des Armbands erhält Informationen über den Zustand des Gesprächspartners und stupst den Träger leicht an, wenn die andere Person gestresst ist, um ihn zu ermutigen, Empathie zu zeigen.
Reflexion
Während des Gesprächs werden verschiedene Daten gesammelt, darunter Tonaufnahmen des Dialogs, Zeitstempel, an denen die Körpersprache signifikante Änderungen zeigt, sowie Stresslevel des Nutzers und seines Gesprächspartners. Der Psychologe unterstützt den Nutzer durch die Analyse der vom System gesammelten Daten. Da der Spezialist über eine Vielzahl an Daten verfügt, kann er schneller und gezielter helfen.
Technologie
Die technologische Grundlage des Systems umfasst verschiedene fortschrittliche Komponenten:
AR-Brille: Diese benötigt eine integrierte Kamera, MEMS-Mikrofone, Bluetooth Low Energy für die Kommunikation, ein Display mit AR SDK-Kompatibilität und WLAN für die Datenübertragung zum zentralen Server. Die Brille nutzt Technologien wie OpenCV, DeepFace und OpenPose zur Echtzeitanalyse nonverbaler Signale.
Smart-Armband: Ausgestattet mit Herzfrequenz- und GSR-Sensoren zur Überwachung emotionaler Zustände, einem Vibrationsmotor für beruhigendes Feedback, Aktuatoren für haptische Signale und Bluetooth Low Energy (BLE) für die drahtlose Kommunikation zwischen den Armbändern und anderen Geräten.
Datenübertragung und Verarbeitung: Die Daten werden über WebSockets und Wifi übertragen, synchronisiert und mit Timestamps versehen. Sprachaufnahmen werden mittels Speech-to-Text-API in Text umgewandelt. Eine in React entwickelte Webanwendung ermöglicht dem Psychologen, den Überblick über alle gesammelten Informationen im Browser zu sehen.