Die virtuelle emphatische Assistenz

Eine künstliche Begleitung für den Menschen, die unsere Emotionen und Bedürfnisse begreift. Dank günstiger Sensoren, leistungsstarker Prozessoren und...

Eine künstliche Begleitung für den Menschen, die unsere Emotionen und Bedürfnisse begreift. Dank günstiger Sensoren, leistungsstarker Prozessoren und drahtloser Netzwerke sind wir heute näher an der Verwirklichung dieser alten Vision. Mit besserer Internet-Bandbreite können wir in Echtzeit kommunizieren und mit Kameras und Sensoren unsere Umgebung über Entfernungen hinweg erfassen. Diese Hardware-Technologien ermöglichen es uns, implizite Handlungen zu verstehen. Gemeinsam bilden diese Technologien die Grundlage für Empathic Computing (EC), einer Disziplin der User-Experience-Forschung (UX), welche den uralten Traum der Menschen nun real werden lassen könnte.

Empathic Computing: Alchemie 4.0

EC forscht an der automatischen Erkennung menschlicher Gefühle und bietet vielfältige Anwendungsmöglichkeiten. Siemens hat bereits entscheidende Fortschritte gemacht, denn Rebecca Johnson und ihr Siemens-UX-Forschungsteam haben es geschafft, Systeme rund 30 verschiedene Emotionen erkennen und auch selbst imitieren zu lassen. Für uns soziale Lebewesen schafft Empathie Erinnerungen und beeinflusst unsere Intelligenz, wie Neurowissenschaftler:innen in einer Studie unter der Leitung von Aron K. Barbey aus dem Jahr 2012 bestätigt haben. EC, welches Emotionen und Empathie einbezieht, wird darum die Art und Weise, wie wir Technologie nutzen, revolutionieren. Eine interaktive Mensch-Maschine-Kommunikation, die nicht nur auf Informationen, sondern auch auf Gefühlen basiert, wird nun möglich.

Überwindung von ersten Hindernissen mit Motion Capture und 3D-Modellen

Die Forscherin Maryna Zabigailo aus dem UX-Team erläutert, dass sie zunächst die Bereiche Empathie und emotionale Reaktion als Forschungsgegenstand definierte. Ihre Arbeit begann mit Feldforschung, dem Sammeln von Daten und der Identifizierung geeigneter Technologien. Schließlich entschied das Team sich für die Verwendung von Motion Capture, einem Verfahren zur Erfassung und Übertragung von realen Bewegungen auf digitale Modelle, in Kombination mit hochpoligen (hochauflösenden) 3D-Modellen.

Eine den Menschen ähnelnde artifizielle Persönlichkeit kreieren: Wie geht das?

Die Gestaltung einer künstlichen Persönlichkeit erfordert zunächst grundlegende Überlegungen zur Natur von Charakteren im Allgemeinen. Das Forschungsteam zog dazu das Rad der Emotionen von Robert Plutchik zurate und leitete daraus beispielsweise Eigenschaften wie Gelassenheit, Vertrauenswürdigkeit und Aufmerksamkeit ab. Eine künstliche Persönlichkeit benötigt einen Gesichtsausdruck, um Emotionen zu zeigen. Sie muss auch in der Lage sein, Sprach- und Textstile zu erkennen und nachzuahmen. Eine authentische Verbindung zwischen Menschen und Avataren erfordert daher eine passende Stimme. Das Design einer Persönlichkeit umfasst Handlungen, Aussagen und charakteristische Merkmale wie Denken, Fühlen und Verhalten. Bei der Konzeption eines Avatars wurde aus verschiedenen Persönlichkeitstypen gewählt, z.B. Lehrer:in, Gewinner:in oder Darsteller:in. Auch das Erscheinungsbild des Avatars muss dem Menschen ähneln, um Gefühle ausdrücken zu können. Bei der ersten Interaktion mit einem Nutzenden soll der Avatar in der Lage sein, ein Lächeln zu zeigen, auf Menschen zuzugehen und aufgeschlossen zu wirken. Das Klonen von Stimmen ermöglicht es, eine menschliche Stimme zu replizieren. Dazu wurden zunächst 158 Sprachdateien von einem Senior Design Strategist & Innovation Architect bei Siemens aufgenommen. Die Daten wurden dann formatiert und für das Training eines Stimmklonmodells verwendet.

Bewegungserfassung für eine realistische Darstellung von Gesichtsausdrücken und Gesten

Für die Bewegungserfassung wurden verschiedene Technologien und Plug-ins verwendet. Das Quixel- Bridge-Plug-in ermöglichte eine nahtlose Integration der erstellten Inhalte. Das Methuman-Plug-in sorgte für präzise Bewegungssteuerung. Mit dem Live-Link-Plug-in konnten Gesichtsverformungen in Echtzeit erfasst und auf den Avatar übertragen werden, um eine synchronisierte Darstellung zu ermöglichen. Es wurde auch ein spezielles Plug-in zur Steuerung sowie ein Groom-Plug-in für realistische Haare eingesetzt. Für die verschiedenen Gesichtsausdrücke wurde das Apple-Arkit-Plug-in verwendet.

Apple AR Kit ist eine Stütze für Live Link Face App. Apple AR Kit ermöglicht es, detaillierte Aufnahmen in Echtzeit von dem iPad oder iPhone zu transferieren.

Die artifizielle Persönlichkeit profitiert von der Diversität des Teams

Die Forschung des Teams, bestehend aus der Leiterin Rebecca Johnson, Martin Kramer, Iva Villa, Maryna Zabigailo und Jonathan Stoppe, profitiert von ihren unterschiedlichen kulturellen Hintergründen, Fähigkeiten und Perspektiven, um ihre Mission, das Kundenerlebnis auf ein neues Level zu heben, voranzutreiben. Das gemeinsame Ziel der diversen Gruppe ist es, eine virtuelle Assistenz der nächsten Generation zu entwickeln, die sich psychosozial in ihre Umgebung einfügen kann, sowohl durch Stimme als auch Verhalten. Auf dem Weg dorthin gab es bereits einige Herausforderungen zu bewältigen. Eine effiziente Kombination aus Bewegungserfassung, Stimmenklonen und Lippensynchronisation musste gefunden werden, um eine virtuelle Persönlichkeit zu erschaffen. Zudem wurde ein fotorealistisches Erlebnis angestrebt, das durch hochauflösende 3D-Modelle und Echtzeit-Operationen ermöglicht wurde. Angesichts des Potenzials der Forschung ist es kaum überraschend, dass Rebecca Johnson im vergangenen Jahr den Preis als „Erfinderin des Jahres“. Am 12. Juli 2023 hatte die einfühlsame virtuelle Assistenz ihren ersten Job bei einer Veranstaltung im Siemens Healthineers Innovation Center in Erlangen. Mit fortschrittlicher Technologie und interaktiven Fähigkeiten führte sie die Besucher:innen auf eine einzigartige und informative Tour. Von den neuesten medizinischen Entwicklungen bis hin zu modernen Einrichtungen und Forschungsbereichen bot die künstliche Persönlichkeit ein faszinierendes Erlebnis.

Interessante Optionen für Unternehmen

EC hat das Potential, die Benutzendenerfahrung und Produktentwicklung für Unternehmen zu verbessern. Eine emotionale virtuelle Assistenz bietet personalisierte und ansprechende Service-Erfahrungen, was Unternehmen zugutekommt. EC intensiviert den Kundenkontakt und trägt zum geistigen und emotionalen Wohlbefinden bei, indem es personalisierte Unterstützung und Anleitungen bietet. Neben anderen großen Tech-Giganten wie Microsoft, Google und Apple, die in Forschung und Entwicklung investieren, um Empathie und emotionales Verständnis in ihre Produkte und Dienstleistungen zu integrieren, können auch andere Branchen sowie kleine und mittelständische Unternehmen von EC profitieren. Beispielsweise im Gesundheitswesen, um personalisierte medizinische Unterstützung und therapeutische Anwendungen anzubieten, oder im Kundenservice, um eine bessere Kundenbetreuung zu gewährleisten. EC hat das Potenzial, das Kundenerlebnis und die Effizienz in vielen Bereichen zu verbessern.

Die Zukunft von EC: Eine Integration in verschiedene Lebensbereiche

Zabigailo geht davon aus, dass EC zunehmend in verschiedene Aspekte unseres Lebens integriert werden wird. “Besonders in der personalisierten Gesundheitsversorgung und im Kundenservice hat EC großes Potential für mehr Kundenzufriedenheit“, erklärt sie. Sicher ist, dass diese Technologie sich rasant weiterentwickeln wird. Siemens hat dabei einen hohen Qualitätsanspruch und stellt sicher, dass in seinen EC-Produkten stets ethische Standards und Richtlinien befolgt werden. Möglicherweise hat die uralte Suche der Menschen nach dem perfekten künstlichen Gefährten bald ein Ende, denn EC bringt uns einen Schritt näher zu einer virtuellen Assistenz, die nicht nur zu uns spricht, sondern uns auch versteht.