Fast noch mehr als von gesichtsbasierten Verfahren verspricht man sich von der stimmbasierten Emotionserkennung einen unmittelbaren Zugang zu zentralen Aspekten des Innenlebens und der Persönlichkeit, der nicht der bewussten Kontrolle unterliegt. Allerdings bleiben auch im Hinblick auf die Zuverlässigkeit dieser Methode viele Fragen offen, etwa nach kulturell oder sprachlich bedingten Unterschieden oder dem Umgang mit Verstellung, Ironie oder Sarkasmus.
Sentimentanalyse
Während die stimmbasierte Emotionsanalyse von den gesprochenen Inhalten abstrahiert, konzentriert sich die Sentimentanalyse auf die Sprachbedeutung. Diese Technologie analysiert die Bedeutungsdimensionen sprachlicher Äußerungen, um die jeweilige Gefühlslage der Sprecher herauszufinden. Gegenstand der Analyse können Phrasen, Sätze oder ganze Dokumente sein.
Im Rahmen der Sentimentanalyse kommt der Valenz von sprachlichen Ausdrücken eine besondere Bedeutung zu. Valenz ist als Kategorie ebenso wie Erregung zwar zu undifferenziert, um bestimmte Emotionstypen eindeutig zuzuschreiben. Das Verfahren kann jedoch dafür eingesetzt werden, um herauszufinden, ob eine Zielgruppe einem Produkt, einer Marke, einer Dienstleistung, aber auch einer Institution oder politischen Partei positiv oder negativ gegenübersteht. Die Entwicklung der Stimmung an den Aktien- und Finanzmärkten sowie das Entstehen sozialer Unruhen oder Protestbewegungen im Rahmen der vorhersagenden Polizeiarbeit (engl. predictive policing) stellen weitere Anwendungsbereiche dar. Auch die Identifikation potentieller Terroristen aufgrund ihrer Befindlichkeitsäußerungen in sozialen Netzwerken wird angestrebt.
Verwendet werden für die Sentimentanalyse lexikonbasierte Ansätze oder maschinelles Lernen. Die Grundlage lexikonbasierter Ansätze bilden Wörterbücher, in denen die Wörter einer Sprache als positiv oder negativ konnotiert eingeordnet werden. Hinzu können syntaktische Merkmale wie die Stellung eines Wortes im Satz oder die Verwendung von Superlativen kommen. Maschinelles Lernen verzichtet auf den Gebrauch von Wörterbüchern und trainiert künstliche Systeme mit Hilfe von Mustererkennung in einer bestimmten Datenmenge darauf, positive oder negative Äußerungen zu erkennen. Ein wichtiges Reservoir an Daten für die Sentimentanalyse bieten die sozialen Medien wie Facebook oder Twitter. Entsprechende Daten wurden etwa genutzt, um die Veränderungen der Gefühlslage im Lauf der Coronakrise zu untersuchen.
Über die sozialen Medien lassen sich Emotionen mit Hilfe von Sentimentanalyse nicht nur erkennen, sondern auch beeinflussen. So untersuchten einige Wissenschaftler der Cornell University in Kooperation mit Facebook die Verbreitung von Gefühlen über das soziale Netzwerk.19 Die Studie wurde zwischen dem 11. und 18. Januar 2012 durchgeführt und geriet stark in die Kritik, weil sie Einfluss auf die Gefühle der Nutzer nahm, ohne diese vorab zu informieren. In diesem Zeitraum wurden die Newsfeeds von knapp 700 000 Personen, die auf den englischen Facebookseiten eingeloggt waren, ohne deren Wissen manipuliert. Eine direkte emotionale Interaktion der Personen untereinander konnte ausgeschlossen werden.
Bei der einen Gruppe wurde die Anzahl der positiven Inhalte in ihrem Newsfeed reduziert. Dies führte dazu, dass diese auch weniger positive Posts absetzten. Bei der anderen Gruppe wurden die negativen Inhalte mit dem entgegengesetzten Effekt verringert. Das Resultat der Studie lautete, dass die im sozialen Netzwerk verbreiteten Emotionen die Gefühlslage der Nutzer entsprechend beeinflussen. Dies wurde als Beweis dafür gewertet, dass es eine massive emotionale Ansteckung über soziale Netzwerke allein über die Inhalte gibt, ohne andere Parameter des Emotionsausdrucks miteinzubeziehen.
Dadurch eröffnen sich weitreichende Möglichkeiten der politischen Einflussnahme. Politische Kampagnen nehmen sich Marketing- und Konsumentenanalysen zum Vorbild. Die Sentimentanalyse soll einen Einblick in Gefühle und Stimmungen sowie politischen Einstellungen in den sozialen Medien vermitteln. Die Zielgruppen werden dann durch gezielte Werbung und auf die Person zugeschnittene Botschaften angesprochen. In den Fokus der öffentlichen Wahrnehmung gerieten diese Praktiken besonders durch die dubiosen Aktivitäten der mittlerweile insolventen Firma Cambridge Analytica.
Besonders umstritten ist der Einsatz von Social Bots, die in sozialen Netzwerken vorgeben, echte Menschen zu sein, aber durch eine Software gesteuert sind. Es gibt regelrechte Botnetze, also miteinander verbundene Accounts, die sich gegenseitig folgen und ihre Inhalte weiterverbreiten. Sie können sogar Netzwerke aufeinander reagierender Softwareagenten bilden, die großen Einfluss auf die Verbreitung von Stimmungen, Gefühlen und politischen Einstellungen in sozialen Netzwerken nehmen und zum politischen Agenda-Setting beitragen können. Im Unterschied zu ihren harmloseren Vettern, den Chatbots, dient ihre Kommunikation allerdings dazu, Menschen zu täuschen und zu manipulieren. Trollbots verfolgen ausschließlich den Zweck, die Kommunikation zu stören und Verunsicherung zu erzeugen. Nicht wenige haben ihren Ursprung in russischen Trollfabriken.
Sentimentanalyse kann also nicht nur eingesetzt werden, um Stimmungen und Gefühle in sozialen Netzwerken zu beschreiben, sondern auch, um sie zu manipulieren oder sogar überhaupt erst zu erzeugen. Auf diesem Weg lassen sich politische Einstellungen und das Wahlverhalten beeinflussen. Nicht nur diese Vorgehensweise als solche ist kritisch zu betrachten, auch die Emotionen und Einstellungen, um die es geht, sind oft fragwürdig: Hass, Aggression und Vorurteile.
Soziale Medien weisen deshalb Tendenzen auf, die einer rationalen, komplexen und faktenbasierten politischen Auseinandersetzung zuwiderlaufen. Umso mehr gewinnt die Strategie an Bedeutung, die richtigen »emotionalen Knöpfe« zu drücken, um die Menschen unmittelbar und schnell zu beeinflussen. Diese Entwicklungen stellen eine große Herausforderung für das Verständnis und die Gestaltung von Öffentlichkeit und Demokratie dar.20
Bio-Sensoren
Viele Emotionen umfassen körperliche Veränderungen, etwa der Herzfrequenz, der elektrischen Leitfähigkeit der Haut, der Muskelspannung, der Atemfrequenz und der elektrischen Aktivität des Gehirns. Die automatische Emotionserkennung mit Hilfe von Bio-Sensoren versucht, physiologische Veränderungsmuster zu identifizieren und bestimmten Emotionen zuzuordnen.
Zu diesem Zweck können verschiedene Methoden benutzt werden, die sich darin unterscheiden, wie invasiv und wie zuverlässig sie sind. Einige Geräte lassen sich nur unter kontrollierten Laborbedingungen einsetzen, weil sie sehr empfindlich sind oder einen komplizierten Aufbau erfordern, andere kann man im Alltag mit sich führen (engl. wearables). Die Apparate werden zunehmend kleiner, vielseitiger und leichter miteinander vernetzbar.
Eine klassische Methode ist das Elektrokardiogramm (EKG), das die elektrische Aktivität des Herzens misst. Die Herzaktion wird über Elektroden abgeleitet und auf einem Schreiber als Kurve dargestellt. Lange Zeit war die Durchführung eines EKG recht umständlich und nur in einer Arztpraxis oder einem Krankenhaus durchführbar. Elektroden mussten mit einem elektrisch leitfähigen Gel auf die Haut der Patienten aufgebracht und über Kabel mit einem EKG-Gerät verbunden werden. Mittlerweile werden jedoch Smart Watches (etwa von Apple) entwickelt, die – neben der Messung anderer Körperdaten – auch ein einfaches EKG durch Kontakt mit einem Finger erstellen können. Allerdings bleibt die Genauigkeit hinter klinischen EKG-Messgeräten zurück. Smartphones sind deshalb nicht dazu geeignet, Herzinfarkte oder Blutgerinnsel zu entdecken.
Andere Verfahren, die ebenfalls in Smart Watches eingesetzt werden, sind die optische Messung der Pulswellen oder der Sauerstoffsättigung des Bluts. Messbar sind außerdem etwa die Atemfrequenz sowie die Hauttemperatur und elektrische Leitfähigkeit der Haut, die ein Indikator der Schweißproduktion ist. Diese Informationen helfen bei der Emotionserkennung. So erhöht sich bei Furcht die Frequenz des Pulses, die Atemfrequenz sowie die elektrische Leitfähigkeit der Haut. Doch auch die Messung der Muskelspannung oder Bewegungsdaten können Aufschluss über den emotionalen Zustand einer Person geben.
Allerdings sind die physiologischen Reaktionen für sich genommen häufig zu unspezifisch, um einer bestimmten Emotion eindeutig zugeordnet werden zu können. So kann eben auch ein kräftiger Niesreiz bei einer entspannten Person zu einem heftigen Anstieg der Herzfrequenz, des Blutdrucks und der Hautleitfähigkeit führen. Psychologische Experimente zeigten zudem bereits in den 1960er Jahren, dass