Menselijke emotie herkennen nog te complex voor computer

Mensen die glimlachen zijn blij. Toch? Dat een glimlach niet altijd betekent dat je blij bent - je kunt ook een ironische glimlach opzetten - maakt het voor computers ingewikkeld om emoties te bepalen aan de hand van foto's of video's van gezichten. Wereldwijd investeren technologiebedrijven miljoenen om software en apparaten te bouwen om emoties van gezichten te 'lezen' en interpreteren. Maar het geloof dat gezichtsuitdrukkingen betrouwbaar overeenkomen met emoties is ongegrond, blijkt uit nieuw onderzoek.

Reuters schat de markt voor gezichts- of emotieherkenning wereldwijd op $25 miljard dollar over vijf jaar. Bedrijven zoals Microsoft, Facebook en Apple, naast gespecialiseerde startups zoals Soulve Machines en Kairos, zetten vol in op deze technologie.

Hoewel gezichtsherkenning steeds vaker in apps en standaard in hardware gebruikt wordt, denk aan het ontgrendelen van je smartphone, zwelt de wetenschappelijke en maatschappelijke kritiek op gezichtsherkenning en automatische emotion detection ook aan. Het grootste bezwaar is dat gezichtsuitdrukkingen geen goede indicatie voor de complexiteit van menselijke emoties zijn. Volgens wetenschappers is het enorm lastig om alleen gezichtsuitdrukkingen te gebruiken om te vertellen hoe iemand zich voelt. Emoties en gedrag worden bovendien cultureel beïnvloed, en de context speelt een belangrijke rol in hoe we gezichtsuitdrukkingen interpreteren.

Emotion recognition is niet voldoende

Wanneer mensen proberen te achterhalen hoe iemand zich voelt, gebruiken we bewust en onbewust veel informatie: gezichtsuitdrukking, lichaamstaal, de omgeving, locatie, etc. Wanneer computers proberen te achterhalen hoe iemand zich voelt, focussen ze zich meestal (alleen) op het gezicht. Maar alleen gezichtsuitdrukkingen analyseren om emoties te herleiden is geen goede methode, volgens de onderzoekers van Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Zij stellen dat de meeste claims van technologiebedrijven die zich richten op emotion recognition daarom lacunes vertonen.

Bedrijven als Kairos verkopen hun gezichtsherkenning-technologie aan bedrijven, die daarmee kunnen achterhalen hoe klanten zich voelen. Software scant het gezicht van een klant en analyseert een opgetrokken wenkbrauw of glimlach, en classificeert dat beeld met bijvoorbeeld als blij, verbaasd of boos. Kairos trainde de software door proefpersonen video's te tonen die emoties oproepen en hierbij hun gezicht te scannen. Ook beelden van mensen die poseren werden gebruikt om het algoritme te trainen. CEO Malissa Doval vertelt aan Technology Review dat één persoon bij Kairos in charge is van het labelen van de data die in het algoritme gestopt wordt.

Een verbaasd gezicht op commando

Deze aanpak, die volgens Technology Review gebruikelijk is bij meer technologie bedrijven, levert volgens het recent gepubliceerde onderzoek twee problemen op. Afbeeldingen van mensen die poseren kunnen heel anders zijn dan real life beelden. Een verbaasd gezicht op commando ziet er anders uit dan een 'natuurlijk' verbaasd gezicht. Ook het labelen en classificeren van data is problematisch, zeggen de onderzoekers. Een data-wetenschapper of medewerker weet immers niet wat iemands emotionele staat was op een bepaalde video of foto. Het is bijzonder lastig om iemands emoties te achterhalen.

Uit het onderzoek: "These research findings do not imply that people move their faces randomly or that the configurations have no psychological meaning. Instead, they reveal that the facial configurations in question are not “fingerprints” or diagnostic displays that reliably and specifically signal particular emotional states regardless of context, person, and culture. It is not possible to confidently infer happiness from a smile, anger from a scowl, or sadness from a frown, as much of current technology tries to do when applying what are mistakenly believed to be the scientific facts."

Bedrijven kunnen met emotion detection technologie wel een inschatting geven van de emotie van een gebruiker, maar dat zal een oversimplificatie zijn - stellen de onderzoekers. De gezichtsuitdrukkingen die we associëren met emoties zijn stereotypes, en technologie die voortbouwt op die stereotypes vertoont gebreken.

Gezichtsuitdrukkingen en emoties herkennen vereist veel meer en veel specifiekere data. Niet één foto van een persoon, maar het bestuderen van vele mensen voor een langere tijd in verschillende situaties. Aangevuld met data over stem, postuur, context en omgeving. In een tijd van maatschappelijke discussies over gezichtsherkenning, privacy en ongebreidelde dataverzameling, is dat geen gemakkelijke opgave.