SMILEI

Sensoric Multi-Input for reLiable Emotion Integration

Uit onderzoek blijkt dat (Brabantse) bedrijven in VR/AR voornamelijk verwachten geld uit te geven aan Tools & Platformen en minder aan Applicaties en Content. De vraag rijst waarom ontwikkelaars niet meer inzetten op tools, aangezien bedrijven hierom vragen en internationalisering eenvoudiger is. (BOM 2013)

Onze partners hebben een sterk belang bij betrouwbare emotieherkenning. In hun domein is een menselijker interface van grote toegevoegde waarde. In VR is bijvoorbeeld de emotie van avatars niet beschikbaar. In skype-achtige toepassingen is die sterk beperkt. Betrouwbare emotionele informatie zou een belangrijke aanvulling kunnen zijn om die beperking grotendeels op te heffen. Een van de problemen om emotie te meten en te interpreteren, is de hoge mate van onzekerheid bij het gebruik van een enkel type sensor. Door verschillende sensoren (bijvoorbeeld stem- en gezichtsherkenning) te combineren willen wij de betrouwbaarheid van de metingen verhogen en ook de mogelijkheid creëren om triggers te herkennen die gebruikt kunnen worden in simulatie- of gameprojecten.

De emotie-detectie-tool wordt opgeleverd als library, compatibel met de Unity engine. Partners en onderwijs kunnen zo eenvoudig gebruik maken van de informatie uit emotion tracking . Als proof of concept produceren we een state-machine waarin deze meerdere technieken een enkele, betrouwbaardere output aansturen.

Projectresultaten

Een integratie van verschillende sensor-input technieken gerealiseerd als library voor gebruik met de Unity engine.

  • Tone of Voice (via Vokaturi)
  • Emotie and hartslag door webcam (via Affectiva en/of Noldus)
  • Eye-tracking Als proof of concept een state machine die opereert op deze data.

De library, in combinatie met de Unity Engine, is bruikbaar in games en applicaties waarbij de emotie van de gebruiker wordt geanalyseerd via verschillende technieken. Ook kunnen triggers ingesteld worden. Deze inputs kunnen vervolgens gebruikt worden om een reactie of state-wisseling te veroorzaken in een systeem zoals een kunstmatige intelligentie.

Een demonstratie van hoe de technologie zou kunnen werken in de praktijk in een scenario dat past bij elk van onze partners.

Een whitepaper over de bevindingen, een publicatie in een vakblad of bijv het platform Medium wordt voorbereid

Projectteam

Bart Heijltjes, Mina Biparva (Fontys, uitvoerend) - Jack Hoefnagel (Fontys, VR/AR expertise) - Wouter Sluis-Thiescheffer (Fontys, projectmanagement) - studenten FHICT - Joyce Bierbooms, Meddy Weijmans (GGzE) - Dafne Wiegers (Home of Legends) - Gert-Jan Brok (Fantazm) - Tim van der Grinten (Enversed) – Mark van Kuijk (Game Solutions Lab) - Saasen-Groep

Looptijd

September 2019 t/m januari 2020.

Lectoraat Interaction Design - Serious Gaming

Wouter Sluis - Thiescheffer

08850 78080
wouter.sluis@fontys.nl

Projectleiding

Wouter Sluis - Thiescheffer

08850 87080
wouter.sluis@fontys.nl

Partners

GGzE, Home of Legends, Fantazm, Enversed, Game Solutions Lab, Saasen-Groep