SMILEI

Sensoric Multi-Input for reLiable Emotion Integration

Uit onderzoek blijkt dat (Brabantse) bedrijven in VR/AR voornamelijk verwachten geld uit te geven aan Tools & Platformen en minder aan Applicaties en Content. De vraag rijst waarom ontwikkelaars niet meer inzetten op tools, aangezien bedrijven hierom vragen en internationalisering eenvoudiger is. (BOM 2013) Onze partners hebben een sterk belang bij betrouwbare emotieherkenning. In hun domein is een menselijker interface van grote toegevoegde waarde. In VR is bijvoorbeeld de emotie van avatars niet beschikbaar. In skype-achtige toepassingen is die sterk beperkt. Betrouwbare emotionele informatie zou een belangrijke aanvulling kunnen zijn om die beperking grotendeels op te heffen. Een van de problemen om emotie te meten en te interpreteren, is de hoge mate van onzekerheid bij het gebruik van een enkel type sensor. Door verschillende sensoren (bijvoorbeeld stem- en gezichtsherkenning) te combineren willen wij de betrouwbaarheid van de metingen verhogen en ook de mogelijkheid creëren om triggers te herkennen die gebruikt kunnen worden in simulatie- of gameprojecten. De emotie-detectie-tool wordt opgeleverd als library, compatibel met de Unity engine. Partners en onderwijs kunnen zo eenvoudig gebruik maken van de informatie uit emotion tracking . Als proof of concept produceren we een state-machine waarin deze meerdere technieken een enkele, betrouwbaardere output aansturen.

Projectresultaten

Een integratie van verschillende sensor-input technieken gerealiseerd als library voor gebruik met de Unity engine. Overwogen worden:

  • Tone of Voice (via Vokaturi)
  • Emotie and hartslag door webcam (via Affectiva en/of Noldus)
  • Eye-tracking
  • Biofeedback sensoren
  • Als proof of concept een state machine die opereert op deze data.

De library, in combinatie met de Unity Engine, is bruikbaar in games en applicaties waarbij de emotie van de gebruiker wordt geanalyseerd via verschillende technieken. Ook kunnen triggers ingesteld worden. Deze inputs kunnen vervolgens gebruikt worden om een reactie of state-wisseling te veroorzaken in een systeem zoals een kunstmatige intelligentie. Een demonstratie van hoe de technologie zou kunnen werken in de praktijk in een scenario dat past bij elk van onze partners. Een whitepaper over de bevindingen, een publicatie in een vakblad of bijv het platform Medium wordt voorbereid

Projectteam

Bart Heijltjes, Jan Oonk (Fontys, uitvoerend), Jack Hoefnagel (Fontys, VR/AR expertise), Wouter Sluis-Thiescheffer (Fontys, projectmanagement), minorstudenten FHICT

Partner

Saasen-Groep (Arno Saasen)

Stakeholders
  • Milou Feijt (TU Eindhoven)      
  • Joyce Bierbooms, Meddy Weijmans (GGzE)
  • Dafne Wiegers (Home of Legends)
  • Gert-Jan Brok (Fantazm)
  • Tim van der Grinten (Enversed)
  • Mark van Kuijk (Game Solutions Lab)
    Looptijd

    September 2019 t/m januari 2020.


    Resultaten februari 2020

    Resultaten februari 2020

    Een integratie van verschillende sensor-input technieken gerealiseerd als library voor gebruik met de Unity engine.

    Geïntegreerd zijn:

    • Emotie detectie via de stem Voice (via Vokaturi Library)
    • Emotie and hartslag via webcam (via Noldus’ Facereader)
    • Hartslag via een dedicated hartslag sensor (esense van mindfield)

    De library, in combinatie met de Unity Engine, is bruikbaar in games en applicaties waarbij de emotie van de gebruiker wordt geanalyseerd via verschillende technieken. Ook kunnen triggers ingesteld worden. Deze inputs kunnen vervolgens gebruikt worden om een reactie of state-wisseling te veroorzaken in een systeem zoals een kunstmatige intelligentie. Een demonstratie is gerealiseerd van hoe de technologie zou kunnen werken in de praktijk in een scenario dat past bij elk van onze partners.

    Dit is gedemonstreerd met een VR-narrative die First Responders traint in levensechte scenario’s. Op basis van emotie herkenning wordt in de VR-narrative besloten of een cursist met overtuigingskracht een crisissituatie heeft aangestuurd.

    De beslissingen in de tool worden nog niet genomen, maar op diverse punten in de ontwikkeling is de haalbaarheid van een dergelijke tool duidelijk geworden. De tool werkt met verschillende plugins, en met een midi-mocker die de verschillende emotionele inputs kon simuleren hebben we al de proof of concept statemachine kunnen demonstreren.

    We zijn gestart met het beschrijven van onze bevindingen. Verwachte oplevering is medio april in de vorm van een whitepaper, een publicatie in een vakblad of bijv het platform Medium. De huidige bevindingen zijn al wel gepubliceerd op het ICT in Practice symposium op 7 februari 2020.

    Onze resultaten zijn fundamenteel – maar hebben al toegevoegde waarde. Op dit moment worden real-time emotie-herkennings technieken vooral ingezet voor analyse van marketing campagnes. De meest gebruikte emotie-herkennings technieken zijn sentiment analyses in bijv. social media, of zoek machine resultaten. Met onze toepassing wordt dit nu ook gebruikt in een nieuwe markt.

    Het gebruik van real-time emotie-herkenningstechnieken staat om diverse redenen nog in de kinderschoenen. Het krijgt echter steeds meer aandacht, omdat meer instellingen er toepassingen voor zien, bijv. in agressie trainingen (gemeentes, ziekenhuizen). Een enkele dienst of service maakt al gebruik van emotie herkenning.

    Met onze tool hebben we de toegankelijkheid van deze technologieën verhoogd en de mogelijkheid om betrouwbaarder resultaten te creëren. Daarnaast zijn we vernieuwend bezig geweest omdat deze technologieën alleen nog voor analyses beschikbaar zijn, en nog niet voor interacties.

    In een vervolg van dit onderzoek zijn we gaan onderzoeken hoe meerdere emotie-inputs kunnen helpen om gebrek aan non-verbale signalen in video-bellen op te vangen met biofeedback signalen. Tijdens de online versie van de DTW is deze tool gedemonstreerd. Omroep Brabant weidde er een reportage aan.

    https://www.omroepbrabant.nl/nieuws/3213488/app-meet-hoe-je-je-echt-voelt-tijdens-beeldbellen-zelfde-techniek-als-een-leugendetector

    Lectoraat Interaction Design - Serious Gaming

    Wouter Sluis - Thiescheffer

    08850 78080
    wouter.sluis@fontys.nl

    Projectleiding

    Wouter Sluis - Thiescheffer

    08850 87080
    wouter.sluis@fontys.nl

    Partner & stakeholders

    GGzE, Home of Legends, Fantazm, Enversed, Game Solutions Lab, Saasen-Groep