Neural mechanisms underpinning Emotional Body Language comprehension: eye tracking and EEG studies.

Abstract

To date, most investigations in the field of affective neuroscience mainly focused on the processing of facial expressions, overlooking the exploration of emotional body language (EBL), its capability to express our emotions notwithstanding. Considering the lack of previous eye-tracking studies focused on the visual mechanisms subtending visual exploration of bodies and EBL, the aim of our first study was to investigate the patterns of visual exploration during the observation of facial and bodily expressions, clarifying the characteristics of the visual mechanisms during Emotional Body Language processing, in order to consider its importance for the recognition of emotions and intentions of others. To this purpose, we recorded eye movements during an emotion categorization task of facial and bodily expressions depicting three emotional conditions (neutral, happiness and sadness). Specifically, we focused our analyses on the number and duration of fixations directed to specific Areas of Interest –AOIs, defined for faces (forehead, corrugator, eye right, eye left, nose, mouth) and bodies (upper left, upper right, hand left, hand right, lower left, lower right, and head). Considering faces, results showed that participants made more and longer fixations to the eyes and the nose. Moreover, they looked at the region of the mouth directing to it a number of fixations in-between eyes and nose on a side, and forehead and corrugator on the other. These results suggest how participants adopted a holistic viewing strategy, focusing their attention on the salient facial features (eyes, nose and then mouth) and integrating them in a whole representation of the face. With respect to faces, our results suggest the presence of a different exploration mechanism during bodies’ observation, likely based on the spatial relations among different body parts. Moreover, with bodies we found an interesting left-side bias indexed by the significant difference between the left and the right upper part of the body, with the left upper part being different than all the other AOIs. It is worth nothing that, apart the upper parts of the body, the other focused region was the left hand. Considering the few number of studies which explored the visual mechanisms of bodies exploration, these results could be considered as novel seeds to develop future studies in the field. Bearing in mind that few electrophysiological studies investigated the time course and the neural correlates of EBL, and even less investigated the integration of face and body emotion-related information, we used face and body stimuli validated during our first study (see above), to conduct an original ERP study. The aim of the present study was to investigate both the time course and the neural correlates underlying the integration of affective information conveyed by faces and bodies. We analysed EEG activities evoked during the judgment of the emotional congruence between stimuli belonging to the same category (face-face or body-body), and between stimuli belonging to different categories (face-body or body-face). Our results showed that incongruent stimuli elicited a modulation of the N400 in all comparisons except for body-face condition. This modulation was mainly detected in the Middle Temporal Gyrus, indexing the access to the meaning storage system, and within regions related to the mirror mechanism, suggesting the activation of Embodied Simulation mechanisms allowing a direct match between the emotional facial and bodily posture observed and executed, thus allowing the correct interpretation of the emotion conveyed by facial expressions and bodily postures themselves. More specifically, while the perception of incongruent facial expressions activates somatosensory-related representations, incongruent emotional body postures also require the activation of motor and premotor representations, suggesting a strict link between emotion and action.

Ad oggi, la maggior parte delle indagini nel campo delle Neuroscienze Affettive, si è focalizzata sulle caratteristiche di elaborazione delle espressioni facciali, tralasciando l’esplorazione dell’Emotional Body Language (EBL), nonostante la sua capacità di esprimere e veicolare emozioni, sentimenti e stati d’animo altrui. Alla luce dell’esiguo numero di studi che hanno utilizzato tecniche di registrazione dei movimenti oculari per indagare i meccanismi visivi alla base dell’esplorazione visiva dei corpi e dell’EBL, lo scopo del primo studio era quello di investigare i patterns di esplorazione visiva durante l’osservazione di espressioni facciali e corporee, contribuendo a chiarire le caratteristiche dei meccanismi visivi durante l’elaborazione dell’EBL. Al fine di raggiungere questo scopo, abbiamo registrato i movimenti oculari mentre i partecipanti svolgevano un compito di categorizzazione dell’emozione espressa da stimoli raffiguranti espressioni facciali e posture corporee esprimenti tre condizioni emotive (neutro, felicità, tristezza). Più specificatamente, ci siamo focalizzati sull’analisi del numero e della durata delle fissazioni dirette su specifiche regioni di interesse (Areas of interest - AOIs), definite sia per i volti (fronte, corrugatore, occhio destro, occhio sinistro, naso, bocca) che per i corpi (parte superiore destra, parte superiore sinistra, mano destra, mano sinistra, parte inferiore destra, parte inferiore sinistra, testa). I risultati hanno dimostrato che, per quanto riguarda l’esplorazione delle espressioni facciali, i partecipanti effettuavano un maggior numero di fissazioni, e di più lunga durata, sulla regione degli occhi e del naso. Inoltre, rivolgevano il loro sguardo anche verso la bocca. Questi risultati suggeriscono come i partecipanti abbiano adottato una strategia di esplorazione olistica, focalizzando la loro attenzione sulle caratteristiche facciali più salienti, quali occhi, naso e bocca, e integrandole in un’unica rappresentazione dello stimolo volto. Rispetto ai volti, il risultato più interessante che è emerso per i corpi, oltre alla presenza di un meccanismo di esplorazione differente, probabilmente basato sulla relazione spaziale tra le diverse parti del corpo, è stato il bias verso la parte sinistra del corpo (left-side bias). Esso era indicato dalla presenza di una differenza significativa tra parte superiore sinistra e parte superiore destra (la prima riceveva un maggior numero di fissazioni, e di durata maggiore rispetto alla seconda). Inoltre, la parte superiore sinistra era significativamente differente da tutte le altre AOIs. È degno di nota il fatto che, oltre alla parte superiore del corpo, i partecipanti focalizzavano la loro attenzione anche sulla mano sinistra. Alla luce dell’esiguo numero di studi che hanno esplorato i meccanismi visivi alla base dell’esplorazione dei corpi, questi risultati possono essere considerati come nuovi semi per sviluppare studi futuri.

Tenendo presente che fino ad ora pochi studi elettrofisiologici hanno indagato il decorso temporale e i correlati neurali alla base della comprensione dell’EBL, e ancor meno hanno investigato le caratteristiche del processo di integrazione tra le informazioni affettive veicolate da volti e corpi, abbiamo deciso di condurre un’originale studio di elettrofisiologia utilizzando come stimoli le immagini di espressioni facciali e corporee validate durante il primo studio, precedentemente descritto. Lo scopo era quello di investigare sia il decorso temporale che i correlati neurali alla base dell'integrazione delle informazioni affettive trasmesse da volti e corpi. Abbiamo analizzato l’attività elettro-corticale evocata durante un giudizio di congruenza emotiva tra stimoli appartenenti alla stessa categoria (volto-volto o corpo-corpo), e tra stimoli appartenenti a diverse categorie (volto-corpo o corpo-volto). I nostri risultati hanno dimostrato che gli stimoli incongruenti elicitavano una modulazione significativa della componente N400 in tutti i confronti tranne che nella condizione corpo-volto. Tale modulazione è stata rilevata principalmente nel Giro Temporale Medio, indicando l'accesso al sistema di immagazzinamento del significato, e all'interno di regioni relate al meccanismo mirror, suggerendo così l'attivazione di meccanismi di simulazione incarnata, i quali permetterebbero una corrispondenza diretta tra le espressioni emotive del volto, e del corpo, osservate e provate/eseguite in prima persona, consentendo così la corretta interpretazione dell'emozione trasmessa dalle stesse espressioni facciali e corporee. Più specificatamente, mentre la percezione di espressioni facciali incongruenti attiva rappresentazioni somatosensoriali, le posture corporee emotive incongruenti richiedono l’attivazione di rappresentazioni motorie e premotorie, suggerendo la presenza di un legame ancora più profondo tra emozione e azione.