Gesto e parlato: caratteristiche funzionali dei sistemi responsabili delle loro interazioni

Abstract

La presente tesi si propone di studiare le caratteristiche funzionali del sistema responsabile dei nessi motori tra mano e bocca (sistema di doppi comandi alla mano e alla bocca), con lo scopo ultimo di comprendere se esso possa essere, più o meno direttamente, responsabile delle interazioni esistenti tra gesto (manuale) e parlato. A questo scopo, saranno descritti e discussi due studi che utilizzano l’analisi cinematica del movimento e l’analisi dello spettro della voce dei partecipanti (destrimani, lingua nativa italiano). Il primo studio mostrerà che posture della mano (destra) e della bocca, implicitamente connesse all’interazione con oggetti di diverse dimensioni, influenzano rispettivamente le configurazioni della bocca e della mano (destra), assunte durante l’esecuzione di una successiva prensione. Il dato mostrante che la postura di un effettore è in grado di influenzare il successivo movimento dell’altro esclude che i nessi tra mano e bocca siano dovuti a un semplice meccanismo di accoppiamento temporale tra i movimenti dei due effettori distali. Uniti al risultato mostrante che le interazioni osservate sono specifiche per mano e bocca, e non estendibili ad altri effettori distali (es. piede), questi dati corroborano l’ipotesi che il sistema di doppi comandi alla mano e alla bocca possa essere alla base delle reciproche interazioni esistenti tra gesto e parola, se si considera che essi sono costituiti sia da posture che da movimenti. Infine, il primo studio mostrerà che posture implicanti una maggiore o minore apertura della bocca interna, associata alla produzione di vocali aperte e chiuse (/a/ e /i/), influenzano anch’esse la successiva prensione manuale. Anche questo risultato sembra confermare l’ipotesi che il sistema di doppi comandi alla mano e alla bocca possa essere alla base delle interazioni osservate tra gesto e parlato e che esso possa essere coinvolto nell’evoluzione di un sistema comunicativo verbale, a partire da un sistema comunicativo di tipo gestuale. Il secondo studio partirà dai dati appena descritti e compirà un passo avanti: per stabilire la natura delle interazioni tra gesti e parole è, infatti, necessario chiarire se posture della mano esprimenti gesti dotati di significato influenzino la produzione di unità fonemiche (es. vocali) e se questi eventuali effetti siano presenti anche durante la produzione di parole, il cui significato corrisponde a quello del gesto. Pertanto, nel secondo studio si analizzeranno gli effetti di gesti rappresentazionali (ossia, che indicano una proprietà fisica dell’oggetto di conversazione), sia uni manuali che bi manuali e il cui significato si riferisce a “grande” o “piccolo”, sulla pronuncia delle vocali /a/ e /i/ prodotte isolatamente o all’interno delle parole /grande/ e /piccolo/. I risultati dello studio confermeranno l’esistenza di nessi funzionali tra posture gestuali della mano destra e produzione di vocali, e proveranno nuovamente che tali interazioni sono dovute all’attività del sistema di doppi comandi alla mano e alla bocca. In più, i risultati del secondo studio riveleranno la presenza d’interazioni reciproche tra gesti e parole, dovute verosimilmente all’attività di un diverso sistema, che lega i due segnali grazie alla costruzione di una rappresentazione del loro significato, comune a tutti gli effettori usati (una mano, due mani e bocca). Quest’ultimo sistema è probabilmente più distribuito di quello di doppi comandi alla mano e alla bocca, anche se, presumibilmente, esso ne è il precursore. I legami tra gesto e parola sembrano stabiliti dal sistema in base a processi di categorizzazione semantica, mentre le interazioni tra posture della mano destra e produzione di vocali sembrano essere di natura più squisitamente motoria. Complessivamente, i risultati degli studi che saranno descritti nella presente trattazione, oltre ad approfondire le caratteristiche funzionali del sistema di doppi comandi alla mano e alla bocca, mostreranno che esso è parzialmente coinvolto nelle reciproche interazioni tra gesto e parlato, nel senso che, probabilmente, è stato il tramite iniziale per mezzo del quale tali reciprocità si sono stabilite.

This thesis is aimed at determining the functional properties of the system responsible for interactions between hand and mouth movements (dual hand-mouth motor command system). Furthermore, I am interested in discovering if this same system can also be involved in establishing the interactions existing between speech and gesture. To this purpose, I will describe and discuss two kinematic studies, in which I also used vocal spectra analysis of right-handed, Italian native speaker participants. The first study will show that postures of hand and mouth, implicitly linked to interactions with different sized object, can affect the kinematics of consequent mouth and hand grasps, respectively. This result rules out the possibility that interactions between hand and mouth are due to a simple temporal coupling mechanism between synchronic movements of the two effectors. Furthermore, the study will reveal that the observed relation between distal effectors is specific for hand and mouth. All these data are in accordance to the hypothesis that the dual hand-mouth motor command system is precursor of the system relating speech and gesture, since they are also made up of hand and mouth postures, and not only of hand and mouth movements. Moreover, and according to this view, the first study will show that postures of the internal mouth, related to production of open and closed vowels (/a/ and /i/), also affect the finger shaping during the consequent hand grasp. These data support the hypothesis that the dual hand-mouth motor command system could be involved in evolution of a communication system based on speech from a system based on manual gesture. The second study of the present thesis will try to understand what kind of relation links speech and gesture. To this purpose, I compared the effects of representational manual gestures, expressing the meaning of “large” and “small”, on pronunciation of vowels /a/ and /i/, either isolated or included in the words ”grande” (large) or “piccolo” (small). The results of this study will confirm the activity of the dual hand-mouth motor command system in establishing relations between hand posture (gesture production) and isolated vowel pronunciation. Moreover, the results will reveal the activity of another system that links speech (words) and gesture, by means of categorization processes of their meaning. Probably, the dual hand-mouth motor command system is precursor of the system relating speech and gesture, and it establishes motor functional relations between hand and mouth movements. On the other hand, the system that relates speech and gesture is probably more distributed, and its activity is based on categorization processes that provide a more abstract representation of the meaning of mouth and hand postures and movements, related to speech and gesture production.