Un'estetica del gesto audiovisivo: un approccio neuroumanistico

Abstract

Questa tesi presenta un approccio neuroumanistico allo studio delle basi sensomotorie dell'esperienza audiovisiva. Basata su un'esegesi della teoria del cinema di Sergej Ėjzenštejn ed estesa a pensatori sia contemporanei che storici, una costellazione della nozione di “gesto” viene triangolata e operazionalizzata nella ricerca empirica. Il gesto dell'attore viene esplorato attraverso il contesto dell'avanguardia sovietica in cui Ėjzenštejn e il suo mentore, Vsevolod Mejerchol’d, hanno esplorato forme di espressione pionieristiche nelle arti e come queste idee si relazionano ai primi film e alla teoria dei gesti. Il gesto musicale viene esaminato attraverso la collaborazione diretta di Ėjzenštejn con Sergej Prokof'ev su Aleksandr Nevskij (1938) e attraverso il suo studio su Richard Wagner per la messa in scena di Die Walküre (1940); allo stesso modo viene esaminata la critica di Theodor Adorno, Max Horkheimer ed Hanns Eisler alla nozione di “opera d’arte totale” e al “Leitmotiv” nella musica da film. Il gesto audiovisivo e la multimodalità sono ulteriormente esplorati nella teoria di Ėjzenštejn sul ruolo del ritmo (influenzato da Jean d'Udine), nell'unità organica e il pathos e nella manifestazione della svolta audiovisiva in Ivan Groznyj Chast' II (Ivan il Terribile Parte II, 1958) e nelle “ibridazioni sintetiche” del cinema oltre Ėjzenštejn. Come collegamento tra le “due culture”, un nuovo contributo alla metodologia è stato implementato attraverso collaborazioni artistiche con un regista e con un compositore cinematografico, utilizzando il film sovietico Letjat žuravli (Quando volano le cicogne, 1957) come modello estetico per la creazione di stimoli video e musicali. I risultati dell'indagine empirica, nelle convalide di video e musica, nonché nello studio comportamentale, rivelano una notevole sovrapposizione tra il modello di gesto di Ėjzenštejn nell'immagine e nel suono e tra le strutture contemporanee della teoria della simulazione incarnata (Gallese, 2005) e della cognizione della musica incarnata (Cox, 2017). I risultati dimostrano un maggiore senso di coinvolgimento e senso di movimento nella percezione di “ascesa” sia nei gesti visivi che musicali, in contrapposizione a “discesa” o “quiete”. Inoltre, essi forniscono anche prove preliminari per la teoria della percezione musicale della “subvocalizzazione mimetica” di Arnie Cox, in cui i gesti musicali sono percepiti in termini di immagini motorie mimetiche. In effetti, i risultati comportamentali dimostrano che la musica guida il coinvolgimento emotivo con l'immagine audiovisiva ed è percepita come dotata di qualità cinetiche. Purtroppo, a causa della crisi della sanità pubblica, lo studio dell'elettroencefalografia è stato rinviato. Per questo motivo, saranno necessari studi futuri per far luce su come la corrispondenza tra il gesto multimodale influenzi l'attivazione sensomotoria e la “sintesi” percepita tra immagine e suono.

This thesis presents a neurohumanistic approach to the study of the sensorimotor basis of audiovisual experience. Grounded in an exegesis of Sergei Eisenstein’s film theory and extending to both contemporary and historical thinkers, a constellation of the notion of “gesture” is triangulated and operationalized into empirical research. The actor’s gesture is explored through the context of the Soviet avant-garde in which Eisenstein and his mentor, Vsevolod Meyerhold, explored pioneering forms of expression in the arts, and how these ideas relate to early film and gesture theory. The musical gesture is examined through Eisenstein’s direct collaboration with Prokofiev on Aleksandr Nevskii (1938) and his study of Wagner during his staging of Die Walküre (1940), as well as Theodor Adorno’s, Max Horkheimer’s and Hanns Eisler’s critique of the notions of “total work of art” and leitmotif in film music. The audiovisual gesture and multimodality are explored further in Eisenstein’s theory on the role of rhythm (influenced by d’Udine), organic unity and pathos, and the manifestation of audiovisual turning in Ivan Groznyi Chast' II (Ivan the Terrible Part II, 1958) and in the “synthetic hybridizations” of cinema beyond Eisenstein. As a link between the “two cultures”, a novel contribution to methodology was implemented through artistic collaborations with a filmmaker and film composer, using the Soviet film Letiat Zhuravli (The Cranes Are Flying, Kalatozov, 1957) as aesthetic model for the creation of custom-made, naturalistic video and musical stimuli. Results of the empirical investigation, in the video and music validations, as well as the behavioral study, reveal a notable overlap between Eisenstein’s model of gesture in image and sound and the contemporary frameworks of embodied simulation theory and embodied music cognition. Results demonstrate an increased sense of involvement and sense of movement in the perception of “ascent” in both visual and musical gestures, as opposed to “descent” or “stillness”. Results provide preliminary evidence for Arnie Cox’s “mimetic subvocalization” theory of music perception, in which musical gestures are perceived in terms of mimetic motor imagery. Indeed, behavioral results demonstrate that music drives emotional involvement with the audiovisual image and is perceived as possessing kinetic qualities. Due to the public health crisis, the electroencephalography study has been postponed. Future studies are needed to shed light on how correspondence in the multimodal gesture influences sensorimotor activation and perceived “synthesis” between image and sound.