Integración de modalidad  cruzada en las Artes temporales1.

.
Dra. Silvia Malbrán
Universidad Nacional de La Plata
Universidad de Buenos Aires
Argentina

Introducción

La percepción del mundo es resultado del impacto en nuestra conciencia de información proveniente de diferentes fuentes:
auditivas, visuales, espaciales, táctiles y motoras. Diversos autores consideran que dicha percepción más que una serie de
experiencias sensoriales independientes es incorporada como un interjuego de impresiones distintas a través de las cuales los
componentes sensoriales son sutilmente alterados por una integración mutua (Stein y Meredith, 1993 2; Deneve y Pouget, 2004).
En estudios psicofísicos tempranos se comenzó a prestar atención a los aspectos referenciales del sonido y a la
congruencia cognitiva entre la música y las imágenes visuales (Lipscomb, 1999). Así también, por los años cuarenta, se
administró una encuesta concerniente a las relaciones inter-sensoriales: los resultados permitieron concluir en que la mayoría de
los objetos de nuestra vida cotidiana son percibidos por dos o más modalidades sensoriales que trabajan en cooperación (Ryan,
s/f) 3
Según Wood (1998) la investigación musical frecuentemente ha postulado que el procesamiento de la música, como
dominio específico, es un fenómeno puramente auditivo que funciona independientemente de otras modalidades. Sin embargo,
actuales tendencias en investigación han comenzado a desafiar esta presunción, por considerar que la música es una experiencia
fisiológicamente mediada y situada que se presenta con elementos visuales concurrentes que pueden ser relacionados con los
sonidos; por ejemplo la actuación de un director de orquesta, de un conjunto instrumental o de un grupo de rock.
La cognición auditiva compromete diversas fuentes de conocimiento en formato de modalidad cruzada: visual, motor,
cinética, con alineamientos, superposiciones y paralelismos entre diversas vías de entrada y componentes puramente auditivos
(Bregmann 1990, McAdams, 1984,1993).
Las relaciones de comunicación entre las personas requieren la integración y coordinación de estímulos sensoriales
receptados por diferentes vías sensitivas. Un caso típico se produce cuando, en una reunión social muy ruidosa, es dificultoso
entender lo que habla la persona con quien estamos departiendo. En tal situación el movimiento de los labios es importante
ayuda para entender el mensaje del hablante. Este hecho presenta importantes implicaciones para los mecanismos de atención
selectiva que pueden comprometer sinergias espaciales (lazos cross modales) en el procesamiento atencional de información
cruzada entre modalidades sensoriales.
Según diversos autores, estas formas de conjunción entre las prácticas expresivas son mecanismos multimodales de
integración que obtienen su mayor eficacia cuando logran congruencia de modalidad cruzada (cross modal congruence) y
demandan diferentes modos de interacción sensitiva, basados en la dominancia sensorial de los sentidos. En el desarrollo de la
acción tal dominancia fluye entre una forma de arte y otra, reforzándose mutuamente. Los puntos de conjunción entre acentos
temporales de expresiones artísticas diferentes, son entendidos como lazos de conexión cross- modal (links cross modal) a los que
se les adjudica gran influencia en la percepción integral.
Las expresiones artísticas de conjunción (teatro/música, danza/música, film/música) cuando obtienen un eficaz arreglo en
el tiempo, pasan a integrarse en una única y nueva fusión; por ello se consideran discursos multimodales. Una entrada de
información multidimensional (input) genera una salida unidimensional (output). Los investigadores coinciden en señalar la
correspondencia de estas ideas con el efecto McGurk 4. En un ilustrativo estudio los autores observaron que si en la escena una
persona dice la sílaba ba y se aparea con un track de sonido que articula la sílaba ga para los espectadores el resultado es una
conjunción de ambas entradas de información y creen que la sílaba que han escuchado es da. La significación de esto es
conceptual: cuando se presenta información simultánea proveniente de un estímulo visual y otro auditivo la experiencia deriva en
una nueva audiovisión considerada óptima, ya que se conjuga en un nuevo producto fruto de la asociación intermodal. A esto los
autores lo llaman “captura” Será captura auditiva” si el estímulo visual eclipsa o comanda al estímulo auditivo y será captura
visual si el estímulo auditivo captura al visual (Mc Gurk y Mac Donald, 1976)5.

Componentes biológicos
La integración multisensorial es la capacidad de combinar información proveniente de diferentes modalidades sensoriales
de modo de alcanzar una más precisa representación del entorno y del propio cuerpo. Cada modalidad sensorial usa un diferente
formato para codificar las mismas propiedades del ambiente y del cuerpo. Esto es, cada una usa su propio lenguaje y la
información no puede ser compartida entre modalidades sin recurrir a mecanismos de traducción de cada lenguaje. Para combinar
estas respuestas sensoriales diferentes, el cerebro debe tener en cuenta la postura y los movimientos del cuerpo en el espacio. Los
inputs sensoriales provenientes de diferentes modalidades, pero originados en un mismo lugar del espacio, pueden influenciarse
mutuamente según la postura corporal, lo que sugiere la existencia de un lazo de unión y de un mecanismo de traslación de las
representaciones espaciales provenientes de diferentes sistemas sensoriales (Deneve y Pouget. 2004)

1
Ficha de estudio original para el curso
2
Citado por Word (1998)
3
idem
4
Citado por Fogelsanger y Afanador, 2006.
5
Citado por Fogelsanger y Afanador, 2006.
 La posición de objetos se codifica en diferentes marcos de referencia; los estímulos visuales son representados por
neuronas receptadas por la retina, los estímulos auditivos por campos receptivos de la cabeza y los estímulos táctiles por campos
receptivos anclados en la piel. Se ha visto que un cambio en la posición de los ojos o en la postura corporal genera un cambio en
la codificación de los datos visuales / auditivos / táctiles/ generando nuevas respuestas neurales diferentes a las registradas antes
del cambio de posición. Para combinar diferentes respuestas sensoriales, el cerebro toma en cuenta la postura y los movimientos
del cuerpo en el espacio (Deneve y Pouget, 2004).
Según Reybrouck (2005), la música es escuchada y “enactivada” más que meramente imaginada o representada. Aún en
los casos en que no es producida por el sujeto, puede inducir en las personas una suerte de resonancia ideomotora que genera en el
auditor una experiencia con el sonido como si hubiera estado comprometido en su producción. Esto indica que la intención de la
acción es tan movilizadora como el comportamiento manifiesto. El autor lo explica como fenómeno endógeno localizado en el
sistema nervioso central. Estudios previos muestran que existe en la percepción un componente motor que hace que las mismas
áreas cerebrales que son activadas en la acción sean activadas cuando son solamente imaginadas. Reybrouck (2005) concluye en
que si bien no toda percepción es reducible a componentes motores, los componentes motores están siempre comprometidos y
son parte integral de la percepción; a la imagen virtual así conformada en la mente (movimiento imaginado) la denomina
simulación ideomotora.
Desarrollos recientes muestran la existencia de neuronas tri-modales (audio- viso- motoras) en la corteza pre-frontal del
cortex (Kohler et al. 2000)6, por ello se considera que los diversos mecanismos de integración multimodal resultan un aspecto
crucial de la investigación sobre neuro- cognición.
Stein y Meredith7 (1993) registraron la presencia de neuronas multi-sensoriales en diversas áreas cerebrales, las cuales
convergen dentro y a través, de información multimodal. Estas áreas responden máximamente a las interacciones de los estímulos
a través de más de una modalidad. Desde esta perspectiva los datos sensoriales múltiples no solamente son integrados sino
también reseteados, produciendo una amplia transformación que va mucho más allá de la suma de las partes componentes. Olivetti
Berardinelli et al.(2004) señalan que en los últimos años un creciente número de investigadores han adoptado nuevas técnicas de
neuroimágenes para pesquisar conexiones intermodales en las imágenes mentales. Los resultados dan cuenta de un alto grado de
interacción entre las imágenes mentales y otras funciones cognitivas.

Componentes psicológicos
La investigación en Psicología Cognitiva ha mostrado que el cerebro (de manera involuntaria) reconoce lazos de unión
entre información presentada por dominios sensoriales complementarios (Wood,1998).
Diversas líneas actuales de investigación, dan cuenta de que la información conjunta proveniente de diferentes canales
sensoriales, influencia nuestros juicios interpretativos (Cohen, 2005; Fogelsanger y Afanador,2006).
Las diversas formas de integración sensorial o de modalidad cruzada (cross-modal) potencian la eficacia
comunicacional según el grado de congruencia entre las diferentes vías expresivas puestas en juego (Vines et al., 2006). Así
también, otros trabajos dan cuenta de que la emoción del espectador se incrementa cuando música y acción son
congruentes en términos de contenido emocional (Cohen, 2001, 2005; Fogelsanger, A. y Afanador, K., 2006; Parke et al.
2007; Forge Thompson et al, 2006).
La ejecución musical, el cine, el teatro y la danza comprometen experiencias multi-sensoriales en las cuales los estímulos
sonoros y visuales interactúan con el tiempo. Todas ellas son consideradas interacciones cross-modales; los procesos mentales
subyacentes son de central importancia para nuestra comprensión de las relaciones entre los sentidos, la organización perceptual y
el modo en el cual las representaciones del mundo son configuradas (Vines et al. 2006)
La conjunción entre música /sonido y acción, es característica de diversas culturas (Cross, 1999); en tal sentido se ha
visto que la mayor congruencia es en el campo de las artes temporales. Una de las formas privilegiadas de acuerdo entre dominios,
es cuando comparten patrones de acentos temporales. Según Sloboda (1985) los espectadores en base a los principios de la
Gestalt, tienden a construir asociaciones entre percepciones coincidentes en el tiempo.
Un análisis comparado de actuaciones en diferentes expresiones artísticas muestra que las artes temporales comparten
formas de “dicción” organizadas en patrones regulares; por ello es que los espectadores emiten juicios que aúnan percepciones de
la acción y de la música. Es frecuente escuchar comentarios tales como “la escena es tan lenta como la música de fondo”, “en el
video-clip las sucesivas tomas van con la música, y por eso resultan tan rápidas” “la música es la que impone los cambios bruscos
de velocidad de los bailarines”. En todos estos casos se está aludiendo al apareamiento temporal entre los niveles temporales de la
música y los de la acción (Mitchel y Gallear,2001; Hodgins 1992)8.
Desde la perspectiva psicológica el espectador recibe del cine una multisensorial estimulación, en la que a través de la
narrativa visual puede relacionar su historia personal y explorar nuevas experiencias, entre otras. Las investigaciones han
mostrado que los espectadores utilizan esquemas pre-existentes los aplican al film y crean nuevos esquemas coincidentes con la
temática filmada (Cohen,2005)

Integración cross modal: música y artes del espectáculo

En las artes del espectáculo dramático varios experimentos han mostrado que la inteligibilidad del lenguaje se
incrementa significativamente cuando la cara del que habla es vista en lugar de ser solamente escuchada, ya que los movimientos
del cuerpo ponen en evidencia variedad de actitudes e ilustran diversos estados mentales (Vines et al. 2006)
Según Laurienti et al. (2004) la congruencia entre semántica y actuación es un factor crítico en las performances de
integración multi-sensorial; esta afirmación sugiere el rol del lenguaje “corporizado” en la comprensión de la actuación teatral y
fílmica.

6
Citado por Olivetti Berardinelli et al
7
Citado por Wood
8
Citados por Fogelsanger y Afanador
 Boltz (2001) observó que los juicios de los espectadores de acciones dramáticas variaban según las características de la
música. A los sujetos participantes del estudio se les mostró una escena en la cual un hombre seguía a una mujer por la ciudad.
Cuando la música elegida resultaba dramática, tal acción fue interpretada como peligro de muerte; la misma escena acompañada
por música romántica, fue interpretada con valencia altamente positiva. Esto confirma que la música actúa como un esquema,
como marco interpretativo y como vínculo emocional en el procesamiento de estímulos visuales. Así también que contribuye a
otorgar significación a escenas ambiguas, mantener el estado de alerta y atencional, conceder sentido a diversos roles sociales y
que actúa como un valioso predictor en avance de la trama (Boltz 2001).
Vines, et al (2005) consideran que acciones tales como mover la cabeza, levantar las cejas y otros gestos posturales
frecuentes en la escena , cuando convergen temporalmente con la música, comparten un significativo monto de información y por
ello actúan como disparadores que refuerzan anticipan o aumentan la señal auditiva. Los autores los consideran gestos para-
lingüísticos.
El aporte del sonido y la música a la trama fílmica no necesita ser justificado; basta con reflexionar sobre el giro
comunicacional y emocional que significó la aparición del cine sonoro. Por ello en el caso de la unión entre música y film se
ponen en juego principios que proceden de los datos a la estructura (bottom up), basados en el agrupamiento perceptual visual y
auditivo (Cohen, 2001, Lerdahl y Jackendoff, 1983). La congruencia film- música ha sido ampliamente desarrollada por el
compositor y cineasta francés Michel Chion (1990), creador de la “Audiovisión” que presentó la nueva disciplina con su acertada
frase “no se «ve» lo mismo cuando se oye; no se «oye» lo mismo cuando se ve”.
Cohen (2001) acuerda con Cook (1998) en que la música es un modo de expresión poderoso para representar un
sentimiento tan abstracto como el de la emoción; concomitantemente la pantalla resulta igualmente poderosa para representar el
objeto al cual la emoción es dirigida. La autora ha creado un modelo de “congruencia asociativa”. Para ella, la música de film
como forma de transmisión de la cultura, sirve a la función narrativa y se codifica en un canal de procesamiento bidimensional
dado que la música del film aparea y reúne la información visual y emocional.
Diversos autores han utilizado analogías entre música y discurso verbal, para obtener información sobre sus
interrelaciones, Malbrán (2008) en un test con un grupo de músicos, examinó las analogías entre fragmentos musicales y escenas
respecto de textos escritos en forma dialogal y adjetivos calificativos. Comprobó correlación positiva y significativa entre ambas
dimensiones, tanto para el apareamiento estructural como en el tono emocional. Las conclusiones resultan coincidentes con las de
otros trabajos previos (Krunhansl 1996; Krumhansl y Schenk, 1997): tanto en la versión sólo visual como en la versión sólo
auditiva, los participantes coinciden en la dimensión estructural de las ideas internas del discurso. La entrada unimodal (versiones
sólo auditiva o sólo visual) se interconectan con una entrada multisensorial (la versión integral) Esta entrada mapea todos los
inputs sensoriales en un marco común de referencia. Tal comprobación en el trabajo de Krumhansl y Schenk (1997) fue analizada
con la lectura de imágenes cerebrales acerca de las zonas neurales activadas. Esto les ha permitido comprobar la existencia de un
área cerebral multisensorial influenciada por entradas unimodales.
Los paralelismos entre estructura y sintaxis de los lenguajes expresivos también han sido señalados por Meyer
(1956,2001) que distingue entre actividad contrapuntística y simultaneidades jerárquicas, esto es, atender a la diferencia entre
coincidencias punto a punto (punctus contra punctus) y entre las coincidencia entre grandes mojones de las estructuras de cada
discurso.
Deneve y Pouget. (2004) aseveran que la integración multisensorial extiende sus beneficios a otros comportamientos
tales como profundidad en la percepción, discriminación en la acción, comprensión del lenguaje e identificación del objeto,
asuntos que soportan la concepción de una teoría general de la percepción.
Un elemento a considerar es el que se vincula con la música como movimiento virtual: es frecuente que cuando los
sonidos aumentan en la frecuencia de vibración
(cualidad perceptiva de altura del sonido) las personas tienden a realizar movimientos ascendentes y viceversa. Asimismo que el
aumento de sonoridad (crescendo) deriva en una analogía de ampliación del movimiento y viceversa, o que un aumento en la
frecuencia temporal (accelerando) sea correspondido como incremento en la velocidad de desplazamiento.
Para Fogelsanger y Afanador, (2006) congruencia, captura y movimiento virtual son los tres atributos claves de la
relación música y danza,
Se ha visto que los principios de integración y congruencia estructural son coadyuvantes para la interpretación de la trama. El
éxito de la integración entre música e historia narrada es dependiente de la congruencia en el cruzamiento de ambas narrativas
(Cohen,2005)

Integración cross modal: Música y danza / expresión corporal

La danza en conjunción con la música presenta una larga historia a través de las diversas culturas del mundo; su potencial
aporte como forma de cohesión social, entretenimiento e identidad cultural forma parte de la historia de la danza. Un trabajo de
Fogelsanger y Afanador (2006) consistió en un estudio conjunto realizado por los autores (uno es coreógrafo y otro compositor).
Analizaron diversas características de la integración música y danza. Según los autores el atributo relevante es la congruencia
entendida como el ajustado apareado entre la sucesión de eventos de la música y los de la coreografía. Por ello consignan una
lista de paralelos tales como: i) apareamiento entre el pulso o el ritmo de la música y el del movimiento; ii) alineamiento de otros
aspectos temporales estructurales que no son el pulso; iii) cualidades cross modales análogas; iv) otros referentes
complementarios.
Diversos trabajos han estudiado la manera en que la danza y el movimiento corporal pueden reflejar las propiedades
estructurales y expresivas de la música (Krumhansl y Schenck, 1997). Estos autores consideran que la congruencia cross modal
favorece la percepción de similitudes y alineamientos entre las dos modalidades (danza y música). En un experimento mostraron
que la integración auditiva y visual de una actuación de ballet, si comparten información estructural y contenido emocional,
generan en el espectador respuestas “fundidas” basadas en la conjunción música -movimiento. Los resultados del trabajo
empírico mostraron que los participantes aparearon la segmentación del fraseo con el componente visual, lo que induciría a pensar
que utilizaron un alto nivel de procesamiento perceptivo de los patrones de movimiento. Por ello los autores señalan como factor
de peso la correspondencia temporal entre los eventos musicales y el movimiento del cuerpo, como así también la correlación
entre contorno del movimiento corporal y contorno del fraseo. El estudio permitió observar que la conjunción intersensorial
aporta a la emoción, indexada por la tensión y clarifica la estructura, indexada por el fraseo.
Según Reybrouck (2005), la experiencia musical es multifacética y asume como paradigma epistemológico clave la
adopción de una visión procesual de la relación entre la música, el cuerpo y la cognición experiencial. Para ello propone un
modelo adaptativo general de base biológica y cognitiva como modo de atender conjuntamente al cuerpo, la mente y la música.
Considera que su modelo se aproxima a las teorías que entienden a la cognición como una actividad estructurada por el cuerpo,
en un entorno de naturaleza biológica, psicológica y cultural (Lakoff y Johnson, 1999). El autor propone una hipótesis
corporizada que describe a la percepción como acción guiada por los sentidos y considera a los procesos sensoriales y motores
como estructurados, inseparables y mutuamente informativos. Esto permite a las personas explorar el ambiente con el cuerpo y
los sentidos, en un ir y venir de entradas multisensoriales y experiencias corporales. Elaborados mecanismos de
retroalimentación (feedback) se han observado entre el aparato sensorial, el aparato motor e información temporal apareada con
imágenes motoras (Todd, 1999).

El rasgo dominante del siglo XXI es el cambio de paradigma en el estilo de comunicación entre las personas. Los
recitales, las presentaciones académicas, las propuestas políticas, los avances de discos compactos de grupos juveniles, son
presentados con recursos multimedia. Esto es, son todas manifestaciones cross- modales. La pedagogía tiene la palabra.

REFERENCIAS

Boltz, M. (2001). Musical soundtracks as a schematic influence on the cognitive processing of           filmed events. Music Perception, 18, 427-455
Chion, M. (1990/ 1993). La Audiovisión. Introducción a un análisis conjunto de la  imagen y el                  sonido. 1era ed. en español. Paris: Ediciones Nathan
Cross, I. (1999). Music, Cognition, Culture and Evolution. Annals of the New York                Academy of Sciences. 930. (pp. 28-42)
Cohen, Annabel. ( 2000). Musicology Alone. Review of Analysing Musical Multimedia, by           Nicholas Cook (Oxford University Press). Music Perception 17:
Cohen, Annabel. ( 2001). Music as source of emotion in film. En P. Juslin y J. Sloboda:           Music and Emotion. Theory and Research. Oxford: UP
Cohen, Annabel J., (2005) ‘How Music Influences Film and Video: Approaches from
           Experimental Psychology’. En Kendall, Roger A,. & Savage, Roger W. H.,(eds.).             Perspectives in Systematic Musicology .California: UP             
Deneuve, S. y Pouget, A. (2004). Bayesian multisensory integration and cross-modal spatial            links. Elsevier. Journal of Phisiology. Paris
Fogelsanger, A. y Afanador, K. (2006). Parameters of Perception: Audition, and           Twentieth Century Music and dance. Congress on Research in Dance.
Tempe:            Arizona.
Forde Thompson W,Russo F. y Quinto L. (2006). Preattentive integration of visual and          auditory dimensions of music. 2nd International Conference on Music
and Gesture.                    Manchester.
Laurienti, P.J., Kraft, R., Maldjian J Burdette, H.,& Wallace, M. T. (2004). Semantic           congruence is a critical factor in multisensory behavioral
performance. Exp. Brain              Res.158. 2004
Lerdahl, F.y Jackendoff, R. (1983/2003). La Gramática Generativa de la Música Tonal .            Madrid: AKAL.
Lipscomb, S. (1999). Cross modal integration: Synchronization of auditory and visual             components in simple and complex media. Journal of the Acoustical
Society of            America 105.Issue 2.
Malbrán, S. (2008). El cruce de modalidades perceptivas. Un estudio sobre música y actuación.
Primer Congreso Internacional. Artes en cruce: Problemáticas teóricas actuales Buenos              Aires: Universidad de Buenos Aires
Meyer, L. (1956/2001). Emoción y el significado en la música.
Mitchel, R. y Gallear, M. (2001). Emboding Music: matching and dance in Memory.  Music                  Perception 19.1. 65-85
Olivetti Berardinelli M., Di Matteo R.,Del Gratta, C., De Nicola,A., Ferreti, A.,Tartaro,            A.,Bonomo,L.,y Romani, G.L. (2004) Intermodal sensory image
generation:An fMRI           analysis.The European Journal of Cognitive Psychollogy: Vol.16, Nro. 5
Parke, R., Chew, E. y Kyriakakis, C. (2007). Multiple Regression Modeling of the               Emotional Content of Film and Music.123rd Convention in Audio
Engineering.
Reybrouck, M. (2005). Body, mind and music: musical semantics between experiential cognition               and cognitive economy. Transcultural Music Review. 9.
Sloboda, J. (1985). The Musical Mind: The Cognitive Psychology of Music. Oxford:             Oxford U.P.
Vines, B.,Krumhansl C., Wanderley, M. y Levitin, D. (2006). Cross-modal interactions in          the perception of musical performance. Cognition, 101, 80-113.
West, R, Howell,P y Cross,I. (1985). Modeling perceived musical structure. En P. Howell, I.           Cross y R West (Eds.) Musical structure and Cognition.
London: AP
Wood,A, (1998). Intersensory segregation: an investigation into the effects of concurrently           presented visual material on subject’s ability to memorise the
rhythm of short melodies.          Christ’s College. Cambridge. www://mus.cam.ac.uk/~ic108/pandP/Wood98/Wood98.html.           Recuperado el 28/08/2008
Sid Caesar y Nanette Fabray (ca 1952, ****)"Argument to Beethoven's 5th". Programa
           “Your Show of Shows” USA. (film)