Modalidad Cruzada. Silvia Malbrán
Modalidad Cruzada. Silvia Malbrán
.
Dra. Silvia Malbrn
Universidad Nacional de La Plata
Universidad de Buenos Aires
Argentina
Introduccin
Componentes biolgicos
La integracin multisensorial es la capacidad de combinar informacin
proveniente de diferentes modalidades sensoriales de modo de alcanzar una ms
precisa representacin del entorno y del propio cuerpo. Cada modalidad sensorial
usa un diferente formato para codificar las mismas propiedades del ambiente y del
cuerpo. Esto es, cada una usa su propio lenguaje y la informacin no puede ser
compartida entre modalidades sin recurrir a mecanismos de traduccin de cada
lenguaje. Para combinar estas respuestas sensoriales diferentes, el cerebro debe
tener en cuenta la postura y los movimientos del cuerpo en el espacio. Los inputs
sensoriales provenientes de diferentes modalidades, pero originados en un mismo
lugar del espacio, pueden influenciarse mutuamente segn la postura corporal, lo
que sugiere la existencia de un lazo de unin y de un mecanismo de traslacin de
las representaciones espaciales provenientes de diferentes sistemas sensoriales
(Deneve y Pouget. 2004)
La posicin de objetos se codifica en diferentes marcos de referencia; los
estmulos visuales son representados por neuronas receptadas por la retina, los
estmulos auditivos por campos receptivos de la cabeza y los estmulos tctiles por
4
Citado por Fogelsanger y Afanador, 2006.
5
Citado por Fogelsanger y Afanador, 2006.
campos receptivos anclados en la piel. Se ha visto que un cambio en la posicin de
los ojos o en la postura corporal genera un cambio en la codificacin de los datos
visuales / auditivos / tctiles/ generando nuevas respuestas neurales diferentes
a las registradas antes del cambio de posicin. Para combinar diferentes respuestas
sensoriales, el cerebro toma en cuenta la postura y los movimientos del cuerpo en
el espacio (Deneve y Pouget, 2004).
Segn Reybrouck (2005), la msica es escuchada y enactivada ms que
meramente imaginada o representada. An en los casos en que no es producida
por el sujeto, puede inducir en las personas una suerte de resonancia ideomotora
que genera en el auditor una experiencia con el sonido como si hubiera estado
comprometido en su produccin. Esto indica que la intencin de la accin es tan
movilizadora como el comportamiento manifiesto. El autor lo explica como
fenmeno endgeno localizado en el sistema nervioso central. Estudios previos
muestran que existe en la percepcin un componente motor que hace que las
mismas reas cerebrales que son activadas en la accin sean activadas cuando son
solamente imaginadas. Reybrouck (2005) concluye en que si bien no toda
percepcin es reducible a componentes motores, los componentes motores estn
siempre comprometidos y son parte integral de la percepcin; a la imagen virtual
as conformada en la mente (movimiento imaginado) la denomina simulacin
ideomotora.
Desarrollos recientes muestran la existencia de neuronas tri-modales
(audio- viso- motoras) en la corteza pre-frontal del cortex (Kohler et al. 2000) 6,
por ello se considera que los diversos mecanismos de integracin multimodal
resultan un aspecto crucial de la investigacin sobre neuro- cognicin.
Stein y Meredith7 (1993) registraron la presencia de neuronas multi-
sensoriales en diversas reas cerebrales, las cuales convergen dentro y a travs, de
informacin multimodal. Estas reas responden mximamente a las interacciones de
los estmulos a travs de ms de una modalidad. Desde esta perspectiva los datos
sensoriales mltiples no solamente son integrados sino tambin reseteados,
6
Citado por Olivetti Berardinelli et al
7
Citado por Wood
produciendo una amplia transformacin que va mucho ms all de la suma de las
partes componentes. Olivetti Berardinelli et al.(2004) sealan que en los ltimos
aos un creciente nmero de investigadores han adoptado nuevas tcnicas de
neuroimgenes para pesquisar conexiones intermodales en las imgenes mentales.
Los resultados dan cuenta de un alto grado de interaccin entre las imgenes
mentales y otras funciones cognitivas.
Componentes psicolgicos
La investigacin en Psicologa Cognitiva ha mostrado que el cerebro (de
manera involuntaria) reconoce lazos de unin entre informacin presentada por
dominios sensoriales complementarios (Wood,1998).
Diversas lneas actuales de investigacin, dan cuenta de que la informacin
conjunta proveniente de diferentes canales sensoriales, influencia nuestros juicios
interpretativos (Cohen, 2005; Fogelsanger y Afanador,2006).
Las diversas formas de integracin sensorial o de modalidad cruzada
(cross-modal) potencian la eficacia comunicacional segn el grado de congruencia
entre las diferentes vas expresivas puestas en juego (Vines et al., 2006). As
tambin, otros trabajos dan cuenta de que la emocin del espectador se
incrementa cuando msica y accin son congruentes en trminos de contenido
emocional (Cohen, 2001, 2005; Fogelsanger, A. y Afanador, K., 2006; Parke et al.
2007; Forge Thompson et al, 2006).
La ejecucin musical, el cine, el teatro y la danza comprometen experiencias
multi-sensoriales en las cuales los estmulos sonoros y visuales interactan con el
tiempo. Todas ellas son consideradas interacciones cross-modales; los procesos
mentales subyacentes son de central importancia para nuestra comprensin de las
relaciones entre los sentidos, la organizacin perceptual y el modo en el cual las
representaciones del mundo son configuradas (Vines et al. 2006)
La conjuncin entre msica /sonido y accin, es caracterstica de diversas
culturas (Cross, 1999); en tal sentido se ha visto que la mayor congruencia es en el
campo de las artes temporales. Una de las formas privilegiadas de acuerdo entre
dominios, es cuando comparten patrones de acentos temporales. Segn Sloboda
(1985) los espectadores en base a los principios de la Gestalt, tienden a construir
asociaciones entre percepciones coincidentes en el tiempo.
Un anlisis comparado de actuaciones en diferentes expresiones artsticas
muestra que las artes temporales comparten formas de diccin organizadas en
patrones regulares; por ello es que los espectadores emiten juicios que anan
percepciones de la accin y de la msica. Es frecuente escuchar comentarios tales
como la escena es tan lenta como la msica de fondo, en el video-clip las
sucesivas tomas van con la msica, y por eso resultan tan rpidas la msica es la
que impone los cambios bruscos de velocidad de los bailarines. En todos estos
casos se est aludiendo al apareamiento temporal entre los niveles temporales de la
msica y los de la accin (Mitchel y Gallear,2001; Hodgins 1992)8.
Desde la perspectiva psicolgica el espectador recibe del cine una
multisensorial estimulacin, en la que a travs de la narrativa visual puede
relacionar su historia personal y explorar nuevas experiencias, entre otras. Las
investigaciones han mostrado que los espectadores utilizan esquemas pre-
existentes los aplican al film y crean nuevos esquemas coincidentes con la temtica
filmada (Cohen,2005)
8
Citados por Fogelsanger y Afanador
Boltz (2001) observ que los juicios de los espectadores de acciones
dramticas variaban segn las caractersticas de la msica. A los sujetos
participantes del estudio se les mostr una escena en la cual un hombre segua a
una mujer por la ciudad. Cuando la msica elegida resultaba dramtica, tal accin
fue interpretada como peligro de muerte; la misma escena acompaada por msica
romntica, fue interpretada con valencia altamente positiva. Esto confirma que la
msica acta como un esquema, como marco interpretativo y como vnculo
emocional en el procesamiento de estmulos visuales. As tambin que contribuye a
otorgar significacin a escenas ambiguas, mantener el estado de alerta y
atencional, conceder sentido a diversos roles sociales y que acta como un valioso
predictor en avance de la trama (Boltz 2001).
Vines, et al (2005) consideran que acciones tales como mover la cabeza,
levantar las cejas y otros gestos posturales frecuentes en la escena , cuando
convergen temporalmente con la msica, comparten un significativo monto de
informacin y por ello actan como disparadores que refuerzan anticipan o
aumentan la seal auditiva. Los autores los consideran gestos para-lingsticos.
El aporte del sonido y la msica a la trama flmica no necesita ser justificado;
basta con reflexionar sobre el giro comunicacional y emocional que signific la
aparicin del cine sonoro. Por ello en el caso de la unin entre msica y film se
ponen en juego principios que proceden de los datos a la estructura (bottom up),
basados en el agrupamiento perceptual visual y auditivo (Cohen, 2001, Lerdahl y
Jackendoff, 1983). La congruencia film- msica ha sido ampliamente desarrollada
por el compositor y cineasta francs Michel Chion (1990), creador de la
Audiovisin que present la nueva disciplina con su acertada frase no se ve
lo mismo cuando se oye; no se oye lo mismo cuando se ve.
Cohen (2001) acuerda con Cook (1998) en que la msica es un modo de
expresin poderoso para representar un sentimiento tan abstracto como el de la
emocin; concomitantemente la pantalla resulta igualmente poderosa para
representar el objeto al cual la emocin es dirigida. La autora ha creado un modelo
de congruencia asociativa. Para ella, la msica de film como forma de transmisin
de la cultura, sirve a la funcin narrativa y se codifica en un canal de procesamiento
bidimensional dado que la msica del film aparea y rene la informacin visual y
emocional.
Diversos autores han utilizado analogas entre msica y discurso verbal,
para obtener informacin sobre sus interrelaciones, Malbrn (2008) en un test con
un grupo de msicos, examin las analogas entre fragmentos musicales y escenas
respecto de textos escritos en forma dialogal y adjetivos calificativos. Comprob
correlacin positiva y significativa entre ambas dimensiones, tanto para el
apareamiento estructural como en el tono emocional. Las conclusiones resultan
coincidentes con las de otros trabajos previos (Krunhansl 1996; Krumhansl y
Schenk, 1997): tanto en la versin slo visual como en la versin slo auditiva, los
participantes coinciden en la dimensin estructural de las ideas internas del
discurso. La entrada unimodal (versiones slo auditiva o slo visual) se
interconectan con una entrada multisensorial (la versin integral) Esta entrada
mapea todos los inputs sensoriales en un marco comn de referencia. Tal
comprobacin en el trabajo de Krumhansl y Schenk (1997) fue analizada con la
lectura de imgenes cerebrales acerca de las zonas neurales activadas. Esto les
ha permitido comprobar la existencia de un rea cerebral multisensorial influenciada
por entradas unimodales.
Los paralelismos entre estructura y sintaxis de los lenguajes expresivos
tambin han sido sealados por Meyer (1956,2001) que distingue entre actividad
contrapuntstica y simultaneidades jerrquicas, esto es, atender a la diferencia entre
coincidencias punto a punto (punctus contra punctus) y entre las coincidencia entre
grandes mojones de las estructuras de cada discurso.
Deneve y Pouget. (2004) aseveran que la integracin multisensorial
extiende sus beneficios a otros comportamientos tales como profundidad en la
percepcin, discriminacin en la accin, comprensin del lenguaje e identificacin
del objeto, asuntos que soportan la concepcin de una teora general de la
percepcin.
Un elemento a considerar es el que se vincula con la msica como
movimiento virtual: es frecuente que cuando los sonidos aumentan en la frecuencia
de vibracin
(cualidad perceptiva de altura del sonido) las personas tienden a realizar
movimientos ascendentes y viceversa. Asimismo que el aumento de sonoridad
(crescendo) deriva en una analoga de ampliacin del movimiento y viceversa, o
que un aumento en la frecuencia temporal (accelerando) sea correspondido como
incremento en la velocidad de desplazamiento.
Para Fogelsanger y Afanador, (2006) congruencia, captura y movimiento
virtual son los tres atributos claves de la relacin msica y danza,
Se ha visto que los principios de integracin y congruencia estructural son
coadyuvantes para la interpretacin de la trama. El xito de la integracin entre
msica e historia narrada es dependiente de la congruencia en el cruzamiento de
ambas narrativas (Cohen,2005)
Cross, I. (1999). Music, Cognition, Culture and Evolution. Annals of the New York
Academy of Sciences. 930. (pp. 28-42)
Cohen, Annabel J., (2005) How Music Influences Film and Video: Approaches from
Olivetti Berardinelli M., Di Matteo R.,Del Gratta, C., De Nicola,A., Ferreti, A.,Tartaro,
A.,Bonomo,L.,y Romani, G.L. (2004) Intermodal sensory image
generation:An fMRI analysis.The European Journal of Cognitive Psychollogy:
Vol.16, Nro. 5
Sloboda, J. (1985). The Musical Mind: The Cognitive Psychology of Music. Oxford:
Oxford U.P.