1.1.3.

- Anlisis multimodal del discurso: diversidad de recursos para la creacin de significado

A partir de las ideas de la semitica social comienza el desarrollo de una lnea de investigacin que aborda la comunicacin desde la perspectiva multimodal y multisemitica (OHalloran, 2005). Los conceptos multimodales desafan la aproximacin tradicional monomodal de la comunicacin, la cual supona que las nicas representaciones racionales y, en general, la comunicacin se lograba completa y exclusivamente mediante el lenguaje. Como el lenguaje siempre ocupaba el lugar central de comunicacin, las otras posibles formas de representacin eran clasificadas como extralingsticas, paralingsticas y otras.

En contraste a este enfoque monomodal, la postura de Kress y van Leeuwen (1996; 2001) afirma que la comunicacin es inevitablemente multimodal. Se cuestiona la idea de que representar algo sea equivalente a ponerlo en un cdigo o codificar, sino que ms bien se relaciona con disear de manera deliberada la creacin de significado (meaning making), es decir, dar forma a un significado mediante los recursos disponibles para los usuarios, quienes son activos y no solo reproducen significados sino que los crean. As validan no solo al lenguaje como sistema semitico, sino a todos aquellos sistemas que ofrezcan recursos para la creacin de significados.

A continuacin revisaremos algunos de los conceptos bsicos para entender el enfoque multimodal del anlisis del discurso. Distinguiremos aqu dos vertientes en los estudios multimodales: la intrasemitica y la intersemitica. Ambas nos aportan nociones y problemas relevantes a nuestra investigacin. Nos detendremos adems en las investigaciones acerca de los gestos y la creacin de significado, por su presencia en la interaccin cara a cara del registro escolar.

Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.

1.1.3.1.- Paisaje semitico multimodal

Adoptar un paradigma multimodal implica mirar la comunicacin como un paisaje semitico complejo, en el cual el lenguaje toma un estatus diferente en los diversos contextos. Cada modo en un texto multimodal solo lleva un significado parcial. Lo que antes se consideraba extralingstico o un residuo en el anlisis, ahora puede poseer el mismo estatus que el lenguaje o en ocasiones ms. En este nuevo rol cada uno de los sistemas semiticos utilizados para representar y comunicar posee una carga o potencial comunicativo, denominado affordances, que corresponde a lo que es posible de significar con cada modalidad semitica (Kress & van Leeuwen, 2001, Kress & Mavers, 2005).

Desde esta perspectiva no se habla de reglas y cdigos sino de prcticas y recursos, ya que estos elementos no son fijos y estables, sino ms bien corresponden a recursos multimodales disponibles en nuestra cultura para crear significado, ya sea en los mbitos de la msica, del arte, la publicidad, la poltica, la educacin, etc. capaces de ser llevados a la prctica de diversos modos concretos. Por ejemplo, un significado podra ser expresado mediante diversos recursos semiticos: escritura, dibujo, msica, video, etc.

En general, se ha asumido que varias representaciones de un concepto mediante diversos recursos semiticos son completamente redundantes entre ellas. Esto supone una correspondencia semntica total uno a uno entre las representaciones, tal que los significados que pueden ser creados en una modalidad semitica pueden ser creados en otra indistintamente (Lemke, 1998). No obstante, las investigaciones en multimodalidad nos indican que los potenciales de cada modalidad semitica son incomparables entre ellas. La traduccin de significado en un recurso semitico a otro es poco transparente e indirecto (Latour, 1987). La transposicin entre los diferentes recursos semiticos inevitablemente produce una discrepancia que va ms all de encontrar equivalentes semiticos para discursos especficos en otros recursos semiticos.

Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.

Entre los precursores de esta visin, se encuentra Lemke (1998) quien abord el estudio del discurso de la ciencia en la escuela, y desde all defini diferentes potencialidades para los recursos semiticos utilizados. El autor, siguiendo la mirada de la semitica social, explica esta funcionalidad como producto de una evolucin histrica. El lenguaje natural se ha especializado en representar los significados referidos a tipologas, denominado por Lemke (1998) significado tipolgico o categorial. Mientras que otros significados referidos a grados, se representan ms fcilmente mediante gestos motores o figuras visuales, denominado aqu como significado de variacin continua o topolgico. Es decir, la semntica del lenguaje natural, o su sistema de significados posibles, es primeramente un sistema de contraste categorial, un sistema de tipologas formales o equivalencias de clases. Pero cmo describimos normalmente movimientos en el espacio y figuras irregulares? En el lenguaje natural no poseemos una forma estndar de expresar en forma precisa grados intermedios de las categoras existentes, esto lo realizamos mediante gestos o dibujos (Lemke, 2002). Los gestos y los movimientos o acciones en el espacio y tiempo son el recurso primario para crear significado imitativo o icnico. El significado por grado correspondera a una clase de significado opuesto al significado por categora. A partir de esta distincin, Lemke (1998) abre la puerta al estudio de los diversos sistemas semiticos y los posibles significados que representan. In my opinion, semiotic modalities (e.g. language, depiction) are essentially incommensurable : no verbal text can construct the same meaning as a picture, no mathematical graph carries the same meaning as an equation, no verbal description makes the same sense as an action performed (Lemke, 1998: 109) Los estudios de Lemke (1998) as como la mayora de las investigaciones de anlisis multimodal del discurso amplan la teora LSF y asumen que todos los sistemas de semiticos significan las tres metafunciones (Kress, Leite- Garca & van Leeuwen, 2000): representar y comunicar aspectos relevantes de las relaciones sociales de aquellos que intervienen en la comunicacin; representar y comunicar hechos, estados de cosas y percepciones que el comunicador desea comunicar; y hacer posible la produccin de

Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.

mensajes que contengan coherencia, internamente como texto y externamente con aspectos relevantes del entorno semitico.

Los estudios desde la multimodalidad proponen un nuevo lenguaje para la descripcin semitica que incluye conceptos como medio, modo y materialidad (Kress et al.,2001). o Medio: corresponde a la sustancia material que es moldeada a travs del tiempo por una cultura. Son los recursos o materia prima a partir de la que se crea significado (sonido, espacio, luz, etc.) o Modo: corresponde a los sistemas o recursos para crear significado, trabajados por la cultura en formas especficas, organizadas socialmente y regulares de representacin. Cada sistema de creacin de significados provee diferentes potencialidades comunicativas (habla, escritura, gestos, etc.). o Materialidad: es una caracterstica central de cada medio. Cada modo se moldea alrededor de las limitaciones y potencialidades de la materialidad de su o sus medios. o Orquestacin semitica : corresponde al diseo de una configuracin semitica compuesta por uno o varios modos de significar. Es el tejido o entrelazamiento de modos desde el cual emerge el significado multimodal

A grandes rasgos, podemos identificar dos vertientes de los estudios multimodales, enfatizando ya sea la dimensin intrasemitica o la dimensin intersemitica de los discursos. Los compendios acerca de anlisis multimodal del discurso de Ventola, Charles y Kaltenbacher (2004), OHalloran (2004), Royce y Bowcher (2007) y Unsworth (2008) muestran el desarrollo reciente de estas dos vertientes de investigacin desde la perspectiva de la semitica social. Ambas destacan la naturaleza multimodal de la construccin semitica en s misma y estudian su complejidad y la manera en que la creacin de significado se lleva a la prctica (van Leeuwen, 2000).

Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.

1.1.3.1.1.- Intrasemiosis

La primera vertiente corresponde a los inicios de los estudios multimodales. En un primer momento, los investigadores se centran en cada sistema para significar y sus propios elementos en la construccin del discurso, as como las semejanzas y diferencias entre los principios organizadores de los distintos recursos semiticos. Dichos estudios enfatizan la dimensin intrasemitica, mediante la descripcin de las gramticas y funciones de cada recurso, ampliando la aproximacin sistmica funcional hacia otros modos semiticos que se conciben como recursos comunicativos para crear significado en una cultura. Entre estas investigaciones se encuentran las de van Leeuwen (1991) para el cine, Kress y van Leeuwen (1996) para la gramtica del diseo visual; O'Toole (1994) para las artes visuales; Van Leeuwen (1999) en msica y sonido; OToole, (1994), Stenglin, (2004) y Ravelli (2000) para la arquitectura y espacios tridimensionales; Martinec (2004) en accin y gestos; van Leeuwen (2005b) para el significado tipogrfico; OHalloran (2005) para el simbolismo matemtico .

Estos estudios presentan grandes desafos a lo investigadores de la multimodalidad, quienes se proponen describir los sistemas desde la perspectiva de la semitica sistmica funcional, intentando describir una gramtica y las jerarquas complementarias tal como lo ha hecho Halliday para la lengua. Una de las dificultades que han encontrado estos investigadores es el concepto de estratificacin, especficamente la articulacin del estrato del contenido y de la expresin en otros sistemas semiticos. Una propuesta en este sentido es la de Kress y van Leeuwen (2001) quienes plantean mltiples articulaciones en todos y cada uno de los signos, en todos los niveles de los sistemas semiticos, y no solo una doble articulacin como en el lenguaje (contenido y expresin). Desde su propuesta, el estrato del contenido podra estratificarse en discurso y diseo, mientras que el estrato de la expresin se podra estratificar en produccin y distribucin. Estos cuatro estratos no estn jerrquicamente ordenados. Definiremos esta estratificacin ya que ser retomada en el anlisis.

Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.

1.- DISCURSOS: son conocimientos sobre la realidad construidos socialmente, se han desarrollado en contextos sociales especficos de maneras apropiados a los actores sociales de esos contextos. Esta definicin tiene influencia de Foulcault (1971, 1987) y desde aqu definimos el discurso de la matemtica. Cada discurso puede ser producido de diversas maneras. 2.- DISEO: esta instancia se encuentra a medio camino entre contenido y expresin, corresponde al aspecto conceptual de la expresin. El diseo esta separado de la etapa de produccin material del producto semitico o de su articulacin material en un evento semitico. El diseo descansa en los modos semiticos (escritura, msica, color) como recursos abstractos capaces de ser realizados en diferentes materialidades. Por ejemplo si un discurso es diseado pensando en la escritura, este es un modo semitico porque puede ser realizado en piedra o en caligrafa, en certificados o en imprenta en papel, y estos medios tambin aportan al significado. Entonces, un mismo diseo se puede realizar en diferentes medios, por ejemplo, una misma historia se puede convertir en novela o pelcula. Esta idea llevada al contexto escolar, tiene que ver con la preparacin de las clases, lo que se vuelca concretamente en un documento administrativo de diseo del profesor (planificacin), pero que fundamentalmente constituye esta etapa conceptual previa a la realizacin material de la clase. Los diseadores tienen dos opciones: pueden seguir los caminos habituales o pueden ser innovadores y hasta subversivos. design are ( uses of) semiotic resources, in all semiotic modes and combinations of semiotic modes. Designs are means to realize discourses in the context of a given communication situation. But design also adds something new: they realize the communication situation which socially changes socially constructed knowledge into social (inter-) action( Kress & van Leeuwen, 2001:5) 3.- PRODUCCION: se refiere a la organizacin de la expresin, la articulacin material del evento semitico que implica la actual produccin material del artefacto semitico. Este estrato correspondiente a la expresin ya no se relaciona con los modos semiticos sino con los medios entendidos como medios de ejecucin o sustancia material de la cultura, por ejemplo para un artista: leo, acuarela en papel o bronce. A veces: modo y medio, diseo y produccin, son difciles de separar: como una improvisacin de un msico, o cmo la
Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.

puesta en marcha de un diseo pedaggico del mismo profesor, en cambio otras veces hay una gran separacin: un compositor y un interprete, como cuando los profesores en aula ejecutan diseos que provienen de otras entidades autoras. Cuando el diseo y la produccin se separan, el diseo se vuelve una manera para controlar la accin de otros, el potencial para la unidad entre discurso, diseo y producciones disminuye y no existe espacio para que los productores diseen su propio acento sino que solo actan como ejecutores. 4.-DISTRIBUCION: en la estratificacin se necesita ir un paso ms all, los intrpretes musicales pueden necesitar tcnicos que graben su msica y la distribuyan, los diseadores de un producto pueden necesitar personas que reproduzcan un prototipo. En general, la distribucin se tiende a ver como no semitica, como si no aadiera ningn significado y solo facilitara las funciones pragmticas de la preservacin y la distribucin. Pero desde esta perspectiva, la manera en que se distribuye un texto tambin aporta a su significado. No es lo mismo un material pedaggico que se distribuye masiva y gratuitamente mediante internet, que se vende como un CD rom o que como un manual en papel. Cada uno de estos pasos enriquece el significado del texto creado. Un asunto al que los investigadores han llegado a acuerdo, confirmando las ideas de Lemke (1998) es que habran algunos modos semiticos que serviran mejor para hacer algunas cosas que otros (Kress & van Leeuwen, 2001; Thibault, 2000). Es decir, la articulacin material del evento semitico, su produccin material, est condicionada por las potencialidades semiticas y la convencin cultural que le ha atribuido la capacidad de crear ciertos significados. De alguna manera, cada modo semitico evoluciona hacia una especializacin funcional (Lemke, 1998; Kress, Ogborn & Martin, 1998). La descripcin intrasemitica de cada sistema semitico busca dar cuenta los recursos lexicogramaticales de cada modo para la funcin especializada que realiza en la creacin de significado.

Manghi, D. (2009). Co- utilizacin de recursos semiticos para la regulacin del conocimiento disciplinar. Multimodalidad e intersemiosis en el Discurso Pedaggico de Matemtica en 1 ao de Enseanza Media. Tesis Doctoral PUCV.