ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO

ISBN 978-987-1171-62-0

Daniela Palmucci
Universidad Nacional del Sur

Entre la palabra y la imagen: un estudio en recepcin del discurso multimodal

La enseanza de la ciencia en la escuela constituye un proceso complejo sostenido
discursivamente por la alternancia de diversos formatos textuales: la exposicin del profesor, el
dilogo entre el docente y el alumno, artculos de divulgacin, documentales, captulos o secciones
de manuales especializados. Si pensamos solamente en los gneros escritos que conforman el
continuo discursivo del aula, los manuales tienen un rol importante en la dinmica que vincula a los
participantes del proceso de enseanza- aprendizaje con su objeto de conocimiento. La lectura de
estos textos puede aparecer en cualquier momento en la secuencia de una clase y puede o no estar
mediada por la explicacin del docente. Cualquiera sea el caso, es necesario que ste conozca las
caractersticas discursivas de los materiales a travs de los que sus alumnos accedern a los
contenidos y al pensamiento de la ciencia, es decir, lograrn alfabetizarse cientficamente.
En relacin con los manuales de ciencias naturales, pueden ser descriptos como gneros
multimodales en la medida en que utilizan diversos cdigos semiticos (verbales y visuales) para
realizar los significados. En efecto, el concepto de multimodalidad, formulado por la Teora
Semitica Social (Kress y van Leeuwen, 1996) explica la prctica semitica contempornea,
dejando de lado la idea tradicional de que distintos cdigos tiene funciones especializadas en la
comunicacin. En el lugar de este concepto, la Semitica Social sostiene que los mismos principios
semiticos pueden operar a travs de diversos modos, dicho de otro modo, un mismo significado
puede ser comunicado a travs de distintos recursos de representacin (por ejemplo verbales e
icnicos). La multimodalidad es definida entonces, desde esta perspectiva, como el uso de
diversos modos semiticos en el diseo de un producto o evento semitico, junto con la forma
particular en que estos modos son combinados ellos pueden, por ejemplo, reforzarse uno a otro
(...), cumplir roles complementarios (...) o estar jerrquicamente ordenados (2001: 20).

La

interpretacin de textos con tales caractersticas requiere de los lectores competencias semiticas
especficas y los docentes de ciencias deben tener presente este hecho cuando introducen textos
multimodales en sus clases.
Con el propsito de establecer criterios que orienten la seleccin de textos para el trabajo
del aula y de sealar las dificultades que pueden presentarse en el proceso de lectura e
interpretacin del discurso cientfico-pedaggico he realizado en el marco del proyecto Aspectos
de la textualizacin de los saberes cientficos dirigido por la Dra. Patricia Vallejos de Llobet,
algunos trabajos descriptivos del discurso pedaggico de las ciencias naturales. Paralelamente, he
complementado este anlisis en produccin con algunos estudios en recepcin. El presente trabajo

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

constituye uno de estos intentos por analizar la relacin que establecen lectores reales con textos
producidos en distintos modos semiticos.
La propuesta consiste en

comparar, primero en trminos de produccin y luego en

trminos de recepcin, dos textos que abordan un mismo tema y lo despliegan a travs de modos
semiticos diferentes (uno visual y otro verbal). Para ello, seleccion, de un manual de ciencias
naturales de octavo ao de EGB, un texto escrito y un texto visual que explican el flujo de la
materia y la energa en un ecosistema. Este material fue presentado a dos grupos de alumnos de 2
ciclo de una escuela media de adultos con la consigna de que los leyeran y reformularan su
contenido. Al primer grupo (26 alumnos) se le asign el texto A (en modo semitico visual) con la
consigna de formularlo como una explicacin escrita. Al segundo grupo (25 alumnos) se le asign
el texto B (en modo semitico verbal) para ser reproducido como una red conceptual.
El trabajo se estructura en dos partes. En primer lugar, comparo la propuesta semitica de
los textos fuente teniendo en cuenta que, si bien ambos tratan un mismo tema, los modos de
representacin escrito y visual enfatizan los significados de manera diferente. Para describir qu
significados predominan en uno y otro texto recurro a los modelos de anlisis propuestos por la
lingstica sistmico funcional (Halliday, 1994)y por la semitica social de la imagen (Kress,
1996). El estudio de los textos desde el punto de vista de la produccin es necesario en esta primera
etapa para orientar el anlisis de la recepcin, que constituye la segunda parte del trabajo.
Esta consiste en una comparacin de las versiones producidas por los alumnos a partir de la
lectura de los textos fuentes, con la doble intencin de a)determinar en qu medida recuperan los
lectores la visin del objeto de conocimiento que el texto construye y b) vincular la recuperacin de
algunos conceptos con el empleo de recursos especficos en la instancia de produccin.

Anlisis de los textos

En el modelo de Halliday (1994), todo texto constituye una unidad semntica multifuncional
porque el lenguaje opera en l simultneamente para producir significados en tres niveles: uno
vinculado con las ideas que se expresa a travs de la funcin ideacional; otro, referido a las
actitudes del emisor hacia su mensaje y hacia el receptor, expresado mediante la funcin
interpersonal y otro que tiene que ver con la organizacin lingstica del texto que se manifiesta en
la funcin textual.
Gunther Kress y Theo van Leewen (1996), por su parte, proponen una teora semitica de
la comunicacin y una gramtica para lo visual a partir de este modelo multidimensional de
Halliday. El modo visual, como el lingstico, constituye, en esta perspectiva, un sistema completo
de comunicacin que se despliega en tres dimensiones equiparables a las establecidas por Halliday
para el lenguaje: funcin ideacional, entendida como la capacidad de los recursos visuales para

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

representar los objetos del mundo y sus relaciones; la funcin interpersonal, definida como la
capacidad del sistema visual para expresar una relacin entre el productor y el receptor de un signo;
funcin textual, que constituye la posibilidad de combinar los recursos visuales a partir de una
gramtica.
Dado que en este trabajo intento indagar acerca de la representacin del objeto de
conocimiento que construyen los textos y que recuperan los lectores, limitar el anlisis al nivel
ideacional.

Texto A
En el nivel ideacional,

Kress y van Leeuwen (1996) distinguen tres formas bsicas de

representacin. La primera se refiere a aquellas representaciones que describen objetos en trminos

de las partes que los componen. Se trata de imgenes conceptuales analticas. En la segunda, los
objetos pueden ser representados como elementos integrantes de una clasificacin. En este caso
hablamos de representaciones conceptuales clasificatorias. Finalmente, dos objetos pueden
mostrarse vinculados por un proceso de interaccin en el cual uno de ellos realiza una accin que
recae sobre el otro, entonces el texto presentar una representacin narrativa

realizada

visualmente a travs de vectores.

Los esquemas del texto A se pueden clasificar dentro de este ltimo grupo, es decir como
representaciones narrativas. Este tipo de representaciones, en oposicin a las conceptuales que
clasifican o describen y son estticas (representan participantes en trminos de su clase, estructura
o significado), ponen el acento en la accin. Estos esquemas nos muestran una serie de relaciones
transaccionales entre agentes o realizadores de una accin y objetos o receptores de dicha
accin. A ambos elementos Kress los denomina participantes. El concepto de participante,
procedente de la teora sistmico funcional del lenguaje (Halliday, 1944), representa una funcin
semntica realizada en el texto mediante una estructura gramatical: uno de los participantes
funciona como actor o agente al hacer algo (relacin de transaccin) a otro participante que
constituye la meta de tal accin. Mientras el lenguaje dispone de sustantivos para nombrar a los
participantes y de verbos para expresar la accin, en el campo de lo visual, los participantes son
representados a travs de volmenes y la accin a travs de vectores.
En los tres esquemas del texto A los participantes son las imgenes que representan la energa solar
y los seres vivos (plantas, animales, hongos, bacterias) que aparecen conceptualizados como
productores, consumidores (herbvoros, carnvoros, omnvoros) y descomponedores. Las acciones
estn representadas por flechas que permiten identificar quin acta sobre quin. En los dos
primeros esquemas no existe una identificacin verbal de la accin representada por la flechas, de
modo que los receptores deben reponer este significado. En el caso del tercer esquema se indica la

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

transmisin de energa entre un participante y otro mediante la utilizacin de siglas que deben ser
decodificadas leyendo las referencias.
Existen distintas clases de procesos narrativos en relacin con la cantidad de participantes
involucrados y con el tipo de accin que estos realizan. Los esquemas que analizamos
corresponden a procesos narrativos de conversin. En estos casos la representacin consiste en una
cadena de acciones transaccionales en la que intervienen ms de dos participantes. Dicha cadena
contiene uno o ms participantes que son al mismo tiempo actores y metas, transmiten y reciben y
en ese proceso sufren una transformacin. En nuestro ejemplo, los productores (plantas) alimentan
a los consumidores primarios (herbvoros) y stos, adems de ser objeto de la accin realizada por
sus predecesores en la cadena, son sujetos o actores al alimentar a los consumidores secundarios
(carnvoros). Estos participantes que cumplen una doble funcin en la cadena transaccional se
denominan relays (1996: 68). Es importante, para nuestro anlisis, destacar que un relay se
caracteriza por sufrir una transformacin: en el texto que describimos, tanto los productores como
los consumidores son transformados en energa.
Teniendo en cuenta estos rasgos que caracterizan la representacin del objeto de
conocimiento en el texto que nos ocupa, intentaremos entonces abordar las producciones de los
alumnos para evaluar en qu medida es recuperada esta construccin de significados.
La recuperacin de conceptos y relaciones que los vinculan observada en los textos
explicativos redactados a partir de la lectura del texto A se pueden sintetizar del siguiente modo:
a)El 92% (24) de los alumnos recupera los participantes ms importantes del texto (energa solar,
productores, consumidores, descomponedores) sin embargo, slo un 23 % (6) recupera los
conceptos de produccin primaria y secundaria que aparecen en el tercer esquema y que requieren
interpretar referencias.
b) El 77% (20) de los alumnos identifica como proceso transaccional predominante a la accin de
alimentar, mediante enunciados del siguiente tipo: los productores alimentan a los
consumidores. Cabe aclarar, que la palabra alimentar no est presente en el texto. S est
representada en trminos de imagen a travs de un ejemplo en el que vemos a una vbora a punto
de alimentarse de un ave, a sta por deglutir a un gusano y al gusano comiendo una hoja. Slo el
27% (7) menciona explcitamente este ejemplo.
c) El 69 % (18) une la accin de alimentar antes mencionado al concepto de cadena que no est
expresado verbalmente en el texto, pero que surge de la representacin vectorial. (ver ciclo)
d) Alimento aparece vinculado al concepto de energa en un 35% de los casos y al de materia en un
23 % de los informantes.
e)Hemos considerado, a los efectos del anlisis que los participantes son recuperados en tanto
relays (como entes que se transforman) en la medida en que se recuperan dos nociones:

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

transformacin de la materia, visible en el texto A en la representacin de descomponedores y de

sustancias qumicas, pasaje de energa (que a su vez implica aprovechamiento y prdida),
representado en los esquemas por vectores y palabras. En este sentido encontramos los siguientes
resultados:

-el 23 % (6) de los alumnos recupera la nocin de transformacin de la materia a

travs de la accin de los descomponedores.

-el 35% (9) hace alusin en sus textos al flujo de energa
-el 11% (3) mencionan prdida de energa. (ver si hay asociacin con calor)
-predomina la tendencia de recuperar los elementos del texto respetando la secuencia en que estn
presentados sin integrar la informacin de los tres esquemas. Sin embargo, en un 38% de los casos
se observa una recuperacin que integra datos de distintos esquemas (por ejemplo intercala la
explicacin del primer esquema los ejemplos del segundo, o con la nocin de prdida de energa
del tercero).
-se observa en un 15% (4) de los casos la inclusin de conceptos que no son mencionados en el
texto tales como: ecosistema, fotosntesis, seres biticos y abiticos, abono.

Texto B
Veamos ahora cmo se caracteriza el texto escrito, al que llamaremos B, desde el punto de
vista ideacional. En el modelo de Halliday la produccin de significado en este nivel se apoya
en las relaciones de transitividad que vinculan a los participantes a travs de distintos tipos de
procesos y que se realizan en la estructura gramatical de las clasulas. Como sucede con las
imgenes, los participantes pueden ser definidos por identidad, descriptos a travs de
atributos, ordenados en taxonomas o representados en movimiento, como agentes o como
metas de una accin. En el anlisis de las clusulas se observa que la transitividad se
construye predominantemente a travs de las siguientes clases de procesos:
a)procesos materiales de dos clases:
- aquellos que presentan agentes actuando sobre metas (plantas transforman energa solar en
qumica animales obtienen alimento energa del nivel anterior),
- aquellos que muestran movimiento o cambios fsicos en los elementos (energa se disipa
como calor materia y energa se mueven a lo largo del ecosistema energa entra en el
ecosistema y circula entre los seres vivos).
b)procesos relacionales:
-de atribucin (ciclo de la materia es cerrado flujo de energa es abierto),

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

-de identidad (alimento representa forma de movimiento de materia energa productividad

secundaria se denomina energa almacenada por organismos consumidores transformacin de
energa solar en masa biolgica se conoce como produccin primaria)
c) procesos de existencia (en una cadena alimentaria hay cuatro niveles)
Un dato importante para nuestro anlisis es el de los participantes. Observamos el predominio
de dos clases de participantes: aquellos que remiten a elementos (alimento materia energa
plantas herbvoros carnvoros ) y aquellos que refieren procesos y que se realizan a
travs de verbos o adjetivos nominalizados (flujo de energa - transformacin de la energa
energa almacenada energa asimilada gasto energtico aprovechamiento de energa) . La
nominalizacin, recurso frecuente en el discurso cientfico, tal como seala Halliday (1993),
puede constituir un obstculo para la comprensin del texto, dado que a travs de un
desplazamiento de la forma gramatical presenta una accin bajo la forma de un nombre y
presupone un lector experto que pueda identificar que lo que es presentado como participante
constituye en realidad un proceso.
As como el texto A se configura ideacionalmente como una representacin narrativa, en la que
predominan procesos de conversin, que construye una visin dinmica de la realidad representada
y que da cuenta no slo de la accin de unos elementos sobre otros , sino tambin de la
ocurrencia de cambios, el texto B se caracteriza por un lado, por la presencia de participantes
nominalizados que remiten a procesos y clusulas relacionales que vinculan dichos procesos, y
por el otro participantes que actan sobre otros o que experimentan movimiento o cambio.
Observemos cmo recuperan los alumnos esta construccin de significados en el texto B:
-La mayor parte de los informantes recupera los conceptos centrales del texto (alimento,
materia, energa, cadena alimentaria, productores, consumidores). Slo un 20% (5) relevan
nicamente datos de la primera parte, es decir hacen una reformulacin incompleta.
- El 60 % (15) de los alumnos menciona en sus esquemas el concepto cadena alimentaria, pero
slo el 16% (4) reproduce grficamente (en disposicin vertical o marcando un vnculo entre
los elementos mediante vectores, o explicitando verbalmente dicha relacin) la nocin de
cadena recurriendo a un tipo de representacin narrativa. En la mayora de los casos se utiliza
una representacin conceptual en la que los elementos de la cadena se disponen horizontal y
paralelamente,
alimentaria.

sin vectores que los vinculen y subordinados al concepto de cadena

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

-el 64 % (16) de los alumnos recupera el concepto de alimento y lo asocia correctamente con
energa y con materia.
-en slo un 8% (2) de la muestra encontramos una referencia a la transformacin de la
materia. Se trata de los alumnos que recuperan el enunciado: los compuestos qumicos
producidos durante la fotosntesis incrementan la cantidad de materia orgnica del organismo
sintetizador)
-el concepto de flujo de energa es recuperado en un 72 % (18) en tanto que prdida de energa bajo
la forma de calor, slo est presente en un 24% (6) de los casos.
-en el 96% de los casos la recuperacin de la informacin reproduce fielmente la secuencia de
presentacin del texto fuente.
-no se observa la incorporacin de conceptos no presentes en el texto fuente.
Consideraciones finales
Volvamos entonces al planteo inicial. La comparacin entre dos realizaciones semiticas diferentes
de un mismo conjunto de significados nos ha permitido observar cmo pueden operar los recursos
visuales y verbales en la comunicacin de conceptos cientficos. Tambin nos permite establecer
qu conceptos y qu relaciones de significado destaca cada modalidad. Lo que ha puesto en
evidencia el anlisis en produccin de los textos fuente es que cada cdigo semitico tiene su forma
particular de realizar lo que en el fondo constituyen relaciones semnticas similares. Aquellos
significados que en el lenguaje realizan las palabras bajo la categora de verbos materiales son
expresados en trminos de imgenes por elementos que definimos como vectores. Sin embargo, a
pesar de que hemos establecido, apoyndonos en los modelos tericos de anlisis, una
correspondencia entre recursos verbales y visuales, la produccin de los significados no es idntica
en ambos textos: algunos de estos contenidos se pueden comunicar ms fcilmente en palabras que
en imgenes y viceversa. Esto hace que los textos , expresados en uno y otro modo no sean
recuperados de manera idntica por quienes los leen.
Este aspecto es el que intentamos describir en la segunda parte del anlisis. En efecto, advertimos
una diferencia en la recuperacin de los mismos contenidos que puede ser atribuida a la
potencialidad comunicativa de los recursos puestos en juego. Veamos los casos ms llamativos:

a) En el texto visual, la presencia de vectores que relacionan dibujos de seres vivos permite
recuperar con facilidad el concepto de cadena alimentaria, aunque no exista en el texto
ninguna referencia verbal al concepto. El concepto est presentado del mismo modo en los
tres esquemas. En cambio, en el texto escrito las acciones A alimenta a B, B alimenta a C
estn ocultas en la nominalizacin cadena alimentaria y los participantes de la cadena (A,B,C)
aparecen no como actores (A alimenta a B) sino como entes existenciales a travs el proceso

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

relacional hay . En suma, mientras los lectores del texto visual tienden a comprender el tema
en trminos de una relacin de alimentacin entre seres vivos, los lectores del texto B
privilegian la nocin de flujo de energa en un sistema.
b)La relacin entre los conceptos alimento, materia y energa es ms recuperada en el texto
escrito porque es expresada mediante una clusula relacional (el alimento es la forma en que la
materia y la energa se mueven...). En tanto, en el texto visual, debe ser recuperada estableciendo
relaciones entre los dibujos (el sol del cual procede la energa, los seres vivos que pasan materia y
energa a otros a travs del alimento) que nuevamente descansan en la reposicin del significado de
los vectores.
c) En lo relativo a los procesos de conversin (transformacin de materia y flujo y prdida de
energa) tienden a ser menos recuperados en el texto visual cuando su comprensin depende de
establecer vnculos entre volmenes, vectores y palabras. En cambio la recuperacin del concepto
es ms alta cuando se hace a partir de imgenes simples y descriptivas.
Las relaciones entre palabras e imgenes en los manuales que frecuentan nuestros alumnos no
pueden ser simplemente explicadas en trminos de figuras que ilustran textos verbales o de
palabras que explican diagramas. Para entender la produccin de significados en un texto
multimodal es necesario atender a los recursos en los que se deposita dicha produccin y al modo
en que estos negocian y equilibran las funciones comunicativas. Ligada a esta reflexin acerca de
las caractersticas de los textos multimodales surge una preocupacin por conocer cmo interpretan
los lectores reales estos textos. Cuando hablamos de alfabetizacin cientfica pensamos, tal como lo
plantea Martn (1993: 168 y ss.), en el pasaje gradual que debe realizar el alumno a medida que
avanza en el sistema educativo,

desde un lenguaje de sentido comn hacia un lenguaje

cientfico. Sin embargo, no debemos olvidar que la palabra no es el nico vehculo para transitar
ese camino, especialmente desde que la digitalizacin de la imagen ha potenciado las posibilidades
expresivas de los manuales y sobre todo teniendo en cuenta que los destinatarios de estos textos
tienden a percibir el modo visual como fcil y atractivo. En realidad, la iconicidad de los textos
cientficos-pedaggicos, al menos en la ciencias naturales, puede constituir un recurso facilitador
del aprendizaje, pero tambin requiere llevar a cabo un proceso de decodificacin que los lectores
reales no siempre estn en condiciones de realizar.
Si nuestra preocupacin gira en torno de las competencias discursivas de nuestros alumnos y del
nivel de alfabetizacin cientfica que logra nuestra escuela, acaso sera til destinar una parte de
esta reflexin a lo que podramos denominar alfabetizacin multimodal.

ACTAS DEL III COLOQUIO NACIONAL

DE INVESTIGADORES EN ESTUDIOS DEL DISCURSO
ISBN 978-987-1171-62-0

Referencias
Halliday, M:A:K: (1994) An introduction to functional grammar. London: Arnold
Kress, G. and T. van Leeuwen (2001) Multimodal Discourse. London: Arnold.
Kress, G. and T. van Leeuwen (1996) Reading Images. The Grammar of Visual Design London:
Routledge.
Martin and Halliday, M.A.K. (1993) Writing Science: Literacy and Discursive Power. London:
The Falmer Press.