La Escritura de Textos Multimodales: Una Mirada Socio -

Semiótica a los Diseños de Aprendizaje

Jeff Bezemer and Gunther Kress Institute of
Education, Centre for Multimodal Research
Written Communication 2008 25: 166

Nota. Este texto es de circulación restringida. Los fines son estrictamente

académicos y buscan poner a disposición de los estudiantes de lingüística y
literatura de la Universidad de la Amazonia, los planteamientos básicos del Análisis
Crítico del Discurso Multimodal (Aníbal Quiroga Tovar, Florencia, Junio de 2017)
Este texto fue traducido en diálogo polémico con los estudiantes del IX semestre
correspondiente al primer semestre del año lectivo de 2017

La escritura ya no es el modo central de representación en los materiales de

aprendizaje: libros de texto, recursos en la web, materiales producidos por los
maestros. Las imágenes inmóviles y en movimiento son cada vez más importantes
como portadoras del significado. Los usos y las formas de escritura han sufrido
cambios profundos en las últimas décadas, lo cual requiere una explicación social,
pedagógica y semiótica. Dos tendencias marcan esa historia. Los medios digitales,
más que el libro de texto, son cada vez más el sitio de aparición y distribución de
los recursos de aprendizaje y, la escritura es desplazada por la imagen como el
modo central de representación. Esto plantea agudos interrogantes sobre los
papeles actuales y futuros de las formas de escritura. Lo relacionado con el texto,
el diseño y los principios de la composición avanzan vertiginosamente. Aquí
esbozamos un planteamiento semiótico social que pretende dilucidar tales
principios y permite considerar su significado epistemológico, así como el significado
social y pedagógico. Al articular la representación con los factores sociales,
planteamos términos para explorar dos aspectos: los principios que subyacen en el
diseño de los unidades multimodales y los posibles efectos epistemológicos y
pedagógicos de los diseños multimodales.

Nuestro trabajo se enmarca dentro de un proyecto de investigación con un corpus

de recursos de aprendizaje para la escuela secundaria en ciencias, matemáticas e
inglés entre los años 1930s, los 1980s y la primera década del siglo XXI, así como
también recursos de aprendizaje representados digitalmente y de aprendizaje en
línea, del año 2000 en adelante.

Palabras clave: escritura, multimodalidad, representación, comunicación,

multimedia, currículo, pedagogía, libros de texto, aprendizaje, recursos de
aprendizaje
Introducción: Volver a teorizar la producción de texto y, en el
proceso de reteorización de la producción de textos, escribir.

Los estudiosos interesados en escribir los desarrollos en la comunicación

contemporánea se plantean preguntas agudas sobre el papel actual y el probable
de la escritura en sus futuros desarrollos. Para los interesados en las formas
contemporáneas de los textos, las preguntas que se plantean son sobre el diseño,
es decir, sobre los principios de la composición textual. Después de una breve
introducción, bosquejamos un marco de explicación para luego pasar al análisis y
discusión de ejemplos. Nuestro enfoque específico en este artículo es sobre la
escritura dentro de un interés más amplio en la relación entre los entornos sociales
y la representación.

Cuando comparamos un libro de texto de 1935 con uno contemporáneo,

observamos que tiende a haber menos escritura ahora, que la había en ese tiempo,
y que la escritura que hay hoy, difiere de la escritura de hace 40, 50 o 60 años, tanto
sintácticamente como en su uso.

Aunque las imágenes estaban presentes en las páginas de los libros de texto de
antes, hay más imágenes ahora. Estas imágenes se ven y funcionan de forma
diferente a las encontradas anteriormente. La página se utiliza de manera diferente
a como había sido: la escritura y la imagen se combinan de una manera que no se
podía concebir en los años treinta. El contenido curricular está representado de
manera diferente y la manera en que los materiales curriculares se exponen en la
página apunta a un cambio social y epistemológico que no puede explicarse por un
enfoque en las prácticas representacionales solamente. Si vamos más allá y
comparamos un libro de texto contemporáneo con "páginas" en la Web que tratan
con los "mismos" temas, vemos que modos de representación distintos de la imagen
y la escritura -la imagen móvil y el habla, por ejemplo- han encontrado su camino
en los recursos de aprendizaje, con un efecto significativo.

Puntos de vista divergentes, contradictorios y confusos dominan los debates sobre

los efectos de las prácticas contemporáneas en la representación; estos tienden a
invocar prácticas del "pasado". Los puntos de vista van desde el pesimismo cultural
(Postman, 1993; Tuman, 1992) hasta las preocupaciones sobre el desempeño
económico, como lo demuestran los estudios patrocinados por la Organización para
la Cooperación y el Desarrollo Económico OCDE, como el Programa para la
Evaluación Internacional de Estudiantes (PISA), el Estudio Internacional de
Tendencias en Matemáticas y Ciencias (TIMSS), y el Progreso en el Estudio
Internacional de Alfabetización de Lectura (PIRLS). Para los pesimistas, el uso cada
vez mayor de la imagen amenaza las habilidades de alfabetización e,
inevitablemente, conduce a la "descomposición" no sólo de los libros de texto, sino
de toda la cultura y, por un efecto adicional, debe tener consecuencia perjudiciales
sobre el desempeño económico. Menos relevantes, aunque que se expresan con
igual firmeza, son las creencias en el potencial empoderador de tales cambios. Al
revisar los principales contribuciones al debate Kaplan (1995) halló que, en lugar de
intentar dilucidar los efectos de las distinciones de diferentes modos y medios, el
debate se ha centrado en los ideales culturales, mientras que la producción social
de la representación fue ignorada. Estamos interesados en describir estas
“affordances” y en desarrollar tales medios de elucidación.

Ya hay considerable investigación sobre la representación en los recursos de

aprendizaje desde diversas perspectivas. Algunas se ha centrado en la
comprensión o en el efecto de la imagen en la memoria de los estudiantes o la
comprensión de los conceptos (Por ejemplo, Martínez Pena y Gil Quilez, 2001;
Pintó, 2002). Otros estudios se han centrado en las formas en que la imagen es
utilizada por los diseñadores (Unsworth, 2001). Otros (Dimopoulos, Koulaidis y
Sklaveniti, 2003; Roth, Bowen y McGinn, 1999) han categorizado las imágenes y
han contado su presencia en diferentes libros de texto, comparando los resultados
con otros medios, incluyendo revistas científicas y periódicos. En otros estudios, las
fuentes de medios electrónicos han sido el foco (Jewitt, 2003; Lemke, 2000).

Sin embargo, lo que falta hasta ahora es tener en cuenta la relación entre la
composición, la forma de los textos -los diseños de los recursos de aprendizaje- y
sus potencialidades de aprendizaje (Kress, 2005). En el proyecto de investigación
actual, nuestro objetivo es proporcionar un informe de este tipo, considerando los
cambios representacionales en los recursos de aprendizaje entre 1930 y 2005.
Nuestro marco es una teoría semiótica social y preguntamos: "¿Cuál es la relación
precisa entre los diseños semióticos de los recursos multimodales de aprendizaje y
sus potencialidades para el aprendizaje? "Nos proponemos mostrar qué cambios
se han dado en los principios de los diseños de los textos y cómo los diseñadores
de los recursos de aprendizaje -artistas visuales, editores, escritores- han utilizado
y utilizan ahora la escritura y otros recursos semióticos para crear potenciales de
aprendizaje. Por potencialidades de aprendizaje se entiende el conjunto de
características semióticas de un texto o de un ambiente -objetos, textos, personas-
que proporcionan el piso para el aprendizaje y de esa forma poder configurar lo que
es el aprendizaje y cómo puede darse. Esto incluye tanto el significado
epistemológico como el pedagógico de la práctica representacional. (Charla del
9/06/17)
Las explicaciones de las formas y de los efectos necesitan atención tanto en los
orígenes sociales de los textos como en sus efectos semióticos; atención a las
potencialidades y limitaciones de los modos, así como sus interacciones en los
recursos de aprendizaje -imagen, escritura, imagen en movimiento, habla- así como
atención a los potenciales y limitaciones de los medios de comunicación: los medios
impresos, como el libro de texto, o los medios electrónicos, como la web.

Para ello proponemos herramientas conceptuales y analíticas que creemos que

pueden iluminar los principios de los diseños de representación y nos ayudan a
comprender tanto el presente como el mundo representacional multimodal en
desarrollo.

Los conceptos claves son: signo, modo, medio, marco y sitio de exposición
(Halliday, 1994; Hodge y Kress, 1988; Jewitt, 2005, Kress et al., 2005; Kress, Jewitt,
Ogborn, & Tsatsarelis, Van Leeuwen, 2001, 2006). En la sección titulada "Tres
Ejemplos de Transducción", nos centramos en dos procesos de cambio en las
representaciones. Una, transformación, implica cambios dentro de un modo. En la
transducción, el material semiótico se mueve a través de modos, de un modo (o
conjunto de modos) a otro modo (o conjunto de modos). Los medios de
comunicación -los medios para la distribución de los mensajes- también tienen
medios económicos, de modo que los cambios en los medios de comunicación
tienen efectos sociales y epistemológicos. Los incluimos en nuestra discusión y en
el marco teórico que desarrollamos aquí, aunque estén fuera de nuestro enfoque.

Al discutir los ejemplos de recursos de aprendizaje, mostramos las formas, los

cambios y los efectos epistemológicos y comunicacionales producidos en cualquier
cambio. Nos preguntamos qué se podría ganar y qué se podría perder en los
cambios de modo: desde el artefacto y la acción, a la imagen, de la imagen a la
escritura, al habla o a la imagen en movimiento. La noción de recontextualización
de Bernstein (1996) es útil en dos sentidos distintos y conectados, social y
semióticamente. La perspectiva social ilumina cómo los discursos que se originan
en la educación exterior se realizan de manera apta para un determinado sitio
pedagógico, su audiencia y sus propósitos, para constituir el contenido de las
materias escolares. Los sitios originarios y pedagógicos se definen aquí en términos
de las posiciones sociales de los fabricantes de signos. Semióticamente, esto
aparece en términos de los modos y medios típicamente involucrados, tanto en el
sitio de origen, como en el sitio de recontextualización. Nuestros ejemplos nos
permiten mostrar cómo el material del significado se traslada de sitio social a sitio
social, de medio a medio, de contexto a contexto, requiriendo en cada caso una
reestructuración social, semiótica y, a menudo, un cambio epistemológico.
El corpus se compone de "textos" multimodales, hiper o interrelacionados
(lecciones, unidades, capítulos, ejercicios de libros de texto, libros de trabajo, CD-
ROM, DVD, sitios web) para las edades menores (una edad cronológica de 11 a 14
años) de inglés de la secundaria (Lengua y Literatura), Ciencias y Matemáticas en
Inglaterra, publicados entre 1930 y 2005. Cada uno de las asignaturas está
representada a través de un tema que ha sido lo suficientemente estable como para
permanecer en el programa de una u otra forma durante el período que hemos
elegido. La selección de temas estables está destinada a captar una parte de la
variabilidad potencial en los diseños dentro de las asignaturas en el tiempo. En
inglés, el tema focal es el símil; en ciencias, la digestión y en matemáticas, los
ángulos. En este artículo utilizamos cuatro textos para cada tema, un texto impreso
para cada "época" y un texto electrónico para la época actual.

La Representación como Práctica Semiótico - Social: Algunos Conceptos

Fabricantes de Signos y Signos

En un recuento social y semiótico del significado y de quienes elaboran la

significación, los productores y usuarios de los recursos de aprendizaje: artistas
visuales, editores, escritores, profesores y estudiantes quienes son considerados
como creadores de significados o constructores de signos. Los signos son
elementos en los que el significado y la forma se han reunido en una relación
motivada por el interés de quien elabora el signo. El proceso de elaboración de los
signos siempre está sujeta a la disponibilidad de recursos semióticos y a la aptitud
de los recursos en relación con los significados que desea expresar quien elabora
el signo. En principio, estas limitaciones se aplican siempre y en todas partes,
aunque no siempre con la misma severidad. En muchas aulas de clase alrededor
del mundo existen las más severas limitaciones sobre los recursos, tanto para los
docentes como para los estudiantes. Sin embargo, independientemente de esto, el
diseño de un recurso de aprendizaje es tratado por nosotros como la representación
adecuada del interés de quien elabora el signo.

Interés

El interés del productor de recursos de aprendizaje es múltiple: retórico/pedagógico

y epistemológico. El interés pedagógico responde a la pregunta, "¿Cómo puedo
realizar mejor mi relación social preferida con la audiencia pensada?. El interés
epistemológico corresponde a la pregunta, "¿Cómo se realiza mejor el contenido de
la materia, al tiempo que se maximiza el compromiso del estudiante con el estudio?"
Los intereses de quienes producen el recurso de aprendizaje, así como los intereses
de la audiencia, son moldeados por el ambiente social, cultural, económico, político
y tecnológico en el que se producen los signos; el diseño es el resultado de la
interacción entre todos ellos. Al mismo tiempo, los productores de signos tienen que
ser conscientes de las posibilidades de distribución del medio utilizado para elaborar
sus signos (Recursos de Aprendizaje) y esa consciencia es tenida en cuenta en la
elaboración de los recursos (Signos).

Significado y Uso Situado (Significado y Sentido)

Una objeción que se hace con frecuencia a este enfoque es que uno no puede
analizar representaciones centrándose en los diseñadores e ignorando a sus
usuarios. Ese asunto es complejo, porque interroga sobre si los textos tienen
significado independiente de su uso situado – o si los textos cobran vida cuando son
utilizados en la acción y comunicación, por sí mismos y en interacción con otros
(Véase Baker & Freebody, 1989, Maybin y Moss, 1993). Una primera respuesta de
nuestra parte es que, por supuesto, podemos analizar las representaciones como
un ejercicio formal; una segunda respuesta es que aquí no estamos centrados en el
uso –nuestro foco, se centra en los medios provistos para la descripción y la
comprensión de “que´ está siendo utilizado”. Pero, para ir hasta donde la pregunta
señala, es decir, si uno puede reclamar sobre lecturas y efectos de las
representaciones sin el estudio de su uso, diríamos, por supuesto, que no. Sin
embargo, se pueden formular hipótesis, más o menos firmemente fundamentadas.
Reconocemos la importancia de los estudios sobre el uso situado de los textos y la
producción de los usuarios sobre sus usos de los textos. Esto ayuda a proporcionar
fundamentaciones más firmes. Al mismo tiempo consideramos que los textos son
potenciales de una clase bastante específica que, en su especificidad permite un
número ilimitado de lecturas (en número) aunque el número de lecturas es limitado
(en el ámbito semántico).

Estos potenciales pueden ser entendidos, por parte de los constructores de signos,
al darles forma a los recursos de aprendizaje, de modo que el texto-como-signo
complejo se ajusta a los propósitos de un rhetor -retórico- (quién con frecuencia es
también el diseñador) el diseñador y su sentido de la audiencia a la cual dirige su
trabajo. El objetivo de nuestro enfoque es llamar la atención sobre los potenciales y
limitaciones de la "materia" que se está utilizando por la agencia de los productores
de signos y la significancia de todas las acciones del proceso de construcción de
signos.
Modos

Un modo es un recurso social y culturalmente formado para producir sentido. La

imagen, la escritura, el diseño, el discurso, la imagen en movimiento son ejemplos
de modos, todos utilizados en los recursos de aprendizaje. Los significados se
hacen con variedad de modos y siempre con más de un modo. Los modos tienen
diferentes recursos modales. La escritura, por ejemplo, tiene recursos sintácticos,
gramaticales y léxicos; recursos gráficos como el tipo de fuente, el tamaño y
recursos para como puntuación. La escritura puede hacer uso de otros recursos,
por ejemplo, el recurso del color. El habla y la escritura comparten aspectos de
gramática, sintaxis y léxico. Además de estos recursos el habla tiene intensidad,
tono, variación tonal -entonación- calidad tonal / vocal, longitud, silencio.

La imagen tiene recursos como la posición de elementos en un espacio enmarcado,

el tamaño, el color, la forma, iconos de varios tipos -líneas, círculos- así como
recursos tales como la relación espacial y, en el caso de las imágenes en
movimiento: la sucesión temporal de las imágenes, el movimiento.

Estas diferencias en los recursos significan que los modos se pueden usar para
hacer diferentes tipos de trabajo semiótico o para realizar trabajos semióticos
semejantes con recursos diferentes y de diferentes maneras. Es decir, los modos
tienen diferente affordances -potenciales y limitaciones para producir significado.
Esto permite a los productores de significados hacer trabajos diferentes en relación
con sus intereses y sus intenciones retóricas para diseñar significados, que, en las
unidades modales, satisfacen mejor el interés del rhetor (retórico) en el sentido de
las necesidades de la audiencia. Es decir, basándose en las affordances de los
diferentes modos en la elaboración de signos complejos como unidades modales,
quienes elaboran signos (Recursos de aprendizaje) pueden satisfacer las
demandas complejas, a menudo contradictorias, de su propio interés, las
necesidades de la asignatura que va a ser comunicada y las características de la
audiencia, (Usuarios).

Modo, comunidad y convención. En la semiótica social, lo que cuenta como modo

es tratado como una cuestión de decisión de las comunidades y de sus necesidades
de representación social. Para el usuario "ordinario" del modo de escritura, la fuente
es parte de ese modo. Para un tipógrafo o diseñador gráfico, los potenciales de
significación -affordances- de fuente son tales que pueden usarse como modo; es
decir, el significado puede hacerse a través de las affordances de la fuente. Lo que
cuenta como modo depende de los productores de significación quienes actúan
dentro de las necesidades y la comprensión de una comunidad particular y sus
prácticas más o menos convencionalizadas.

Medio

El modo y los usos modales deben considerarse junto con el medio de la distribución
involucrado en la comunicación. El medio tiene un aspecto material y un aspecto
social. Desde lo material, el medio es la sustancia a través de la cual el significado
es realizado y, través de la cual el significado queda disponible a la percepción de
los otros (Cf. El óleo sobre el lienzo en la pintura). Desde esa perspectiva, imprimir
(El papel-e-impresión) son medios; por extensión, el libro es medio; aunque
diferente, la pantalla es otro medio; el hablante: su cuerpo y su voz son otro medio.
La situación contemporánea con respecto a los medios masivos de comunicación
puede ser más complicada de lo que había sido hasta ahora. En los "nuevos
medios", la gama de dispositivos tecnológicos que operan en una cadena de
procesos de materialización y rematerialización son, en gran medida, invisibles para
el lego. Así, al final de una cadena están, por ejemplo, el computador -pantalla-y-
altavoces, antes de ellos está: el driver para CD-ROM, el procesador del
computador y, así sucesivamente, todos desempeñan un papel en la cadena de
materialización y rematerialización del significado.

Socialmente, el medio es el resultado de las prácticas semióticas, las prácticas

socioculturales y las prácticas tecnológicas (Cf. cine, los periódicos, las vallas
publicitarias, la radio, la televisión, el teatro, los salones de case, etc.). Desde esta
perspectiva, el libro de texto es un medio y los recursos de aprendizaje basados en
la web para los estudiantes se están convirtiendo en otros medios. Ahora hay una
amplia gama de sitios web financiados por organizaciones públicas y privadas, Intel,
BBC, Heinemann- que proporcionan recursos para la enseñanza primaria y
secundaria en Inglaterra y que, al igual que sus homólogos, los libros de texto, están
organizados de acuerdo al "Curriculum Nacional".

La expansión de los recursos basados en la web, algunos disponibles en forma

gratuita -libre- pueden conducir a un declive en el uso del libro de texto. Las
consecuencias serán de gran alcance: semióticamente, por ejemplo, en cambios a
los usos, formas para quienes producen recursos para significar y comunicar. Tales
cambios en los medios masivos de comunicar están siempre sujetos a las
posibilidades de respuesta social. Como un ejemplo actual, podemos poner el uso
de las paredes y otras superficies que se transforman en un medio para los artistas
de los graffiti.
Lugar de Despliegue

Si tomamos una hoja de papel A4, podemos escribir un aviso en ella y fijarla en una
pared: hemos creado un cartel. También podemos doblarla, escribir en la primera
página, y llenar las otras tres páginas con información variada: hemos creado un
folleto. También podemos plegarla dos veces, cortarla en cuatro pedazos y escribir
un anuncio en las cuatro partes: Hemos creado unos volantes. En los tres casos
hemos reformado el medium de papel para crear un sitio de despliegue que sea
adecuado para nuestros intereses. Es el espacio que se hace disponible como
medio para la visualización del texto como signo complejo.

Marco y Género

Como estábamos creando diferentes sitios de despliegue no cambiamos el marco

social, en todos los casos se utilizó el “marco básico disponible en nuestra sociedad
para producir sentido” (Goffman, 1986, pag. 10) Hicimos un anuncio. La referencia
a Goffman se centra en los marcos sociales -eventos-. Si reemplazamos su
categoría social de evento por la categoría semiótica género, entonces los tipos de
marcos para un libro de texto podría ser: ejemplo, ejercicio, resumen, demostración.
Los géneros son la otra cara semiótica del evento social. Ellos se realizan en el nivel
textual. Cada texto tiene un marco genérico. Cada uno de estos marcos / géneros
define el texto en términos de actividad, de relaciones de los participantes en un
evento, y en términos de uso de modos y medios de comunicación. Los marcos
funcionan a cualquier nivel: Sea cual sea la entidad semiótica, requiere un marco.

Marcos y sitios de despliegue. Al examinar los cambios de los materiales de

aprendizaje es necesario entender cómo los marcos se relacionan con los sitios de
despliegue. ¿Cómo encaja un marco de anuncio en un sitio de visualización?
¿Cómo encaja un mapa expositivo en un capítulo? ¿Un mapa de índice en el banner
de una página web? La importancia de estas cuestiones en el diseño se vuelve de
interés donde parece que pueden fallar: un anuncio en dos carteles, una exhibición
en dos capítulos y medio, un índice que requiere desplazamiento hacia abajo hasta
llegar a las líneas más allá del borde inferior de la pantalla. A medida que cambian
los marcos se crean nuevos sitios de visualización. En el libro de texto de los años
30, por ejemplo, el capítulo fue el sitio de visualización de una unidad coherente e
integral de conocimiento (por ejemplo, una exposición del sistema digestivo
humano); ahora, en el libro de texto contemporáneo, la doble página se utiliza como
un sitio de visualización para una unidad de trabajo (una lección, una demostración).
Ambos clases de sitios son proporcionados por el medio del "libro", pero para una
noción de libro que ha cambiado radicalmente durante ese período de 70 años,
como un sitio de exhibición, un capítulo es totalmente diferente de una página doble:
el capítulo se organiza ante todo como un proyecto conceptual, un espacio
epistemológico; la doble página se organiza en primer lugar como sitio material y
semiótico.

Sitio de visualización y contenido. El tamaño de un capítulo era determinado por el

sentido de integridad del autor y de que se le hacía al "justicia al tema"; por el
contrario, es en el espacio de la doble página qué el configura qué contenido
aparecerá y cómo aparecerá. Por supuesto, tanto el libro antiguo como el más
reciente fueron vinculados más o menos estrechamente a otras unidades y
nociones: a un currículo, por ejemplo, un programa de estudios y su syllabus; a la
organización de la enseñanza, aspectos tales como la duración y la extensión de
las lecciones. La representación responde a factores sociales a través de variados
recursos culturales y semióticos. Entre otros, esto plantea la cuestión de lo que el
medio de libro había sido, es, y es probable que se convierta en su interrelación con
la "pantalla" que cambia rápidamente. Esta pregunta se aplica a todos los medios y
a todos los modos.

Diseño

Dada la compleja relación de la affordance modal, el interés del retórico y la

variabilidad y complejidad de los entornos sociales, el diseño se mueve en el centro
de atención en la elaboración de signos -como textos complejos-. El cambio,
conceptual, de la composición al diseño refleja un cambio social de la competencia
en una práctica específica, concebida en términos de comprensión y de adhesión a
la convención que rige el uso de un modo de escribir, por ejemplo, se centran en el
interés y la agencia del diseñador en la elaboración de signos-como-textos.

El diseño es la práctica donde los modos, medios, marcos y sitios de visualización,

por un lado, y los propósitos retóricos, los intereses del diseñador y las
características de la audiencia por el otro, se ponen en coherencia entre sí. Desde
el punto de vista del diseñador, el diseño es el proceso (intermediario) de dar forma
a los intereses, propósitos e intenciones del retórico en relación con los recursos
semióticos disponibles para realizar / materializar estos propósitos como material
apto, signos complejos, textos para las características asumidas por un público
específico.
Transducción: Cambios de Modos y Medios

En la representación del mundo, las traducciones se hacen constantemente de

significados hechos en un modo o conjunto de modos a significados hechos en otro
modo o conjuntos de modos. Estas traducciones son inevitables porque, por un
lado, los entornos sociales cambian en la recontextualización y, por otro lado, los
modos y medios disponibles y sus affordances son limitados. Nuestra teoría de la
producción del significado orientada social / retóricamente sugiere que las opciones
para la traducción en conjuntos particulares de modos está motivada por
preocupaciones sociales, pedagógicas y epistemológicas. Un objeto, tal como un
transportador, pueden ser llevado a interacciones en las que los participantes y loa
objetos materiales están físicamente copresentes, por ejemplo en la oficina de un
arquitecto o en un aula. En ambos casos el objeto está presente, disponible como
elemento en un modo de entidades. En un libro de texto, ese objeto-artefacto no
está disponible como un modo. El transportador y su uso, que incluye gesto, postura
corporal, mirada, relaciones con otros objetos materiales, y así sucesivamente,
ahora tiene que ser "descrito" (traducido) usando la imagen, la escritura, y quizás
otros modos, así como también un medio específico. (En nuestro marco utilizamos
la traducción como término semiótico general y transducción como un término más
específico cuando hablamos del movimiento del material semiótico de un modo a
otro.)

Los modos tienen diferente materialidad y como esta se configura en las historias
del trabajo cultural, ha producido las affordances específicas de un modo. Dada esa
diferencia en el trabajo material y cultural, nunca puede haber una traducción
perfecta de un modo a otro: la imagen no tiene "palabra", así como la escritura no
tiene "descripción"; las formas de organización (es decir, la sintaxis) difiere en los
modos cuya instancia es temporal o es espacial. La transducción trae,
inevitablemente, profundos cambios en el movimiento de un modo a otro. En estos
contextos podemos hablar de las ganancias y pérdidas en el proceso de cambio
modal.

Mientras que la transducción describe cambios que implican un cambio en el modo,

la transformación describe los cambios en la disposición dentro de un modo.
Teóricamente, las transformaciones son operaciones en las estructuras dentro de
un modo en el cual las entidades siguen siendo las mismas, mientras que las
estructuras cambian. En una transformación, digamos dentro del modo de escribir,
las palabras continúan como tales; las categorías sintácticas/gramaticales
continúan siendo las del modo, lo mismo que los arreglos textuales. Lo que cambia
es su disposición en el arreglo. En la transducción, el cambio es de un modo a otro
trae consigo un cambio de las entidades. No hay palabras en la imagen, hay
descripciones; relaciones semióticas/semánticas que, en el habla o en la escritura,
se expresan en cláusulas y como los verbos se realizan a través de vectores o
líneas. Otras relaciones semióticas entre elementos léxico-sintácticos, las
preposiciones, por ejemplo (sobre, encima, cerca, etc.) -se realizan por medios
espaciales en imágenes, y así sucesivamente.

 Por supuesto, la nueva media demanda facilidades en e diseño de prácticas de
alto nivel, es decir, en la capacidad de "mover" el material semiótico o contenido de
una entidad textual, de un modo o conjunto modal a otro. Por ejemplo, en la
traducción de una novela a un CD-ROM (Jewitt, 2003) tiene que hacerse toda una
gama de argumentos retóricos y de decisiones de diseño. Personajes que, en la
novela como libro, "existen" en el modo de escritura, ahora pueden aparecer en el
modo de imagen, con todas los potenciales y limitaciones -y las transducciones
necesarias- implicadas en ese proceso. Supongamos que aparecen dos personajes
en la novela como libro. El autor podría haber hecho una descripción escrita como,
"Sentado en el sol de finales de otoño, Sam y Bill comparten un banco en el parque".
Un ilustrador o diseñador podría haber sido invitado a "dibujar", a transducir, la
descripción escrita en el modo de imagen. Ahora el ilustrador tiene que preguntar
"¿Qué tan cerca estaban sentados el uno del otro? "; "¿Bill estaba a la izquierda o
a la derecha de Sam?" El traductor/transductor tiene que ser preciso, si quiere o si
no quiere. En una representación de imagen, la distancia entre los dos personajes
tiene que ser mostrada, no se puede hacer otra cosa. En otra parte, (Kress, 2003)
llama a esto, compromiso epistemológico. Un compromiso epistemológico es una
affordance inevitable. En el modo visual el diseñador tiene que mostrar la distancia
entre los dos personajes. Cada modo impone/ exige tales compromisos como algo
natural, aunque cada uno de estos compromisos sea diferente. Eso tiene que ser
parte de las consideraciones del diseñador.

 Las prácticas de movimiento del material semiótico no son nuevas, ni son
exclusivas de los entornos educativos (Lemke, 2000; Myers, 1990; O'Halloran,
2005, para ejemplos de transducción en ciencias). La transducción es una parte de
la semiosis humana y ha sido detectada en tiempos remotos como que hay registros
tales como como esculturas, pinturas, tallas en cuevas, caras rocosas, ubicadas en
antiguos asentamientos. Pero en las escalas temporales de las historias culturales
de la representación (occidental), el presente puede ser distintivo a través de la
ubicuidad, la "intensidad" y la centralidad del proceso. Los nuevos medios han
puesto a disposición de muchos usuarios, clases de conjuntos modales que ofrecen
posibilidades de representación que no habían existido antes, o que que habían
existido en forma restringida (por ejemplo, la ópera). El CD-ROM puede reunir no
sólo la escritura y la imagen, como en este ejemplo, sino que puede reunir la
escritura, la imagen en movimiento, el discurso, la imagen inmóvil, la música, la
banda sonora, y, así sucesivamente. Y tales conjuntos ofrecen posibilidades de
representaciones que son diferentes de un conjunto de imágenes fijas y escritas a
otro de solamente escritura. La existencia de tan amplias y diversas posibilidades
de representación, como es de esperar, simplemente exige compromiso y facilidad
en el diseño.

Tres Ejemplos de Transducción

Vamos a discutir ahora tres ejemplos de transducción: Los seis modos involucrados
son artefactos/objetos tridimensionales, imagen fija, escritura, acción, imagen en
movimiento y habla. Las tres instancias implican la transducción del artefacto a la
imagen y la escritura, de la acción a la imagen y a la escritura, y de la acción a la
imagen en movimiento y al habla. Comenzamos con la transducción del artefacto a
la imagen y la escritura.
Del Artefacto a la Imagen y la Escritura
Al analizar nuestros ejemplos (véase la figura 1), llamamos la atención sobre ciertos
aspectos de los cambios significativos, centrándonos en lo que se puede ganar y
lo que puede perderse cuando se mueve de un artefacto a una imagen.

Cuando se representa un artefacto como un transportador en forma de imagen, hay

pérdidas en especificidad. Ciertos aspectos dimensionales y táctiles, por ejemplo,
no puede ser expresados en la imagen, solo pueden ser simulados mediante
recurso a la perspectiva. La substancia material, su forma tridimensional y en
muchos casos el tamaño actual del transportador no puede ser configurado en la
imagen. Mientras que hay una pérdida en especificidad, hay una ganancia en
generalidad: la imagen describe un prototipo, no un ejemplo, es decir, se muestra
un transportador ideal, no uno con raspaduras, usado o particular.
Epistemológicamente no hay compromiso en que el transportador tenga que ser
como el dibujado. Compárelo con el objeto tridimensional, la imagen comporta un
nivel de generalidad y de idealización que la hace apta para la practica didáctica en
cuestión, una representación que también es apta para la entidad curricular que
está siendo construida. Cuando el artefacto es representado en la escritura hay
pérdidas en especificidad, aunque en forma diferente y probablemente mayor que
cuando es representado en imagen. La escritura no especifica, por ejemplo, si el
centro del transportador es abierto, como en la imagen, o cerrado, o qué colores se
utilizan para escribir marcas sobre él. En la escritura, comporta un grado mayor de
generalidad que aún en la imagen.

Otra variación ocurre en el arreglo de los constituyentes de la imagen y la escritura:

en ambos, tanto en la escritura como en la imagen, pueden ser identificadas
diferentes entidades. En la escritura éstas aparecen como entidades lexicales (por
ejemplo: transportador, línea puesta en las estructuras sintácticas. En “mida el
ángulo entre estas dos líneas utilizando el transportador”, “el transportador” es una
cláusula adverbial de modo (i.e., “Utilizando el transportador, mida el ángulo entre
estas dos líneas”) en esa forma, este aparece como el medio o el instrumento en un
elemento sintáctico que esta subordinado a la cláusula mayor, (tu, “mide el ángulo”)
y ubicado al final. En el ejemplo escrito, (realizado espacialmente) la secuencia es
importante: la actividad es anunciada al principio, es puesta en primer plano, (Mida
el ángulo” con el medio para hacerlo (Utilizando el transportador) ubicado al final.
En imágenes, estos significados se realizan mediante estructuras basadas en
relaciones espaciales de proximidad, adyacencia, y simultaneidad. En la imagen de
la figura 1 se sobreponen líneas al transportador (algo que es imposible con el
artefacto original) y una imagen del ángulo como una entidad geométrica es
abstraída y mostrada en forma separada.
Hay relaciones variadas entre la escritura y la imagen en esta representación. En la
escritura están los encabezados que se han discutido; hay comandos (como
imperativos) en subtítulos adjuntos a la imagen por líneas: “Léa el ángulo” “Utilice la
escala interna en los ángulos sinistrorsos (Que se mueven en sentido contrario a
las manecillas del reloj) etc. Hay también un enunciado de definición al fondo:” El
ángulo entre dos líneas es la cantidad de giro de una línea a la otra”. Debemos
generalizar el papel de la escritura aquí, -mas allá de los enunciados dados- de esta
forma: La imagen es utilizada para presentar el corazón de la información -el
transportador

tal como es, la identidad entre el ángulo medido por el transformador y la imagen
del ángulo abstracto en la esquina superior derecha. La escritura es utilizada para
presentar acciones, como los comandos y para proveer una definición formal de
ángulo. Esto puede aproximarse a ver la especialización funcional de la imagen y
de la escritura en este aspecto del libro en este tiempo.
De la Acción a la Imagen y la Escritura

En el anterior ejemplo, la escritura se utilizó para representar acciones tales como:

"Ponga la cruz sobre el punto del ángulo" y "Lea el ángulo". Los movimientos de la
acción a la escritura también traen cambios en la disponibilidad de recursos léxicos
y los sintácticos. "Ponga" y "Lea" son recursos relativamente "vacíos" como
categorías lexicales. No especifican exactamente cuáles son las acciones
involucradas. Esto puede parecer trivial, pero las acciones como los gestos, los
cambios de mirada, la postura corporal, el rostro, son rasgos definitorios de las
prácticas profesionales (véase Goodwin, 2000). En términos de las relaciones
sociales representadas, lo que se gana a través de la escritura es la expresión de
la relación social de mando realizada a través de la sintaxis del Imperativo. La
escritura facilita la realización de la relación social entre la autoridad y el alumno.

Diferentes tipos de ganancias y de pérdidas están en juego cuando se representan

acciones involucradas en el uso de un artefacto -un compas- en el modo de imagen,
como muestra la Figura 2.

El paso de la acción a la imagen también implica pérdida de especificidad, y de

nuevo tenemos que preguntarnos "¿Especificidad de qué tipo?" Sólo algunas de las
acciones involucrados al dibujar un círculo -como colocar un compas junto a una
regla, abriéndolo a dos centímetros, colocándolo en un pedazo de papel, etc., son
representados. La imagen de la izquierda muestra la colocación inicial del compás,
la imagen de la derecha muestra la terminación del dibujo del círculo. En efecto, las
acciones no están representadas: lo que se representa son puntos o segmentos de
la acción, es decir, la acción "congelada" en puntos particulares en el tiempo. En
términos de un cambio epistemológico, existe la supresión del actor: la acción de
dibujar un círculo sin mostrar quién dibuja el círculo. Una vez más, el uso de un
compás se vuelve menos personal o específico y más general. Es un alejamiento
de lo empírico "real" hacia la abstracción teórica. Lo que hay que debatir es, ¿en
qué circunstancias y para qué propósitos eso es o no es una ganancia?

De la Acción a la Imagen en Movimiento y al Habla

En la Web, la imagen en movimiento y el habla pueden utilizarse juntos o en lugar

de la escritura en la transducción de artefactos y acciones involucradas en
matemáticas, lo que conduce a configuraciones multimodales potencialmente más
complejas. La Figura 3 es una imagen fija de una "escena" sobre transformaciones
rotacionales. La escena muestra, dice y describe cómo girar un ángulo. El texto
escrito debajo de la imagen del transportador es como sigue.

Ponga el puntero de compas en el punto 'a'. Abra el compas hasta la longitud de 'ac'.
Dibuje una curva que pasa por 'c'. Esto asegura que la longitud de las líneas en la
imagen será la misma que en el triángulo original. Esto asegura que la longitud de 'ac'
(la imagen) es la misma que 'ac' (el original) porque el tamaño de un objeto no cambia
durante la rotación.

En este ejemplo hay transducciones del artefacto a la escritura con efectos similares
a los discutidos anteriormente. Todo esto tiene efectos sobre los cambios en la
especificidad y la generalidad, así como en el ordenamiento. Lo que es diferente
aquí es el uso del habla para la transducción del artefacto y la acción y el uso de la
imagen en movimiento para la transducción de la acción. Como señalamos antes,
el discurso oral comparte ciertos aspectos de la gramática, sintaxis y léxico con la
escritura. Además, tiene intensidad (como la sonoridad), variación de tono y tono,
calidad tonal / vocal, silencio y otros recursos. En este ejemplo, el tono se utiliza en
el habla como un recurso para poner en primer plano ítems léxicos particulares,
mientras que en el texto escrito los textos en primer plano fueron realizados
mediante la sintaxis.
En la transcripción hemos marcado los límites entre unidades de entonación usando
un doble slash (//), y hemos puesto en cursiva los elementos donde ocurre el
movimiento de tono mayor, una caída, en este caso. El elemento que recibe el
mayor movimiento de tono está marcado como una nueva información. Esto crea
un contraste de información "dada" y "nueva" dentro de cada unidad de información
(cf. Halliday, 1967).

Put pointer of compass // on point a //. Open out // compass to length of a c //.
Draw a curve // which passes through c //. This ensures // that the length of the
lines in the image // will be the same as in the original triangle //. This makes
sure // that the length of a c // the image // is the same as a c // the original //.
Because the size // of an object // doesn’t change during rotation //.

Comparando el texto escrito y el texto hablado, podemos ver dos lecturas y, con
ello, que ha sido creado un potencial específico para el aprendizaje. En las tres
primeras frases del texto escrito, se llama la atención sobre lo que se menciona
primero -la acción a realizar-, y el estado de ánimo imperativo, por lo tanto el primer
plano, la acción como orden. En el texto hablado, se llama la atención del lector
sobre el objeto de la acción, el compas y el lugar donde debe colocarse, y luego el
tipo específico de acción de apertura - "fuera" - que debería hacerse y una indicación
sobre la extensión del movimiento, luego, a la forma de la inscripción que va a ser
hecha, etc. Lo que sigue es una organización en contrapunto, con el modo de
escritura resaltando la acción como -órdenes- poner, abrir, dibujar- y el modo de
discurso destacando el objeto, la ubicación, la forma.

El párrafo tiene una estructura de tres partes: la segunda parte, las oraciones 4 y 5,
hacen una reflexión sobre el proceso que acabamos de describir. La tercera parte,
la oración 6, es un enunciado de definición.

Este texto utiliza además el modo de imagen en movimiento. Combina las

posibilidades de la imagen fija y la organización espacial, con la organización
temporal: se desarrolla en el tiempo. Esto trae consigo aumentos diferentes en los
recursos semióticos. Los elementos pueden ahora aparecer y desaparecer, ya que
través de esto, se puede sugerir el movimiento.

En la escena que estamos viendo aquí, el primer elemento que aparece es el

triángulo. Luego aparece el compas, colocado con su puntero en 'a'. Luego los dos
movimientos: la "apertura" del compas y la inscripción de una curva. Después, el
compas desaparece nuevamente. Como tal, la imagen en movimiento representa la
demostración de cómo utilizar el compas de manera diferente al texto escrito o
hablado. Por ejemplo, es específico sobre qué implica la "apertura" y el "trazado de
la curva”. "Dibujar una curva" se despliega como el movimiento del compas, por lo
que una de sus patas conserva su posición y la otra base, que deja un rastro, hace
un giro suave, a la derecha.

Los ejemplos muestran que a medida que transducimos de un artefacto a un

complejo de imagen, escritura, habla e imagen en movimiento, recursos muy
diferentes, se hacen disponibles para su uso: recursos léxicos o de representación,
con implicaciones de generalidad y especificidad, y recursos sintácticos con
implicaciones para la disposición de los constituyentes, así como para las relaciones
sociales del productor del mensaje y del "lector" -la relación de mando-.

Así que para el diseñador del recurso de aprendizaje la cuestión se convierte en un

caso de la aptitud del nivel de especificidad - generalidad y su disposición para la
ocasión específica. También tiene implicaciones pedagógicas: Existen también
implicaciones para la pedagogía: en un modo se dan los comandos u órdenes , en
otros los actores son puestos en el trasfondo; en un modo, los caminos de la lectura
son puestos por el lector, en otro por el diseñador. Esto, a su vez, conducirá a
decisiones de diseño, sobre el uso de los modos. También establece firmemente el
"terreno" para el compromiso de aprendizaje.

La Recontextualización: Cambio en los Sitios Sociales

El movimiento de un medio a otro tiene consecuencias sociales en relación con los

cambios de las posibilidades de producción. Los lectores de un libro no pueden
fácilmente alterar el texto que leen -por fuera de la reconstrucción mental- pero la
reconstrucción mental no deviene efectiva en el mundo social hasta que tenga una
realización externa. Los lectores de un texto en la pantalla, pueden, usualmente,
alterar ese texto en las líneas de su interés. En otras palabras, las potencialidades
sociales de los diferentes medios, significan en efecto que el cambio de un medio a
otro trae consigo cambios de un contexto social a otro. Esto hace que la noción de
recontextualización de Bernstein (1996) sea altamente adaptable a nuestros
propósitos: cualquiera que se el cambio semiótico, ya sea modal o medial, implica
un cambio de contexto social.

Por supuesto, los cambios en el contexto social traen consigo cambios en la

materialización semiótica del significado. Bernstein había desarrollado el concepto
de recontextualización para describir cómo los "discursos" que se originan en un
sitio social -él utiliza el ejemplo de la carpintería- se remodelan de tal manera que
encajan con los datos del nuevo sitio: la escuela, en el tema de la escuela "trabajo
con madera". Sea cual fuere la asignatura escolar, los discursos producidos en sitios
formales e informales fuera de la escuela son transformados en las líneas de la
organización social del nuevo sitio en ese proceso de recontextualización. Los
discursos se trasladan de los sitios originales de producción a un espacio
pedagógico.

Los sitios se pueden definir en la línea de los roles sociales de los participantes / los
fabricantes de signos están típicamente involucrados en los sitios, así como los
modos, medios y géneros típicamente usados. La carpintería, por ejemplo, es una
práctica profesional en la cual se compromete una comunidad de carpinteros -
capataces y comerciantes / trabajadores- que laboran con materiales particulares,
para producir objetos para otro grupo social, sus clientes. Podemos, si queremos,
hacer una descripción semiótica de esto: los carpinteros como fabricantes de signos
utilizan materiales especiales, como los medios de comunicación (ciertos tipos de
madera), modos (por ejemplo, el dibujo) en marcos sociales específicos de su
dominio (por ejemplo, darle forma a la madera, montaje de objetos -como- signos,
desmonte). Cuando la carpintería es recontextualizada a la escuela, como solía
pasar en Inglaterra, se convertía en la materia escolar “trabajo con madera”,
(manualidades, en Colombia). Ahora los participantes se cambian a estudiantes y
maestros, -ya no son el capataz, el comerciante y el trabajador-. Los constructores
de signos, en este caso, son estudiantes y maestros; su medio material sigue siendo
la madera; aunque ahora hay libros de texto, los modos, con más frecuencia que la
madera como modo son: la imagen y la escritura, y algunos géneros son la
demostración, el ejercicio, el examen. Los signos -objetos producidos- son muy
raramente para un cliente. Cuando el medio de carpintería no es el libro de texto
sino la Web, entonces la recontextualización ha ido mucho más lejos y los modos
potenciales incluyen, ahora, la imagen en movimiento, el habla y la escritura.

El concepto de discurso pedagógico de Bernstein es un compuesto de discurso

instruccional (Para nosotros aquí, ampliamente, el contenido de la asignatura
escolar) y discurso regulativo, para nosotros aquí, las relaciones sociales que
subyacen a una pedagogía específica) Así que cuando Bernstein dice que el
discurso pedagógico no puede ser identificado con el discurso que transmite… Es
el principio por el cual otros discursos son apropiados y traídos a una relación
especial entre sí, para el propósito de la transmisión selectiva y la adquisición.
(Bernstein, 1996, p. 46), estamos de acuerdo con la parte fina de ese enunciado.
Como ellos forman una parte de la legitimación del proyecto escolar, los discursos
que son transmitidos tienen que ser reconocidos en el sitio pedagógico (Ver Figura
4) y sus transformaciones en la representación entendida en su totalidad.
La recontextualización es, literalmente, el traslado de material significativo de un
contexto con la organización social de sus participantes y sus conjuntos modales a
otro contexto. Los materiales de significado siempre tienen una realización
semiótica, así es que la recontextualización involucra la representación de los
materiales de significación en una forma adecuada al nuevo contexto a la luz de los
recursos modales disponibles. La recontextualización pedagógica involucra el
movimiento de los textos curriculares en consonancia con los rasgos pedagógicos
del ambiente de la recontextualización.

Vemos cuatro principios semióticos/retóricos operando en el proceso de

recontextualización: selección, arreglo, primer plano y reposicionamiento social.

El primero, selección: Lo que es recontextualizado es el material del significado. No

todo en el contexto de origen puede ser relevante en el nuevo contexto. De aquí se
infiere que hay una selección de los materiales de significación. Lo que es más, los
recursos modales del nuevo contexto pueden ser diferentes de aquellos del contexto
original, y los conjuntos modales necesarios para la audiencia del nuevo contexto
pueden requerir una selección de modos, de acuerdo a esas necesidades.
Así los materiales significantes son seleccionados de acuerdo a lo que es
pedagógicamente relevante en el nuevo espacio y los modos son seleccionados de
acuerdo a lo que está disponible y adaptable para el nuevo espacio. La selección
se refiere así a la parcialidad inevitable y motivada de cada representación: lo que
es representado esta guiado por una decisión retórica compleja. ¿Cuales son los
intereses del retórico? ¿Qué es lo mejor para la audiencia (usuario) en el nuevo
ambiente?

Segundo, arreglo: En el proceso de recontextualización una decisión de diseño

también tiene que hacerse de acuerdo al arreglo de los materiales de significación.
¿En que orden deberán ser representados, y que clase de arreglo semiótico debe
ser utilizado en su representación? En cierto modo, esta es una decisión
epistemológica y pedagógico-didáctica: ¿Qué marco epistemológico es mejor para
la audiencia y sus propósitos y, qué orden es el mejor para presentar la entidad
curricular a los estudiantes?. En el nivel semiótico esto deviene en un asunto de
géneros -experimento, demostración, construcción conjunta,- pero, también un
asunto de diseño: el arreglo es diferente en una hoja de trabajo que en el informe
científico o en la actuación de una obra de teatro, etc.

Los elementos son ordenados, esto es, un orden espacial o temporal -un camino de
lectura- que se crea , un orden producido por el diseñador, con el cual se espera
que el estudiante se comprometa con los elementos seleccionados en el orden
previsto. Por supuesto, un diseñador puede desear dejar el ordenamiento, en la
medida de lo posible, al usuario.

Tercero, primer plano: las características del entorno social le dan forma a las
decisiones retórica/representacionales. Lo que puede ser más significativo en los
ambiente originales, puede no ser así en el entorno de la recontextualización. De la
misma manera, los modos que pueden ser preferidos en el primer entorno pueden
no serlo en el segundo; en verdad, pueden no estar disponibles allí. Dado esto, en
el primer plano, la asignación de la relevancia en el contexto de las relaciones, se
convierte en un principio tanto a nivel de significado como a nivel de la
representación. Pedagógicamente, se otorga un estatus a esos elementos,
considerados como particularmente significativos: algunos elementos están en
primer plano y otros en segundo plano.

Cuarto, las relaciones sociales existen, y se (re-) construyen entre el profesor y los
estudiantes, entre ellos y los diseñadores del recurso y entre ellos y los que están
representados (por ejemplo, el arquitecto en la Figura 4). Esta noción de relaciones
sociales, incluye, pero no se reduce, a la interactividad, que usualmente se refiere
al compromiso de los estudiantes y la transformación o la transducción del texto.

En la recontextualización hay un inevitable reposicionamiento social: una cierta

pedagogía emerge como consecuencia de la recontextualización.

Como los modos tienen diferentes formas de presentarse, estos cuatro principios se
realizan de forma diferente en modos diferentes. Consideremos el ejemplo de la
Figura 5. El fragmento es tomado de un libro de texto de ciencias, publicado en
1935. El capítulo es sobre el sistema digestivo.

Al comparar la imagen y la escritura se muestra aquí que en ambos modos hay,

selección, arreglo, primer plano y reposicionamiento social, pero con resultados
diferentes en cada modo. En la escritura, por ejemplo, el diseñador seleccionó la
forma del esófago como foco. (cf, “El esófago es un tubo muscular angosto”
Fairbrother et al., 1935, p.162 el énfasis es añadido), pero no sobre su forma en
relación con otros órganos involucrados en la digestión. En la imagen, esta forma
relativa tiene que ser mostrada -este es uno de los efectos del compromiso
epistemológico de la imagen- pero la imagen no muestra la textura del esófago (cf.
“muscular”). En otras palabras, la imagen y la escritura no son simples copias la una
de la otra, ni la imagen es mas simplificada que la escritura, como lo sugiere el
subtítulo de la figura (cf. Los principales órganos internos del hombre -esquema
simple-). Mas bien, cada uno ofrece disponibilidades y compromisos
epistemológicos distintos. En cuanto a la disposición, la escritura construye un
camino de lectura que se basa en la linealidad y la secuencia. Se espera que el
lector lea de arriba a abajo y de izquierda a derecha, encontrándose así primero la
mención de la faringe, el esófago, luego el estómago, finalmente el intestino. La
imagen no impone tal orden; deja el camino de lectura abierto al alumno.

El primer plano también se realiza en ambos modos, pero con efectos diferentes.
En la escritura, el primer plano se realiza sintácticamente, uniendo significado a lo
que viene primero, segundo y último: "El esófago es un tubo muscular estrecho"
(Fairbrother et al., 1935, p.162) tiene un significado diferente de "El tubo muscular
mas angosto es el esófago. "En la escritura, el primer plano también se realiza
gráficamente a través de una fuente en negrita. En la imagen, la relevancia se
realiza a través de, por ejemplo, el tamaño: La médula espinal parece
desproporcionadamente grande. Y, las relaciones sociales se crean permitiendo
que el alumno tenga control sobre el camino de lectura, en el caso de la imagen, y
permitiendo que el diseñador de libros de texto establezca el camino de la lectura
para el alumno, en el caso de escritura. Los mismos principios se aplican al diseño,
como muestran los ejemplos de las figuras 6 y 7.

En el nivel de diseño, la selección se puede considerar como la elección de los

dispositivos de encuadre para emplear en la colocación de signos (complejos)
(como bloques de imagen o escritura) para hacer el texto completo. Las figuras 6 y
7 muestran dos versiones del diseño general/ texto. La versión en la Figura 6 es el
original; la versión en la figura 7 es una que produjimos. Comparando las dos se ve
cómo la disposición puede realizarse a través del diseño. La versión original da
cuenta de una nueva estructura con la escritura como dada y la imagen como nueva.
La relevancia está implícita colocando primero un conjunto de complejos de signos
(es decir, en una dirección de lectura izquierda-derecha) otra después. Usando el
re-arreglo, transformamos el original para producir algo más cercano a una
estructura real-ideal (en una cultura semiótica donde la colocación es la base de un
marco visual que implica "lo real empírico" y la colocación en la parte superior
sugiere un "ideal"), mientras que se retienen los elementos de signo del original.
Ahora se realiza un arreglo diferente, con distintos complejos de signos que están
en primer plano. (Para estructuras ideal-reales y nuevas-dadas Véase Kress & van
Leeuwen, 2006)
El efecto de estos arreglos en las relaciones sociales pueden no ser reconocibles
de forma inmediata en este ejemplo, pero son también realizados a través del
diseño. Los ejemplos de las figuras 8 y 9 muestran esto cuidadosamente. Son
diferentes versiones del mismo libro de texto utilizado por diferentes “niveles de
habilidad” en la versión para el “niveles bajos” (Figura 8) el diseño es mas espaciado
comparado con el “denso” de la versión del “niveles más altos”. (Figura 9) El
espaciado es utilizado aquí como un significante de habilidad . Esto es, este uso de
diseño realiza una ideología de simplicidad de despliegue que es comparable a lo
que a menudo se dice de las fuentes sans serif: esto es que proveer menos
información es visto más adecuado por aquellos que se considera que tienen menor
capacidad para procesar información. Los mismos principios también aplican para
la imagen en movimiento y el habla. Los dos modos están a disposición del hacedor
escolar de páginas web. Ambos modos comparten ciertos recursos con su
contraparte gráfica, la imagen y la escritura, respectivamente. En términos de
recursos, lo que diferencia la imagen en movimiento de la imagen estática, es el
movimiento y lo que diferencia el habla de la escritura son las diferentes affordances
de sonido y de despliegue gráfico. La imagen en movimiento utiliza la selección no
para lo que la imagen estática lo hace sino, también en anticipación a las
limitaciones del tiempo, en comparación con la imagen estática. Es decir que la
imagen en movimiento es selectiva en relación con el movimiento; el movimiento de
moléculas, por ejemplo, tiene que ser bajado en velocidad para poder ser visible. El
habla esta amarrada a las mismas limitaciones de tiempo y así ambas son parciales
en cualquier momento. En los dos modos se establece un camino de la lectura por
el despliegue del material semiótico en el tiempo real. En la imagen en movimiento
el primer plano se puede realizar, por ejemplo, con aumento de luces y en el habla
mediante la entonación. En la imagen dinámica las relaciones sociales son creadas
mediante formas de interactividad, por ejemplo, se le da al estudiante control sobre
el arreglo y se le pide mover elementos para marcar en la casilla correcta. Este es
un affordance de la representación de la imagen. En el habla los posicionamientos
de las representaciones sociales pueden ser, por ejemplo, mediante la estructura
informacional dada, así como también, mediante la voz y el acento.

Perspectiva: Escritura, Representación, Ganancias y Pérdidas

Nos permitimos concluir con un breve enunciado de evaluación programática

asuntos, direcciones y desarrollos deseados que se derivan de nuestro enfoque.
Vemos, el marco de trabajo que hemos propuesto como general; vemos que sus
potencialidades conducen a la posibilidad de un marco de trabajo inclusivo
retórico/semiótico. Intentamos llevarlo a la articulación de un conjunto de principios
de la retórica de la comunicación multimodal, en todos los ambientes, con cualquier
forma de tecnología y todas las formas de mediación, en cualquier ambiente social.
El contexto del asunto de esta agenda es que hemos tratado de indicar las
implicaciones de la lectura dentro de los ambientes de la representación multimodal
y los impactos deseados de la tecnologías de la comunicación contemporáneos.
Hemos ejemplificado el enfoque con temas y materiales de los contextos
educativos, nuestro ambiente profesional. Creo que provee un marco de trabajo en
el cual las preguntas urgentes del ambiente pedagógico, ya sea de la enseñanza o
del aprendizaje, formal o informal, pueden ser dirigidos dentro de una teoría
abarcante, permitiendo que uno de los problemas más urgentes de la
contemporaneidad sea abordado. Entre estos contamos con temas como los
efectos de las características de los ambientes de aprendizaje; en los potenciales y
las posibilidades de aprendizaje; el asunto de la representación multimodal del
aprendizaje y el conocimiento, de igual manera, el asunto acuciante del desarrollo
de formas adecuadas de evaluación para representaciones en diferentes modos,
tratados como signos para aprender. El abordaje provee la integración de los
asuntos e interrogantes retóricos y pedagógicos sensibles a ambientes y
condiciones de aprendizaje, evaluación y calificación. Prácticamente debe conducir
a la articulación de los principios aplicables al desarrollo de materiales y ambientes
de aprendizaje. En un nivel semiótico y representacional el abordaje provee medios
para la comprensión de aspectos funcionales en la representación multimodal, tanto
en la producción como en el análisis, en la como carga funcional, en la
especialización funcional, en la diferenciación funcional, en la redistribución
funcional. Da cuenta de las relaciones entre las condiciones sociales y la
consideración de los potenciales de las affordances modales y mediales, o una
explicación de las affordances no utilizadas de modos y medias, lo cual puede no
ser aparente para los constructores de signos. Social, cultural y políticamente este
abordaje debe hacer posible conducir los debates sobre el impacto deseado de las
selecciones modales, de los cambios modales y de la escogencia modales que
están mejor fundamentadas teóricamente; que es el nivel presente de debate acerca
de las ideologías de la simplicidad, la habilidad y de los pánicos regulares alrededor
de la “decacencia” de la cultura en general. En breve, vemos las implicaciones de
la teoría de la representación al nivel más general, también en relación con asuntos
específicos disciplinarios y profesionales, que van desde lo general a los totalmente
prácticos.

Referencias