Revista ALED. Multimodalidad

Revista Lationamericana de Estudios del Discurso
Revista Latinoamericana de Estudos do Discurso

Adriana Bolvar
Martha Shiro
Universidad Central de Venezuela
Asociacin Latinoamericana de Estudios del Discurso

Associao Latinoamericana de Estudos do Discurso
ALED es arbitrada y est indizada en Revencyt y
Latindex. Se publica semestralmente bajo los auspicios de
la Asociacin Latinoamericana de Estudios del Discurso
editores de reseas
comit directivo
editoras
Srio Possenti, Universidade Estadual de Campinas,

Brasil
Irene Fonte, Universidad Autnoma Metropolitana,
Mxico
Neyla Graciela Pardo Abril

presidenta
Denize Elena Garcia da Silva
comit editorial
vicepresidenta
Paola Bentivoglio, Universidad Central de Venezuela
Teresa Oteza
Francisco Jos Bolet, Universidad Central de Venezuela

Julio Escamilla Morales, Universidad del Atlntico,
Colombia
Irene Fonte, Universidad Autnoma Metropolitana,
Mxico
secretaria general
Mara Cristina Azqueta

tesorera
Sara Prez
argentina
Wander Emediato de Souza
Mara Laura Pardo, Conicet, Ciafic, Argentina
brasil
Ingedore Villaa Koch, Universidad de Campinas,

Brasil
Sandra Soler
Marianne Peronard, Universidad Catlica de

Valparaso, Chile
Lsmer Montecino
Doris Martnez, Universidad de Puerto Rico, Ro

Piedras, Puerto Rico
Eva Salgado Andrade
colombia
chile
mxico
Irene Madfes, Universidad de la Repblica, Uruguay
Doris Martnez
Puerto Rico
asesores invitados
Irene Madfes
Carmen Rosa Caldas-Coulthard, Universidade de

Florianapolis, Brasil
uruguay
Teun van Dijk, Universidad de msterdam,

Holanda y Universidad Pompeu Fabra, Espaa
venezuela
Teresa Espar, Universidad de Los Andes, Venezuela
Teun van Dijk

Patrick Charaudeau
Lars Fant
Lars Fant, Universidad de Estocolmo, Suecia

Luisa Martn Rojo, Universidad Autnoma de
Madrid, Espaa
Jacob Mey, Universidad de Odense, Dinamarca
Wulf Oesterreicher, Universidad de Munich,
Alemania
Srio Possenti, Universidade Estadual de
Campinas, Brasil
Irayda Snchez, Universidad Pedaggica
Experimental Libertador, Venezuela
diseo grfico
Grafiweb Impresores y Publicistas

diagramacion
Odalis C. Vargas B.
Vanessa Courleander
socios honorarios
expresidentas de la aled
Adriana Bolvar (1995-2003)

Teresa Carb (2003-2005)
Anamara Harvey (2005-2009)
ilustracin de portada
Claudio Capellini. Acuarelas Barcelona 10, 2010.

Acuarela, 35 X 45 cms.
Versin electrnica en: http://www.aledportal.com
Direccin electrnica: revistaaled2004@yahoo.es
Depsito legal: 200102CS1090
ISSN 1317-7389
Volumen 12, n 1
Tiraje: 500 ejemplares
Impresin editorial:
Grafiweb Impresores y Publicistas
Impreso en Colombia
Revista Latinoamericana
de Estudios del Discurso
volumen
12
nmero
1 2012
NMERO MONOGRFICO
Sumario
Introduccin: Multimodalidad: de la teora a la prctica
Claudia Gabriela DAngelo 3
artculos
Discurso, imagem e texto verbal: uma perspectiva crtica

da multimodalidade
Denize Elena Garcia da Silva y Viviane Ramalho
Metodologia para elaborao de audiodescries para

museus baseada na semitica social e multimodalidade:
introduo terica e prtica
Clia M. Magalhes y Vera Lcia Santiago Arajo
31
Multimodalidad y estrategias discursivas: un abordaje metodolgico

Salvio Martn Menndez
57
Anlisis del discurso multimodal

Kay L. OHalloran. Traducido por Claudia Gabriela DAngelo
75
Exploraciones sobre la pobreza y el racismo en Colombia.

Estudio multimodal
Neyla Graciela Pardo Abril
99
reseas
Monika Bednarek y J.R. Martin (eds.). New Discourse on Language.

Functional Perspectives on Multimodality, Identity, and Affiliation
Reseado por Damin Alvarado
Gunther R. Kress. Multimodality: A Social Semiotic Approach to
Contemporary Communication
Reseado por Julin Ezquerra
119
124
ndice Acumulado 131
introduccin
Multimodalidad: de la teora a la prctica

Este nmero monogrfico agrupa trabajos de investigadores latinoamericanos que, movidos por sus propias bsquedas terico-metodolgicas e inspirados
por los recientes desarrollos en el rea del anlisis del discurso multimodal,
comenzaron a profundizar sus reflexiones, a vincular teoras, a adoptar y
readaptar criterios y perspectivas para realizar sus propios anlisis. A partir
del nmero 7(1) de la Revista ALED, el comit editorial decidi incorporar a
esta publicacin traducciones seleccionadas luego de una cuidadora evaluacin
editorial. En esa oportunidad, se public la versin en espaol de un captulo
de Shi-Xu, miembro del Centro Contemporneo de Estudios del Discurso de
la Universidad de Zhejiang, que nos invitaba, literalmente, a tomar contacto
con el paradigma de los estudios del discurso en China pero que, adems, poda
ser el punto de partida para reflexionar sobre las posiciones relativas de esos
paradigmas, sobre la circulacin de conocimientos, sobre lejanas geogrficas
y cercanas experienciales. En ese mismo volumen, se incluy la versin en
espaol del captulo de Kaltenbacher que formaba parte de un libro pionero
en el rea de los estudios multimodales Perspectives in Multimodality editado
por Ventola, Charles & Kaltenbacher (2004).
Los artculos que conforman este volumen monogrfico dan cuenta del
proceso de apertura de los estudios del discurso canalizado en la investigacin
de diversos corpus de discursos multimodales. A modo de punto de articulacin
con nuestros pares internacionales, hemos incorporado la versin en espaol
de un captulo de OHalloran (2011) que sintetiza su posicin terica para
luego desarrollar el anlisis de un segmento televisivo1. Este trabajo entra en
dilogo con la pequea muestra de las muchas investigaciones que se vienen
realizando en el rea del anlisis del discurso multimodal en Amrica Latina.
Si bien es cierto que la mayora de los estudios comparten los postulados de la
perspectiva sistmico-funcional, los trabajos aportan reflexiones tericas propias fruto del fluido intercambio acadmico regional y del estudio de nuestros
propios corpora, fenmenos multimodales que han surgido, que han ingresado,
circulan, se reproducen, participan y construyen la cognicin social en nuestros
contextos socio culturales inmediatos.
En todos los casos, las imgenes se reproducirn en blanco y negro en la versin impresa
de la revista, pero se podrn apreciar en sus formatos originales, en colores, en la versin
digital disponible en el portal de la ALED: http://www.aledportal.com/
12 (1)
En su trabajo, Garcia da Silva y Ramalho abordan el anlisis multimodal

desde la perspectiva del anlisis crtico del discurso (ACD). Tomando como
punto de partida la propuesta metodolgica de Kress & van Leeuwen (1996)
y las discusiones tericas de Marcuschi (2005, 2008) analizan tres textos multimodales que involucran a mujeres como participantes: un afiche publicitario
de correos, el cartel de un evento contra la violencia familiar y una fotografa
publicada en un peridico. Las autoras proponen, en un primer momento de
su trabajo, un vnculo triangular entre discurso, imagen y texto verbal para, en
un segundo momento, profundizar la discusin, pasar al anlisis del corpus y
las conclusiones finales. Consideran que su propuesta permite problematizar
potenciales efectos ideolgicos de (sentidos de) textos sobre las relaciones sociales, las acciones e interacciones, el conocimiento, las creencias y actitudes
as como tambin valores e identidades.
Magalhes y Santiago Arajo exploran los puntos de contacto y posibilidades de trabajo interdisciplinario entre el anlisis del discurso multimodal y
los estudios en el rea de la traduccin audiovisual, especficamente aplicada
a la accesibilidad comunicacional. En su trabajo, parten de una lectura de los
museos como espacios multimodales de produccin de significados y proponen
utilizar los resultados de su anlisis para redactar audio-guas que integren lo
verbal con lo visual y se constituyan en discursos que hagan que estos espacios
sean accesibles para personas con discapacidad visual. A partir de reconocer la
necesidad de desarrollar una interfase entre la semitica social, la traduccin
audiovisual y el anlisis multimodal trabajan con el objetivo de proponer una
metodologa para la elaboracin de audio-guas para museos, que se integren
a los criterios que se utilizan para las audiodescripciones propuestas desde la
perspectiva de la traduccin audiovisual as como tambin desde los modelos de
anlisis de las imgenes de OToole (1994) y de Kress & van Leeuwen (1996).
Atendiendo a la necesidad de contar con teoras, descripciones y metodologas especficas para el analizar los discursos multimodales, Menndez
realiza una profunda reflexin metodolgica y seala que el anlisis multimodal del discurso permite relevar la forma en que los sistemas se conforman y,
tambin, su finalidad. En su trabajo, de base sistmico-funcional (Halliday,
1978), analiza una imagen fija, un afiche cinematogrfico, y propone estudiar
las estrategias discursivas para mostrar que es la combinacin estratgica de
modos lo que pone de manifiesto las preponderancias y que las interpretaciones
se realizan, jerarquizan, complementan y orientan a partir, precisamente, de
esas combinaciones.
Finalmente, Pardo Abril integra categoras sobre la pobreza y los grupos
tnicos provenientes de distintas disciplinas para caracterizar los discursos contemporneos y sealar su papel en el reforzamiento del racismo, la desigualdad
y la exclusin social. Pardo Abril parte del supuesto de que los problemas estructurales de las sociedades se representan, debaten y reflexionan en los medios
de comunicacin y propone un Estudio Crtico del Discurso Multimodal

(ECDM) con el objetivo de relevar e interpretar los recursos simblicos y
tecnolgicos que utilizan los discursos que circulan en YouTube en relacin a
la pobreza y el racismo en la sociedad colombiana. Su propuesta metodolgica
incluye la utilizacin de los programas ELAN 3.6.0 y Toolbox para el proceso
descriptivo que le permitir desentraar el carcter hbrido y multimodal del
discurso, explorar las estrategias y recursos utilizados en la produccin de significados en el video documental Los nios de Hollywood, que circula por
YouTube y forma parte del corpus del proyecto Anlisis crtico del discurso:
representaciones mediticas de la pobreza.
En todos estos textos, se pone de manifiesto el reconocimiento a los trabajos
pioneros y, tambin, la bsqueda de repensarlos y, si es necesario, replantearlos,
reformularlos o realizar nuevas propuestas para contribuir al desarrollo de herramientas analticas que faciliten el pasaje de la teora a la prctica en el rea
del anlisis de los discursos multimodales.
Referencias bibliogrficas
Kress, G. & van Leeuwen, T. (1996). Reading Images: The Grammar of Visual
Design. London: New York: Routledge.
Halliday, M.A.K. (1978). El lenguaje como semitica social. Mxico: FCE.
Marcuschi, L. A. (2005). O papel da atividade discursiva no exerccio do controle
social, Cadernos de Linguagem e Sociedade (Papers on language and society)
7, 7-34.
Marcuschi, L. A. (2008). Produo textual, anlise de gneros e compreenso. So
Paulo: Parbola Editorial.
OHalloran, K. L. (2011). Multimodal Discourse Analysis, en K. K. Hyland y
B. Paltridge (eds). Companion to Discourse, pp. 120-137. London and New
York: Continuum.
OToole, M. (1994). The language of displayed art. Rutherford, Madison, Teaneck:
Fairleigh Dickinson University Press.
Ventola, E., Charles, C. & Kaltenbacher, M. (eds.) (2004). Perspectives on
Multimodality. Amsterdam: Benjamins.
Claudia Gabriela DAngelo

Coordinadora del monogrfico
ARTCULO
Discurso, imagem e texto verbal:

uma perspectiva crtica da multimodalidade
DENIZE ELENA GARCIA DA SILVA

VIVIANE RAMALHO
Universidade de Braslia
Resumen. Discutimos la multimodalidad desde la perspectivade los estudios crticos

del discurso desarrollados por Chouliaraki & Fairclough (1999) y Fairclough (2001,
2003a), dado que consideramos dicho fenmeno como un rasgo importante del discurso moderno. Con el apoyo de los marcos tericos y metodolgicos de la gramtica
visual de Kress y van Leeuwen (1996) y tambin las discusiones tericas de Marcuschi
(2005, 2008), hemos analizado tres textos multimodales (una publicidad de los correos
de Australia, el cartel de un evento en Portugal en contra de la violencia familiar y la
noticia con foto en un peridico brasileo) que involucran mujeres como participantes
representadas junto a otros actores sociales. Las categoras visuales como la perspectiva,
la modalidad, la estructura visual y el valor de la informacin, juntamente con las
categoras analticas de textos verbales, es decir, procesos de transitividad, estructuras
lingstico-discursivas y seleccin del lxico, condujeron nuestras reflexiones respecto
de la funcin de la semiosis y sus modalidades, tanto en cuanto apoyo o rechazo de
hegemonas como en el complejo de luchas de poder que involucran, a la vez, relaciones de gnero.
Palabras clave: discurso, imagen, texto verbal, interdiscursividad, multimodalidad,
intergenericidad.
Resumo. Discutimos a multimodalidade com base nos estudos crticos do discurso,
desenvolvidos por Chouliaraki & Fairclough (1999) e Fairclough (2001, 2003a),
visto que tambm consideramos o fenmeno como um trao relevante do discurso
moderno. Apoiadas em pressupostos terico-metodolgicos da Gramtica visual de
Kress e van Leeuwen (1996), assim como nas discusses tericas de Marcuschi (2005,
2008), analisamos trs textos multimodais (uma publicidade dos Correios australianos;
um cartaz de Portugal contra a violncia domstica; e uma manchete brasileira com
foto jornalstica), que configuram mulheres como participantes representadas junto a
outros atores sociais. Categorias visuais como perspectiva, modalidade, estrutura visual
e valor da informao, juntamente com categorias de anlise de textos verbais, tais
como processos de transitividade, estruturas lingustico-discursivas e seleo lexical,
conduziram reflexes sobre a funo da semiose e suas modalidades, seja na sustentao ou contestao de hegemonias, seja no complexo de lutas de poder, o que inclui
relaes de gnero social.
Palavras-chave: discurso, imagem, texto verbal, interdiscursividade, intergenericidade,
multimodalidade.
Recibido: 15 de marzo de 2012 Aceptado: 20 de julio de 2012.
ALED 12 (1), pp. 7-29
12 (1)
Abstract. We discuss multimodality following the perspective of critical discourse

studies developed by Chouliaraki & Fairclough (1999) and Fairclough (2001, 2003a)
as we regard it as an important feature of modern discourses. Within the theoretical
and methodological framework provided by visual grammar (Kress & van Leeuwen,
1996) and also the theories developed by Marcuschi (2005, 2008), we analyze three
multimodal texts: an advertisement of an Australian postal service, a poster of an event
against family violence in Portugal, and a journalistic text with photos in a Brazilian
journal. These texts involved women as participants presented next to other social actors. Visual categories such as perspective, modality, visual structure, and information
value, together with the analytic categories of verbal texts, that is, transitive processes,
linguistic-discursive structure, and lexical choices, lead our considerations regarding
the role of semiosis and its modes in supporting / rejecting hegemonies as well as in
the complex struggle for power which involves, at the same time, gender relationships.
Key words: discourse, image, verbal text, interdiscursivity, multimodality, intergenre.
Introduo
Entre as telas das prticas semitico-discursivas que se entrecruzam no
tecido heterogneo da vida social, objetivamos destacar, no contexto do presente estudo, trs fios que tecem o fenmeno da multimodalidade: discurso,
imagem e texto verbal. Como ocorre na linguagem verbal, imagens podem atuar
como forma de representao, como troca de experincia e como mensagem, o
que nos desafia a distinguir uma multimodalidade discursiva, sobretudo, pela
necessidade que temos de considerar, junto palavra escrita, outras formas de
semiose, que constituem uma constante nas instncias dos meios de comunicao do mundo atual.
Consideramos como multimodalidade discursiva a coexistncia de sistemas
de signos imagticos e recursos lingusticos grficos que integram um mesmo
espao textual, de modo a demandar operaes cognitivas complexas no corpo
da mensagem. O termo multimodalidade encontra-se associado a um construto
terico de base hallidayana, bastante produtivo nos estudos semiticos de Kress
& van Leeuwen (1996), direcionados para a gramtica do design visual, bem
como na proposta de anlise textual voltada para a pesquisa social, sugerida
por Fairclough (2003a) no mbito da Anlise de Discurso Crtica (ADC)1.
Trata-se de contribuies que nos incentivam a refletir sobre a integrao das
vrias formas simblicas de semiose, entre as quais destacamos o discurso. Isso,
porque a dimenso discursiva corresponde a um conceito mais amplo, uma vez
que abarca as duas modalidades da linguagem (oral e escrita) em combinao
com outras formas de semiose, tais como as imagens visuais, bem como a
comunicao no-verbal, conforme sugerem Chouliaraki e Fairclough (1999).
Podemos afirmar que, no mundo contemporneo, a maioria dos meios de
comunicao costuma-se valer da combinao de texto e imagem para persuadir
e at mesmo convencer o pblico em geral, sobretudo, no que concerne s
propagandas cotidianas, destinadas ao incentivo direcionado para a aquisio de
8
Elena Garcia Da Silva y Viviane Ramalho: Discurso, imagem e texto verbal: uma perspectiva crtica ...
bens de consumo. Mas resulta que, em situaes especficas, deparamo-nos com

a fora crescente da mdia quanto a aes de consolidar formas de representao e ideologias, de modo a imprimir um carter de veracidade, ou mesmo de
validade (seja de fatos, notcias ou de propagandas de produtos entre outros),
ao mesmo tempo em que costuma instaurar uma ordem simblica, mediante
aes retricas tipificadas na produo de sentidos (Silva e Ramalho, 2008).
Como registra Mozdzenski (2008: 22), com base nos estudos de Braga
(2004), em produes multimodais as possibilidades de construo de sentidos se ampliam, o que costuma repercutir em gneros como uma espcie
de sistemas de coero social, de acordo com Marcuschi (2005). Em poucas
palavras, consideramos que as aes retricas tipificadas podem ser reconhecidas
como modos recorrentes de atuar e de se relacionar com os outros e, o que
mais cabe destacar, sobre os outros, o que pode favorecer a projetos de ordem
social e de poder, como adverte Fairclough (2003a: 33).
Para conduzir essas reflexes, organizamos o artigo em quatro partes. Na
primeira, apresentamos uma verticalizao terica sobre a triangulao proposta:
discurso, imagem e texto verbal. Na segunda parte, tratamos de aprofundar
uma discusso sobre o tema da multimodalidade. E na terceira, dedicamo-nos
anlise dos dados selecionados para este estudo. Na ltima parte, tecemos as
consideraes finais.
1. Economia baseada em conhecimento e hibridismo semitico

Na esteira dos ensinamentos de Marcuschi (2005), bem como nos princpios terico-metodolgicos da Anlise de Discurso Crtica (ADC) e da Lingustica Sistmico-Funcional (LSF), comungamos a ideia de que o funcionamento
da lngua falada, ouvida e escrita, alm de constituir o mbito apropriado para se
estudar a interioridade da linguagem (gramtica), permite analisar, de maneira
crtica, a sua exterioridade (discurso). Nessa perspectiva, buscamos sondar o
funcionamento de operaes lingustico-discursivas no processo comunicativo
e, sobretudo, sua conexo com outros sistemas semiticos vigentes, historicamente situados (Silva, 2005, 2009).
Buscamos mostrar, neste estudo, que a mdia, enquanto instituio social,
no uma entidade que existe fora do discurso, uma vez que tanto as palavras
quanto as imagens veiculadas em vrios suportes posicionam os sujeitos envolvidos no processo de produo publicitria, alm de projetar representaes
sociais (Fairclough, 2003a; Halliday e Matthiessen, 2004). Um dos nossos
objetivos operacionais apontar a interdiscursividade e a intergenericidade
no contexto miditico como forma de controle social.
Na sociedade da informao (Castells, 2001; Chouliaraki & Fairclough,
1999; Hardt & Negri, 2004), a linguagem passou a ocupar papel central nas
produes econmicas e culturais. Para Fairclough (2003b: 188), a semiose
contribuiu para a reestruturao do capitalismo e sua organizao em nova
9
12 (1)
escala, facultada pelos avanos nas tecnologias da informao. Uma economia

baseada em conhecimento, conforme sugere o autor, implica uma economia
baseada no discurso: o conhecimento se produz, circula e consumido como
os discursos. Dessa forma, o discurso tem servido no s para organizar e
controlar prticas de produo internas (por exemplo, relaes interpessoais
em empresas), mas tambm para sustentar e legitimar globalmente o prprio
capitalismo tardio.
A concepo de linguagem como prtica social situa o foco da ADC nas
ordens do discurso. Explica Fairclough (2003a: 220) que uma ordem do discurso uma combinao ou configurao particular de gneros, discursos e estilos,
que constituem o aspecto discursivo da rede de prticas sociais.2 Conforme o
autor, a relao linguagem-sociedade dialtica, sendo que o discurso linguagem como prtica social tanto constitutivo de outros momentos do social
quanto constitudo por esses outros momentos, quais sejam: ao/interao,
mundo material, relaes sociais e pessoas (com suas crenas, valores, histrias).
Isso implica que discurso (em todos seus modos semiticos) um modo de
agir/interagir, uma prtica material, um modo de se relacionar socialmente e
um modo de formao de crenas, valores, desejos. Da mesma forma, ao/
interao, mundo material, relaes sociais e pessoas so partes constitutivas
do discurso (Ramalho, 2010a; Resende & Ramalho, 2006; Resende, 2009).
Exemplificamos essa questo com o caso do discurso da flexibilidade
apontado por Chouliaraki e Fairclough (1999), para os quais os meios de comunicao propagam uma representao particular da flexibilizao (inovao
tecnolgica, diversificao da produo, flexibilizao de funes e horrio
de trabalho etc.), como algo positivo, desejvel, ou seja, como uma espcie
de soluo para problemas econmicos. No entanto, essa apenas uma representao particular, que favorece um grupo particular e seu discurso, utilizado
como recurso simblico para sustentar hegemonias.
Como destacam Chouliaraki e Fairclough (1999: 4), uma importante
caracterstica das mudanas econmicas e culturais da modernidade tardia
que elas existem como discursos e tambm como processos que esto acontecendo fora do discurso, sendo que tais processos que esto acontecendo
fora do discurso so substantivamente formados por esses discursos.3 Nesse
cenrio, a ampla disponibilidade de informao no espao e no tempo implica maior alcance de discursos orientados para o controle de condutas
e prticas sociais (Fairclough, 2003a). As tecnologias de comunicao so
a base das transformaes econmicas e culturais, pois possibilitam a re-estruturao das relaes entre diferentes campos da vida social (mudanas
nas relaes entre poltica, educao, mundo da vida e economia) assim como
o re-escalonamento nas relaes entre diferentes escalas (local, globais) da
vida social. Tais mudanas sociais tm efeitos sobre mudanas discursivas e
vice-versa.
10
Uma primeira mudana sociodiscursiva a multimodalidade. Textos que

conjugam diferentes modalidades semiticas (fotografias, diagramas, cores,
desenhos, msicas, efeitos sonoros, vdeos) tornaram-se caractersticos da modernidade tardia, como sugerem Chouliaraki & Fairclough (1999: 12). Para
uma abordagem crtica, a multimodalidade tambm constitui potencial recurso
simblico para instaurao, sustentao de hegemonias, o que nos remete a
outro aspecto relevante das mudanas discursivas em curso: a mercantilizao
da linguagem.4 Como impacto da reorganizao espacial e temporal das relaes
sociais, mas, sobretudo, da fluidez de fronteiras entre o sistema instrumental
econmico e outros campos sociais no instrumentais, a semiose (linguagem
em sentido amplo, abarcando os diversos modos semiticos supracitados) vem
sofrendo um processo de mercantilizao. Isso diz respeito ao reconhecimento
da importncia da linguagem para a sustentao de hegemonias e seu uso racionalizado, ou seja, estrategicamente aplicado para maximizar os efeitos da
semiose segundo a lgica da mercadoria. Ainda de acordo com as explicaes
dos dois autores, o conceito de design, que amplamente aplicado a mercadorias
contemporneas, tambm se aplica semiose, que se torna a matria-prima de
produtos culturais semiticos, como as publicidades. Em poucas palavras,
sempre de acordo com os dois lingistas, publicidades anunciam mercadorias,
mas elas tambm podem ser consideradas como tipos de mercadoria que, por
sua vez, so produzidos pelas indstrias (sem chamins) do novo capitalismo.
A conscincia da centralidade da linguagem nas relaes de produo e
consumo no novo capitalismo tem impulsionado a mercantilizao da prpria semiose. E nesse contexto que encontramos a origem dos denominados
produtos culturais semiticos como as publicidades cada vez mais especializados e eficientes do ponto de vista dos efeitos almejados (Marshall, 2003;
Figueiredo 2009; Ramalho, 2009a, 2010b). A mercantilizao da linguagem
implica a difuso e a primazia da esttica, facultadas pelos diversos recursos
multimodais que circulam em nossas prticas sociais. Essas mudanas sociais
e discursivas configuram hibridismos semiticos caractersticos da modernidade tardia. Embora reconhea que o hibridismo seja inerente a todos os usos
sociais da linguagem, Fairclough (2003a) identifica o hibridismo como uma
caracterstica irredutvel do complexo discurso moderno.
2. Bases tericas da multimodalidade

De acordo com Kress e van Leeuwen (2001), todo discurso multmodal.
Como bem observa Pardo Abril (2008: 195), tal afirmao implica o reconhecimento do entrelace dos diversos formatos e sistemas de signos envolvidos
e atualizados (modos), recursos e mecanismos que tomam lugar no processo
comunicativo, de cuja articulao procede a comunicao.
Uma abordagem semitica social para a multimodalidade, baseada em
Halliday (1994), assume que todos os modos semiticos possuem recursos
11
12 (1)
especficos para realizar trs funes comunicativas bsicas: construir representaes da realidade (funo ideacional); estabelecer relaes sociais e interaes
(funo interpessoal); organizar combinaes de representaes e interaes
em tipos de conjuntos chamados textos ou eventos comunicativos (funo
textual). Na Gramtica do Design Visual, as metafunes ideacional, interpessoal e textual passam a ser denominadas por Kress & van Leeuwen (1996)
de significados representacionais, interativos e composicionais, respectivamente.
Trata-se de uma proposta que descreve modos culturalmente definidos de
como imagens se articulam em composies visuais. O design visual como representao, ligado funo ideacional, pode ser analisado segundo dois tipos
de estrutura: narrativa e conceitual. Estruturas visuais que representam aes,
eventos, processos de mudana, arranjos espaciais transitrios so narrativas.
O que caracteriza uma estrutura como narrativa a presena de um vetor,
uma linha imaginria, formada por corpos, braos, linha do olhar, instrumentos
em ao, dentre outros, que sugere aes, eventos. O tipo de vetor, a quantidade e os tipos de participantes envolvidos definem os processos narrativos
como: processos de ao, processos reacionais, processos verbais, processos
mentais e processos de converso. Nas estruturas conceituais, participantes no
desempenham aes, mas so representados em termos de classe, significao,
estrutura, ou seja, de seus traos e caractersticas essenciais. O modo como os
participantes se articulam no texto visual d origem a trs tipos de estruturas
conceituais: classificatrias, analticas e simblicas.
O design visual como troca de experincia, ligado a funo interpessoal
da linguagem, pode ser analisado com base nos tipos de contato visual, enquadramento, perspectiva e modalidade, por exemplo. Associadas a textos
verbais, ou mesmo sozinhas, imagens podem sugerir demandas em trocas de
atividade, ou ofertas em trocas de conhecimento/informao. Como explicam
os autores, na comunicao visual o tipo de interao depende da natureza do
contato visual estabelecido entre os participantes representados, isto , pessoas,
lugares, e coisas, que so o assunto da comunicao, e os participantes interativos, que participam da comunicao , ou seja, quem fala e ouve ou escreve e
l, produz as imagens ou as v, o que inclui os leitores ou viewers. Nos casos
em que participantes representados olham diretamente para o leitor, vetores
formados pela linha dos olhos conectam os primeiros ao segundo, ou seja, com
o leitor/viewer, enquanto participante interativo. Nessa configurao visual, o
participante representado, de quem o vetor (linha do olhar) emana, dirige-se
ao participante interativo e demanda algo dele.
Nos termos de Kress & van Leeuwen (1996: 122), ao usar a imagem
para realizar alguma coisa com o leitor/viewer, a mirada fixa do participante
representado (bem como seu gesto, se for o caso) demanda alguma coisa do
viewer, demanda que este entre em algum tipo de relao imaginria com ele
ou ela. 5 A troca estabelecida, nesse caso, de atividade. Por outro lado, nas
12
configuraes visuais em que o objeto do olhar no o leitor, mas, sim, o

participante representado, que observado pelo viewer, no h contato direto
entre os participantes representados e interativos. A troca de conhecimento,
por meio de ofertas, em que os participantes representados figuram como itens
de informao, objetos de contemplao, como veremos mais adiante.
O enquadramento tambm estabelece relaes especficas entre participantes representados (em fotos, por exemplo) e interativos, no caso, leitores.
Quanto menor a distncia entre os participantes, maior a aproximao entre
eles, ou seja, fechamento da diferena; quanto maior a distncia, menor a
proximidade entre os participantes, o que acentua diferenas entre um e
outro. A perspectiva, por sua vez, pode ser mais objetiva, mostrando tudo o
que existe na imagem, ou mais subjetiva, focalizando uma parte apenas da
imagem como, por exemplo, s o rosto em fotos. Desse modo, tambm so
estabelecidas diferentes relaes de poder entre participantes: a perspectiva
vertical acentua as diferenas, enquanto a perspectiva horizontal diminui as
diferenas, criando simetria, empatia entre os participantes representados e
os participantes interativos.
A modalidade tambm um indicador de alta ou baixa afinidade entre
os participantes representados e interativos. Nas imagens, podemos analisar
marcadores de modalidade como cores (saturao, diferenciao), detalhamento, bem como tipos de contextualizao: modalidade abstrata, comum
em textos cientficos; modalidade naturalstica, mais prxima do real; modalidade tecnolgica, como dos grficos, e modalidade sensorial, em imagens
que causam efeito de prazer ou desprazer no leitor.
Do ponto de vista da imagem como troca de experincia, temos a oferta
de informao, ou seja, o/a leitor/a interativo/a no recebe uma demanda
explcita, no entanto pode elabor-la. A troca de informao constitui um
trao discursivo que pode ser associado ao mundo da vida, em que, em princpio, predomina a ao comunicativa, orientada mais para a compreenso
do que para fins estratgicos (Habermas, 2002). Outro trao associado vida
privada pode ser apontado na modalidade sensorial, utilizada para construir
o contexto de aconchego, potencialmente capaz de gerar sensao de prazer
no/a leitor/a da publicidade. Esse tipo de modalidade estabelece alta afinidade
e aproximao entre participantes representados e participantes interativos
os/as leitores, neste caso.
Por fim, o design visual como mensagem, ligado funo textual, pode
ser analisado segundo o valor da informao, salincia e moldura. O valor
da informao refere-se localizao dos elementos visuais nas diversas zonas
da composio imagtica esquerda e direita, superior e inferior, centro e
margem , que lhes confere valores de informao especficos. A localizao da
informao direita ou esquerda, na leitura ocidental, tem valores distintos
de significao. Os elementos posicionados esquerda so representados como
13
12 (1)
dado, isto , como informao j conhecida pelo leitor. Equivale ao rema

da linguagem verbal. Os elementos posicionados direita, por seu turno,
so representados como novo, o que no conhecido pelo leitor e para o
qual se deve dar mais ateno. Corresponde ao tema da linguagem verbal.
Da mesma forma, a localizao na parte superior da composio visual
confere o valor de informao ideal, aquilo a que se aspira. Por outro lado,
a localizao na parte inferior confere o valor de informao real, aquilo que
h de mais concreto, realista. Por fim, a disposio dos elementos visuais no
centro confere a eles a condio de ncleo da informao, ao que os demais
elementos, posicionados margem, esto sujeitados. A salincia refere-se
diferenciao de um elemento participante com os demais (tamanho, cores,
contrastes, etc). A moldura, por sua vez, separa elementos da composio e
indica se eles pertencem ou no a um ncleo informativo, e isso feito por
meio de margens, linhas divisrias.
Na perspectiva crtica da ADC, todos esses aspectos semiticos devem
ser estudados luz de questes sociais, tendo em vista o hibridismo entre
ordens de discurso (a faceta discursiva de redes de prticas sociais) em disputas
mais amplas de poder. Por isso, a anlise discursiva contempla as complexas
intersees de diferentes formas e tipos de discurso, e inclui anlise interdiscursiva, isto , anlise das maneiras como diferentes ordens do discurso
so articuladas, combinadas, excludas, no complexo de lutas hegemnicas.
Esse tipo de anlise permite problematizar potenciais efeitos ideolgicos de
(sentidos de) textos sobre relaes sociais, aes e interaes, conhecimentos,
crenas, atitudes, bem como valores e identidades.
3. Momentos analticos
O fenmeno da multimodalidade resulta da integrao funcional de
recursos lingustico-discursivos e recursos visuais com vistas ao alcance de
sentido(s) entre participantes representados e interativos. Sempre voltado
para situaes de interao, esse entrelaamento de palavra e imagem costuma
gerar novas formas de representao e, o que mais cabe destacar, permite-nos
identificar a interseo de gneros textuais, bem como discursos impregnados
de sentidos mltiplos.
Nesta seo, procuramos colocar em prtica as bases tericas discutidas
anteriormente. Para tanto, utilizaremos trs imagens (todas com participantes
mulheres em diferentes representaes imagticas) para exemplificar possveis
abordagens crticas da multimodalidade, o que implica buscarmos ultrapassar
a mera descrio da composio das imagens e avanarmos rumo reflexo
crtica sobre o papel das imagens combinadas com palavras na constituio
de nossas relaes sociais, de nossas identidades e representaes sociais (Silva
& Pardo Abril, 2010).
14
3.1. Leitura
integrada de material visual e texto verbal: uma estrutura
de superfcie iconicamente motivada
A primeira imagem combinada com texto verbal, selecionada para anlise, constitui uma pea publicitria criada por M&C Saatchi, Melbourne
para o Australia Post.6
Texto 1 Publicidade dos Correios australianos
Fonte: (http://www.adpunch.org/entry/australia-post-if-you-really-want-to-touch-someone-send-them-a-letter/)
Observemos, no caso acima, a plasticidade e dinamicidade com que o

gnero carta pessoal trabalhado de maneira icnica aguando a modalidade
sensorial, com o propsito de evocar efeito de prazer, bem como despertar
sensao de aconchego, no/a leitor/a. Trata-se de uma pea publicitria que
integra um texto que, alm de ativar os sentidos do/da leitor/a, por meio de
uma modalidade sensorial, configura um evento comunicativo que constitui
o prprio lugar da interao, conforme Koch (2006: 22).
15
12 (1)
Podemos afirmar que estamos diante de uma construo inter-modal

de sentidos, o que muito recorrente na publicidade.7 A propsito,
Marcuschi (2008: 167) comenta que a publicidade opera de maneira
particularmente produtiva na subverso da ordem instituida para chamar
a ateno do produto. O texto em anlise opera nesse sentido, uma vez
que praticamente encobre ou dissimula (Thompson, 2002) a finalidade
comercial, bem como o que feito por meio da articulao de elementos
semiticos que remetem vida privada.
Entre os caminhos para uma reflexo analtica, destaca-se na atualidade
uma variedade de ofertas de produtos no contexto da propaganda, cujas
imagens verbais e no-verbais costumam ser deslocadas de seus padres,
tanto formais quanto funcionais, assim como dos tipos e dos gneros textuais esperados. Trata-se, aqui, do que Marcuschi (2008: 167) sugere como
intergenericidade, ou seja, um gnero com a funo de outro.
Os especializados processos estticos de hibridizao semitica abarcam no s a mescla de modos semiticos, mas tambm a articulao de
diferentes ordens de discurso, isto , de gneros, discursos e estilos associados, em princpio, a distintos campos sociais, tais como o gnero carta
pessoal essencialmente caracterstico da ordem do discurso interpessoal,
do mundo da vida e o gnero publicidade associado ordem do discurso
publicitrio, do sistema da economia. A aproximao e o rompimento de
fronteiras entre esses dois campos e suas respectivas ordens do discurso
no s sinalizam o uso especializado da semiose para obter fins estratgicos
como tambm revelam a materializao textual desse hibridismo presente
em outros momentos das prticas sociais: nas relaes sociais, nas identidades, nas representaes sociais, nas formas de ao/interao, organizadas
segundo a lgica da mercadoria.
No que diz respeito composio visual, ao design como representao,
identificamos uma estrutura visual narrativa, em que predomina a representao de um processo de ao bidirecional. A carta (o fundo com apelo
sensorial) metaforicamente personificada na imagem de um homem jovem
que abraa suavemente a jovem mulher, potencial usuria/consumidora dos
servios dos Correios (Lakoff & Johnson, 2002).
Na imagem em questo, a bidirecionalidade da ao reveste-se de
valor ideolgico, na medida em que refora o conceito de carta como
uma troca ntima e pessoal. Tal significao transferida para a prpria
entidade Correios da Austrlia, conferindo-lhe qualidades associadas ao
campo simblico da proximidade, da afetividade e, inclusive, da competncia, entre outros.
N
o que diz respeito imagem como mensagem, temos, acima, o ideal, ou seja, aquilo a que se aspira a aproximao fsica entre a mulher
(potencial usuria dos servios dos Correios) e o destinatrio da carta ,
16
bem como o real, aquilo que h de mais concreto e realista, na ordem

explcita direcionada ao/ leitor/a. Em termos de recursos interativos,
podemos apontar tambm o que se denomina modalidade boultica ou
boulemaica, uma vez que a imagem do abrao, reforada pela mensagem
escrita, sugere o que necessrio ou possvel com relao aos desejos de
algum (Palmer, 1986; Lunguinho, 2010: 122). Trata-se, na realidade, de
um recurso lingustico-discursivo enfatizando o sentido da imagem visual
que, ao mesmo tempo refora o sentido da mensagem como um todo.
Em portugus, como no ingls, uma dos recursos lingusticos de modalidade pode aparecer configurado em uma orao condicional, tal como
a mensagem da propaganda acima: Se voc realmente quer tocar algum,
envie-lhe uma carta (If you really want to touch someone, send them a letter). Destacamos, nesse caso, uma modalidade epistmica, voltada para o
domnio das possibilidades e necessidades. Ainda em termos de categoria
lingustica, podemos identificar tambm uma modalidade telealgica,
visto que o complexo oracional est orientado para um alvo (usurios/as
do correio).
Observe-se que, nessa pequena mensagem escrita, a forma verbal [tocar]
revestida de duplo sentido: funciona tanto como processo material, voltado
para o mundo fsico (do fazer), quanto como processo mental, pertinente
ao mundo da conscincia (do sentir). De acordo com Marcuschi (2008:
30), um texto constitui o resultado de operaes comunicativas. Trata-se
de operaes comunicativas que permitem inferir essa dualidade entre o
mundo fsico real, e a conscincia, o ideal, como tambm entre a vida
privada idealizada e as relaes de consumo de mercadorias e servios que
hoje parecem ser a base da felicidade (Bauman, 2001; Canclini, 2006).
Com base nos estudos de Silva (2001), podemos identificar no Texto
1, em termos de relao entre imagem e palavra, uma espcie de repetio
complexa de natureza parafrstica. Uma parfrase envolve sempre variao
na forma, mas com manuteno ou equivalncia de sentido. Observe-se
que a pea em anlise estampa uma estrutura de superfcie iconicamente
motivada, que funciona como uma espcie de martiz (M), enquanto a
orao condicional funciona como elemento repetido (R), o que imprime
nfase mensagem transmitida. Isso refora o propsito da propaganda
que, no caso, envolver e, sobretudo, persuadir o/a leitor/a a utilizar os
servios dos correios da Austrlia.
Ainda sobre a organizao da imagem como mensagem, preciso observar a salincia conferida consumidora (em potencial) por meio de cores e
pelo contraste com a carta em preto e branco. Em termos acionais e representacionais, destaca-se, nessa pea publicitria, a interdiscursividade entre
o discurso do mundo da vida e do sistema econmico, o que inclui a intergenericidade entre carta pessoal e publicidade. Tal hibridizao discursiva
17
12 (1)
obscurece relaes assimtricas de poder entre leitor/a e consumidor/a,

por dissimular a troca de atividades, ou seja, ocultar, mascarar a demanda
para comprar/utilizar um servio. Pesquisas do campo publicitrio tm
apontado a necessidade de alcanar o/a consumidor/a potencial cada vez
mais alfabetizado em publicidade (Sampaio, 2003). Se a ordem tende
a ser rejeitada, a oferta de informaes pode receber menos rejeio do
pblico-alvo.
Em termos identificacionais, possvel observar a construo de uma
determinada identidade para o gnero mulher, cuja felicidade e plenitude se
associariam existncia de um parceiro masculino e da qual deveria partir
a iniciativa da aproximao fsica, muito embora o jovem seja representado
na imagem como ator da ao de abraar, e a jovem, como meta, quem
recebe o abrao. Conforme Lakoff & Johnson (2002) e Eco (1997), temos
na publicidade uma representao metafrica tpica de anncios: a relao
metonmica de parte pelo todo.
Nessa perspectiva, a jovem (parte) apresentada como representante de
sua classe ou categoria, isto , de todas as jovens que podem/devem enviar
cartas aos namorados (todo). O sentido que se constri o de que se a
jovem do anncio, um modelo a se copiar, feliz porque usa os servios
dos Correios, a leitora potencial, assim como todas mulheres representadas
pela jovem, tambm pode alcanar a felicidade pelo consumo dos servios
dos Correios. Tais sentidos podem ser vistos como estratgia ideolgica de
unificao, por construrem simbolicamente uma forma de unidade que
interliga indivduos numa identidade coletiva, qual seja, a da mulher cuja
felicidade est associada existncia de um parceiro e ao consumo de bens
e servios (Thompson, 2002; Ramalho, 2009b).
3.2. Representao narrativa com processo reacional
Alm dos processos acionais, Kress e van Leeuwen (1996) sugerem, na
anlise com base na gramtica visual, alguns componentes especficos que
envolvem outros tipos de processos e participantes. Os processos reacionais
so constitudos por vetores formados pela linha do olhar. Nesse caso, ao invs
de ator, existe um reator (aquele/a que olha) e, em lugar de uma meta, ocorre
um fenmeno (aquele/a que olhado/a). O texto multimodal apresentado a
seguir permite-nos uma anlise nesses termos.
18
Texto 2 Cartaz de evento contra a violncia
Fonte: Anncio de um evento/campanha em Portugal (2008)
Cabe, aqui, ressaltar que o reator configura o participante que concretiza

a ao de mirar (algo ou algum), enquanto o/a participante figura como
algum que reage ao olhar, mais do que aquele/a que executa uma ao. Uma
observao a mais se faz necessria. Parece que a potencialidade ideolgica
desse tipo de processo reside na forma como, a partir dele, relaes de poder
simblico podem ser estabelecidas.
De incio, a imagem nos permite abrir mais uma discusso analtica mesclando as ideias de Marcuschi, com as trilhas metodolgicas de anlise nos
parmetros da gramtica visual de Kress e van Leeuwen. Sugere Marcuschi
(2005: 17) que sano e recompensa so dois aspectos que mostram como os
gneros so socialmente legitimados. No texto como representao, temos uma
estrutura visual narrativa em que predomina a representao de um processo
reacional bidirecional. A imagem representa um desafio bidirecional, o que
pode ser identificado pelos vetores, que marcamos com uma seta (amarela)
para destacar a direo do olhar recproco dos atores.
A imagem associada palavra remete-nos a um esquema cognitivo complexo, uma vez que se tem um gnero textual (anncio de um evento) ilustrado
com um cena domstica que, embora apresentada fora do enquadre comum,
19
12 (1)
traz uma intertextualidade com um ditado popular Em briga de marido e

mulher ningum mete a colher. Trata-se de uma lexia memorizada, colhida
no bero da oralidade, que nos remete a uma categoria culturalmente reconhecida em qualquer tempo e em qualquer lugar, caracterstica do complexo
discurso moderno, conforme Fairclough (2003a). Mas, resulta que, de acordo
com Marcuschi (2005: 18), nosso conhecimento de gnero no se atrela to
somente a formas lingusticas, pois quando aprendemos um gnero, na realidade, aprendemos o que Miller (1984) denomina uma forma de ao social,
como tambm o que, no dizer de Wittgenstein, pode ser apontado como uma
forma de vida. A ao social privada, bem como sua ordem do discurso, so
articuladas em um texto publicitrio, como ocorre no Texto 1, mas, aqui, em
um anncio de apelo contra a violncia domstica.
Podemos aproximar o efeito legitimador dos ditados populares com o
efeito de piadas, por exemplo. Conforme Thompson (2002), uma das
estratgicas tpicas de construo simblica, voltadas para legitimar relaes de
dominao, a narrativizao, ou seja, a reproduo de histrias, no curso
de nossas vidas cotidianas, que legitimam relaes de dominao com base
no apelo a tradies e costumes, por exemplo. Podemos ver o ditado popular
Em briga de marido e mulher ningum mete a colher como uma dessas
representaes sociais que legitimam e autorizam a violncia domstica,
atribuindo-lhe a condio de um problema particular, pertencente esfera
privada da vida social.
O texto verbal do cartaz subverte, portanto, essa legitimao. Aqui, o
efeito de sentido criativo e transformador, voltado para questionar consensos
e apontar mudanas possveis em relaes assimtricas de gnero social. Na
imagem, a mulher reage imposio do homem, representado como mais
alto e saliente. Ao contrrio da imagem reconfortante anterior, o Texto 2
representa um cenrio conflituoso, construdo com base na representao
reacional bidirecional, mas tambm em outros aspectos.
No que concerne imagem como troca de experincia, temos novamente
oferta de informao, em que os participantes so representados como itens de
informao ao/ leitor/a, que sinalizam para uma realidade possvel nas questes
de gnero social. A perspectiva, por sua vez, mais subjetiva do que objetiva,
pois focaliza apenas uma parte da imagem, enfatizando o olhar desafiador entre
os participantes, representados a uma distncia mdia do/a leitor/a, o que cria
distncia e acentua diferenas de poder.
Por fim, no cartaz como mensagem, temos a pergunta inquietadora Meto
a colher!? no espao do ideal, a qual, conjugada com a imagem, contribui
para criar o contexto de conflito e instabilidade. A representao da colher
no centro da imagem ncleo da informao tambm corrobora o efeito de
sentido de ruptura de prticas naturalizadas. Em termos acionais e representacionais, o cartaz, a exemplo do Texto 1, tambm articula elementos do privado e
20
do pblico, mas, ao contrrio do primeiro texto, problematiza consensos sociais

relacionados a questes de gnero social. Assim, em termos identificacionais,
constri uma identidade desafiadora para a mulher, que enfrenta preconceitos e busca mudanas. Este tipo de discurso contestatrio tambm est em
consonncia com as preocupaes crticas da ADC, que concebe discursos de
resistncia como recursos para superar relaes assimtricas de poder, criando
novas hegemonias. Tal qual a jovem do Texto 1, a mulher do Texto 2 tambm
identificada metonimicamente, mas como a parte representante de todas as
mulheres que podem/devem reagir violncia domstica.
3.3. Representao narrativa: nem sanso, nem recompensa, apenas disputa
A foto apresentada a seguir sugere, em princpio, a e
xistncia de proximidade no contato, apesar da distncia evidenciada pelos lugares ocupados,
ento, por cada um dos atores no cenrio poltico brasileiro. A posio de
ambos mostra um processo acional que pode ser interpretado como um
desafio bidirecional. Vejamos.
Texto 3 Candidatos Dilma e Serra
Em horrio eleitoral, Dilma ter dez minutos e Serra sete
A candidata do Lula ter trs minutos de vantagem no horrio eleitoral

Fonte: Tribuna dos Municpios, Ed. 718, p.3 Estado do Rio de Janeiro, 13 de agosto de 2010
A imagem remete-nos a uma associao de ideias que se coaduna com

um contexto de situao recente no cenrio brasileiro (disputa poltica entre dois presidenciveis). A posio corporal e a linha dos olhares cruzados
marcam um paralelismo por contraste, o que pode ser identificado entre o
plano inferior da foto e o superior: nas mos relaxadas e nos semblantes em
alerta dos dois atores polticos, no caso, Dilma Roussef (eleita Presidenta do
Brasil) e Jos Serra.
21
12 (1)
Quanto ao significado representacional (metafuno ideacional), pode-se apontar o predomnio de uma estrutura narrativa marcada pela reao
transacional explicitada na foto, tanto na mirada cruzada, evidenciada na
linha vetorial dos olhos (processo bidirecional), quanto na aproximao
fsica. A imagem em questo permite interpretar nos olhares cruzados
dos dois atores (em plena campanha em agosto de 2010) uma atitude de
demanda no mbito do significado interpessoal (metafuno interpessoal), evocando pendores atitudinais de alerta e de desconfiana por parte
de Dilma e Serra, embora a curvatura corporal de ambos implique uma
espcie de mitigao de atitudes. Quanto contextualizao, podemos
apontar uma modalidade naturalstica, mais prxima do real, mas em
perspectiva subjetiva, focalizando apenas uma parte da imagem, e no o
cenrio como um todo.
No nvel do significado composicional (metafuno textual), no que
concerne ao valor de informao, tem-se o dado a disputa de dois candidatos e o novo a imagem de uma aparente polidez recporoca. Em termos
de enquadramento, pode-se apontar o modo de informalidade com que os
atores sociais foram flagrados fora dos holofotes.
Por outro lado, a foto jornalstica dos candidatos destaca uma perspectiva horizontal, o que diminuiria a diferena entre os dois (at ento
presidenciveis) e favoreceria a ideia de simetria entre ambos, como tambm
entre os candidatos e o/a leitor/a. Mas se levamos em conta o momento
histrico-poltico, bem como o contedo das frases prximas fotografia,
podemos afirmar que o texto multimodal sugere interpretaes ao leitor
(viewer), ao mesmo tempo em que chama a ateno para uma cena que
sugere um contraste do tipo: prximo x distante.
Entre os elementos mais salientes que definem o caminho dessa leitura
analtica, destacam-se o olhar e a curvatura do corpo. Pode-se apontar um
tipo de troca oferta, ainda que o objeto do olhar no seja um leitor, mas,
sim, o participante representado, que observado pelo viewer. Deve-se
ressaltar que no h contato direto entre os participantes representados e
interativos. Trata-se de uma troca de conhecimento, por meio de ofertas,
em que os participantes representados figuram como itens de informao
direcionados a leitores/ras.
Eis, aqui, o poder do jornalismo de construir realidades, bem como
as identidades dos candidatos e, o que mais caberia observar, o relativo
poder de controlar decises de carter pblico, por meio de processos de
sugerncia psquica. No caso da manchete Em horrio eleitoral, Dilma
ter dez minutos e Serra sete que encabea a pgina do jornal, bem como
do lide A candidata do Lula ter trs minutos de vantagem no horrio eleitoral disposto abaixo da foto dos dois candidatos, tem-se dois segmentos
lingsticos que, constituindo duas oraes identificativas, sugerem uma
22
relao de simbolizao entre identificados (Dilma, Serra e a candidata do

Lula) e os respectivos identificadores depois do processo relacional (ter),
dos componentes do prprio processo (Dilma e Serra), bem dos elementos
circunstanciais de tempo (sete e dez minutos). Por outro lado, devemos
chamar a ateno para o segmento lingustico no horrio eleitoral. Mais
que funcionar como um circunstancial temporal, a locuo adverbial aparece
repetida em posies estratgicas nos dois enunciados que acompanham a
foto estampada na primeira pgina do suporte (Tribuna da Imprensa). Em
estudos anteriores sobre o fenmeno da repetio em textos orais e escritos,
Silva (2001) aponta o enquadramento como um dos traos funcionais da
repetio de formas lingusticas que atuam no domnio da conexo. Resulta
que esse fenmeno pode ser identificado tambm no texto multimodal em
anlise, uma vez que a locuo adverbial de tempo, que aparece duas vezes
(em horrio eleitoral/ no horrio eleitoral), funciona como uma espcie de
moldura que, alm de delimitar a foto, configura um comentrio jornalstico
de pendor atitudinal, sobretudo, somado a uma expresso nominal (a
candidata de Lula), que funciona como um ndice avaliativo.
A construo inter-modal de sentidos sugere que no Texto 3, diferentemente do Texto 2 apesar da mesma estrutura narrativa reacional
bidirecional, a posio desafiadora atribuda mulher no avaliada
positivamente pelo jornal. A representao dos participantes como itens
de informao, a perspectiva subjetiva da foto na horizontal, fechando diferenas entre o que noticiado e o/a leitor/a do jornal so elementos que
ajudam a construir uma realidade parcial para o/a leitor/a. Uma representao em que o conflito tem como figura central a mulher, no aquela
representada positivamente como quem rompe com preconceitos, mas, ao
que tudo indica, aquela, representada negativamente, que tenta ocupar
posies e desempenhar funes inerentes ao homem. O texto verbal
fomenta essa construo de sentidos: o candidato homem representado
pelo sobrenome Serra, associado a tradio, ao passo que a candidata
representada apenas pelo primeiro nome Dilma, o que, de alguma forma,
no a distingue das demais Dilmas do Brasil. A seleo lexical na designao
A candidata do Lula tambm obscurece sua particularidade e capacidade de
governar o Brasil, associando a identidade de Dilma Roussef do Presidente
da Repblica poca, Luiz Incio Lula da Silva.
Essa anlise converge com algumas leituras da cobertura jornalstica
das eleies 2010 no Brasil, no s no que toca cobertura do jornalismo
impresso, mas tambm cobertura televisiva dos debates, por exemplo. A
transparncia das imagens, defendida pela grande mdia, foi questionada
no flagrante close-up no candidato Jos Serra no ltimo debate transmitido
pela Rede Globo (Ramalho, 2010c). Ilustramos com as seguintes imagens
(quadro 1) captadas dos ltimos segundos do debate, ocorrido em 29 de
out. 2010:
23
12 (1)
Quadro 1
Candidata Dilma Roussef
Candidato Jos Serra
130
150
200
Fonte: Youtube
O/a telespectador/a assistiu, nos ltimos segundos do debate, a uma

Dilma Roussef longnqua, distante, em perspectiva vertical, numa imagem de
distanciamento e assimetria de poder com o telespectador. Ressalte-se, ainda,
com a sombra do opositor ao fundo. Em outro extremo, naquele momento
em que os eleitores brasileiros j no teriam mais oportunidade de ouvir o que
pensam os candidatos que pleiteiam a presidncia da Repblica, nas palavras
de William Bonner, Serra enquadrado, durante todos os 30 segundos finais,
em close-up, com fundo azul, em ngulo frontal, favorecendo uma imagem de
proximidade, simetria, igualdade com o telespectador. Assim, no s oferecendo
informaes sobre sua proposta de programa de governo, como a candidata
Dilma Roussef fora representada, mas demandando, olho-no-olho, o voto do/a
telespectador/a (cf. Ramalho, 2010c).
24
Em termos acionais e representacionais, o Texto 3 constri uma realidade

de confronto entre a tradio e o rompimento, este avaliado mais negativa do
que positivamente. Em termos identificacionais, constri uma identidade desafiadora para a mulher, no entanto, mais como uma espcie de fora inimiga,
cuja existncia est associada a um homem, seja o adversrio Jos Serra ou at
mesmo o Presidente Lula, poca, seu companheiro de luta (Woodward, 2000).
Consideraes finais
Neste artigo, abordamos a multimodalidade coexistncia de diferentes
modos semiticos em textos desde uma perspectiva lingustica crtica, conjugada com estudos sociais crticos que concebem o hibridismo semitico como
uma caracterstica significativa do complexo discurso moderno. Na primeira
parte, apresentamos uma verticalizao terica sobre a triangulao discurso,
imagem e texto verbal, com base, sobretudo, em Marcuschi (2008), Chouliaraki
e Fairclough (1999), e Fairclough (2003a). Na segunda parte, aprofundamos
a discusso sobre o tema da multimodalidade apresentando princpios da
Gramtica visual, de Kress & van Leeuwen (1996), fundamentada na LSF. Na
terceira parte, analisamos, com base nos pressupostos tericos discutidos, trs
produtos culturais semiticos: uma publicidade dos Correios australianos,
de 2006 (Texto 1); um cartaz publicitrio de um evento contra a violncia
domstica, de Portugal, de 2008 (Texto 2), e uma foto, acompanhada de respectivos lide e manchete, do jornal brasileiro Tribuna dos Municpios, de 2010
(Texto 3). Tambm nos apoiamos em algumas imagens de um debate eleitoral,
captadas da TV brasileira, para discutir aspectos da interdiscursividade e da
intergenericidade no contexto miditico como forma de controle social.
Partindo do preceito dialtico de que o social materializado no discurso
e que o discurso tem efeitos ideolgicos sobre o social, ou seja, sobre relaes
sociais, aes/interaes, conhecimentos, crenas, atitudes, valores, identidades,
exploramos nos textos multimodais analisados sua potencialidade para construir
representaes sociais, sustentar ou desconstruir consensos, estabelecer relaes
mais ou menos assimtricas de poder e construir identidades femininas. A anlise do Texto 1 aponta para a interdiscursividade entre o discurso do mundo da
vida/privado e do sistema econmico/pblico, incluindo a intergenericidade,
como recurso esttico que pode obscurecer relaes assimtricas de poder
entre leitor/a-consumidor/a, por dissimular a troca de atividades, ou seja,
ocultar, mascarar a demanda para comprar/utilizar um servio. Ao mesmo
tempo, aponta a unificao de uma determinada identidade para a mulher,
cuja felicidade e plenitude se associariam necessariamente existncia de um
parceiro masculino que lhe d conforto. O Texto 2, por sua vez, apresenta
uma esttica menos conservadora. Tambm articula elementos do privado e do
pblico, mas, ao contrrio do primeiro texto, problematiza consensos sociais
relacionados a questes de gnero social. Assim, em termos identificacionais,
25
12 (1)
constri, positivamente, uma identidade desafiadora para a mulher, que enfrenta preconceitos e busca mudanas. A mulher do Texto 2 identificada
metonimicamente como a parte representante de todas as mulheres que podem/
devem reagir violncia domstica. No Texto 3, destaca-se a representao
multimodal de uma realidade de confronto entre a tradio e o novo cenrio
poltico brasileiro com uma potencial Presidenta da Repblica. O novo aqui,
a ruptura com o tradicional, parece ser avaliado negativamente, haja vista o
esforo da construo de uma identidade fragilizada para a candidata, seja
como inimiga da tradio poltica masculina, patriarcal, ou como submissa
ao Lula, Presidente poca.
guisa de concluso, gostaramos de destacar o seguinte: as anlises
interdiscursiva e interacional dos textos multimodais, realizadas desde uma
perspectiva crtica, indicam a possibilidade tanto de sentidos sustentarem
aes, representaes e identidades problemticas, ao gosto das instituies
do capitalismo tardio, quanto de questionarem criativamente tais problemas
sociodiscursivos. Trata-se, pois, de um dos objetivos da ADC: tecer explanaes
sobre efeitos causais, potenciais de sentidos de textos, no complexo de lutas
hegemnicas da modernidade tardia.
NOTAS
1 Mais que uma disciplina, a sigla ADC constitui a logomarca do Grupo de Estudos
de Anlise de Discurso Crtica, do qual formam parte as duas autoras em Braslia
(DF).
2 Trad. livre de: An order of discourse is a particular combination of genres, discourses
and styles which constitutes the discoursal aspect of a network of social practices.
3 Trad. livre de: an important characteristic of the economic, social and cultural
changes of late moderniy that they exist as discourse as well as processes that are
taking place outside discourse are substantively shaped by these discourses.
4 Trad. livre de: commodification of language .
5 Trad. livre de: the participants gaze (and gesture, if present) demands something
from the viewer, demands that the viewer enter into some kind of imaginary relation
with him or her.
6 As duas primeiras imagens aqui analisadas constituem parte do curso ministrado
por Denize
Elena G. da Silva, Flaviane Carvalho e Ins Conde

, dentro da 7
Oficina de Trabalho sobre Lingustica Sistmico-Funcional, na Faculdade de Letras da

Universidade de Lisboa (PT), em junho de 2009.
7 Ao discutir a noo de multimodalidade com base em Lemke (2002:305), registra
Mozdzenski (2008:81) que, em semioses multimodais, os leitores constroem um
sentido inter-modal, resultante da integrao das contribuies que o significado
(...) de cada uma das modalidades contribuintes traz para a rede ou para o conjunto
total de significados.
26
Referncias bibliogrficas
Bauman, Z. (2001). Modernidade lquida. Trad. Plnio Dentzien. Rio de Janeiro:
Jorge Zahar.
Braga, D.B. (2004). A comunicao interativa em ambiente hipermdia as vantagens da hipermodalidade para o aprendizado no meio digital, in L. A.
Marcuschi e A. C. Xavier (orgs.) Hipertexto e gneros digitais: novas formas
de construo do sentido, pp. 144-162. Rio de Janeiro: Lucerna.
Canclini, N.G. (2006). Consumidores e cidados: conflitos multiculturais da globalizao. Trad. Maurcio Santana Dias. Rio de Janeiro: UFRJ.
Castells, M. (2001). O poder da identidade. Trad. Klauss B. Gerhardt. So Paulo:
Paz e Terra.
Chouliaraki, L. & Fairclough, N. (1999). Discourse in late modernity: rethinking
Critical Discourse Analysis. Edingburgh: Edinburgh University.
Eco, U. (1997). A estrutura ausente: introduo pesquisa semiolgica. Trad. Prola
de Carvalho. So Paulo: Perspectiva.
Fairclough, N. (2001). Discurso e mudana social. Trad. (Org.) Izabel Magalhes.
Braslia: Universidade de Braslia.
Fairclough, N. (2003a). Analysing discourse: textual analysis for social research.
London; New York: Routledge.
Fairclough, N. (2003b). El anlisis crtico del discurso como mtodo para la
investigacin en ciencias sociales, in R. Wodak e M. Meyer (Comps.) Mtodos
de Anlisis Crtico del Discurso, pp. 179-203. Barcelona: Gedisa.
Figueiredo, D. (2009). Linguagem e gnero social: contribuies da Anlise Crtica do Discurso e da Lingustica Sistmico-Funcional, DELTA,25,732-753.
Habermas, J. (2002 [1985]). O discurso filosfico da modernidade. Trad. Luiz Srgio
Repa e Rodnei Nascimento. So Paulo: Martins Fontes.
Halliday, M. A. K. (1994). Introduction to Functional Grammar. London: Edward
Arnold.
Halliday, M. A. K. & Matthiessen, C. M. I. M. (2004). An Introduction to
Functional Grammar. London: Hodder Arnold.
Hardt, M. & Negri, A. (2004). Imprio. Trad. Berilo Vargas. Rio de Janeiro:
Record.
Kress, G. & van Leeuwen, T. (1996). Reading Images: The grammar of Visual
Design. London; New York: Routledge.
Kress, G. & van Leeuwen, T. (2001). Multimodal Discourse. The Modes and Media
of Contemporary Communication. Londres: Arnold.
Koch, I.V.G. (2006). Lingustica textual hoje: questes e perspectivas, in D.E.G
da Silva (org.) Lngua, gramtica e discurso, pp. 21-42. Goinia: Cnone
Editorial/ Grupo de Estudos de Linguagem do Centro-Oeste.
Lakoff, G. & Johnson, M. (2002). Metforas da vida cotidiana. Trad. (Coord.)
Mara Sophia Zanotto. Campinas: Mercado de Letras; So Paulo: Educ.
Lemke, J. L. (2002). Travels in hypermodality, Visual Communication, SAGE
Publications, 3, 299-325.
27
12 (1)
Lunguinho, M. V. (2010). Sobre a concordncia modal em portugus, Cadernos

de Linguagem e Sociedade (Papers on language and society) 11(2): 117-141.
Marcuschi, L. A. (2005). O papel da atividade discursiva no exerccio do controle
social, Cadernos de Linguagem e Sociedade (Papers on language and society)
7, 7-34.
Marcuschi, L. A. (2008). Produo textual, anlise de gneros e compreenso. So
Paulo: Parbola Editorial.
Marshall, L. (2003). O jornalismo na era da publicidade. So Paulo: Summus.
Miller, C. (1984). Genre as social action, Quarterly Journal of Speech, 70,151-167.
Mozdzenski, L. (2008). Multimodalidade e gnero textual: analisando criticamente
as cartilhas jurdicas. Apres. Angela Paiva Dionisio. Recife: Ed. Universitria
da UFPE.
Palmer, F. (1986). Mood and Modality. Cambridge: Cambridge University Press.
Pardo Abril, N. G. (2008). Qu nos dicen? Qu vemos? Qu es ... pobreza? Anlisis
crtico de los medios. Bogot: IECO/ Antiquus Editores.
Ramalho,V. (2009a). Magra sem pesar no bolso: discurso e ideologia na propaganda de medicamentos, in D.E.G., M.C.D. Leal e M.C.N. Pacheco
(Orgs.) Discurso em questo: representao, gnero, identidade, discriminao,
pp. 189-200. Goinia: Cnone.
Ramalho, V. (2009b). Anlise crtica da publicidade: um estudo sobre anncios
de medicamento. Cadernos de Linguagem e Sociedade, 10 ( 2): 152-182.
Ramalho, V. (2010a). Anlise de discurso crtica da publicidade: um estudo sobre a
promoo de medicamentos no Brasil. Portugal/Covilh: LabCom. Disponvel
em: http://www.livroslabcom.ubi.pt/sinopse/ramalho-analise-2010.html.
Ramalho, V. (2010b). Tecnologias discursivas na propaganda de medicamentos,
Discurso & Sociedad, 4, 507-537. Disponvel em: http://www.dissoc.org/
ediciones/v04n03/DS4%283%29Ramalho.pdf.
Ramalho, V. (2010c). Uma eleio construda por imagens, Observatrio da
Imprensa, 614, 02 nov. Disponvel em: http://www.observatoriodaimprensa.
com.br/artigos.asp?cod=614FDS003.
Resende, V. M. (2009). Anlise de discurso crtica e realismo crtico. Implicaes
interdisciplinares. Campinas: Pontes.
Resende, V. M. & Ramalho,V. (2006). Anlise de Discurso Crtica. So Paulo:
Contexto.
Sampaio, R. (2003). Propaganda de A a Z. Rio de Janeiro: Elsevier.
Silva, D.E.G. (2001). A repetio em narrativas de adolescentes: do oral ao escrito.
Braslia: Universidade de Braslia/Plano Editora/Oficina Editorial/ Instituto
de Letras-UnB.
Silva, D.E.G. (org.) (2005). Nas instncias do discurso: uma permeabilidade de
fronteiras. Braslia: Editora Universidade de Braslia/Oficina Editorial do
Instituto de Letras.
Silva, D.E.G. (2009). Representaes discursivas da pobreza e gramtica, DELTA. Documentao de Estudos em Lingustica Terica e Aplicada (PUC/SP),
v. 25, p. 721-731.
28
Silva, D.E.G. & Pardo Abril, N. G. (2010). Miradas cruzadas hacia la pobreza
desde una perspectiva crtica transdisciplinaria, Cadernos de Linguagem e
Sociedade, 11 (1): 66-90.
Silva, D.E.G. & Ramalho, V. (2008). Reflexes para uma abordagem crtica dos
gneros discursivos, ALED/Revista Latinoamericana de Estudios del Discurso,
8 (1): 19-40. Disponvel em: http://www.portalaled.com/es/reflex%C3%B5espara-uma-abordagem-r%C3%ADtica-dos-g%C3%AAneros-discursivos.
Thompson, J. B. (2002). Ideologiae cultura moderna: teoria social crtica na era dos
meios de comunicao de massa. Trad. (coord.) P. A. Guareschi. Petrpolis:
Vozes.
Woodward, K. (2000). Identidade e diferena: uma introduo terica e conceitual, in T. T. da SILVA, (Org.). Identidade e diferena: a perspectiva dos
estudos culturais, pp. 7-72. Petrpolis: Vozes.
Denize Elena Garcia Da Silva Professora e Pesquisadora Colaboradora na

Universidade de Braslia, onde atua na rea da Lingustica, com pesquisas voltadas para ADC e LSF. Mestra em Lingustica pela Universidade de Braslia (1991)
e Doutora em Lingustica Hispnica pela Universidad Nacional Autnoma de
Mxico (1996), realizou estgio ps-Doutoral (2009) na Faculdade de Letras
da Universidade de Lisboa (FLUL), com atividades de pesquisa junto ao
Instituto de Lingustica Terica e Computacional (ILTEC) de Portugal (2009).
fundadora do Grupo de Estudos de Linguagem do Centro-Oeste (GELCO)
e lder do Grupo Brasileiro de Estudos de Discurso, Pobreza e Identidades.
membro da Associao Latinoamericana de Estudos do Discurso/ALED.
Entre suas publicaes, destacam-se o livro, Percursos filolgicos: nas trilhas
das lnguas romnicas (2008) e a coletnea Discurso em questo: representao,
gnero, identidade e discriminao (2009), organizada em parceria com Leal e
Pacheco, com o apoio da FAPDF.
Correo electrnico: denizelena@gmail.com
Viviane Ramalho Doutora em Lingustica/Linguagem e Sociedade. Professora
adjunta da Universidade de Braslia (Instituto de Letras/Depto. de Lingustica,
Portugus e Lnguas Clssicas/Programa de Ps-Graduao em Lingustica) e
vice-coordenadora do Ncleo de Estudos de Linguagem e Sociedade da UnB
(CEAM/NELiS). Desenvolve pesquisas sobre educao e sade, com base na
Anlise de Discurso Crtica. membro da Associao Latinoamericana de
Estudos do Discurso/ALED. Publicou recentemente os livros Anlise de Discurso
Crtica (Resende, V. M. & Ramalho, V. So Paulo: Contexto, 2006); Anlise de
discurso crtica da publicidade: um estudo sobre a promoo de medicamentos no
Brasil (Covilh: LabCom, 2010) e Anlise de discurso (para a) crtica: o texto como
material de pesquisa (Ramalho, V. & Resende, V. M. Campinas: Pontes, 2011).
Correo electrnico: vivi@unb.br
29
ARTCULO
Metodologia para elaborao de audiodescries

para museus baseada na semitica social e
multimodalidade: introduo terica e prtica1
CLIA M. MAGALHES
Universidade Federal de Minas Gerais
VERA LCIA SANTIAGO ARAJO

Universidade Estadual do Cear
Resumen. Las recientes investigaciones en el rea de la traduccin audiovisual y la

accesibilidad se han concentrado en la necesidad de contar con audiodescripciones
(AD) en museos, especialmente para que las personas ciegas y con disminucin visual
puedan disfrutar de las exhibiciones de obras de arte tales como las pinturas (De
Coster & Mhleis, 2007; Holland, 2009). Los estudios multimodales han propuesto
leer los museos como espacios multimodales y producir textos que integren signos
visuales y verbales a fin de estimular la sensibilidad del pblico (Hofinger & Ventola,
2004; Ravelli, 2006). Lo primero no proporciona una metodologa sistemtica para la
lectura y escritura de obras de arte mientras que lo secundo no incluye a las personas
ciegas o con disminucin visual que visitan los museos. Este trabajo es parte de una
investigacin en curso que considera que la AD es una forma de traduccin intersemitica y que el audiodescriptor es un mediador en el proceso de transformar lo
visual al lenguaje verbal para que sea escuchado por una audiencia de personas ciegas.
Su objetivo es proporcionar una metodologa para la escritura de audiodescripciones
para redactar las audio guas de los museos apoyadas en la lectura multimodal de las
imgenes. Se basa, por un lado, en investigaciones previas sobre audiodescripciones
para museos y, por el otro, en estudios multimodales dirigidos a museos. El primer
paso de la metodologa propuesta combina una lectura basada en los recursos semiticos de la funcin modal (OToole, 1994) y el significado interaccional (Kress & van
Leeuwen, 1996) con criterio para la escritura de la AD (De Coster & Mhleis, 2007).
Este trabajo presenta el procedimiento metodolgico diseado a travs de la AD de
Las Meninas, de Diego Velzquez.
Palabras clave: traduccin audiovisual, audiodescripcin, multimodalidad en museos.
Resumo. A pesquisa recente em traduo audiovisual e acessibilidade tem enfocado a
necessidade de audiodescrio (AD) em museus, para que deficientes visuais apreciem
obras de artes tais como as pinturas (De Coster & Mhleis, 2007; Holland, 2009).
Os estudos em multimodalidade, por sua vez, tm proposto leituras de museus como
espaos multimodais e textos escritos em museus que integram signos verbais e visuais
para estimular a sensibilidade do pblico (Hofinger & Ventola, 2004; Ravelli, 2006).
Os trabalhos sobre AD no fornecem uma metodologia sistematizada para a leitura
e escrita de obras de arte, enquanto os estudos da multimodalidade no incluem os
deficientes visuais como parte do seu pblico. Este artigo reporta um trabalho em andamento que tem como objetivo preencher as lacunas apontadas. Toma-se a AD como
forma de traduo e o audiodescritor como mediador no processo de transformao da
Recibido: 15 de marzo de 2012 Aceptado: 22 de junio de 2012.
ALED 12 (1), pp. 31-55
31
12 (1)
linguagem das obras de arte em texto a ser ouvido por deficientes visuais. O objetivo
criar uma metodologia para a elaborao de roteiros de AD para deficientes visuais
com subsdios de leituras multimodais de pinturas, a serem usados em udio-guias de
museus. Tem-se como base pesquisas prvias em traduo audiovisual e audiodescrio em museus, por um lado, e estudos de multimodalidade em museus, por outro.
O primeiro passo da metodologia a combinao de critrios para a elaborao de
roteiros de AD com recursos semiticos da funo multimodal (OToole, 1994) e do
significado interativo (Kress & van Leeuwen, 1996). O artigo apresenta o primeiro
procedimento metodolgico proposto por meio da audiodescrio de Las Meninas,
de Diego Velazquez.
Palavras-chave: traduo audiovisual, audiodescrio, multimodalidade em museus.
Abstract. Recent research in audiovisual translation and accessibility has focused on
the need of audiodescriptions (AD) in museums, especially for the appreciation of
displayed art such as paintings by the blind and the visually impaired (De Coster &
Mhleis, 2007; Holland, 2009). Studies in multimodality have proposed readings of
museums as multimodal spaces and the writing of museum texts which integrate verbal
and visual signs in order to stimulate the audiences sensibility (Hfinger & Ventola,
2004; Ravelli, 2006). The former does not provide a systematic methodology for the
reading and writing of art works whilst the latter does not include the blind and the
visually impaired in museum audiences. This paper reports on an ongoing work which
takes AD as a form of intersemiotic translation and the audiodescriber as a mediator
in the process of transforming visual into verbal language to be listened to by a blind
audience. It aims at a methodology for the writing of audiodescriptions to be used in
museum audio guides with the support of multimodal readings of images in museums.
It is based on previous research on audiodescription for museums, on the one hand,
and on previous research on multimodality studies addressed to museums, on the other.
The first steps in the methodology proposed combine a reading based on the semiotic
resources of the modal function (OToole, 1994) and the interactive meaning (Kress
& van Leeuwen, 1996) with criteria for AD writing (De Coster & Mhleis, 2007).
The paper will present the methodological procedure designed through an AD of Las
Meninas, by Diego Velazquez.
Key words: audiovisual translation, audiodescription, multimodality in museums.
Introduo
A acessibilidade de deficientes visuais a produtos culturais tem sido preocupao no mbito da traduo audiovisual na ltima dcada. Uma srie de
pesquisas focaliza a legendagem para surdos e ensurdecidos e a audiodescrio
para deficientes visuais de filmes e programas de TV. No mbito dos trabalhos
sobre audiodescrio, o interesse pelo acesso de deficientes visuais a museus
est apenas iniciando. De Coster & Mhleis (2007) e Holland (2009) podem
ser considerados pioneiros ao abordarem o tema. Por outro lado, a preocupao com a sensibilizao de audincias para uma apreciao adequada das
obras de artes em museus tem sido tema de pesquisas no mbito dos estudos
da multimodalidade.
32
Clia M. Magalhes y Vera L. Santiago A.: Metodologia para elaborao de audiodescries para museus...
Hofinger & Ventola (2004), dentre outros, dedicam-se a uma leitura de

museus como espaos multimodais de produo de significados, estendendo
suas consideraes para a elaborao de textos de udio-guias que integrem
a linguagem verbal com a visual. Tendo em mente a contribuio que esses
trabalhos oferecem comunidade acadmica, observa-se, no entanto, que os
primeiros no fazem uso de parmetros sistematizados de leitura de imagens
em sua proposta, enquanto os ltimos no incluem deficientes visuais nas
audincias que, argumentam, podem ser sensibilizadas para a apreciao das
obras de arte com o uso de textos mais adequados nos udio-guias.
Tais limitaes podem ser superadas com o estabelecimento de uma
metodologia para elaborao de audiodescries na interface da traduo
audiovisual com os estudos da multimodalidade. Neste artigo, o objetivo
introduzir tal metodologia. Para tanto, o artigo est dividido em quatro sees,
alm desta introduo. Na segunda, abordam-se estudos sobre acessibilidade
e audiodescrio no escopo da traduo audiovisual. Na terceira, levam-se em
considerao estudos da semitica social e da multimodalidade responsveis
por modelos de leitura de imagens, alm de pesquisas recentes de abordagem a
museus como espaos multimodais. Na quarta, introduzem-se procedimentos
iniciais de uma metodologia baseada numa interface da traduo audiovisual e
da multimodalidade. Na quinta e ltima seo, fazem-se consideraes sobre as
contribuies da proposta e aponta-se para possveis temas de pesquisas futuras.
Acessibilidade e audiodescrio (AD)

Existe atualmente uma tendncia mundial em promover aes que facilitem
o acesso de pessoas com deficincia sensorial, fsica ou cognitiva a produtos
culturais e esportivos. No Brasil, at agora, existe legislao governamental
para a implantao da audiodescrio, definida a seguir, nos canais de televiso.
Existem, ainda, iniciativas das universidades e de alguns setores da sociedade
que tentam garantir esse acesso tambm ao teatro, ao cinema, aos DVDs e
aos museus.
De Coster e Mlheis (2007: 189) definem a AD como a traduo em
palavras das impresses visuais de um objeto, seja ele um filme, uma obra de
arte, uma pea de teatro, um espetculo de dana ou um evento esportivo.
O recurso tem o objetivo de tornar esses produtos acessveis a pessoas com
deficincia visual. A pesquisa em AD est inserida no campo dos estudos de
traduo porque se enquadra na classificao de Jakobson (1995) que reconhece trs tipos de traduo: a interlingustica ou traduo propriamente dita
(texto de partida e chegada em lnguas diferentes); a intralingustica ou reformulao (texto de partida e chegada na mesma lngua); e a intersemitica ou
transmutao (texto de partida e chegada em meios semiticos diferentes, do
visual para o verbal ou vice-versa). Ento, mais especificamente, a AD uma
traduo intersemitica porque transmuta as imagens em palavras. A incluso
33
12 (1)
da AD como traduo importante para o seu reconhecimento como trabalho

intelectual. O governo brasileiro, no entanto, no reconhece esse status quando
define a AD como locuo na Portaria 3102, lei que regulamenta a acessibilidade audiovisual do pas:
Audiodescrio: corresponde a uma locuo, em lngua portuguesa, sobreposta
ao som original do programa, destinada a descrever imagens, sons, textos e demais
informaes que no poderiam ser percebidos ou compreendidos por pessoas com
deficincia visual. [grifo nosso]
At onde se sabe, a modalidade de AD mais pesquisada aquela usada

em traduo de filmes e programas de TV. Neste sentido, podem-se citar os
relatos de experincia de audiodescritores sobre sua prtica profissional, tais
como Benecke (2004), Snyder (2005), Orero (2007) e Matamala (2007). Alm
disso, h os trabalhos de Franco (2007) e Silva (2009), no Brasil, e Ballester
(2007), Pay (2007) e Jimnez Hurtado (2007), na Espanha.
Franco (2007: 171) demonstrou, por meio de pesquisa exploratria 3,
que a presena do recurso facilitou a recepo de deficientes visuais (DVs) de
um filme de curta metragem. O filme foi exibido para 20 DVs, 10 assistiram
ao curta com AD e 10 assistiram ao mesmo curta sem AD. Os resultados
indicaram que o primeiro grupo teve melhor desempenho nas respostas a um
questionrio sobre o contedo do curta, com 90% de acertos, contra 40% do
segundo grupo. Silva (2009) realizou outra pesquisa exploratria, enfocando a
recepo de crianas a desenhos animados da Turma da Mnica com o intuito
de delinear parmetros para a elaborao de roteiros de filmes infantis. Os
resultados obtidos demonstraram que o uso da audiodescrio no s facilitou
o entendimento dos desenhos, como tornou a experincia dos espectadores
mais prazerosa e educativa. Os resultados sugeriram tambm a preferncia das
crianas por um estilo de narrao com uma maior inflexo de voz, em oposio
narrao mais monocrdia ou neutra, preconizada por alguns audiodescritores
(Benecke, 2004). A participao do narrador, por meio de uma narrao mais
interpretativa, foi considerada fundamental pelas crianas.
Um grupo de pesquisadoras espanholas (Jimnez Hurtado, 2007; Ballester,
2007; e Pay, 2007) analisou um corpus de mais 210 filmes audiodescritos em
espanhol. Cada uma delas examinou aspectos diferentes relacionados AD.
Pay (2007: 88-89) comparou dois tipos de roteiro: o do filme e o da AD. A
autora fez uma anlise do filme Pulp Fiction de Quentin Tarantino (1994).
Ela demonstrou que os dois roteiros eram diferentes, porque ambos possuam
objetivos distintos mesmo quando focalizavam a mesma cena. Ballester (2007:
137) apontou estratgias para caracterizar os personagens de uma AD. Segundo
a autora, os personagens deveriam ser descritos medida que apareciam na
tela. Ela frisou tambm que essa descrio deveria ser feita ao longo do filme, j
que, muitas vezes, os tempos sem fala que poderiam ser preenchidos com a AD
34
seriam pequenos. Jimnez Hurtado (2007) investigou as palavras e a estrutura

oracional mais frequentes, alm de propor parmetros para a anlise de roteiros
de AD de filmes e programas de TV. Segundo a autora, a AD de filme deveria
ter inseres, prioritariamente, entre as falas de uma produo audiovisual,
observando a descrio de elementos visuais verbais (crditos iniciais e finais,
legendas e letreiros) e no verbais (personagens, ambientao, localizao
temporal e espacial e aes). Por meio dos resultados da anlise textual de um
corpus de ADs usando o Wordsmith Tools, a autora derrubou dois mitos dentro
da prtica da audiodescrio. O primeiro foi o do uso das palavras olhe e
veja (Jimnez Hurtado, 2007: 74), consideradas politicamente incorretas em
muitas diretrizes de AD. Ao procurar pelas palavras mais frequentes, deparouse justamente com essas duas. Depois das preposies e dos artigos, elas foram
as mais utilizadas pelos audiodescritores. O segundo mito derrubado foi o de
que no se deve colocar sua interpretao na AD (Benecke, 2004). A estrutura
oracional que mais apareceu (30% dos casos) foi SUJEITO PREDICADO
PREDICATIVO: ALGUM SORRI EMOCIONADO. O predicativo nesse
tipo de construo implicava em interpretao. A descrio era feita a partir
de uma viso subjetiva (emocionado) da representao oferecida pelo verbo
principal (sorri) (Jimnez Hurtado, 2007: 77).
Os resultados apresentados por Jimnez Hurtado so corroborados por
Holland (2009), que em 2002 realizou trs estudos de caso, no mbito do
projeto Talking Images (Imagens que falam), envolvendo a audiodescrio de
obras de arte. O objetivo foi examinar se a audiodescrio de uma obra de arte
deveria adotar ou no a diretriz da no interpretao. Para isso foram feitas duas
verses de AD para o quadro do artista abstracionista Ben Nicholson intitulado
Ramparts, um leo sobre placa entalhada de 1968. A primeira se concentrava nas
formas do quadro, tentando ser o mximo possvel no interpretativa. A segunda
permitia certo grau de interpretao. Por exemplo, as cores eram descritas pelas
qualidades tteis, as quais refletiam o processo usado pelo artista para produzir
a pea. Ento acima e abaixo, esto reas brancas, transformava-se em reas
brancas prateadas, arranhadas e polidas criam uma superfcie desigual, como
a neve caindo no gelo sujo (Holland, 2009: 180-181).
A segunda descrio produziu uma narrativa que fazia referncia ao mundo
exterior obra de arte, na tentativa de capturar a dinmica do trabalho artstico
(Holland, 2009: 182). Segundo Holland, o grupo de DVs que participou do
experimento com a segunda AD se beneficiou muito mais da descrio do
que o primeiro, porque se sentiu conectado com a obra. Para o autor, toda
descrio deveria trabalhar bastante os valores tteis na audiodescrio de uma
obra de arte, porque, segundo psiclogos, os sentidos so interdependentes.
Por exemplo, as experincias das pessoas com o tato so afetadas pela viso e
pela audio. A interpretao fundamental para que o deficiente visual tenha
a experincia de apreciar uma obra de arte. Para isso, preciso muito mais do
que descrio dos elementos que podem ser capturados pela viso.
35
12 (1)
De Coster e Mlheis (2007: 191-192) tambm concordam com Holland,

j que no seu relato sobre a experincia de realizarem audiodescrio em museu
professam que uma obra de arte deve ser audiodescrita levando em conta dois
tipos de perspectivas, uma que descreve os sinais claros, e a outra, os sinais
ambivalentes. Os sinais claros so as informaes relacionadas descrio
dependente do canal visual. Os sinais ambivalentes so aqueles semelhantes
aos descritos por Holland, podendo se referir a sensaes que vo alm das
impresses visuais, incorporando experincias que envolvem outros campos
sensoriais como o tato e a audio. Para exemplificar o seu modo de audiodescrever, os autores deram exemplos de audiodescries de algumas obras
de arte. Para o quadro The Region of Arnheim (1962), de Ren Magritte, eles
propuseram, em primeiro lugar, uma abordagem sobre os sinais claros. Nesta
fase, o audiodescritor daria informaes sobre as dimenses da obra, juntando
suas mos s do DV, para que ele tivesse ideia, tanto da altura, quanto da largura
do quadro. Em seguida, comeou a descrio:
O quadro de Magritte est baseado em uma forma geomtrica extremamente
clara: na parte de baixo, uma parede de pedras perfeitamente horizontal mostrada. Nessa parede, exatamente no meio, h um ninho contendo trs ovos. Se
voc imaginar uma linha vertical no meio do quadro e subir em direo ao topo
a partir do ninho, pode-se ver a cabea de um pssaro, o que na verdade parte
de uma cadeia de montanhas. Acima da cabea do pssaro, temos uma meia lua,
que se assemelha forma meio arredondada que podemos fazer com nossa mo
direita. (De Coster e Mlheis, 2007: 195)
O principal sinal ambivalente seria a cabea do pssaro. A maioria dos

videntes4 associaria o pssaro a uma guia ou um falco, porque, para eles,
seriam pssaros que vivem nas montanhas. Se os mesmos tivessem levado em
conta somente a questo visual, teriam percebido que se trata de um pombo.
O que acontece que os visitantes seguem uma ideia e comeam a acreditar
que realmente viram essa ideia. Ao criar tal realidade, Magritte proporcionaria
uma reflexo especial sobre pensamento e viso. Outras questes ambivalentes
seriam o ttulo absurdo, a relao do pssaro de pedra com o ninho e o impacto
surrealista do quadro.
O modelo de De Coster e Mlheis (2007), que servir de base para a
construo da presente proposta de AD de obras de arte, est calcado, principalmente, nos seguintes parmetros: 1) descrio das dimenses, da estrutura
espacial e dos sinais claros; 2) descrio da experincia intersensorial do DV, ou
seja, narrao das impresses visuais que podem ser comparadas s impresses
tteis e auditivas; 3) descrio dos significados dos sinais ambivalentes, os quais
no podem ser obtidos nem pelas impresses visuais, nem pelas intersensoriais.
Cabe ressaltar que certo grau de avaliao ou de ponto de vista do(a)
audiodescritor(a) como narrador(a) tambm ser levado em considerao na
referida proposta. Os conceitos de gneros textuais descritivos e narrativos5
36
esto presentes, explicitamente ou no, nos textos dos autores investigados, e

envolvem avaliao e ponto de vista. Por exemplo, Jimnez-Hurtado (2007:
59) adota o conceito de Bordwell, terico dos estudos flmicos, de narrativa
como histria que incorpora a ao como uma cadeia cronolgica de causa e
efeito dos acontecimentos que ocorrem em um determinado tempo e espao
(Bordwell, 1996: 49). Salway (2007: 152) considera a narrativa como cadeias
de eventos, interrelacionados segundo a ideia de causa e efeito, em um determinado perodo de tempo. J De Coster & Mhleis (2007: 192) definem a
narrativa de modo mais frouxo, como todos os aspectos da obra de arte que
podem ser traduzidos em palavras. Como se pode ver, a questo de avaliao,
interpretao e ponto de vista na narrativa um aspecto que demanda investigao detalhada, ao qual ser dedicada ateno em futuras pesquisas.
Na seo seguinte, aborda-se a contribuio da semitica social e dos estudos da multimodalidade para a leitura de museus como espaos multimodais
de construo de significados.
Semitica social e multimodalidade

Na reviso dos trabalhos sobre AD, em especial aqueles que abordaram
o uso de AD para acesso de DVs apreciao de obras de arte em museus,
constatou-se que, por mais que sejam pioneiros na pesquisa sobre o tema,
apresentam parmetros que no oferecem uma orientao sistematizada a ser
seguida por audiodescritores na elaborao de roteiros de AD. Para esta orientao, argumenta-se neste trabalho que uma interface da traduo audiovisual
com a abordagem da semitica social aos textos multimodais crucial. Para
a construo dessa interface, faz-se necessria uma reviso de trabalhos nesta
perspectiva.
A semitica social entendida como o estudo dos processos e efeitos da
produo, recepo e circulao dos significados em todas as suas formas,
utilizados por todos os tipos de agentes em situaes de comunicao diversas
(Hodge e Kress, 1988). A multimodalidade , segundo Kress & van Leeuwen
(2001: 20) o uso de vrios modos semiticos no design de um produto ou
evento semitico, junto com a maneira particular em que esses modos so
combinados.
Os princpios bsicos da abordagem da semitica social multimodalidade
podem ser assim descritos: os modos semiticos tm recursos especficos para
que se possam atingir as trs funes comunicativas bsicas, a ideacional, a
interpessoal e a textual (Halliday, 1978); o foco deve ser o estudo sistemtico
dos recursos semiticos e a representao desses recursos como redes de sistemas. A Figura 1 representa as funes hallidayanas da linguagem verbal e os
sistemas elaborados a partir das trs funes intergradas por OToole (1994)
e Kress & van Leeuwen (1996) para a linguagem visual:
37
12 (1)
Figura 1. As funes da linguagem verbal e visual
Nesta perspectiva de semitica social, OToole (1994) pode ser considerado como uma das propostas pioneiras de sistemas da linguagem da arte em
exibio, mais especificamente de pinturas e esculturas. A proposta de uma
linguagem que busca relacionar o impacto da obra de arte com o mundo social em que ela foi produzida e o mundo social em que vista, dentre outros
aspectos. O trabalho sugere um roteiro de leitura de obras de arte a partir do
uso da linguagem referente aos recursos semiticos envolvidos na produo
artstica. Buscam-se, para este fim, os significados representacional, modal e
composicional das imagens.
OToole identifica uma escala de cinco unidades que compem uma imagem: Escola/Gnero, Obra, Episdio, Figura e Membro, oferecendo um mapa
da linguagem artstica em que os sistemas destas unidades podem ser usados
em conjunto ou separadamente para se elaborar uma interpretao consubstanciada da obra. Para cada uma dessas unidades, so apresentados os recursos
e significados semiticos que poderiam ser ativados. Cada sistema relacionado
a cada uma das funes tem entradas que representam instanciaes provveis
dentro do potencial de significado da linguagem visual. Dessa forma, todas ou
algumas das unidades da escala podem ser usadas para a anlise, e a sugesto
que esta se inicie pela funo modal para se entender como uma obra atrai
o interesse do espectador. Em seguida, a funo representacional das imagens,
ou seja, o que estas representam por meio de cenas e de narrativas, pode ser
abordada e, finalmente, a organizao e relao das funes modal e representacional podem ser vistas como um todo textual coerente por meio da funo
composicional. OToole (1994) aponta que o que se exibe no texto visual da
pintura controla consideravelmente as anlises, descries e avaliaes, acrescentando que o tipo de anlise proposta por ele requer, ainda, o engajamento
com o conhecimento da obra em si. O Quadro 1, abaixo, reproduz o mapa
da linguagem artstica de OToole (1994):
38
Quadro 1 Funes e sistemas da linguagem visual. Traduo de OToole 1994: 24

FUNES REPRESENTACIONAL
UNIDADES
MODAL
Orientao
para
realidade e
estilo
Escola/
Gnero
Temas tpicos
Obra/
Pintura
Aes, eventos
Agentes, pacientes,
metas
Cenas, cenrio,
caractersticas
Retratos, modelos
Episdio
Grupos e sub-aes,
cenas e retratos
Sequncias de lados
Interao de aes
Da escala para o todo

Da centralidade para o todo
Proeminncia relativa
Interao de modalidades
Posio relativa
na Gestalt, no
episdio e relao
das duas
Alinhamento
Coerncia
Interao
de formas
relacionadas
Figura
Personagem Objeto
Ato Posio
Postura
Gesto
Caracterizao
Relao com o observador
Olhar
Gesto
Contraste e conflito: Cor,
Escala, Luz, Linha
Posio relativa
na Gestalt, no
episdio e relao
das duas
Paralelismo
Oposio
Subenquadre
Membro
Formas fsicas bsicas:

Partes do corpo
Objetos
Formas naturais
Componentes
Estilizao
Atenuao
Claro-escuro
Sindoque
Ironia
Coeso:
Referncia
Paralelismo
Contraste
Ritmo
Foco:
Perspectiva
Claridade
Luz
Cor
Escala
Olhar:
Sua funo
Caminhos
Ritmos
Intermedirios
Por ex.,
barroco,
cubismo,
instalao
COMPOSICIONAL
Enquadre
Modalidade:
Fantasia/
Ironia
Autenticidade
Simbolismo
Omisso
Intertextualidade
Impressionismo
Expressionismo
Surrealismo Arte
Op Arte Pop
Arte performtica
Gestalt:
Enquadre
Horizontais
Verticais
Diagonais
Proporo
Linha
Ritmo
Geomtrico
Coeso de cor
Kress e van Leeuwen (1996, publicado pela primeira vez em 1992), assim
como OToole (1994), so pioneiros ao apresentar uma proposta de gramtica
do design visual, orientada para o estudo da comunicao visual nas culturas
ocidentais, com enfoque na imagem como modo semitico cada vez mais
39
12 (1)
preponderante nos textos. Como transformao das metafunes hallidayanas

da linguagem, so apresentadas como funes do design visual os significados
representacionais, os interativos e os composicionais. Os significados representacionais podem ser Narrativos ou Conceituais e pretendem construir a
experincia do mundo exterior e interior, por meio da representao da ao
social (sistema de significados narrativos) e dos construtos sociais (sistema de
significados conceituais) nas imagens. Os significados interativos se realizam por
meio dos sistemas de Atitude, Distncia Social e Contato; para compreender
sua realizao faz-se necessrio lanar mo do sistema do olhar e da noo de
perspectiva. Os significados composicionais se realizam por meio do Valor
Informacional, da Salincia e do Enquadre. Para cada um dos significados
so apresentadas as redes de sistemas com as categorias pertinentes de anlise.
Vale aqui uma digresso para observar que as estruturas narrativas constituem um ponto de entrada nos sistemas do significado representacional de
Kress & van Leeuwen (1996). Narrativa, no contexto dos estudos multimodais,
definida, por exemplo, por Jewitt & Oyama (2001: 141), como a caracterizao de cenas pela presena de um vetor, ou seja, uma linha, frequentemente
diagonal, que conecta participantes nas imagens. A narrativa , portanto, um
conceito crucial para a leitura e descrio de imagens, como para a elaborao
de ADs.
Em conformidade com a sugesto de OToole (1994) de que o ponto
ideal de partida para a anlise da imagem a funo modal, a Figura 2, a
seguir, apresenta os sistemas do significado interativo, conforme Kress & van
Leeuwen (1996):
Figura 2. Os significados interativos. Traduo de Kress & van Leeuwen (1996: 154)
40
A Figura 2, acima, representa os trs sistemas dos significados interativos:

o sistema do contato, estabelecido pelo sistema do olhar, que permite duas
realizaes, Demanda, quando h interao entre os participantes representado e interativo por meio do olhar e Oferta quando no h essa demanda. O
sistema da Distncia Social, baseado representao conforme o plano usado
na fotografia, plano fechado (close up), plano mdio (da cabea at a cintura)
e plano aberto (tomada de corpo inteiro), permite representar uma distncia
ntima (plano fechado), social (plano mdio) e impessoal (plano aberto). O
sistema de Atitude leva em conta a perspectiva e pode representar subjetividade e objetividade. No primeiro caso, na perspectiva horizontal o ngulo de
representao dos participantes representados pode ser frontal, construindo
envolvimento entre esses participantes e os interativos, ou pode ser oblquo,
construindo distanciamento entre os participantes.
J na perspectiva vertical, as construes so de poder. Se o participante
representado est no nvel do olhar do participante interativo, h igualdade
de poder entre eles; se seu ngulo de representao alto, o participante representado tem poder sobre o interativo e se o ngulo baixo, o participante
interativo tem poder sobre o representado. O Quadro 2, abaixo, apresenta de
forma resumida essas provveis realizaes dos significados dos sistemas:
Quadro 2. Realizaes dos significados interativos, baseado em Kress & van Leeuwen
(1996: 154)
Realizaes
Demanda
Olhar para o observador
Oferta
Ausncia de olhar para o observador
ntimo/pessoal
Plano fechado (cabea e ombros ou menos)
Social
Plano mdio (entre plano fechado e plano aberto)
Impessoal/formal
Plano aberto (corpo inteiro ou mais)
Envolvimento
ngulo frontal
Distancianciamento
ngulo oblquo
Poder do observador
ngulo alto
Igualdade
Nvel do olhar
Poder de representao
ngulo baixo
Alm das trs funes, o modelo de gramtica do design visual utiliza

a modalidade, relativa ao grau de veracidade da mensagem, como categoria
adicional de anlise, adaptada para a anlise de imagens. Para a anlise da mo-
41
12 (1)
dalidade, Kress & van Leeuwen (1996) propem seis parmetros: cor, contextualizao, representao, profundidade, iluminao e brilho. Tais parmetros
so detalhados a seguir:
Cor: um compsito de traos com valores diferentes em escalas, tais
como, valor, saturao, pureza, modulao, diferenciao, luminosidade
e matiz (Kress & Van Leeuwen, 2002).
Contextualizao: trao numa escala que varia da completa ausncia
de segundo plano a um segundo plano mais detalhado e articulado.
Representao: trao numa escala que vai desde o mximo de abstrao
at o mximo de representao de detalhes pictricos.
Profundidade: trao numa escala que varia desde a ausncia de profundidade a uma perspectiva de profundidade mxima.
Iluminao: trao numa escala que contempla desde a representao
mxima do jogo de luz e sombra at a sua ausncia.
Brilho: trao numa escala que varia da representao mxima de graus
diferentes de brilho at apenas dois graus.
A partir de OToole (1994) e Kress e van Leeuwen (1996), que focalizam
a imagem esttica, como a pintura e a escultura o primeiro, e a fotografia e
as imagens de pginas impressas os segundos, desenvolvida uma srie de
trabalhos, seja refletindo sobre esses estudos da multimodalidade, seja adequando as metodologias a cada texto multimodal: a pgina impressa, a pgina
da Web, os filmes e programas de televiso, dentre outras mdias. Kress e van
Leeuwen (2001), por exemplo, buscam entender os princpios que movem a
comunicao multimodal. O trabalho entende os textos multimodais como
construtores de significado em articulaes mltiplas. Para tanto, desenha
quatro domnios de prtica, denominados de estratos, em que os significados
so predominantemente construdos: discurso, design, produo e distribuio.
A Figura 3 representa os estratos/domnios de prticas:
Figura 3. Os estratos da comunicao multimodal, cf. Kress & van Leeuwen (2001)
42
Os discursos so representaes de algum aspecto da realidade, construdos

socialmente. Os designs so usos dos recursos semiticos em todos os modos
semiticos e combinaes destes; eles realizam discursos no contexto de uma
situao de comunicao determinada. A produo a articulao concreta do
evento semitico ou a real produo material do artefato semitico e envolve
um conjunto de habilidades relacionadas com as mdias semiticas. A distribuio, geralmente vista apenas como facilitadora das funes pragmticas de
preservao, entendida na proposta como semitica, produtora de significado, por envolver um conjunto de aspectos sociais pertinentes s funes de
preservao e distribuio.
Baseados nestes trabalhos, pode-se citar van Leeuwen e Jewitt (2001),
coletnea que rene vrios trabalhos no escopo da anlise semitica do visual,
e OHalloran (2004), que integra trabalhos cujo objeto de estudo so objetos
tridimensionais, filmes e mdia eletrnica, e mdia impressa. Destaca-se, dentre
os primeiros o trabalho de Meng (2004), o estudo de um museu como espao
multimodal de produo de significados. Van Leeuwen (2005) apresenta-se
como introduo semitica social. O texto discorre sobre recursos, mudana,
regras e funes semiticas, alm de apresentar como dimenses de anlise o discurso, gnero, estilo e modalidade. Adicionalmente, o trabalho aborda a questo
da coeso multimodal, focalizando temas como o ritmo, a composio, a ligao
de informaes e o dilogo. J Mackin (2007) apresenta-se como introduo
anlise multimodal, abordando o significado das associaes metafricas na
gramtica visual; a iconografia e os significados ocultos das imagens; a relao
da modalidade com a dissimulao e o exagero nas imagens; o significado da cor
e da tipografia no design visual, tema refinado anteriormente por Kress & van
Leeuwen (2002) e por van Leewen (2006); a representao de atores sociais na
imagem, cujos sistemas so criados por van Leeuwen (2008); a composio e o
layout de pginas e, finalmente, as diferenas entre a linguagem verbal e a visual.
Outros trabalhos ancorados nas teorias de multimodalidade tm como foco
de anlise os museus como espaos multimodais de produo de significados,
dentre eles Ravelli (2006), Meng (2004), acima citado, e Hofinger & Ventola
(2004). Neste estudo, ser destacado este ltimo trabalho, uma vez que um de
seus focos uma proposta de texto a ser usado em udio-guias de um museu
na ustria, feita a partir de anlise sistmico-funcional de texto disponvel
nos udio-guias e da anlise multimodal de uma pintura do referido museu.
Hofinger & Ventola (2004) apresentam uma anlise das trs metafunes
(ideacional, interpessoal e textual) do texto j usado nos udio-guias do citado
museu, bem como uma interpretao de uma pintura baseada nas teorias da
multimodalidade, com o objetivo de comparar e contrastar os significados
criados pelos dois modos semiticos, o verbal do texto e o visual da pintura.
Sua anlise revela que enquanto o texto oferece informaes bsicas e mais
intuitivas sobre a famlia de Mozart e o perodo em que o retrato foi pintado,
43
12 (1)
a anlise multimodal da obra revela significados nela representados em destaque. Tal anlise no s apia o texto do udio, mas tambm o complementa.
Desta forma, Hofinger e Ventola (2004) propem um texto para ser usado no
udio-guia, criado com base na anlise multimodal da obra, com o objetivo
de guiar o visitante em uma experincia semitica em que se integram texto
verbal e visual (no caso especfico desta seo do museu, a anlise multimodal
compreende no s a pintura, mas tambm os elementos que esto fora da
tela e se relacionam obra: os instrumentos musicais em exibio). Hofinger
& Ventola (2004) apontam que entender a multimodalidade em operao
pode permitir que curadores de museus ofeream aos visitantes perspectivas
que estimulem um processo dinmico de sensibilizao de como os modos
semiticos operam em conjunto.
O trabalho de Hofinger & Ventola (2004) foi aqui revisado mais extensivamente, em virtude da contribuio que oferece aos estudos de multimodalidade em museu, em especial com relao importncia da integrao dos
modos semiticos verbal e visual no processo de sensibilizao de espectadores
e de uma nova perspectiva de apreciao da arte em exibio. Entretanto, esse
estudo, bem como os outros anteriormente citados, limita-se em seu escopo
sensibilizao de espectadores videntes, sem meno acessibilidade de DVs,
o que abordaremos neste trabalho, no sem antes fazer uma reviso dos trabalhos publicados no contexto nacional, resultados de pesquisa com o tema
da multimodalidade.
Aplicaes das teorias de multimodalidade no Brasil incluem, entre
outros, no escopo do Grupo de Pesquisa Estilo de Tradutores Professionais e
Literrios ESTRAPOLI vinculado ao LETRA/FALE/UFMG, trabalhos
afiliados semitica social e multimodalidade que desenvolveram anlises de
imagens em propagandas de revista de interesse geral (Magalhes & Biavati,
2003), capas da revista Raa Brasil (Pinheiro, 2007), primeiras pginas de
jornal impresso (Carvalho, 2007; Carvalho & Magalhes, 2009), capas de
livros de literatura infantil (Magalhes & Novodvorski, 2010), psteres sobre o multiculturalismo britnico comparados a capas da revista Raa Brasil
(Magalhes & Caetano, no prelo). Magalhes & Biavati (2003) observaram
o encobrimento e a quase excluso de trabalhadores representados em propagandas de empresas ao longo de um perodo de 10 anos, em que as regras
do trabalho passam a ser flexibilizadas. Pinheiro (2007) analisou capas da
revista Raa Brasil de um perodo de 10 anos, entre 1996 e 2006, concluindo
que os significados de imagens e manchetes das capas parecem ainda privilegiar o modelo hegemnico de branqueamento no Brasil. Carvalho (2007)
e Carvalho & Magalhes (2009) analisaram as primeiras pginas de jornais
de formato padro e tablide, concluindo que parece haver uma tendncia
geral de construo mais dinmica destas pginas, utilizando-se o modo semitico visual em larga escala. Magalhes & Novodvorski (2010) concluem
que o comprometimento com o contexto social em que os escritores das
44
obras de literatura infantil trabalham, o da procura por mudanas sociais

e de formao de pensamento crtico mediante a literatura, pode ser um
fator determinante na elaborao das imagens das capas dos livros, as quais
representam a realizao de significados situados culturalmente e impetrados
por ideologias. Finalmente, Magalhes & Caetano (no prelo), baseados nos
sistemas de representao visual de atores sociais de van Leeuwen (2008), tm
como resultado da anlise e discusso comparativa de imagens de psteres
britnicos e capas de revistas brasileiras perspectivas semelhantes e diferentes
na representao do racismo relativo aos negros, com a tendncia a uma
representao negativa em ambos os conjuntos de textos.
As pesquisas aqui revisadas, realizadas no mbito nacional, tambm no
tiveram como foco a interface com a traduo audiovisual. Na proposta ora
em pauta, o desafio propor essa interface, especificamente entre a linha de
pesquisa em AD para museus e os estudos de multimodalidade em museus,
visando a incluso de DVs no processo de sensibilizao a obras de arte em
exposio. Em outras palavras, o desafio propor uma metodologia para a
elaborao de ADs para museus em que se integrem os critrios de audiodescrio propostos na perspectiva da traduo audiovisual com os modelos
de anlise de imagens de OToole (1994) e Kress & van Leeuwen (1996),
complementando-se com reflexes e sugestes de descries para textos de
udio-guias de museus, tomados como espaos multimodais de construo
de significados semiticos.
Na prxima seo ser abordada a citada proposta de metodologia para
a elaborao de ADs para museus, focalizando-se os requisitos principais
propostos por estudiosos de AD (ver seo anterior) e, por questo de espao, a funo modal (OToole, 1994) e o significado interativo (Kress &
Van Leewen, 1996).
Procedimentos metodolgicos iniciais para a elaborao de AD

baseada na multimodalidade
Os procedimentos metodolgicos para a elaborao de roteiros de ADs a
serem usados em udio-guias de museus devem levar em conta uma combinao da anlise de cada funo/significado (representacional, modal/interativo,
composicional) com as caractersticas de ADs descritas no escopo da traduo
audiovisual TAV. Neste trabalho, tendo em vista o escopo da publicao,
detalham-se procedimentos iniciais relativos anlise da funo modal/significado interativo que resultaro em parte do roteiro de uma AD. Para este fim,
reproduzem-se os sistemas da funo modal de OToole (1994) e do significado
interativo de Kress & van Leeuwen (1996), incluindo a modalidade, com os
traos que podem ser realizados no mbito destes sistemas, nos Quadros 3 e
4, respectivamente:
45
12 (1)
Quadro 3 Sistemas da funo modal (OToole 1994: 24)

UNIDADES
REALIZAES
Escola/
Gnero
Orientao para realidade e

estilo
Por ex., barroco, cubismo,

instalao
Obra/Pintura
Foco:
Perspectiva
Claridade
Luz
Cor
Escala
Olhar:
Funo
Caminhos
Ritmos
Intermedirios
Enquadre
Modalidade:
Fantasia/
Ironia Autenticidade
Simbolismo
Omisso Intertextualidade
Episdio
Da escala para o todo

Da centralidade para o todo
Proeminncia relativa
Interao de modalidades
Figura
Caracterizao
Relao com o observador
Olhar
Gesto
Contraste e conflito: Cor, Escala, Luz, Linha
Membro
Estilizao
Atenuao
Claro-escuro
Sindoque
Ironia
O Quadro 3 apresenta as unidades de anlise tal como propostas por

OToole e os provveis sistemas de anlise com suas provveis representaes.
No cabe aqui explicar todos os sistemas e provveis realizaes, assim focalizase apenas uma das unidades a ttulo de ilustrao. Se a Figura for uma unidade
em destaque na pintura, podemos analisar traos de sua realizao, como sua
caracterizao, a relao que estabelece com o observador, talvez por meio
do olhar e gestos. Pode-se, ainda, observar se h contrastes e conflitos de cor,
escala, luz ou linha como realizaes na representao da Figura.
46
Quadro 4. Sistemas do significado interativo, cf. Kress & van Leeuwen 1996: 154
PONTOS DE ENTRADA
REALIZAES
Contato:
Demanda
Oferta
Olhar para o observador

Ausncia de olhar
Distncia social:
ntimo/Pessoal
Social
Formal/Impessoal
Plano fechado
Plano mdio
Plano aberto
Atitude:
Envolvimento, Distanciamento
Poder do observador, Igualdade de
poder, Poder do representado
ngulo frontal, ngulo oblquo

ngulo alto, nvel do olhar, ngulo
baixo
Modalidade
Cor,
Contextualizao
Representao
Profundidade
Luminosidade
Brilho
Para a proposta de procedimentos metodolgicos baseados nos sistemas

acima, faz-se necessrio, inicialmente, compararem-se os referidos sistemas,
uma tarefa um tanto complexa. Em conferncia plenria no VI Congresso da
Associao de Lingustica Sistmico Funcional da Amrica Latina, em 2010,
Kay OHalloran mencionou que o modelo de OToole de base puramente
sistmico-funcional, enquanto o modelo de Kress & van Leeuwen, alm de
basear-se na lingustica sistmico-funcional, dialoga com outras teorias como
o caso dos estudos de Roland Barthes sobre imagens. Sem entrar na questo
da afiliao dos dois modelos, faz-se a seguir uma tentativa de comparao dos
modelos para tentar mostrar sua complementaridade.
Enquanto as unidades do sistema de OToole parecem iniciar o processo
de leitura da imagem por elementos concretos, do mundo fsico da pintura
(membro, figura, episdio, obra e escola) os quais podem ter traos semnticos de realizao (ironia, por exemplo), os pontos de entrada do sistema de
Kress & van Leeuwen parecem iniciar o processo por elementos abstratos, por
assim dizer, semnticos (contato, distncia, atitude) que se realizam por meio
de elementos concretos do mundo fsico da pintura (planos, olhar, etc.). Para
47
12 (1)
detalhar mais este ponto, vale observar que a atitude, realizada por elementos
concretos (os ngulos), envolve tambm um elemento abstrato (o poder); a
distncia, realizada por elementos fsicos, congrega tambm um elemento
abstrato, nomeado como social, se for levado em conta que o conceito de
sociedade ou do que social abstrato.
A modalidade, um tema parte no modelo de Kress & van Leeuwen,
tem seus traos espalhados ao longo da escala de unidades de OToole, com
potencial de realizao em cada uma. O olhar tambm um trao de realizao
nesse modelo, que pode se aplicar a mais de uma unidade na escala, a figura
e a obra. Em relao figura, o olhar parece ter a funo mais localizada de
engajamento com o observador, enquanto em relao obra essa funo parece
deslocar-se, tendo em vista outras direes e caminhos do olhar. A propsito de
caminhos e ritmos, dois traos potenciais de realizao da obra como um todo,
o modelo de OToole parece prever mais claramente certo movimento entre
os episdios da obra como traos de realizao da funo modal, enquanto o
modelo de Kress & van Leeuwen, talvez por focalizar prioritariamente unidades semnticas no significado interativo, parece prever movimento apenas
no mbito do significado representacional, em relao s estruturas narrativas.
So modelos, enfim, que no se chocam e podem ser complementares na
anlise de imagens. Se a deciso for iniciar com o modelo de OToole (1994),
por ter sido este elaborado prioritariamente para a interpretao de pinturas,
ao se buscar os elementos que realizam as unidades passveis de anlise em
cada obra, pode-se complementar sua leitura com insights do modelo de Kress
& van Leeuwen (1996). Da mesma forma, se a deciso for usar o modelo de
Kress & van Leeuwen (1996) como ponto de partida, insights do modelo de
OToole (1994) podem ser utilizados, especialmente no que concerne relao
entre as unidades, por meio dos caminhos, ritmos e movimentos estabelecidos
pelo olhar.
Supondo que se v usar o resultado obtido por meio da anlise da funo
modal como parte de um roteiro de AD da pintura Las meninas de Velazquez,
reproduzida em vrias pginas da internet, dentre elas http://www.artchive.
com/meninas.htm, mas no reproduzida aqui por questes de direitos autorais,
argumenta-se que a AD a ser elaborada se beneficiar de uma leitura feita a
partir das unidades de OToole (1994). Trata-se de quadro com vrias figuras,
proeminentes ou no, com episdios distintos e membros que, se analisados
detalhadamente conforme previsto no modelo, contribuem para uma perspectiva da obra como um todo, e desta como gnero. Em dilogo com as
noes semnticas do modelo de Kress & van Leeuwen (1996), esta leitura
provavelmente se constituiria numa AD abrangente, realizada com o suporte
de duas gramticas da linguagem visual.
Algumas dessas unidades sero tomadas como foco dos procedimentos
metodolgicos iniciais para a elaborao de um roteiro de AD a ser ouvido
por DVs em um museu em que uma reproduo de Las meninas estivesse
48
em exibio. Em primeiro lugar, conforme recomendado em De Coster &

Mhleis (2007), faz-se necessrio a referncia s dimenses e especificaes
do quadro, que pode se tornar concreta a partir da sugesto dos autores de se
usar o tato, na medida do possvel:
1) Voc est diante de uma reproduo da tela pintada a leo por Diego
Velazquez, em 1656, cujo original se encontra no Museu do Prado
em Madrid e cujas dimenses so 318 centmetros de altura por 276
centmetros de largura.
Em seguida, a unidade Figura pode ser tomada como ponto de partida
para o prximo passo metodolgico e, por meio de seus traos de realizao
caracterizao, relao com o observador, olhar, gesto, contraste e conflito: cor,
luz, linha construirem-se as prximas sentenas da udio descrio:
2) So retratadas neste quadro vrias pessoas, incluindo o pintor, em um
salo amplo em altura e profundidade. Algumas dessas pessoas, como
a menina que se destaca em primeiro plano, vestidas com trajes mais
luxuosos; outras, com trajes mais simples. O pintor, duas das meninas,
uma an, uma senhora vestida de negro e um homem, todos em planos
ligeiramente diferentes da tela, em primeiro lugar a an seguida das
meninas, do pintor, da senhora e do homem, dirigem o olhar para fora
da tela e parecem interagir com o observador. Os demais participantes
retratados, um ano, outra menina e outra senhora dirigem seu olhar
para outros participantes do quadro. Dentre os retratados, o pintor se
inclina para trs enquanto segura um pincel; o ano faz um gesto com
a perna sobre um cachorro deitado no cho; duas das meninas parecem
fazer gestos de reverncia para a menina que ocupa a posio central
da tela; os gestos que esta faz com as mos indicam que ela posa para
o retrato. O homem ao fundo parece parar porta e, defronte de umas
escadas, volta-se para fitar algo que est sua frente. As cores escuras,
preta e tons de marrom, predominam nas vestimentas da maioria dos
retratados; contrasta com esta cor o branco do vestido da menina que
parece posar e de partes dos vestidos das outras duas meninas ao seu
lado e da senhora no plano posterior. O branco do vestido brilha a luz
do sol que penetra por uma janela esquerda e pela porta aberta ao
fundo. Todos os participantes so retratados de corpo inteiro e em plano
ligeiramente oblquo e pertencem a um mundo distante e diferente do
observador.
Deve-se observar que no passo (2), acima, j se trata de uma combinao
dos dois modelos, uma vez que a unidade Figura, do modelo de OToole
(1994), detalhada e complementada com as unidades Contato, Distncia
Social e Atitude, alm dos parmetros de modalidade (cor, contextualizao,
49
12 (1)
representao, profundidade, luminosidade e brilho) do modelo de Kress &

van Leeuwen (1996). Tambm se tenta explorar a experincia intersensorial
na descrio ao se relacionar a cor branca com o brilho e a luz. Alm disso, os
sinais mais claros so abordados em primeiro lugar, deixando-se aqueles mais
ambivalentes para um segundo momento o pintor retratado com o pincel e
o homem que se volta, ambos olhando para fora do quadro, como se a mirar o
que ou quem estava sendo retratado. Outro sinal ambivalente que poderia ser
detalhado diz respeito a outras figuras, os quadros da parede do fundo. Dois
quadros esto ao alto e no podem ser bem distinguidos, dada a falta de luz, e
um, abaixo de um desses quadros, pode ser interpretado simultaneamente como
um espelho, dada a luz que incide sobre ele. Este quadro ou espelho reproduz
a imagem de um casal, possivelmente o casal real espanhol que, numa leitura
de Foucault apresentada em Hall (2000: 56-61), poderia ser o modelo para o
quadro, em lugar da menina, a Infanta.
Tambm poderia ser abordada a unidade Episdio. Como podem ser
desenhadas linhas entre as figuras nos diferentes planos, possvel se pensar a
realizao de traos do Episdio, unidade que parece tambm destacar-se em
Las meninas. E assim por diante, dependendo de cada pintura. O roteiro
da AD, integrando o resultado da anlise dos dois passos metodolgicos aqui
detalhados reproduzido abaixo:
Voc est diante de uma reproduo da tela pintada a leo por Diego Velazquez,
em 1656, cujo original se encontrado no Museu do Prado em Madrid e cujas
dimenses so 318 x 276 cm. So retratadas neste quadro vrias pessoas, incluindo
o pintor, em um salo amplo em altura e profundidade. Algumas delas, como
a menina que se destaca em primeiro plano, vestidas com trajes mais luxuosos;
outras, com trajes mais simples. O pintor, duas das meninas, uma an, uma
senhora vestida de negro e um homem, todos em planos ligeiramente diferentes
da tela, em primeiro lugar a an seguida das meninas, do pintor, da senhora e do
homem, dirigem o olhar para fora da tela e parecem interagir com o observador. Os
demais participantes retratados, um ano, outra menina e outra senhora dirigem
seu olhar para outros participantes do quadro. Dentre os retratados, o pintor se
inclina para trs enquanto segura um pincel; o ano faz um gesto com a perna
sobre um cachorro deitado no cho; duas das meninas parecem fazer gestos de
reverncia para a menina que ocupa a posio central da tela; os gestos que esta
faz com as mos indicam que ela posa para o retrato. O homem ao fundo parece
estar porta e, defronte de umas escadas, volta-se para fitar algo que est sua
frente. As cores escuras, preta e tons de marrom, predominam nas vestimentas
da maioria dos retratados; contrasta com esta cor o branco do vestido da menina
que parece posar e de partes dos vestidos das outras duas meninas ao seu lado e da
senhora no plano posterior. O branco do vestido brilha a luz do sol que penetra
por uma janela esquerda e pela porta aberta ao fundo. Todos os participantes
so retratados de corpo inteiro e em plano ligeiramente oblquo e pertencem a
um mundo distante e diferente do observador.
50
Cabe, ainda, reiterar que o exerccio realizado nesta seo foi de anlise
somente da funo modal ou significado interativo da imagem como proposta
de procedimentos metodolgicos para a elaborao da AD. Um outro procedimento seria integrado pela leitura da funo ou significado representacional,
para a qual noes sobre avaliao (Martin & White, 2005) e ponto de vista
narrativo (Simpson, 2000; Toolan, 2001) parecem fundamentais, uma vez que
a referida funo ou significado integra estruturas narrativas e conceituais, em
outras palavras, narrao e descrio. Neste procedimento, pode ser incorporado o conhecimento extra sobre o design, a produo e a distribuio da obra
de arte, conforme recomenda OToole (1994). O procedimento calcado nas
funes/significados representacional e modal/interativo seriam integrados,
finalmente, por meio do procedimento metodolgico subsidiado pela leitura
da funo ou significado composicional da imagem, visando articulao das
demais funes e significados. Ressalta-se que as leituras busquem o dilogo
com as reflexes de De Coster & Mhleis (2007) e Holland (2009), em especial a inevitabilidade de certo grau de interpretao na AD. Em um modelo
de comunicao multimodal, conforme descrito por Kress & van Leeuwen
(2001), no se pode perder de vista que o estrato do discurso, em especial,
implica conhecimentos sobre aspectos da realidade construdos socialmente
e, fatalmente, perspectivas e pontos de vistas diferentes sobre esses aspectos.
Consideraes finais
Este artigo iniciou por apontar uma necessidade de se articularem pesquisas realizadas no mbito da traduo audiovisual com trabalhos ancorados
nas teorias de multimodalidade para que seja possvel a sensibilizao de
DVs para obras de arte em exibio em museus. Para tanto, buscou revisar
trabalhos publicados nas duas reas no mbito nacional e internacional. Essa
reviso permitiu concluir que, na rea de traduo audiovisual, os trabalhos
pioneiros de De Coster & Mhleis (2007) e Holland (2009), especificamente
focalizados no tema de ADs para museus, no apresentam uma orientao
sistematizada de leitura de obras de arte que possibilite a elaborao de
roteiros de AD; permitiu, ainda, concluir que, no mbito dos estudos da
multimodalidade, os trabalhos cujo interesse so os museus como espaos
multimodais de produo de significado tm modelos sistematizados para
anlise de obras de arte, entretanto, no incluem os DVs na audincia consumidora dos textos resultantes.
Partiu-se, ento, para o detalhamento dos modelos de OToole (1994) e
Kress & van Leeuwen (1996), mais especificamente dos sistemas da funo
modal, no primeiro, e dos sistemas do significado interativo, no segundo. Foram
propostos procedimentos metodolgicos iniciais, integrando as unidades ou
pontos de entradas desses sistemas com as observaes feitas sobre a audiodescrio de obras de artes no mbito das pesquisas em traduo audiovisual, para
51
12 (1)
a elaborao de roteiros de ADs adequados ao propsito de incluso de DVs

num processo dinmico de sensibilizao para a multimodalidade.
No foi possvel, entretanto, detalhar todos os procedimentos metodolgicos cujos subsdios seriam a funo/significado representacional e a funo/
significado composicional. Tais procedimentos, no entanto, vm sendo desenvolvidos em pesquisas de doutorado em andamento no escopo do LETRA,
as quais buscam, ademais, estabelecer dilogos com as teorias sobre avaliao e
ponto de vista narrativo. De qualquer forma, os procedimentos aqui delineados
esto baseados em modelos sistematizados e podem ser replicados, cumprindo
seu propsito de contribuir para a elaborao de roteiros de ADs adequados
a uma integrao dos significados multimodais em construo nos espaos
museolgicos.
Notas:
1 Trabalho realizado com auxlio financeiro do Projeto de Cooperao Acadmica
PROCAD/CAPES 008/2007.
2 A Portaria 310 (http://www.mc.gov.br/o-ministerio/legislacao/portarias/portaria-310.
pdf ) regula a acessibilidade audiovisual na televiso brasileira, complementando
a lei 5296 de 02 de dezembro de 2004 (www.planalto.gov.br/ccivil_03/_Ato20042006/2004/Decreto/D5296.htm) que rege sobre os direitos das pessoas com deficincia fsica, auditiva, visual ou cognitiva.
3 Uma pesquisa pode ser considerada de natureza exploratria, quando esta envolver
levantamentobibliogrfico, entrevistas com pessoas que tiveram, ou tm, experincias prticas com o problema pesquisado e anlise de exemplos que estimulem a
compreenso. As pesquisas exploratrias visam proporcionar uma viso geral de
um determinado fato.
4 Vidente aquele que enxerga em oposio ao deficiente visual.
5 As autoras devem a reviso do conceito de narrativa Karina S. Szpak, mestranda
do Programa de Ps-Graduao em Estudos Lingusticos da UFMG, que fez um
trabalho de sntese dos conceitos usados em textos de traduo audiovisual e acessibilidade e de multimodalidade.
Referncias bibliogrficas
Ballester Casado, A. (2007). Directores en la sombra: personajes y su caracterizacin en el guin audiodescrito de Todo sobre mi madre, in C. Jimenez
Hurtado (Ed.) Traduccin y acessibilidad. Subtitulacin para sordos y audiodescripcin para ciegos: nuevas modalidades de traduccin audiovisual, pp.
133-152. Frankfurt: Peter Lang.
Benecke, B. (2004). Audio-description, Meta 49 (1): 78-80.
Bordwell, D. (1996). La narracin en el cine de ficcin. Trad. Pilar Vzquez Mota.
Barcelona: Paids.
Carvalho, F. F. (2007). Os significados composicionais e a formao de subjetividades
na primeira pgina de jornais mineiros: um estudo de caso luz da gramtica
52
do design visual. Belo Horizonte: UFMG. (Dissertao de mestrado).

Carvalho, F. F. & Magalhes, C. (2009). Mdia impressa e multimodalidade: os
significados composicionais na primeira pgina de jornais mineiros, Revista
da ANPOLL, 27, 45-74.
De Coster, K. & Mhleis, V. (2007). Intersensorial translation: visual art made
up by words, in J. Daz-Cintas, P. Orero & A. Remael (Eds.) Media for
all: subtitling for the deaf, audio description, and sign language, pp. 189-201.
Amsterdam/ New York: Rodopi.
Franco, E.P.C. (2007). Em busca de um modelo de acessibilidade audiovisual
para cegos no Brasil: um projeto piloto, in V.L.S. Arajo e E.P.C. Franco
(Eds) TRADTERM 13, pp. 171-186.
Hall, S. (Ed.) (2000). Representation: cultural representations and signifying practices.
London: Sage Publications Ltd.
Halliday, M.A.K. (1978). Language as social semiotic: the social interpretation of
language and meaning. London/ Baltimore: Edward Arnold & University
Park Press.
Hodge, R. & Kress, G. (1988). Social Semiotics. Ithaca, New York: Cornell
University Press.
Hofinger, A. & Ventola, E. (2004). Multimodality in operation: language and
picture in a museum, in E. Ventola, C. Charles & M. Kaltenbacher (Eds.).
Perspectives on Multimodality, pp. 193-209. Amsterdam / Philadelphia: John
Benjamins.
Holland, A. (2009). Audio description in the theatre and the visual arts: images
into words, in G. Anderman & J. Daz-Cintas (Eds.) Audiovisual translation:
language transfer on screen, pp. 170-185. Basingstoke/ New York: Palgrave
MacMillan.
Jakobson, R. (1995). Aspectos lingsticos da traduo Trad. Izidoro Blikstein.
Lingstica e Comunicao, pp. 63-86. So Paulo: Cultrix.
Jewitt, C. & Oyama, R. (2001). Visual meaning: A social semiotic approach,
in T. van Leeuwen & C. Jewitt (Eds.)Handbook of visual analysis, pp. 134156. London: Sage.
Jimenez Hurtado, C. (2007). Una gramtica local del guin audiodescrito.
Desde la semntica a la pragmtica de un nuevo tipo de traduccin, in C.
Jmenez-Hurtado (Ed.) Traduccin y acessibilidad. Subtitulacin para sordos
y audiodescripcin para ciegos: nuevas modalidades de traduccin audiovisual,
pp. 55-80. Frankfurt: Peter Lang.
Kress, G. & van Leeuwen, T. (1996). Reading images: the grammar of visual design.
London/New York: Routledge.
Kress, G. & van Leeuwen, T. (2001). Multimodal discourse: the modes and media
of contemporary communication. London: Arnold.
Kress, G. & van Leeuwen, T. (2002). Colour as a semiotic mode: notes towards
a grammar of colour, Visual Communication, 1(3): 343-369.
Mackin, D. (2007). Introduction to multimodal analysis. London: Hodder Arnold.
Magalhes, C. & Biavati, N. (2003). De
operrios, tcnicos e executivos: representaes do trabalhador em gnero do discurso miditico, CROP, 9:55-84.
53
12 (1)
Magalhes, C. & Novodvorski, A. (2010). A semitica visual e a questo da

identidade racial: uma leitura sistmico-funcional em duas capas de literatura
infanto-juvenil brasileira, in E. Ghio & M. A. Fernandez (Eds.) El discurso
en espaol y portugus. Estudios desde una perspectiva sistmico-funcional, pp.
287-310. Coleccin Ciencia y Tecnologa. Santa F - Argentina: Universidad
Nacional del Litoral.
Magalhes, C. & Caetano, P. (no prelo). A comparative study of visual racism
on Brazilian and British images of the black body, in W. L. Bowcher (Ed.)
Multimodal texts from around the world: cultural and linguistic insights. London/ New York: Palgrave MacMillan.
Martin, J.R. & White, P.R.R. (2005). The language of evaluation: appraisal in
English. Hampshire/ New York: Palgrave Macmillan.
Matamala, A. (2007). La audiodescripcin en directo, in C. Jmenez-Hurtado
(Ed.) Traduccin y accesibilidad. Subtitulacin para sordos y audiodescripcin
para ciegos: nuevas modalidades de traduccin audiovisual, pp. 121-132.
Frankfurt: Peter Lang.
Meng, A. P. K. (2004). Making history in From Colony to Nation: a multimodal
analysis of a museum exhibition in Singapore, in K. L. OHalloran (Ed.),
Multimodal discourse analysis: systemic functional perspectives, pp.28-54.
London/ New York: Continuum.
OHalloran, K. L. (2004). Multimodal discourse analysis: systemic functional perspectives. London/ New York: Continuum.
Orero, P. (2007). Audiosubtitling: a possible solution for opera accessibility in
Catalonia, in V.L.S Arajo e E.P.C. Franco (Eds) TRADTERM 13, pp.
35-150.
OToole, M. (1994). The language of displayed art. Rutherford, Madison, Teaneck:
Fairleigh Dickinson University Press.
Pay, M. P. (2007). La audiodescripcin: traduciendo el lenguaje de las cmaras,
in C. Jimenez Hurtado (Ed.) Traduccin y accesibilidad. Subtitulacin para
sordos y audiodescripcin para ciegos: nuevas modalidades de traduccin audiovisual, pp. 81-92. Frankfurt: Peter Lang.
Pinheiro, V. S. (2007). Analisando significados de capas da Revista Raa Brasil: um
estudo de caso luz da semitica social. Belo Horizonte: UFMG. (Dissertao
de mestrado).
Ravelli, L. (2006). Museum texts: communication frameworks. London; New York:
Routledge.
Salway, A. (2007). A corpus-based analysis of audio description, in J. Daz Cintas, P. Orero & A. Remael (Eds.) Media for All. Subtitling for the deaf, audio
description, and sign language, pp.151-174. Amsterdan; New York: Rodopi.
Silva, M. C. (2009). Com os olhos do corao: estudo acerca da audiodescrio de
desenhos animados para o pblico infantil. Salvador: UFBA. (Dissertao de
Mestrado)
Simpson, P. (2000). Language, ideology and point of view. London/New York:
Routledge.
54
Snyder, J. (2005). Audio Description: the visual made verbal across arts discipline,
Translating Today Magazine, 4, 15-17.
Toolan, M. (2001). Narrative: a critical linguistic introduction. London; New
York: Routledge.
Van Leeuwen, T. (2005). Introducing social semiotics. London/ New York: Routledge.
Van Leeuwen, T. (2006). Towards a semiotics of typography, Information Design
Journal, 14 (2): 139-155.
Van Leeuwen, T. (2008). Discourse and practice: New tools for critical discourse
analysis. Oxford: Oxford University Press.
Van Leeuwen, T. & C. Jewitt (2001). Handbook of visual analysis. London,
Thousand Oaks, New Delhi: Sage Publications.
Clia M. Magalhes professora titular do Programa de Ps-Graduao em

Estudos Lingusticos da Universidade Federal de Minas Gerais e pesquisadora nvel 2 do CNPq. Possui mestrado em lingustica (1985) e doutorado
em literatura comparada (1997) pela Universidade Federal de Minas Gerais.
Tem experincia na rea de Lingustica Aplicada, com nfase em estudos da
traduo e estudos da multimodalidade, tendo como foco de interesse o estilo
de tradutores e a produo multimodal de textos.
Correos electrnicos: celiamag@gmail.com / celia.magalhaes@pq.cnpq.br
Vera Lcia Santiago Arajo professora do Programa de Ps-Graduao
em Lingustica Aplicada da Universidade Estadual do Cear e pesquisadora
nvel 2 do CNPq. . Possui mestrado em Mestrado em Letras Lngua Inglesa
pela Universidade Estadual do Cear (1994) e doutorado em Letras pela
Universidade de So Paulo (2000). Tem experincia na rea de Lingustica
Aplicada, com nfase em Traduo Audiovisual (TAV), atuando principalmente
nos seguintes temas: legendagem para surdos e ensurdecidos (LSE), audiodescrio (AD) e TAV e ensino.
Correos electrnicos: verainnerlight@uol.com.br / vera.santiago@pq.cnpq.br
55
ARTCULO
Multimodalidad y estrategias discursivas:

un abordaje metodolgico
SALVIO MARTN MENNDEZ

Universidad Nacional de Mar del Plata
Universidad de Buenos Aires - CONICET
Resumen. Las estrategias discursivas son, desde nuestro punto de vista, el modo de
dar cuenta del Anlisis del Discurso (Menndez, 2000, 2005). Las definimos como
un plan del sujeto discursivo que el analista reconstruye a partir de la combinacin de
recursos que proveen los diferentes modos (Kress, 2009) con el objetivo de obtener un
fin interaccional. En este trabajo nos interesa mostrar cmo analizar estratgicamente
y desde una perspectiva multimodal (Kress, 2009) un afiche cinematogrfico. Desde
una perspectiva de base sistmico-funcional (Halliday, 1978) mostraremos que no
hay privilegio a priori de un modo sobre otro sino que su combinacin estratgica
permite establecer relaciones de preponderancia entre ellos. Es la dinmica genrica
la que permitir ver la manera en que las combinaciones se llevan a cabo, se jerarquizan, se complementan y orientan determinadas interpretaciones.
Palabras clave: multimodalidad, estrategia, recursos, registro, gnero.
Resumo. Estratgias discursivas so, do nosso ponto de vista, o modo de dar conta da
Anlise do Discurso (Menndez, 2000, 2005). Na nossa definio, so um plano do
sujeito discursivo reconstrudo pelo analista a partir da combinao de recursos que
os diferentes cdigos fornecem com o objetivo de obter um fim interacional. Neste
trabalho nos interessa mostrar como analizar um cartaz cinematogrfico estrategicamente e de uma perspectiva multimodal (Kress, 2009). A partir de uma perspectiva
de base sistmico-funcional (Halliday, 1978), mostraremos que no h privilgio a
priori de um modo sobre outro, mas sim que a sua combinao estratgica permite
estabelecer relaes de preponderncia entre eles. a dinmica genrica que permitir entender a maneira pela qual as combinaes se constroem, hierarquizam-se,
complementam-se e orientam determinadas interpretaes.
Palavras-chave: multimodalidade, estratgia, recursos, registro, gnero.
Abstract. Discourse strategies are, from our point of view, the way to give account
of Discourse Analysis (Menndez, 2000, 2005). We define them as a plan analysts
reconstruct from the combination of different resources that fulfill an interactional
goal. In this paper, we will present a multimodal analysis of a film poster in order
to explain how the different resources of various modes work. From the analytical framework of a functional-systemic perspective (Halliday, 1978) we will try to
show that no mode is privileged over another but that the key element is rather
their strategic combination, that is, their organization in order to meet its purpose.
Thus, the generic dynamics allows us to see the way combinations are realized, how
Recibido: 10 de abril de 2012 Aceptado: 25 de agosto de 2012.
ALED 12 (1), pp. 57-73
57
12 (1)
they are provided with a given hierarchy, and how they complement each other and
trigger certain interpretations.
Keywords: multimodality, strategy, resource, register, genre.
Introduccin
El presente trabajo pretende mostrar: a) las ventajas que supone adoptar
la perspectiva multimodal para el Anlisis del Discurso (AD de aqu en
ms) y b) la pertinencia de que esa perspectiva se lleve a cabo a partir del
anlisis de estrategias discursivas.
En funcin de que la perspectiva multimodal supone un enfoque discursivo inscripto dentro de un planteo semitico ms amplio, entendemos
que la lingstica sistmico-funcional es una teora de base adecuada para
llevarla a cabo. La razn es simple: la lingstica sistmico-funcional entiende que el lenguaje verbal est inscripto dentro de una semitica social
(Halliday, 1978; van Leeuwen, 2005). Esta concepcin de semitica va ms
all de la descripcin esttica de un conjunto sistemtico de regularidades
formales y se propone dar cuenta de los sistemas de significacin que se
conforman a partir de su inscripcin contextual.
Entendemos que el discurso, objeto evidente y especfico de la disciplina, es una simultaneidad de modos (Jewitt, 2009; Kress, 2009) que se
representan a partir de las actualizaciones efectivas de los diferentes sistemas de opciones que permiten conformarlos. Desde este punto de vista,
la multimodalidad es una caracterstica inherente y necesaria para el AD
simplemente porque el discurso es una unidad bsicamente multimodal.
Nos interesa focalizar aqu la metodologa para abordar cualquier fenmeno
discursivo.
Esto supone necesariamente considerar que un (i.e. cualquier) lenguaje
es siempre potencial de significado que se describe, explica e interpreta
desde tres puntos de vista complementarios: i) paradigmticamente (lo
que da cuenta de su sistema), sintagmticamente (lo que da cuenta de su
estructura) y estratgicamente (lo que da cuenta de su uso)
Para ello, organizaremos este artculo de la siguiente manera. En el
punto 1, daremos los fundamentos que permiten justificar que la lingstica
sistmico-funcional es una adecuada teora de base para sostener la perspectiva multimodal. En 2, daremos los lineamientos generales del anlisis
del discurso. En 3, haremos la fundamentacin del planteo multimodal.
En 4, plantearemos las caractersticas de nuestro instrumento de anlisis de
las estrategias discursivas. En 5, analizaremos puntualmente un ejemplo de
un afiche cinematogrfico. En 6, sacaremos las conclusiones pertinentes.
58
Salvio Martn Menndez: Multimodalidad y estrategias discursivas: un abordaje metodolgico
1. La lingstica sistmico-funcional: teora de base

La lingstica sistmico-funcional considera el lenguaje como un potencial de significado (Halliday, 1978) que se actualiza en forma de textos
contextualmente dependientes.
La lingstica sistmico-funcional entiende el lenguaje verbal dentro
de una semitica social (Halliday, 1978), es decir, la teora lingstica se
ubica dentro del contexto de la semitica entendida en trminos del estudio
de los sistemas y procesos del significado y reconoce una triple deuda que
ayuda a entender este planteo de manera ms integral:
La antropologa cultural de Malinowsky (1923) le aporta la dependencia contextual para entender los hechos significativos que
el lenguaje crea, permite representar, intercambiar y organizar.
La glosemtica de Hjelmeslev (1986 [1943]) le aporta el concepto
de semitica connotativa y las dimensiones paradigmticas y sintagmticas en relacin con los planos de la expresin y del contenido.
El estructuralismo britnico de Firth (1957) toma los dos anteriores y los reelabora dando los puntos bsicos de elaboracin de
la propuesta sistmico-funcional ampliando la base estructural al
dominio semntico.
La lingstica sistmico-funcional describe el lenguaje como un sistema semntico realizado formalmente, cuya significacin socio-cultural es
lo que permite caracterizarlo; se prioriza el discurso o texto no solamente
como evidencia del sistema sino como elemento constitutivo de la cultura.
Los textos son las unidades que permiten analizar esa potencial de
significado a partir de sus realizaciones particulares. La propiedad que
los caracteriza es la coherencia entendida a partir de su realizacin lxicogramatical y contextual. Un texto es, entonces, una unidad de significado
en uso coherente: cohesiva lxico-gramaticalmente y consistente en registro
y gnero (Halliday y Hasan, 1976; Martin, 1985; Eggins, 2004). Por esta
razn los textos no son unidades de interpretacin. Un texto siempre se
inscribe en un determinado contexto que marca el lmite de su interpretacin posible. No hay texto sin contexto ni contexto sin texto. La relacin
no es jerrquica ni opositiva; es mutuamente interdependiente.
La lingstica sistmico-funcional considera fundamental cmo la lengua crea significados y cmo permite intercambiarlos por medio de textos.
Ah reside su concepcin semntica que se describe y explica a partir de las
tres funciones bsicas del lenguaje (ideativa, interpersonal y textual) y de
los sistemas que permiten dar cuenta de ella (transitividad, tema y modo)
(Halliday, 1970, 1978, 1985, 2002, 2004).
59
12 (1)
La lingstica sistmico-funcional entiende semntico en sentido amplio.

Esto implica que est incluyendo en su definicin lo que, desde la dcada del
ochenta del siglo veinte, se denomina pragmtico (Levinson, 1983; Leech,
1983); no realiza, por lo tanto, ninguna distincin entre semntica y pragmtica.
Considera que se trata de una distincin artificial ya que todo significado debe
entenderse como un significado en uso (Halliday, 1978). Como la perspectiva
funcional presupone una concepcin del lenguaje en trminos interaccionales
cuya unidad es el texto, adoptar una perspectiva funcional implica, en consecuencia, adoptar una perspectiva textual ya que el lenguaje sirve a ciertos
propsitos que van ms all del propio lenguaje. Es decir, cumple finalidades
de orden sociocultural. El lenguaje sirve, entonces, como una instancia en la
que siempre se lleva a cabo una negociacin de significados.
El concepto alrededor del que se organiza la gramtica sistmico-funcional
es el de opcin, entendida en trminos de potencial de significado sin implicar
intencionalidad. Las opciones conforman sistema de redes pero no constituyen una estructura taxonmica. El sistema de opciones es descripto como
conjuntos de paradigmas disponibles que conforman una red. A su vez, este
sistema tiene como correlato una estructura que se representa en trminos
sintagmticos como las opciones efectivamente elegidas. Esa estructura es el
texto. El sistema, desde el punto de vista terico, se realiza en la estructura,
i.e. los paradigmas se realizan en los sintagmas; en consecuencia, las opciones
potenciales se realizan en las opciones efectivamente realizadas. Si bien desde
el punto de vista sistmico-funcional la prioridad terica la constituye la reconstruccin del sistema (de ah su nombre), ese sistema se encuentra en una
relacin de mutua interdependencia con la estructura. La posibilidad de su
reconstruccin, desde el punto de vista analtico, la dan los textos; ellos son el
conjunto de opciones efectivamente realizadas a partir de los cuales es posible
reconstruir el conjunto de opciones disponibles.
No existe una caracterizacin dicotmica u opositiva sino una mutua y
necesaria interdependencia entre sistema y estructura. El mismo tipo de relacin
se da entre texto y contexto. La relacin texto/contexto no es de oposicin
sino de mutua interdependencia. El conjunto de paradigmas disponibles es
la condicin de posibilidad para la produccin de un texto determinado y, a
su vez, los textos son los que permiten reconstruir el conjunto de paradigmas
disponibles. Son dos perspectivas mutuamente complementarias.
El concepto de opcin supone que el lenguaje es inherentemente variable
y que se expresa a partir de variantes. La realizacin efectiva de un conjunto de
opciones conforma un texto y esa conformacin lleva inscripta la variedad de
uso elegida en funcin de la situacin en la que ese texto se produce. Cuando
un hablante elige determinada opcin, la realiza porque hay un contexto que la
determina, en algn grado, como adecuada y la habilita como tal. La gradualidad, entonces, determina el alcance de las opciones a partir de su realizacin
efectiva en situaciones particulares.
60
El contexto se define en forma doble. En primer lugar, es entendido

como la situacin inmediata en la que el lenguaje se inscribe a partir de su
uso. En segundo lugar, como una situacin mediata, dada por la cultura
en la que esa situacin inmediata est convencionalmente inscripta y, en
consecuencia, se le puede asignar un determinado significado social. Esas
convenciones pueden o no respetarse en mayor o menor medida, pero
no pueden negarse. Hay, en consecuencia, un contexto de situacin que
se inscribe dentro de un contexto de cultura. El primero se caracteriza a
partir del registro; el segundo, del gnero. (Halliday, 1978; Hasan, 1995;
Martin, 1985, 1992, 1997).
El registro es definido como una variedad de uso que est determinada
por la situacin. Se lo describe (Halliday, 1978; Halliday y Hasan, 1976;
Martin, 1985) a partir de tres elementos: el campo (el tipo de actividad
reconocida en una cultura en la que el lenguaje cumple un papel determinado), el tenor (la relacin entre los participantes) y el modo (el canal
utilizado para llevar a cabo el intercambio).
Los gneros discursivos han sido definidos tradicionalmente como
convenciones de uso (Bajtn, 1944 [2008]). Estas convenciones son constitutivas de los discursos ya que actan como condiciones previas y bsicas
de interpretacin. El gnero acta, de este modo, como el contexto cultural
mediato que hace posible que un discurso pueda ser interpretado de una
manera determinada.
En consecuencia, se puede afirmar que el hablante opta en funcin
del gnero discursivo. Y la realizacin de esa opcin depende y est condicionada por l.
El condicionamiento textual es, por lo tanto, doble: 1) gramatical, en
tanto depende del sistema de opciones que el hablante tiene (que representa
slo idealmente todas las opciones posibles que podra tener); 2) genrico,
en tanto depende del conjunto de convenciones de uso (las situaciones)
que tiene incorporado (al menos en algn grado) porque es un sujeto social
que forma parte de una determinada cultura.
2. El anlisis del discurso

El anlisis del discurso es, originalmente, una subdisciplina lingstica
que puede caracterizarse a partir de lo que llamaremos la interseccin de los
contextos. Pero, al mismo tiempo y como veremos, se debe inscribir tambin
dentro del planteo semitico social a partir de una perspectiva efectiva que
determina, en ltima instancia, su prctica analtica: la multimodalidad.
Esta interseccin nos permite poner en relacin tanto la lingstica
sistmico-funcional como teora gramatical de base (cf. punto 1) con las
teoras tradicionalmente agrupadas bajo el nombre de pragmtica (Levinson,
1983; Leech, 1983; Lavandera, 1985) y adoptar una perspectiva amplia,
61
12 (1)
la pragmtica-discursiva (Verschueren, 1995, 1999; Menndez, 1997) que

permiten una integracin efectiva de gramtica y discurso como dominios
complementarios.
El discurso aparece, entonces, en la interseccin de dos contextos: uno,
cognitivo-social (representado centralmente por la gramtica y los entornos
cognitivos (Sperber y Wilson, 1986); otro, socio-cultural (representado
por el gnero). Ambos, gramtica y gnero, condicionan su aparicin. El
discurso es el que permite contrastar las opciones realizadas con las realizables y caracterizar las convenciones de uso ya que es, simultneamente,
el proceso y el producto que se obtiene por medio de la interaccin de
dos contextos que son su condicin de posibilidad: el contexto cognitivosocial y el contexto socio-cultural. Proceso, desde el punto de vista de su
constitucin; producto, desde el punto de vista de su anlisis.
El contexto cognitivo est representado por el sistema de opciones
disponibles que muestra la variabilidad como caracterstica inherente y
potencial del lenguaje y los mecanismos suposicionales que permiten almacenar informacin y llevar a cabo inferencias. El contexto socio-cultural est
representado fundamentalmente por los gneros discursivos que involucran
lo que la gramtica sistmica denomina campo, tenor y modo (Halliday,
1978; Halliday y Hasan, 1976; Martin, 1992) pero no se agotan en ellos.
El proceso de produccin discursiva involucra necesariamente optar
en funcin del gnero. Esta dupla opcin /gnero no constituye una dicotoma ya que el discurso aparece como el elemento en el que las opciones
se realizan y las matrices genricas pueden verificarse.
Tres perspectivas, entonces, permiten dar cuenta del AD. Ellas son: a)
gramatical, b) discursiva, c) crtica. La primera reconoce como su caracterstica dominante la variabilidad entendida a partir del sistema de opciones
disponibles que representa. La segunda, la negociabilidad entendida a partir
de la combinacin de las opciones realizadas, es decir, recursos en forma de
estrategias discursivas. La tercera, la adaptabilidad entendida a partir de su
inscripcin socio-histrico-cultural a partir de la interpretacin crtica que
se lleva a cabo. Las tres son complementarias y no suponen jerarquizacin
sino focalizacin. La gramtica privilegia la descripcin de los recursos;
el anlisis del discurso, la explicacin de cmo operan las estrategias; y el
anlisis crtico, la interpretacin a partir de los efectos que las series de
discursos tienen dentro de la sociedad.
En esta interseccin proponemos establecer una correlacin entre gramtica, registro y gnero a partir de una reformulacin parcial (Menndez,
1997) de las caractersticas constitutivas de la perspectiva pragmtica
(Verschueren, 1995, 1999).
Las tres unidades que las representan seran: el texto, el discurso y la
serie discursiva, como se presentan en el Cuadro 1:
62
Cuadro 1: Perspectivas, unidades y elementos que se analizan
Perspectivas Caracterstica Disciplina

Gramatical Variabilidad
Alcance
Caractersticas
del alcance
Gramtica Descriptivo Sistema de

opciones
disponibles
Unidad
de
anlisis
Texto
Elementos
que se
analizan
Paradigmas
(grados de
especificidad)
Discursiva Negociabilidad AD
Discurso CombiExplicativo Opcin

nacin de
realizada
recursos en
como recurso
forma de
de una
estrategias
estrategia
discursivas
Crtica
Interpreta- Interpretacin Serie

Gneros
tivo
crtica del uso discursiva discursivos
estratgico
Adaptabilidad ACD
Las tres son complementarias y no suponen jerarquizacin sino focalizacin. Estn representadas por tres disciplinas que representan los objetos que
cada una de ellas privilegia: la gramtica, el anlisis del discurso y el anlisis
crtico del discurso.
La focalizacin pasara por el hecho de que la gramtica privilegia la descripcin del sistema; el anlisis del discurso, la explicacin de cmo operan las
estrategias y; el anlisis crtico, la interpretacin a partir de los efectos que las
series de discursos tienen dentro de la sociedad.
Inscribimos nuestra propuesta en el Anlisis Estratgico del Discurso (antes
Anlisis pragmtico del discurso (Menndez, 1995, 1997); AED, de aqu en
ms). Este enfoque adopta una perspectiva que sostiene que el funcionamiento
socio-cognitivo-histrico-cultural de los discursos debe explicarse en trminos
de estrategias.
Esto supone, en trminos generales, que mientras las lenguas son descriptas
gramaticalmente como sistema de recursos para significar (Halliday, 1978), el
anlisis del discurso lo hace como conjuntos de estrategias discursivas.
Distinguimos cuatro unidades de anlisis complementarias: clusula, texto,
discurso y serie discursiva. Tomamos en este caso como sistema de base, el verbal.
Definimos clusula como el lugar en el que se proyectan simultneamente las tres funciones del lenguaje: la ideativa, la interpersonal y la textual
(Halliday, 1985). La identificacin de la clusula la llevamos a cabo a partir de
la presencia explcita o implcita de procesos (verbos) tanto conjugados como
no conjugados. La aparicin de una forma verbal determinar, en principio,
el alcance de una clusula y est servir como principio de segmentacin de
los textos que analizaremos.
63
12 (1)
Definimos texto solamente como el conjunto de relaciones semnticas cohesivas (Halliday y Hasan, 1976) que realizan las clusulas como la
unidad gramatical. Definimos discurso como sujeto discursivo ms texto
(Menndez, 1997). El sujeto discursivo es entendido como una construccin que se produce en el discurso y que incorpora lo que denominamos
la dimensin pragmtica.La clusula es una unidad estructural bsica; el
texto es una unidad semntico-gramatical definida por una propiedad
intratextual denominada cohesin. El discurso, una unidad interaccional
definida por una propiedad interdiscursiva denominada coherencia. Las
relaciones textuales pueden analizarse en forma aislada y permiten describir
relaciones semnticas que operan entre los elementos que las conforman.
Las relaciones discursivas son ilimitadas y estn determinadas por las
estrategias discursivas que el sujeto pone en funcionamiento dentro de
una interaccin determinada. Establecemos, por lo tanto, una separacin
operativa entre el texto, como unidad semntico-gramatical y el discurso
como unidad pragmtica-discursiva.
Definimos serie discursiva (Menndez, 1997) como un conjunto de discursos. Es un constructo terico-analtico que depende fundamentalmente
del recorte que lleva a cabo el analista a partir de una serie de caractersticas
que permiten agrupar las interacciones (y los discursos que las constituyen)
en funcin de determinadas caractersticas: i) tpico comn; ii) identidad
de sujeto discursivo; iii) identidad de audiencia o destinatario; iv) identidad
de registro; v) identidad de gnero. Estas caractersticas no son mutuamente
excluyentes sino, por el contrario, pueden y suelen complementarse. La serie
discursiva limita y permite fundamentar una interpretacin determinada
sobre otras posibles, en funcin de las relaciones interdiscursivas que se
establecen entre los discursos que forman parte de ella.
3. Fundamentos del planteo multimodal

La multimodalidad puede definirse como una perspectiva para el
anlisis discursivo (Jewitt, 2009). El enfoque multimodal sostiene que las
opciones no se dan solamente en el plano del lenguaje verbal sino simultneamente junto con otros sistemas de opciones que se realizan junto con l.
Hay, por lo tanto, sistemas de opciones disponibles y conjuntos de recursos
realizados. Estos son los modos que interactan entre s y hacen posible
que un discurso sea interpretado como una unidad semntico-discursiva y
estratgicamente analizable.
Los distintos sistemas semiticos seran las distintas gramticas de
los diversos sistemas que entran en una semitica social. Cada uno de
ellos puede definirse como una potencialidad que se representa como una
paradigmtica, es decir, como una reconstruccin que el analista hace a
partir del anlisis discursivo. Las paradigmticas representan las distintas
64
opciones posibles que conforman todos los sistemas que estn representados
por todos los discursos de una determinada cultura. Debe aclararse que las
especificidades de cada sistema son propias de ellos. No hay isomorfismo
con el sistema verbal salvo en el hecho de conformar una paradigmtica.
Cada paradigmtica se realiza a partir de una sintagmtica, es decir, un
conjunto de opciones, un modo, que necesariamente se combina con otros
modos que constituyen el discurso efectivamente realizado.
Los sistemas son paradigmticas disyuntivas (X o Y). Las estructuras
suponen la complementacin de los ejes de la simultaneidad y de la sucesin.
El discurso, desde la perspectiva multimodal, puede caracterizarse como
la simultaneidad en la sucesin. En consecuencia, un lenguaje es siempre
conjunto de recursos que se describe, en el momento de su instanciacin,
tanto sintagmticamente como paradigmticamente; la integracin modal
no supone privilegios sino integracin simultnea de ambos ejes.
Los modos, por lo tanto, interactan entre s y son los que hacen posible
que un discurso sea analizado en funcin de sus estrategias para poder ser
interpretado. El modo, en consecuencia, nunca aparece aislado; siempre se
da en relacin con otros modos. Es la interaccin simultnea de los modos
lo que caracteriza al texto desde el punto de vista multimodal. No hay
jerarquizacin de sistemas ni de modos a priori. El contexto situacional y
cultural es integrado de manera efectiva ya que los modos cubren lo que
en las tradiciones de las lingsticas contextualmente dependientes suelen
aparecer como elementos extra-verbales o para-verbales
Puede afirmarse, entonces, que el enfoque multimodal es una necesaria
precisin del AD ya que el discurso aparece siempre como una unidad compleja, multimodal en la que se pone en primer plano el anlisis discursivo
como la realizacin del registro en el que una situacin se inscribe. Eso
supone ver las diferentes variedades de uso de los diferentes modos en funcin de la finalidad comunicativa que persiguen en una inscripcin efectiva.
4. Estrategias discursivas
Entendemos que analizar discursos es bsicamente analizar conjuntos
de estrategias discursivas (Menndez, 1997, 2000, 2005). Ellas permiten
describir recursos, explicar su combinacin e interpretar su alcance. Nos
interesa, por lo tanto, mostrar cmo el enfoque estratgico permite analizar
la multimodalidad a partir de la combinacin de los diferentes recursos que
despliegan cada uno de los modos que constituyen un determinado discurso.
El principio que permite abordar el anlisis del discurso es el anlisis de las
estrategias discursivas. Ellas son el principio de explicacin e interpretacin
del funcionamiento socio-histrico de los discursos (Menndez, 2000, 2005).
Importa, entonces, caracterizar qu es una estrategia discursiva. La definimos como la reconstruccin analtica de un plan de accin que el hablante/
65
12 (1)
escritor, en tanto sujeto discursivo, pone en funcionamiento cuando combina

un conjunto de recursos de diferentes modos con el objeto de obtener una
finalidad interaccional particular.
Una serie de precisiones se imponen. El enfoque estratgico reconstruye
una prctica; no pretende ser esa prctica ni reemplazarla. No pretendemos
decir que el hablante hace lo que proponemos ya que establecemos una
clara diferenciacin entre el hablante como sujeto emprico y el sujeto
discursivo que es el objeto de la reconstruccin analtica. Es importante
entender, entonces, que cuando decimos que el hablante en tanto sujeto
discursivo lleva a cabo un plan de accin nos referimos a esa entidad que es
operativamente vlida en funcin de nuestro objeto. Por lo tanto, el anlisis
estratgico no explica lo que el hablante efectivamente quiso hacer en una
situacin determinada cuando produce un discurso sino que reconstruye lo
que el sujeto discursivo (constructo terico-analtico que se conforma en el
discurso) pone en funcionamiento al combinar diferentes clases de recursos.
Los recursos son las opciones efectivamente seleccionadas en cada uno
de los modos que aparecen simultnea y sucesivamente en el discurso. Esto
significa que cada sistema semitico tiene independencia virtual, es decir, se
construye a partir de la reconstruccin analtica. Ah tenemos la prioridad
terica de la paradigmtica que podemos redefinir como el conjunto de
sistemas semiticos que son la condicin de posibilidad de los discursos.
Pero, al mismo tiempo, tenemos tambin la prioridad prctica dada por
las opciones elegidas de manera efectiva, los recursos que siempre aparecen
combinados e interactuando entre ellos. El anlisis que proponemos da
cuenta de esta efectiva interaccin a partir de la integracin de esos recursos.
Podemos poner como ejemplo el sistema verbal. Tenemos una paradigmtica conformada por los diferentes paradigmas especificados. Y una
sintagmtica realizada a partir de dos tipos de recursos: 1) gramaticales
y 2) pragmticos. Los recursos gramaticales realizan la gramtica de una
lengua a partir de los sistemas de transitividad, modo y tema (Halliday,
1987; Halliday & Matthiessen, 2004) y de las relaciones cohesivas (Halliday
y Hasan, 1976). Los recursos pragmticos realizan la pragmtica de una
lengua determinada al permitir establecer los diferentes aspectos que el
sujeto discursivo pone en funcionamiento cuando produce un discurso.
Los postulamos en trminos de las siguientes dimensiones: 1) la dimensin ilocucionaria (Austin, 1962) que da cuenta del dominio accional de
los discursos; 2) la dimensin suposicional que da cuenta del conjunto de
supuestos e inferencias que condicionan los discursos (Sperber y Wilson,
1986); 3) la dimensin indireccional que da cuenta de los diferentes grados
de distancia (Brown y Levinson, 1987); 5) la dimensin evaluativa que da
cuenta de dominio de juicio que los diferentes recursos conllevan (Martin
y White, 2005).
66
5. Un ejemplo: anlisis estratgico de un afiche cinematogrfico

Veremos la estrategia que denominamos Disear un afiche cinematogrfico, aplicada al caso de un afiche de la pelcula Transamerica (Figura 1),
en el cual se pueden claramente distinguir los tres componentes centrales del
anlisis que proponemos y que pueden esquematizarme de la siguiente manera:
Cuadro 2: Elementos que componen la estrategia
Disear
Modos (interaccin de)
un afiche
de una pelcula
Registro
Gnero
Verbal
Color
Distribucin de los objetos
Plano
Figura 1: afiche original del largometraje Transamerica
En primer lugar, describiremos cada uno de los modos intervinientes.

i) Modo verbal
67
12 (1)
Figura 2: Modo verbal. Detalle de las clusulas
El modo verbal est conformado por cuatro clusulas declarativas

afirmativas. La nmero 1 utiliza un proceso relacional en la que aparece el
contenido a partir del que debe o puede inferirse el tema de la pelcula.
La frase es general, pero no por eso deja de ser especfica ya que se explicar
en funcin de los recursos de los otros modos intervinientes. La clusula
2 muestra el nombre de la protagonista y el ttulo de la pelcula con una
elisin verbal. En la 3 se repite el mismo procedimiento, la elisin (en este
caso nominal y verbal) para mostrar la fecha de estreno y en 4 otra elisin
(tambin nominal y verbal) seala que los nombres en los extremos pertenecen a las compaas productoras de la pelcula.
ii) Modo color
Figura 3: Modo color. Detalle del uso del modo color
El modo color se distribuye con una organizacin claramente delimitada

en la que aparecen dos colores, el rosa y el celeste, que oponen culturalmente la distincin biolgica entre los dos sexos (masculino y femenino).
El rosa aparece en la pared; el celeste en la puerta de los baos; el azul en
68
el vestido de la figura, las letras de la clusula 1 y en parte del nombre de

la pelcula (America). El violeta, que une los dos colores anteriores, aparece
en el moo del pelo de la figura humana que nos da la espalda, la camisa
que le cubre la cintura y el prefijo del ttulo (trans-). El blanco y el negro
neutralizan los conos identificadores de los baos, el nombre de la protagonista y las productoras.
iii) Modo distribucin de objetos
Figura 4: Modo distribucin de objetos. Detalle de la distribucin
La distribucin de los objetos es sencilla. Hay una simetra entre dos

puertas que claramente identifican dos baos a partir de los conos que
consagran la divisin tradicional de los sexos claramente sealada. Slo en
la de la izquierda se ve la manija que permite su apertura.
iv) Modo plano: ubicacin de la figura humana
Figura 5: Modo plano. Ubicacin de la figura humana
69
12 (1)
La ubicacin de la figura humana en un plano general de espaldas a

los espectadores, que focaliza la atencin en funcin de su importancia,
divide el espacio y permite describir diferentes posturas simultneamente.
La cabeza muestra una leve inclinacin hacia la puerta del bao femenino;
el pie derecho, hacia la del bao masculino. El pie izquierdo est ubicado
en una direccin que marca ir ms all de los lmites de ese espacio; la
sombra que permitiran proyectar ambos pies marca ir ms all pero en la
direccin opuesta.
La descripcin de los recursos que componen cada uno de los modos
permite explicar su funcionamiento a partir de su combinacin. Es en esa
combinacin en los que la estrategia se lleva a cabo. Hay una correlacin
evidente entre cada uno de los recursos descriptos en su integracin discursiva.
Y esa correlacin supone su combinacin selectiva. La naturaleza multimodal
del discurso queda as ampliamente justificada a partir de la organizacin
que su co-ocurrencia estratgica habilita.
Hay un predominio de los aspectos visuales sobre los lingsticos. Algo
evidente en el registro de ese gnero. Estos ltimos estn reducidos al mnimo
y pueden explicarse en funcin de la combinacin de los otros que marcan,
claramente, el diseo del afiche, modo preponderante que explica la estrategia
a partir de los recursos seleccionados.
La combinacin de una figura humana, una mujer por su caractersticas
fsicas y de vestuario, ubicada de una manera particular frente a un espacio
determinado, las puertas de dos baos, la que permite explicar el grado de
complemento de sus posturas, los colores, la clusulas.
A partir de la descripcin de los recursos y su combinacin estratgica,
se puede justificar el alcance interpretativo del uso de esa estrategia en un
registro particular (el afiche que siempre es un elemento de publicidad, es
decir, de persuasin explcita para conseguir una finalidad expuesta de manera evidente (en este caso la de atraer pblico) y en un gnero particular, el
cinematogrfico, en el que se espera que el afiche tenga el suficiente atractivo
y que condense, de alguna manera, las caractersticas fundamentales de la
pelcula promocionada.
El ejemplo presentado es, creemos, claro por su efectividad.
Independientemente del conocimiento que se pueda tener o no lo de la
pelcula, el afiche se concentra en una situacin simple que conlleva una
serie de complejidades a partir de cmo estn organizados los elementos que
la componen. La situacin: una mujer va a entrar al bao; la complejidad,
la duda que supone la eleccin de la puerta (del sexo) que no es sino una
imagen de esa mujer cuya sexualidad aparece necesariamente en conflicto.
El prefijo trans y sus asociaciones evidentes refuerzan ese viaje que debe
hacer a travs de Amrica (el pas) y de su persona.
70
6. Conclusiones
Nos hemos propuesto demostrar que el enfoque estratgico es pertinente
para analizar textos desde una perspectiva multimodal. Esa pertinencia se
justifica a partir de mostrar el anlisis llevado a cabo (que es parcial y pretende
ser simplemente un ejemplo puntual) que el AD siempre ha trabajado (ms
all de las exclusiones que esto haya podido suponer) multimodalmente.
Esto implica que un enfoque multimodal advierte, de manera evidente, que
el lenguaje verbal no puede analizarse aisladamente de los otros modos intervinientes, ni que estos son subsidiarios ni marginales a l sino que intenta
ponerlo en prctica de una manera efectiva.
Analizar el lenguaje en uso supone, entonces, tomar en consideracin la
interaccin y jerarquizacin de los modos intervinientes. Esto conlleva una
ventaja y un desafo.
La ventaja al menos desde el punto de vista que hemos sealado aqu
es que contamos con una teora lingstica pero semiticamente adecuada, la
sistmico-funcional, que permite esta puesta en funcionamiento del anlisis
multimodal del discurso.
El desafo es mostrar que a partir de un conjunto de conceptos claros,
precisos y claves (paradigmtica, sintagmtica, opcin) podemos analizar los
diferentes modos sin caer en la copia del modo verbal (ms all de su hegemona
histrica y su complejidad evidente). Si bien cada uno de los modos reconocer
una paradigmtica especfica, esto no implica que su constitucin se lleve a cabo
del mismo modo que la del lenguaje verbal. El desafo tambin opera sobre el
dominio del modo verbal, su hegemona. Esta perspectiva acenta su importancia en relacin con los otros modos y pone en primer plano la necesidad
de ver cmo se ponen en relacin los modos con sus jerarquas evidentes que
aparecen limitadas por el contexto realizado, fundamentalmente, por el gnero.
Intentamos demostrar que esa ventaja y ese desafo pueden abordarse
a partir del relevo de estrategias de discurso que ponen en funcionamiento
efectivo la interaccin modal con el objeto de explicar cmo ellas operan para
justificar la interpretacin discursiva.
Finalmente, el anlisis multimodal del discurso pone en evidencia cmo los
sistemas no slo se conforman sino qu finalidad persiguen. Se parte, entonces,
de una doble dimensin gramatical (paradigmtica como opcin, sintagmtica
como recurso) y la dependencia discursiva (los recursos se combinan entre s).
Analticamente, entonces, tenemos las gramticas y los modos. Es decir, opciones que se realizan en recursos, recursos que se combinan en estrategias. La
diferencia con el planteo discursivo tradicional se centra en el hecho de que las
gramticas y los modos tienen especificidades diferentes y que la interpretacin
que de ellas se obtiene siempre es un proceso que supone la reconstruccin
analtica de las estrategias discursivas.
71
12 (1)
Austin, J. L. (1962). How to do things with words. Oxford: Oxford University Press.
Bajtin, M. (1944 [2008]). El problema de los gneros discursivos, en Esttica de
la creacin verbal, pp. 245-290. Mxico: Siglo XXI.
Brown, P. & Levinson, S. (1987). Politeness. Cambridge: Cambridge University
Press.
Eggins, S. (2004). Introduction to Systemic-Functional Linguistics. London: Continuum.
Firth, J.R. (1957). Papers in Linguistics, 1934-1951. London: Oxford University
Press.
Halliday, M. (1970). Language structure and language function, en J. Lyons (Ed.)
New Horizons of Linguistics, pp. 140-164. Harmondsworth, UK: Penguin.
Halliday, M. (1978). El lenguaje como semitica social. Mxico: FCE.
Halliday, M. (1985). Introduction to functional grammar. London: E. Arnold.
Halliday, M. (1987). Spoken and written modes of meaning, en R. Horowitz
& S. Jay Samuels (Eds.) Comprenhending Oral and Written Language, pp.
55-87. San Diego, CA.: Academic Press.
Halliday, M. (2002). On Grammar. Collected Works.Volume 1. London: Continuum.
Halliday, M. (2004). On Language and Linguistics. Collected Works. Volume 3.
London: Continuum.
Halliday, M. & Hasan, R. (1976). Cohesion in English. London: Longman.
Hasan, R. (1995). The conception of context in text, en P. Fries & M. Gregory
(Eds.) Discourse in Society: Systemic Functional Perspectives, 183-283. New
Jersey: Ablex.
Halliday, M. & Matthiessen, CH. (2004). An Introduction to the Functional
Grammar. London: Edward Arnold
Hjelmeslev, L. (1986 [1943]). Prolegmena para una teora del lenguaje. Madrid:
Gredos.
Kress, G. (2009). Multimodality. A social semiotic approach to contemporary communication. London: Routledge.
Jewitt, C. (2009). The Routledge Handbook of Multimodal Analysis. London:
Routledgde.
Lavandera, B. (1985). Curso de lingstica para el anlisis del discurso. Buenos
Aires: CEAL.
Leech, G. (1983). Principles of pragmatics. London: Longman.
Levinson, S. (1983). Pragmatics. Cambridge: Cambridge University Press.
Malinowsky, B. (1923). The problem of meaning in primitive languages, en K.
Ogden & I. A. Richards The meaning of meaning, pp.451-510. London:
Kegan Paul.
Martin, J. (1984). Language, register and genre, en C. Frances (Ed.) Children
writing: Reader, pp. 21-30. Geelong, Vic.: Deaking University Press.
72
Martin, J. (1985). Process and text: Two aspects of human semiosis. Applied
Linguistics. Field of discourse: Theory and application, 1: 45-55.
Martin, J. (1992). English text: System and Structure. Amsterdam: Benjamins.
Martin, J. (1997). Analysing genre: Functional parameters, en F. Christie y J.
R. Martin (Eds.) Genre and institutions, pp. 3-39. London: Continuum.
Martin, J. R. & White, P.R.R. (2005). The Language of Evaluation. Appraisal in
English. New York: Palgrave MacMillan.
Menndez, S. M. (1995). Estrategias discursivas: un principio de anlisis pragmtico del discurso. En Actas del X Congreso de la ALFAL, pp. 537-547.
Mxico: UNAM.
Menndez, S.M. (1997). Hacia una teora del contexto discursivo. Tesis doctoral
indita, Facultad de Filosofa y Letras, Universidad de Buenos Aires.
Menndez, S. M. (2000). Estrategias discursivas: principio metodolgico para el
anlisis pragmtico del discurso, en J.J. de Bustos y P. Charaudeau (Eds).
Lengua, discurso, texto (I Simposio Internacional de Anlisis del discurso),
pp.926-945. Madrid: Visor.
Menndez, S. M. (2005). Gramtica, anlisis del discurso e interpretacin
crtica: las relaciones no tan evidentes, en Proceedings of the Internacional
Conference on Critical Discourse Analysis. Valencia: Universitat de Valencia.
Edicin en CD.
Sperber, D. & Wilson, D (1986). Relevance. Communication and Cognition.
Harvard: Harvard University Press.
Van Leeuwen, T. (2005). Introducing Social Semiotics. London: Routledge.
Verschueren, J. (1995). The pragmatic perspective, en J. Verschueren, J-O
stman y J. Bloomaert (Eds.) Handbook of pragmatics. Manual, pp.1-20.
Amsterdam: Benjamins.
Verschueren, J. (1999). Understanding Pragmatics. London: Arnold.
Salvio Martn Menndez es profesor, licenciado en Letras por la Universidad

de Buenos Aires y doctor por la misma Universidad. Es Profesor Titular
de Lingstica I y Lingstica II de la carrera de Letras de la Facultad de
Humanidades de la Universidad Nacional de Mar del Plata. Profesor asociado a
cargo de la titularidad de Lingstica General y Gramtica Textual de la carrera
de Letras de la Facultad de Filosofa y Letras de la Universidad de Buenos Aires.
Es investigador independiente del CONICET. Actualmente es Director del
Instituto de Lingstica de la Facultad de Filosofa y Letras de la Universidad de
Buenos Aires. Sus reas de especializacin son lingstica sistmico-funcional,
pragmtica y anlisis del discurso.
Correo electrnico: salviomenendez@gmail.com
73
ARTCULO
Anlisis del discurso multimodal1
KAY L. OHALLORAN2
National University of Singapore
Traduccin: Claudia Gabriela DAngelo3
Resumen. El anlisis del discurso multimodal (ADM) constituye un paradigma

emergente en el campo de los estudios del discurso que ampla el estudio del lenguaje
per se al estudio del lenguaje en combinacin con otros recursos. En este trabajo
se exponen los motivos por los que emerge este campo en el rea de la lingstica,
se plantean los principales desafos y la multiplicidad de enfoques de los anlisis de
discursos multimodales y se analizan en detalle los conceptos especficos. Luego,
se desarrolla el anlisis multimodal de un segmento de discurso televisivo. A modo
de conclusin, se considera que el principal desafo del ADM es resolver los detalles
y la complejidad que requiere anotar, analizar, investigar y recuperar los patrones
semnticos multimodales. Por este motivo se propone, como uno de los posibles
mtodos de abordaje, desarrollar plataformas mediticas digitales interactivas. Por
ltimo, se considera que solo ser posible avanzar hacia el objetivo de comprender
los patrones y las tendencias de la tecnologa, los textos, los contextos y la cultura
trabajando de manera colaborativa e interdisciplinaria.
Palabras clave: anlisis del discurso, multimodalidad, discurso televisivo, perspectiva
sistmico-funcional.
Resumo. A anlise do discurso multimodal (ADM) um paradigma emergente nos
estudos do discurso que amplia o estudo da linguagem per se para o estudo da linguagem em combinao com outros recursos. Neste trabalho, discutem-se as principais
preocupaes da ADM, as razes para o surgimento deste campo na lingstica, assim
como a multiplicidade de enfoques das anlisis de discursos multimodais desenvolvidos
e, a seguir, so analizados em detalhe conceptos especficos da ADM. A partir da, um
exemplo de anlise multimodal apresentado: um segmento de um debate poltico
transmitido pela televiso. O principal desafio da ADM de lidar com os detalhes e
a complexidade inerentes anotao, anlise, investigao e recuperao dos padres
semnticos presentes em fenmenos multimodais complexos. Por isso, um dos possveis
mtodos de abordar essa complexidade se d pelo desenvolvimento de plataformas
mediticas digitais interativas desenhadas especificamente para a ADM. De qualquer
maneira, o caminho adiante requer necessariamente a colaborao interdisciplinar
para atingir os objetivos mais amplos de compreenso dos padres e tendncias em
tecnologias, texto, contexto e cultura.
Palavras-chave: anlise do discurso, multimodalidade, discurso da televiso, perspectiva
sistmico-funcional.
Recibido: 26 de marzo de 2012 Aceptado: 5 de agosto de 2012.
ALED 12 (1), pp. 75-97
75
12 (1)
Abstract. Multimodal discourse analysis (MDA) is an emerging paradigm in discourse studies which extends the study of language per se to the study of language
in combination with other resources. In this paper, the major concerns of MDA, the
reasons for the emergence of this field in linguistics, and the variety of approaches
which have been developed are discussed, before concepts specific to MDA are examined in detail. Then, a sample multimodal analysis is presented: an extract from a
television multiparty debate. The major challenge of MDA is managing the detail and
complexity involved in annotating, analyzing, searching and retrieving multimodal
semantics patterns within and across complex multimodal phenomena. Thus, one
method of managing this complexity involves the development of interactive digital
media platform specifically designed for MDA. In any case, the path forward must
necessarily involve interdisciplinary collaboration if the larger goals of understanding
patterns and trends in technologies, text, context and culture are to be achieved.
Key words: discourse analysis, multimodality, television, systemic-functional perspectives.
En verdad, podemos definir la cultura como un
conjunto de sistemas semiticos, como conjuntos
de sistemas de significados que se interrelacionan
(Halliday & Hassan, 1985:4)
Introduccin
El anlisis del discurso multimodal (de aqu en ms, ADM) constituye un
paradigma emergente en el campo de los estudios del discurso que ampla el
estudio del lenguaje per se al estudio del lenguaje en combinacin con otros
recursos tales como las imgenes, el simbolismo cientfico, la gestualidad, las
acciones, la msica y el sonido. En la actualidad, la terminologa que utiliza el
ADM es algo laxa dado que los conceptos y las formas de abordaje progresan
continuamente en este campo de estudio relativamente nuevo. Por ejemplo,
para hacer referencia al lenguaje y a los otros recursos que se integran para
crear significado en los fenmenos multimodales (o multisemiticos), como
los materiales impresos, los videos, los sitios web, los objetos tridimensionales
y las actividades cotidianas, se utilizan las expresiones recursos semiticos,
modos y modalidades. Esto sucede incluso con el propio ADM, al que
se hace referencia como multimodalidad, anlisis multimodal, semitica
multimodal y estudios multimodales.
Para evitar confusiones, en este artculo se utilizar la expresin recurso semitico para describir los recursos (o modos) (es decir el lenguaje, las
imgenes, la msica, la gestualidad y la arquitectura) que se integran en
forma transversal en modalidades sensoriales (por ejemplo visual, auditiva,
tctil, olfativa, gustativa, quinsica) en los textos, discursos y actividades
multimodales, a los que llamaremos colectivamente fenmenos multimodales.
Siguiendo a Halliday (1978:123), los sistemas semiticos son sistema(s) de
76
Kay L. OHalloran: Anlisis del discurso multimodal
significados que constituyen la realidad de una cultura. El medio es el

canal a travs del que se materializan los fenmenos multimodales (es decir,
los peridicos, la televisin, la computadora o diversos objetos y hechos materiales). A continuacin se plantean los principales desafos que enfrenta el
ADM, los motivos por los que emerge este campo en el rea de la lingstica,
la multiplicidad de enfoques que se han desarrollado para, a continuacin,
analizar en detalle los conceptos especficos del ADM y presentar un ejemplo
de anlisis multimodal.
El ADM se ocupa de la teora y del anlisis de los recursos semiticos y de
las expansiones semnticas que tienen lugar a medida que, en los fenmenos
multimodales, se combinan las diferentes opciones semiticas disponibles.
Las relaciones inter-semiticas (o inter-modales) que surgen a partir de la
interaccin de las opciones semiticas, conocidas como intersemiosis, constituyen un rea central de los estudios multimodales (Jewitt, 2009a). El ADM
tambin se ocupa del diseo, de la produccin y de la distribucin de los
recursos multimodales en contextos sociales (van Leeuwen, 2008) y de la
resemiotizacin (Iedema, 2001b, 2003) de los fenmenos multimodales que
tiene lugar a medida que se despliegan las prcticas sociales. Los principales
desafos que enfrenta el ADM incluyen desarrollar teoras y marcos analticos
para los recursos semiticos no lingsticos, modelar los procesos semiticos
sociales (en especial la intersemiosis y la resemiotizacin) e interpretar el
complejo espacio semntico que se despliega y articula de manera transversal
en el interior de los fenmenos multimodales.
Hay mltiples razones que justifican el cambio paradigmtico que implica
que nos alejemos del mero estudio del lenguaje y que nos orientemos al estudio
de la integracin del lenguaje con otros recursos. Primero, que los analistas del
discurso que han intentado interpretar la amplia gama de prcticas discursivas
humanas se han encontrado con la necesidad de describir los sentidos que
surgen del despliegue de mltiples recursos semiticos en diversos medios,
incluyendo las tecnologas digitales interactivas contemporneas. Segundo,
que las tecnologas para desarrollar nuevos abordajes metodolgicos para el
ADM, como por ejemplo las herramientas de anotacin multimodal (Rohlfing
et al., 2006), estn actualmente a nuestra disposicin y son accesibles. Y por
ltimo, que la investigacin interdisciplinaria se ha tornado ms habitual
debido a que cientficos provenientes de distintas disciplinas buscan resolver
problemas similares. Luego de atravesar una era en la que cada disciplina
tena su propio campo de estudio, su propio concepto de teora y su propio
conjunto de mtodos, el siglo veinte se ha constituido para los investigadores
en la era de los temas (Halliday, 1991: 39) orientados a resolver problemas
particulares. El ADM es un ejemplo de ese cambio de paradigma y tiene la
responsabilidad de realizar un aporte fundamental con respecto al anlisis
multimodal, a la investigacin y a la recoleccin de informacin.
77
12 (1)
Diversas formas de abordar el ADM

Gunther Kress y Theo van Leeuwen (1996 [2006] y Michael OToole
(1994 [2010] proporcionaron los fundamentos de la investigacin multimodal en las dcadas de 1980 y 1990 siguiendo la teora del lenguaje como
semitica social de Michael Halliday (1978; 1985 [1994, 2004]) para dar
forma al potencial de significado de las palabras, los sonidos y las imgenes
como conjuntos de sistemas inter-relacionados y sus estructuras Kress y van
Leeuwen (2006) exploraron las imgenes y el diseo visual y OToole (2010)
aplic el modelo sistmico funcional de Halliday al anlisis semitico de
muestras de arte, pintura, escultura y arquitectura.
La preocupacin de Halliday (1978; Halliday & Hassan, 1985) tanto por
el texto como por el contexto, por la instancia y el potencial, est reflejada en
estos trabajos fundacionales. Es decir, Kress y van Leeuwen (2006) adoptan
un abordaje contextual (de arriba hacia abajo) orientado en particular hacia la
ideologa y derivado de principios generales del diseo visual que se ilustran a
travs del anlisis de textos; mientras que OToole (2010) desarrolla un enfoque gramatical (de abajo hacia arriba) trabajando estrechamente con textos
especficos (por ejemplo, pinturas, diseos arquitectnicos y esculturas) para
derivar en marcos tericos que pueden ser aplicados a otros trabajos. Las investigaciones posteriores se han basado en estos dos enfoques y los han extendido
a nuevas reas de anlisis. Por ejemplo, se han desarrollado enfoques contextuales para estudiar la oralidad, el sonido y la msica (van Leeuwen, 1999), los
textos cientficos (Lemke, 1998), los hipertextos (Lemke, 2002), las acciones
y los gestos (Martinec, 2002) y para realizar investigaciones en el rea de la
educacin (Jewitt, 2006) y de la alfabetizacin (Kress, 2003). Adems, a partir
de enfoques gramaticales aplicados a las matemticas (OHalloran, 2005), los
hipertextos (Djonov, 2007) y a una gama de otros textos multimodales (por
ejemplo Bednarek & Martin, 2010) ha surgido una propuesta conocida como
anlisis del discurso multimodal desde una perspectiva sistmico-funcional (SFMDA segn sus siglas en ingls). Jewitt (2009b: 29-33) clasifica los enfoques
contextuales y los enfoques gramaticales como multimodalidad socio-semitica
y como anlisis del discurso multimodal respectivamente.
Estos enfoques proporcionan perspectivas complementarias debido a que
derivan del enfoque socio-semitico de Michael Halliday para el estudio de los
textos, la sociedad y la cultura (ver Iedema, 2003) que ancla la crtica social en
prcticas sociales concretas a travs de tres principios fundamentales:
(1) La conceptualizacin del significado en tres estratos que relaciona caractersticas de bajo nivel que aparecen en los textos (por ejemplo las imgenes y
el sonido) con patrones semnticos de orden superior a travs de conjuntos
de sistemas lexicogramaticales inter-relacionados y, en ltima instancia, con
contextos de situacin sociales y con la cultura.
78
(2) La teora de las metafunciones, que modela el potencial de significado de

los recursos semiticos en tres metafunciones diferentes:
* el significado ideativo (es decir nuestra concepcin del mundo) involucra:
- el significado experiencial: la representacin y la forma en que retratamos
la experiencia en el mundo,
- el significado lgico: la construccin de relaciones lgicas en ese mundo;
* el significado interpersonal: la puesta en accin de las relaciones sociales y
* el significado textual: la organizacin del significado en forma de textos y
unidades coherentes.
(3) La instanciacin da cuenta de las relaciones entre las opciones concretas
realizadas en los textos y el potencial sistmico, con subpotenciales intermedios -registros- que aparecen como patrones de opciones realizadas en
tipos de textos (por ejemplo, en conversaciones casuales, debates y trabajos
acadmicos).
La investigacin multimodal se expandi rpidamente a partir de mediados
de los 2000 a medida que progres el inters de los lingistas sistmicos y de
otros investigadores del lenguaje por explorar la integracin del lenguaje con
otros recursos. Se reconoci explcitamente que la comunicacin es inherentemente multimodal y que la alfabetizacin no se limita al lenguaje.
A partir de all surgieron otras formas de abordar los estudios multimodales
entre las que se incluyen los trabajos de Ron Scollon, Suzanne Wong Scollon
y Sigrid Norris en el rea del anlisis interaccional (Norris, 2004; Norris &
Jones, 2005; Scollon, 2001; Scollon & Wong Scollon, 2004), desarrollados
para el anlisis del discurso mediado que surge a partir de la sociolingstica
interaccional y la comunicacin intercultural y, tambin, el enfoque cognitivo
desde el que Charles Forceville (Forceville & Urios-Aparisi, 2009) aborda el
estudio de la metfora multimodal basado en la lingstica cognitiva (Lakoff
& Johnson, 1980). A estos trabajos se sumaron los que se desarrollaron desde
el anlisis crtico del discurso (Machin, 2007; van Leeuwen, 2008) basados
en la semitica social y en otras tradiciones crticas. En la actualidad contina
emergiendo una gran variedad de conceptos y marcos tericos en el rea de los
estudios multimodales (ver Jewitt, 2009c) pero la mayora tiene algn tipo de
relacin con uno o ms de los paradigmas mencionados.
Las publicaciones recientes dan cuenta de la creciente popularidad del
ADM (por ejemplo Baldry & Thibault, 2006; Bateman, 2008; Bednarek &
Martin, 2010; Jewitt, 2009c; Unsworth, 2008; Ventola & Moya, 2009). No
es sorprendente que se debata mucho acerca de la naturaleza de este campo
emergente (Jewitt, 2009c). Y si bien la multimodalidad puede caracterizarse
como un espacio de investigacin (Kress, 2009:54) (por ejemplo, del diseo
visual, las muestras de arte, la matemtica, los hipertextos y la educacin, entre
otras reas) es evidente que necesitamos contar con teoras, descripciones y
79
12 (1)
metodologas especficas para el ADM (OHalloran & Smith, en prensa) y que

ya se han desarrollado algunas herramientas y marcos tericos (por ejemplo
Bateman, 2008; Bednarek & Martin, 2010; Lemke, 2009; OHalloran, 2005;
OToole, 2010).
Y en tanto espacio de investigacin, los estudios multimodales propician la
relacin y la fertilizacin cruzada con otras disciplinas con las que comparten
el mismo objeto de estudio. Incorporar conocimiento, teoras y metodologas
de otras disciplinas presenta muchos problemas, entre los cuales no resulta
menor la cuestin de proporcionar las herramientas adecuadas para emprender
investigaciones que trascienden los lmites disciplinares tradicionales.
Por otra parte, el desarrollo de teoras y prcticas especficas para el ADM
potencialmente constituir un aporte a otros campos de estudio, entre los
que se incluye, fundamentalmente, la lingstica. En este sentido, el ADM
utiliza textos o tipos de textos para explorar, ilustrar, problematizar o aplicar
cuestiones generales en los estudios multimodales, tales como los que surgen
del desarrollo de marcos tericos especficos para el estudio de los fenmenos
multimodales o temas metodolgicos (OHalloran & Smith, en prensa). Este
trabajo trata el ADM precisamente de este modo - como un nuevo campo
de estudio que requiere de marcos terico-metodolgicos y de herramientas
especficas que, a su vez, puedan ser aplicadas de manera transversal a otras
disciplinas y campos de estudio.
Problemas analticos y tericos del ADM

Los problemas analticos y tericos del ADM incluyen:
(a) dar forma a los recursos semiticos que son fundamentalmente diferentes
del lenguaje,
(b) dar forma y analizar las expansiones inter-semiticas de significado como
opciones semiticas integradas en fenmenos multimodales,
(c) dar forma y analizar la resemiotizacin de los fenmenos multimodales en
el despliegue de las prcticas sociales.
Estas problemticas se examinarn a continuacin por separado.
(a) Dar
forma a los recursos semiticos que son fundamentalmente
diferentes del lenguaje
Siguiendo a Halliday, el lenguaje puede teorizarse como un conjunto

de sistemas interrelacionados, representados en forma de redes sistmicas,
que se organizan en metafunciones de acuerdo a taxonomas de diferentes
rangos o jerarquas (palabras, grupos de palabras, clusulas, complejos de
clusulas y prrafos y textos (Martin, 2011). Los sistemas gramaticales
vinculan palabras y significados en el estrato semntico (Martin, 2011). El
80
modelo de Halliday tambin incluye aquellos sistemas que operan en el plano

de la expresin (es decir, la grafologa y la tipografa del lenguaje escrito y la
fonologa para la oralidad).
La mayora de los recursos semiticos son esencialmente diferentes del
lenguaje, sin embargo, los que se han desarrollado a partir del lenguaje (por
ejemplo el simbolismo matemtico, la notacin cientfica y los lenguajes
de programacin computacional) mantienen una relacin ms estrecha en
trminos de gramaticalidad. Las imgenes difieren, por ejemplo, en que algunas partes se perciben como patrones organizados en relacin con el todo,
siguiendo las leyes de organizacin de la Gestalt. Y lo que es ms, siguiendo
la categorizacin de los signos de Charles Sanders Pierce, el lenguaje es un
sistema simblico de signos que no guarda ninguna relacin con lo que se
representa, mientras que las imgenes son icnicas porque representan algo a
travs de la similitud. Por lo tanto, los enfoques y los marcos analticos basados
en modelos lingsticos han sido cuestionados (Machin, 2009). Sin embargo,
los modelos adaptados de la lingstica, como el de OToole (2010), se han
utilizado muy a menudo y con buenos resultados para analizar imgenes
cientficas y matemticas, ciudades, edificios, museos y muestras de arte. La
teora gestltica constituye la base terica del modelo de OToole. Para la
Gestalt las imgenes se componen de partes interrelacionadas en la composicin del todo. OToole (2010) traza superposiciones visuales de opciones
sistmicas sobre la imagen, y sugiere la posibilidad de avanzar proponiendo
una gramtica definida visualmente.
La teora gestltica constituye la base de otros enfoques de anlisis visual,
incluyendo los enfoques computacionales para estudiar la percepcin visual
que involucra estructuras geomtricas (por ejemplo puntos, lneas, planos y
figuras) y el reconocimiento de patrones (por ejemplo, Desolneux, Moisan &
Morel, 2008) y algebras semntico-visuales (por ejemplo Wang, 2009). Tal
vez una de las claves de estas descripciones sea proporcionar un nivel abstracto
intermedio, en el que los recursos de los niveles inferiores se relacionan con
la semntica a travs de gramticas sistmicas. Sin embargo, el problema es
que los sistemas organizados jerrquicamente en categoras, como aquellos
desarrollados para el lenguaje, tienen limitaciones cuando se estudian recursos
tales como imgenes, gestos, movimientos y sonido, que son de naturaleza
topolgica (Lemke, 1998, 1999). Van Leeuwen (1999, 2009) propone disear sistemas dentro de los recursos semiticos multimodales (como por
ejemplo, color, tipografa, tamao de la fuente, volumen, calidad y tono de
la voz) considerndolos como conjuntos de parmetros con valores graduales
en vez de taxonomas categoriales ordenados en trminos de delicadeza (es
decir, subcategoras con opciones ms refinadas). En algunos casos, se ha
cuestionado la existencia de un nivel gramatical intermedio para el caso de
recursos como la msica (por ejemplo, van Leeuwen, 1999).
81
12 (1)
(b) Dar forma y analizar las expansiones intersemiticas de significado

como opciones semiticas integradas en fenmenos multimodales
La interaccin de opciones semiticas en los fenmenos multimodales

da lugar a expansiones semnticas en tanto se abre y se integra el potencial
de significado de diferentes recursos, como es el caso de las relaciones entre
texto e imagen (Bateman, 2008; Liu & OHalloran, 2009; Martinec, 2005;
Unsworth & Cleirigh, 2009), gestos y habla (Martinec, 2004) y lenguaje,
imgenes y simbolismo matemtico (Lemke, 1998; OHalloran, 2008). Esta
expansin semntica tambin est relacionada con la materialidad de los artefactos multimodales, incluyendo la tecnologa u otros medios involucrados
(por ejemplo libros, medios digitales interactivos) (Jewitt, 2006; Levine &
Scollon, 2004; van Leeuwen, 2005).
En los fenmenos multimodales se puede abordar la integracin semntica desde el punto de vista de las metafunciones y considerar que los
significados experienciales, lgicos, interpersonales y textuales interactan
atravesando elementos de diferentes rangos (por ejemplo grupos de palabras
e imgenes). La multiplicacin de significados resultante (Lemke, 1998)
abre un complejo espacio semntico multidimensional en el que puede
haber compresin de significados (Baldry & Thibault, 2006) y significados
divergentes (e incluso en conflicto) (Liu & OHalloran, 2009). De hecho, no
hay motivo para suponer que en los fenmenos multimodales la integracin
semntica de las opciones semiticas es coherente.
La teorizacin total de los procesos y mecanismos de expansin semntica que surgen de la intersemiosis es una asignatura pendiente. Tal vez se
requieran sistemas intersemiticos que superen los conjuntos de sistemas
gramaticales interrelacionados para cada recurso y que operen como metagramticas. Esta clase de sistemas intersemiticos podran potencialmente
vincular aquellas opciones que vinculan las opciones de distintas taxonomas
jerrquicas para cada recurso, de modo que un grupo de palabras, por ejemplo,
sea resemiotizado como un componente de una compleja narrativa visual, y
viceversa. Uno de los principales problemas que enfrentan los analistas del
discurso multimodal es la complejidad tanto de los procesos intersemiticos como de los espacios semnticos resultantes, particularmente en el caso
de los textos dinmicos (por ejemplo, los videos) y de los hipertextos con
hipervnculos (por ejemplo, Internet).
(c) Dar forma y analizar la resemiotizacin de los fenmenos multimodales
en el despliegue de las prcticas sociales
El ADM tambin aborda la resemiotizacin de los fenmenos multimodales a travs del tiempo y del espacio: la [r]esemiotizacin se ocupa de la forma
en que el significado cambia de contexto en contexto, de prctica en prctica,
82
o de una etapa de una prctica a la prxima (Iedema, 2003: 41). Iedema

(2003:50) trata la resemiotizacin en tanto proceso dinmico que enfatiza las
dimensiones materiales e historizadas de la representacin.
La resemiotizacin tiene lugar dentro del despliegue mismo del discurso
multimodal (a medida que el discurso alterna entre los diferentes recursos
utilizados) y tambin a travs de los diferentes contextos a medida que las
prcticas sociales se despliegan (por ejemplo, la forma en que se ejecutan las
acciones que surgen de un documento sobre polticas). Desde una perspectiva
gramatical, la resemiotizacin necesariamente involucra la reconstruccin de
significados a medida que las opciones semiticas cambian en funcin de los
cambios temporo-espaciales. En muchos casos, la resemiotizacin conlleva
introducir nuevos recursos semiticos y puede resultar en una expansin
metafrica de significados a medida que los elementos funcionales de un
recurso semitico se realizan utilizando otro recurso semitico: por ejemplo, el cambio del lenguaje a la imagen y al simbolismo matemtico que se
despliega en el discurso matemtico. Este proceso tiene lugar a medida que
las configuraciones lingsticas que involucran, por ejemplo, participantes,
procesos y circunstancias se visualizan como entidades. La resemiotizacin
necesariamente tiene como resultado un cambio semntico, dado que las
opciones de diferentes recursos semiticos no son conmensurables (Lemke,
1998).
Los procesos especficos del ADM, tales como la intersemiosis y la resemiotizacin de fenmenos multimodales, se suman a la complejidad del espacio
semntico al que debemos dar forma y analizar. De hecho, la esencia del ADM
reside en abordar esta complejidad.
Ejemplo de anlisis (ADM) de un texto4

Los conceptos especficos del ADM, es decir los recursos semiticos,
la intersemiosis y la resemiotizacin, se ilustran a travs del anlisis de un
segmento de un debate televisivo de diferentes partidos polticos: el segundo
episodio del programa Q&A: Adventures in Democracy (Preguntas y respuestas: aventuras en democracia) de la Australian Broadcasting Commission
(ABC) emitido el jueves 29 de marzo de 2008. El moderador es el reconocido
periodista Tony Jones e integran el panel Tanya Plibersek (Ministro de Vivienda y del Estatus de la Mujer durante el gobierno laborista nacional de Kevin
Rudd), Tony Abbott (en ese entonces uno de los lderes de la bancada del
Partido Liberal opositor y actualmente lder de la oposicin en la Cmara de
Diputados de Australia) y Bob Brown (Lder del Partido Verde Australiano).
Si bien no participan en el segmento seleccionado, tambin integraron el
panel Warren Mundine (Lder de los Pueblos Originarios y ex-presidente del
Partido Laborista Australiano) y Louise Adler (Directora Ejecutiva y Editora
General de la editorial Melbourne University Publishing).
83
12 (1)
El segmento que sigue (vase el original en ingls en el apndice) muestra las interacciones entre Tony Jones, Tanya Plibersek y Tony Abbott sobre
los documentos internos del gabinete que se filtraron e hicieron pblicos.
Los documentos trataban sobre la decisin del gabinete nacional a favor del
esquema de Fuel-Watch para combatir el aumento del precio del petrleo
y las objeciones que ese servicio de monitoreo oficial tena con respecto a
ese mismo esquema y que los documentos que se filtraron develaban (en
la transcripcin * indica superposicin).
Tanya Plibersek ... Los documentos del gabinete son confidenciales para
que los funcionarios de carrera se sientan cmodos al
aconsejar con franqueza al gobierno de turno.
Tony Jones
Bien. Tony Abbott, usted ha estado en las trincheras. Eso

es algo justo, verdad?
Tony Abbott
S, claro, pero lo interesante es que el nuevo gobierno

ya est filtrando informacin, Tony. Me refiero a que
normalmente pasan muchos aos *antes de que - antes
- antes de que un gobierno... bueno yo-
Tony Jones
*s, un poco - un poco como la coalicin. Se filtra informacin en todos lados.
Tony Abbott
Los gobiernos desgastados y de muchos aos filtran informacin. Se supone que los gobiernos nuevos, con agudeza
mental, hbiles e inteligentes no filtran informacin, y el
hecho que este gobierno est filtrando tanta informacin
tan pronto es una seal muy preocupante.
El anlisis multimodal incluye las interacciones entre el lenguaje oral,

los recursos quinticas (incluyendo la mirada, la postura corporal y la gestualidad) y los efectos cinematogrficos (incluyendo el ngulo de cmara
y el tamao del cuadro) (ver tambin Baldry & Thibault, 2006; Iedema,
2001a; Tan, 2005, 2009). El siguiente anlisis multimodal se presenta a
modo de ejemplo. Se podra haber presentado un anlisis lingstico ms
abarcativo, adems de incluir otros recursos semiticos (por ejemplo, la
iluminacin del estudio de filmacin, el vestuario, la proxmia, la ubicacin
de los participantes, etc.). Y, adems, las opciones semiticas se presentan
en una tabla esttica (ver Tabla 2) y no en un formato dinmico, lo que hubiera permitido representar cmo se despliegan las opciones y los patrones.
Para el anlisis del lenguaje (incluyendo la entonacin) se utiliza
el modelo sistmico funcional de Halliday (2004; Halliday & Greaves,
2008) y para la mirada y la accin quintica (Figura 1) as como para los
ngulos, los movimientos de cmara y el encuadre (Tabla 1) se utiliza el
84
modelo sistmico de Tan (2005, 2009). Adems, se aplica el trabajo de van

Leeuwen sobre la semitica del ritmo de habla (por ejemplo, 1999). Las
descripciones exhaustivas de estos modelos han sido publicadas y, por lo
tanto, no se repetirn en este trabajo. El anlisis multimodal del segmento
con los cuadros esenciales en trminos de saliencia puede verse en la Tabla
2. El anlisis pone de manifiesto cmo las opciones multimodales de Tony
Abbott, en particular las opciones lingsticas, la entonacin, los gestos
y la postura corporal, funcionan en conjunto para reorientar la discusin
sobre los documentos filtrados. As, se pasa de discutir una cuestin legal a
discutir una cuestin poltica con el objetivo de criticar y socavar el gobierno
laborista de Kevin Rudd (Primer Ministro de Australia).
Figura 1. Redes sistmicas de los vectores de mirada y accin quintica (Tan,
2005: 45) (del original en ingls).
85
12 (1)
Tabla 1: ngulos de cmara, movimientos de cmara y encuadre (Tan, 2009: 179)

(del original en ingls)
Tabla 2: Anlisis multimodal de Documentos del gabinete que se filtraron (Sesin

Q&A, ABC, martes 29 de mayo de 2008) (del original en ingls)
Tony Jones le dirige a Tony Abbott una proposicin que finaliza con un
interrogativo verdad? (que explcitamente requiere una respuesta en particular)
con respecto a la defensa que Tanya Plibersek hace de la manera en la que su
86
gestin gubernamental manej la cuestin de los documentos que se haban filtrado: Eso es algo justo, verdad? (Thats fair enough isnt it). El tono 4 (exagerado)
(descendente-ascendente, en ingls) de la respuesta de Tony Abbott S, claro
(Ah, yes it is) (ver Figura 2) agrega a esta proposicin una reserva y se trata de
una respuesta centrada en lo interpersonal, tanto porque el foco de la informacin
est en la forma finita es (is) elemento de negociacin de la clusula- como
porque (en trminos de contenido) no se agrega sentido experiencial hasta que
Tony Abbott no continua con pero lo interesante es que el nuevo gobierno ya est
filtrando informacin, Tony (but the interesting thing is that the new government
is already leaking Tony).
Figura 2. Tony Abbott utiliza el Tono 4 (Halliday & Greaves, 2008) en S, claro (Yes,
it IS). (Imagen producida utilizando el programa de computacin Praat)
De esta manera Tony Abbott concede (a travs de la polaridad) la proposicin como dada, pero (a travs de la entonacin) pone en acto sus objeciones
con respecto a otro campo del discurso, el campo de la poltica: que un nuevo
gobierno ya est filtrando informacin. Por lo tanto para l lo que est en juego
no es una cuestin legal sino que hay un desplazamiento mediante el cual la filtracin de documentos se transforma en una cuestin poltica, lo que conduce a
una nueva subfase en la fase Filtracin de documentos del gabinete (ver Tabla 2
y Figura 3(a)). l lleva la batalla a un nuevo territorio y luego procede a elaborar
el tema as instalado.
Este desplazamiento del campo del discurso es caracterstico del discurso poltico (muy conocido en la afirmacin los polticos no responden a la pregunta)
pero, en este caso, es posible ver cmo Tony Abbott utiliza de manera efectiva un
87
12 (1)
amplio espectro de recursos multimodales que funcionan intersemiticamente para

cambiar el campo del discurso, tal como se ve en la Tabla 2 y en la Figura 3(b)-(c).
Estos recursos incluyen la gramtica de la clusula (conjuncin adversativa pero /
but); la gramtica de la unidad de informacin (uso de una actitud reservada, realizada a travs del tono 4, que desciende y luego asciende en ingls); la gestualidad
(levantar la mano indicando espere, que luego se torna en un elemento de preparacin para hacer una serie de gestos que enfatizan su argumento, ver Figura 3(b));
la postura corporal (primero, se apoya en el respaldo del asiento y luego desplaza su
cuerpo hacia adelante a medida que desarrolla su argumento respecto de la nueva
filtracin de informacin del gobierno) y la deixis interpersonal (el uso del vocativo
Tony buscando un efecto de solidaridad). A continuacin, Tony Abbott sigue
hablando mientras vuelve a reclinarse hacia atrs y luego establece contacto con
los miembros de la audiencia que se encuentran en el estudio de grabacin, Tony
Jones y Tanya Plibersek a travs de la mirada y del ngulo de la postura corporal,
mientras expande de alguna manera sus gestos manuales (ver Figura 3(b)-(c)).
Pero, adems, se establece contacto con el espectador de manera breve pero
directa adoptando una postura corporal erguida con las dos manos levantadas y
las palmas hacia fuera para involucrar an ms al espectador antes de dirigir su
atencin de nuevo a los panelistas Tanya Plibersek y Tony Jones y a la audiencia
que se encuentra en el estudio. La respuesta perpleja de Tanya Plibersek se pone de
manifiesto en su mirada y su expresin facial (Cuadro 9 en la Tabla 2, ver tambin
el anteltimo cuadro de la Figura 3), lo que constituye un estudio en s mismo:
ella no hace ningn otro signo semitico significativo pero resulta claro que est
muy familiarizada con las estratagemas de su oponente poltico. Noten que ac la
cmara se despliega como un recurso semitico a travs de la eleccin del encuadre
que se hace de esta participante. Este encuadre establece un contexto dialgico entre
Tony Abbott y ella, a pesar de haber sido Tony Jones quien formul la pregunta.
Figura 3(a). Cambio de campo de una cuestin legal a una cuestin poltica
88

Figura 3(b). Mirada y gestos
Figura 3(c) Postura corporal
Figura 3.
La filtracin de los documentos tratada como un tema poltico por Tony

Abbott
Tony Abbott utiliza gestos y el ritmo del habla para enfatizar tems lxicos,
elevando el estatus textual de palabras individuales y la idea general creando,
de esta manera, una suerte de graduacin del nfasis (Martin & White, 2005).
La utilizacin de los gestos y del nfasis en la pronunciacin en forma conjunta
proporciona un rango ms delicado de gradualidad textual que organiza el
flujo de la informacin creando diferentes grados de refuerzo una expansin
semitica que surge de la combinacin de la gradualidad visual y auditiva de
la amplitud de los gestos y de la pronunciacin.
En este momento crtico Abbott establece una referencia intertextual crucial
(Lemke, 1995) con el discurso completo de las elecciones federal australianas
89
12 (1)
anteriores, cuando su gobierno Liberal de once aos fue derrotado categricamente por una oposicin que se proyectaba como fresca y hbil (clever) y
estableca as un contraste con el viejo y cansado (tired old) gobierno entonces
en ejercicio. Esto lo realiza principalmente a travs del ritmo: hasta el momento
en que hace referencia a los gobiernos viejos y cansados filtran informacin (tired
old governments leak) Abbott haba establecido un patrn de acentos temporales en particular, que altera entre hbil (clever) e inteligente (intelligent)
cuando dice Se supone que los gobiernos nuevos, con agudeza mental, hbiles e
inteligentes no filtran informacin (New, smart, clever, intelligent governments
arent supposed to leak). De esta manera en este discurso reciente por la reeleccin Abbott acta de manera irnica y su mirada directa (ver Cuadro 8 de
la Tabla 2) tambin toma el cariz semitico del tono satrico e irnico, como
signo visual del jugar limpio.
Hay muchas otras oportunidades para demostrar cmo funcionan intersemiticamente los recursos multimodales en funcin de satisfacer la agenda
de las partes involucradas, incluyendo a los productores que utilizan las tomas
de cmara para crear un dilogo entre los participantes. Por ejemplo, mientras
Tony Jones establece un dilogo crtico con Tanya Plibersek sobre una iniciativa
gubernamental de poltica ambiental, la cmara cambia de toma para incluir a
Bob Brown, lder del Partido Verde Australiano, que eleva las cejas, asiente con
la cabeza, se pasa la lengua por los labios y niega con la cabeza y cuyos gestos
vehiculizados por la eleccin de la toma- recontextualizan completamente un
dilogo del cual, en ese momento, Brown no participa (verbalmente).
Figura 4:
Cmara: Encuadre
Toda la sesin de Q&A (Preguntas y respuestas) se resemiotiza en el prrafo de presentacin del sitio web de Q&A (Figura 5) en el que se evoca la
90
nocin de debate poltico como deporte (Tony, Tanya y Bob. Jueves 29 de

mayo. Tony Abbott y Tanya Plibersek retornan al ring para el segundo episodio
de Preguntas y respuestas. Los acompaarn Bob Brown, Warren Mundine
y Louise Adler en el primer interrogatorio a fondo de los verdaderos jefes de
Preguntas y respuestas Tony, Tanya and Bob. Thursday, 29 May. Tony Abbott
y Tanya Plibersek are back in the Boxing ring for Q&As second episode. Joining
them are Bob Brown, Warren Mundine and Louise Adler for their first grilling by
the Q&A punters). Pero se alienta a los espectadores a la audiencia- a participar a travs de los foros interactivos dispuestos por los blogs debajo de las
preguntas de cada programa y en los que los miembros del sitio web pueden
publicar sus comentarios (Diga lo suyo / Have your say), otra resemiotizacin
de los temas que se debatieron durante el programa (de expertos a la opinin
pblica), as como tambin preguntas publicadas por el mismo programa
(incluyendo preguntas en vivo durante el programa. Una tabla matemtica
tambin muestra informacin analtica (limitada) sobre el tiempo dedicado a
los diferentes temas de discusin y ms abajo, en la pgina web, se presenta a
los panelistas a travs de fotografas y breves prrafos.
Figura 5.
Sitio web de Preguntas y respuestas: Aventuras en democracia: Tony,

Tanya y Bob 5 (del original en ingls)
La discusin anterior muestra claramente que el contexto es parte esencial

de todo anlisis, no solo el contexto inmediato de situacin (Q&A en s y las
subsiguientes resemiotizaciones del programa) sino el contexto cultural en
91
12 (1)
general, incluyendo en este caso las referencias intertextuales que se hace a las
recientes elecciones en Australia y su discurso y a la cultura democrtica australiana en general. El ADM muestra cmo las instancias de opciones semiticas
multimodales funcionan de manera intersemitica para, en ltima instancia,
crear y responder a patrones culturales y sociales ms amplios.
Nuevos rumbos del ADM

El principal desafo del ADM es resolver los detalles y la complejidad
que requiere anotar, analizar, investigar y recuperar los patrones semnticos
multimodales que los complejos fenmenos multimodales contienen y que,
adems, se articulan de manera transversal entre esos mismos fenmenos.
El analista debe tomar en cuenta los procesos intersemiticos y de resemiotizacin que articulan escalas temporales y mbitos espaciales dispares.
Adems, los diferentes medios pueden hacer necesario utilizar diferentes
abordajes tericos, por ejemplo, el anlisis de videos y largometrajes puede
abrevar en los estudios cinematogrficos (Bateman, 2007). El ADM de
portales de Internet y de hipermedia puede presentar un grado de dificultad
adicional ya que las opciones semiticas se combinan con el anlisis de los
enlaces hipermedia y otros recursos de navegacin que conducen al anlisis
hipermodal (Lemke, 2002).
Un mtodo de abordaje de esta complejidad consiste en desarrollar
plataformas mediticas digitales interactivas especficamente diseadas para
el ADM. Ms an, el desarrollo de programas de computacin como herramienta metasemitica para el anlisis multimodal constituye en s mismo un
espacio de teorizacin y desarrollo del ADM. En la actualidad existen herramientas de anotacin multimodal (Rohlfing et al., 2006) y se est trabajando
para desarrollar un programa interactivo para el ADM que permita no solo
realizar anotaciones sino que incluya opciones de visualizacin y tcnicas
de anlisis matemtico (OHalloran, Tan, Smith & Podlasov, 2010). Solo
ser posible avanzar hacia nuestro objetivo de comprender los patrones y las
tendencias de la tecnologa, los textos, los contextos y la cultura trabajando
de manera colaborativa e interdisciplinaria.
Lecturas recomendadas
Forceville, C. J. & Urios-Aparisi, E. (eds) (2009). Multimodal Metaphor. Berlin
and New York: Mouton de Gruyter.
Halliday, M. A. K. (1978). Language as Social Semiotic: The Social Interpretation
of Language and Meaning. London: Edward Arnold.
Jewitt, C. (ed) (2009). Handbook of Multimodal Analysis. London: Routledge.
Design (2nd ed). London: Routledge.
92
Norris, S. (2004) Analyzing Multimodal Interaction: A Methodological Framework.

London: Routledge.
OToole, M. (2010). The Language of Displayed Art. (2nd ed). London and New
York: Routledge.
Notas
1 Este trabajo es una traduccin de OHalloran, K. L. (2011). Multimodal Discourse
Analysis, en K. Hyland y B. Paltridge (eds). Companion to Discourse, pp. 120-137.
London and New York: Continuum. Es publicado con la autorizacin de The Continuum International Publishing Group Ltd. www.continuumbooks.com, a quienes
agradecemos su amabilidad por otorgarnos el permiso.
2 Basado en las investigaciones realizadas en Singapur en el Multimodal Analysis Lab,
IDMI, de la National University of Singapore, con el apoyo de Media Development
Authority (MDA) y en el marco del Programa de Investigacin y Desarrollo Interactive
Digital Media NRF2007IDM-IDM0002 de la National Research Foundation (NRF).
3 La traductora agradece a Beatriz Quirz- Olivares por sus valiosos aportes y comentarios durante el proceso de traduccin de este trabajo.
4 La autora expresa su sincero agradecimiento a Bradley Smith y Sabine Tan del
Multimodal Anlisis Lab, del Interactive and Digital Media Institute (IDMI) de
la National University of Singapore por sus aportes al anlisis de las preguntas y
respuestas. Agradece tambin a Bradley Smith por proporcionarme el extracto de
preguntas y respuestas y la Figura 2.
5 http://www.abc.net.au/tv/qanda/txt/s2255680.htm
Baldry, A. P., & Thibault, P. J. (2006). Multimodal Transcription and Text
Analysis. London: Equinox.
Bateman, J. (2007). Towards a Grande Paradigmatique of Film: Christian Metz
Reloaded, Semiotica, 167, 13-64.
Bateman, J. (2008). Multimodality and Genre: A Foundation for the Systematic
Analysis of Multimodal Documents. Hampshire: Palgrave Macmillan.
Bednarek, M. & Martin, J. R. (eds). (2010). New Discourse on Language:
Functional Perspectives on Multimodality, Identity, and Affiliation. London
and New York: Continuum.
Desolneux, A., Moisan, L. & Morel, J. M. (2008). From Gestalt Theory to
Image Analysis: A Probabilistic Approach. New York: Springer.
Djonov, E. (2007). Website Hierarchy and the Interaction between Content
Organization, Webpage and Navigation Design: A Systemic Functional
Hypermedia Discourse Analysis Perspective. Information Design Journal,
15:2, 144-162.
Forceville, C. J. & Urios-Aparisi, E. (eds). (2009). Multimodal Metaphor.
Berlin and New York: Mouton de Gruyter.
93
12 (1)
Halliday, M. A. K. (1978). Language as Social Semiotic: The Social Interpretation

of Language and Meaning. London: Edward Arnold.
Halliday, M. A. K. (1985). An Introduction to Functional Grammar. London:
Edward Arnold. [2nd ed 1994].
Halliday, M. A. K. (1991). Towards Probabilistic Interpretations, in Trends in
Linguistics Studies and Monographs 55: Functional and Systemic Linguistics
Approaches and Uses, pp. 39-61. Berlin: Mouton de Gruyter.
Halliday, M. A. K. (2004). An Introduction to Functional Grammar. (3rd ed,
revised by C. M. I. M Matthiessen ). London: Arnold.
Halliday, M. A. K. & Greaves, W. S. (2008). Intonation in the Grammar of
English. London: Equinox.
Halliday, M. A. K. & Hasan, R. (1985). Language, Context, and Text: Aspects of
Language in a Social-Semiotic Perspective. Geelong, Victoria: Deakin University Press [Republished by Oxford University Press 1989].
Iedema, R. (2001a). Analysing Film and Television: A Social Semiotic Account
of Hospital: An Unhealthy Business, en T. van Leeuwen y C. Jewitt, (eds)
Handbook of Visual Analysis, pp. 183-204. London: Sage.
Iedema, R. (2001b). Resemioticization. Semiotica, 137 - 1/4: 23-39.
Iedema, R. (2003). Multimodality, Resemioticization: Extending the Analysis of
Discourse as a Multisemiotic Practice. Visual Communication, 2(1): 29-57.
Jewitt, C. (2006). Technology, Literacy and Learning: A Multimodal Approach.
London: Routledge.
Jewitt, C. (2009a). An Introduction to Multimodality, en C. Jewitt (ed.) The
Routledge Handbook of Multimodal Analysis, pp. 14-27. London and New
York: Routledge.
Jewitt, C. (2009b). Different Approaches to Multimodality, in Jewitt, C. (ed),
Handbook of Multimodal Analysis, pp. 28-39. London and New York:
Routledge.
Jewitt, C. (ed) (2009c). Handbook of Multimodal Analysis. London: Routledge.
Kress, G. (2003). Literacy in the New Media Age. London: Routledge.
Kress, G. (2009). What is Mode?, en C. Jewitt (ed.), Handbook of Multimodal
Analysis, pp. 54-67. London and New York: Routledge.
Design. (1 ed). London: Routledge (2nd edition 2006).
Design. (2nd ed). London: Routledge.
Lakoff, G. & Johnson, M. (1980). Metaphors We Live By. Chicago: The University
of Chicago Press.
Lemke, J. L. (1995). Intertextuality and Text Semantics, in Fries, P. H. & Gregory,
M. (eds) Discourse in Society: Systemic Functional Perspectives: Meaning and
Choice, pp. 85-114.. Norwood, N.J.: Ablex.
Lemke, J. L. (1998). Multiplying Meaning: Visual and Verbal Semiotics in Scientific
Text, en J. R. Martin y R. Veel (eds.) Reading Science: Critical and Functional
Perspectives on Discourses of Science, pp. 87-113. London: Routledge.
94
Lemke, J. L. (1999). Typological and Topological Meaning in Diagnostic Discourse. Discourse Processes, 27(2): 173-185.
Lemke, J. L. (2002). Travels in Hypermodality. Visual Communication, 1(3):
299-325.
Lemke, J. L. (2009). Multimodal Genres and Transmedia Traversals: Social Semiotics and the Political Economy of the sign. Semiotica, 177(1-4): 1-27.
Levine, P. & Scollon, R. (eds) (2004). Discourse and Technology: Multimodal
Discourse Analysis. Washington, DC: Georgetown University Press.
Liu, Y. & OHalloran, K. L. (2009). Intersemiotic Texture: Analyzing Cohesive
Devices between Language and Images, Social Semiotics, 19(4): 367-387.
Machin, D. (2007). Introduction to Multimodal Analysis. London/ New York:
Hodder Arnold.
Machin, D. (2009). Multimodality and Theories of the Visual, en C. Jewitt
(ed.) Routledge Handbook of Multimodal Analysis, pp. 181-190. London
and New York: Routledge.
Martin, J. R. & White, P. R. R. (2005). The Language of Evaluation: Appraisal
in English. London / New York: Palgrave Macmillan.
Martinec, R. (2000). Types of Processes in Action. Semiotica, 130-3/4: 243268.
Martinec, R. (2004). Gestures that Co-Concur with Speech as a Systematic
Resource: The Realization of Experiential Meanings in Indexes. Social
Semiotics, 14 (2): 193-213.
Martinec, R. (2005). A System for image-Text Relations in New (and Old)
Media. Visual Communication, 4(3): 337-371.
Norris, S. (2004). Analyzing Multimodal Interaction: A Methodological Framework. London: Routledge.
Norris, S. & Jones, R. H. (eds.) (2005). Discourse in Action: Introducing Mediated Discourse Analysis. London: Routledge.
OHalloran, K. L. (2005). Mathematical Discourse: Language, Symbolism and
Visual Images. London / New York: Continuum.
OHalloran, K. L. (2008). Inter-Semiotic Expansion of Experiential Meaning:
Hierarchical Scales and Metaphor in Mathematics Discourse, en C. Jones
y E. Ventola (eds.) New Developments in the Study of Ideational Meaning:
From Language to Multimodality. London: Equinox.
OHalloran, K. L. & Smith, B. A. (en prensa). Multimodal Studies, en K. L.
O Halloran y B. A. Smith (eds.) Multimodal Studies: Exploring Issues and
Domains. London and New York: Routledge.
OHalloran, K. L., Tan, S., Smith, B. A. & Podlasov, A. (2010). Challenges
in Designing Digital Interfaces for the Study of Multimodal Phenomena.
Information Design Journal, 18(1): 2-12.
OToole, M. (1994). The Language of Displayed Art. London: Leicester University Press.
OToole, M. (2010). The Language of Displayed Art (2nd ed). London and
New York: Routledge.
95
12 (1)
Rohlfing, K., Loehr, D., Duncan, S., Brown, A., Franklin, A., Kimbarra, I.,
Milde, J., Parrill, F., Rose, T., Schmidt, T., Sloetjes, H., Thies, A. &
Wellinghoff, S. (2006). Comparison of Multimodal Annotation Tools
- Workshop Report. Online-Zeitschrift zur Verbalen Interaktion, Ausgabe,
7: 99-123.
Scollon, R. (2001). Mediated Discourse: The Nexus of Practice. London and New
York: Routledge.
Scollon, R. & Wong Scollon, S. (2004). Nexus Analysis: Discourse and the
Emerging Internet. London: Routledge.
Tan, S. (2005). A Systemic Functional Approach to the Analysis of Corporate Television Advertisements. Unpublished MA, National University of Singapore.
Tan, S. (2009). A Systemic Functional Framework for the Analysis of Corporate
Television Advertisements, en E. Ventola y A. J. Moya Guijjaro (eds). The
World Told and The World Shown: Multisemiotic Issues, pp. 157-182. Hampshire: Palgrave Macmillan.
Unsworth, L. (2008). Multimodal Semiotics: Functional Analysis in Contexts of
Education. London and New York: Continuum.
Unsworth, L. & Cleirigh, C. (2009). Multimodality and Reading: The Construction of Meaning through Image-Text Interaction, en C. Jewitt (ed.)
The Routledge Handbook of Multimodal Research, pp. 151-163. London /
New York: Routledge.
van Leeuwen, T. (1999). Speech, Music, Sound. London: Macmillan.
van Leeuwen, T. (2005). Introducing Social Semiotics. London: Routledge.
van Leeuwen, T. (2008). Discourse and Practice: New Tools for Critical Discourse
Analysis. Oxford: Oxford Univerity Press.
van Leeuwen, T. (2009). Parametric Systems: The Case of Voice Quality, en
C. Jewitt (ed.) The Routledge Handbook of Multimodal Analysis, pp. 68-77.
London/ New York: Routledge.
Ventola, E. & Moya, J. (eds) (2009). The World Told and the World Shown: Multisemiotic Issues. Hampshire: Palgrave Macmillan.
Wang, Y. (2009). On Visual Semantic Algebra (VSA): A Denotational Mathematical Structure for Modeling and Manipulating Visual Objects and Patterns.
International Journal of Software Science and Computational Intelligence,
1(4): 1-16.
Apndice
Tanya Plibersek:
The reason that cabinet documents are confidential is that

so senior public servants feel comfortable giving frank advice
to the government of the day.
Tony Jones:
Alright. Tony Abbott, youve been in the trenches. Thats fair

enough isnt it.
96
Tony Abbott:
Ah, yes it is, but the interesting thing is that the new government is already leaking Tony. I mean normally it takes many
years *before a before before a government well I -
Tony Jones:
* yes a little a little bit like the coalition. Leaking going on

all round.
Tony Abbott:
Tired old governments leak. New, smart, clever, intelligent

governments arent supposed to leak, and the fact that this
government is leaking so badly so early is a pretty worrying
sign.
Kay L. Ohalloran es Directora del Multimodal Analysis Lab (Laboratorio de

Anlisis Multimodal) del Instituto de Medios Digitales Interactivos (IDMI,
segn su sigla en ingls) y Profesora Asociada del Departamento de Ingls y
Literatura de la National University of Singapore. Sus reas de investigacin
incluyen el anlisis del discurso multimodal, con especial inters en los abordajes multimodales de las matemticas y el desarrollo de tecnologas digitales
interactivas para el anlisis multimodal de fenmenos multimodales. Kay
OHalloran es Investigadora Principal de varios proyectos en el Multimodal
Analysis Lab IDMI (http://multimodal-analysis-lab.org/.)
Correo electrnico: kay.ohalloran@nus.edu.sg
97
ARTCULO
Exploraciones sobre la pobreza y el racismo en

Colombia. Estudio Multimodal
NEYLA GRACIELA PARDO ABRIL

Universidad Nacional de Colombia
Resumen. En un tiempo y un espacio en el que la cultura de la imagen es un elemento

en la transformacin de la vida social, los problemas estructurales de las sociedades se
representan, debaten y reflexionan en los medios de comunicacin. Los medios han
superado la fotografa, los grficos, la animacin y, cada vez ms, el uso de la lengua
es impensable si no est articulado a mltiples cdigos y herramientas tecnolgicas.
La multimodalidad discursiva, entendida como la coexistencia de sistemas sgnicos, es
una manera cotidiana de representar la realidad. En este trabajo se propone verificar
e interpretar el conjunto de recursos simblicos y tecnolgicos que se utilizan en un
vdeo documental, para dar cuenta de un problema social estructural en la sociedad
colombiana como es la pobreza. Se analiza el vdeo Los nios de Hollywood, que
circula en YouTube e integra el corpus del proyecto Anlisis crtico del discurso: representaciones mediticas de la pobreza. El posicionamiento terico retoma los postulados
de los Estudios Crticos del Discurso (ECD) y los vincula con las reflexiones tericas
pioneras en el rea, para hacer posible la formulacin de una perspectiva analtica.
Palabras clave: multimodalidad, mediatizacin, discursos hbridos, Estudios Crticos del
Discurso, pobreza, YouTube.
Resumo. Em um momento em que a cultura da imagem um elemento na transformao da vida social, os problemas estruturais das sociedades so representados, debatidos
e refletidos nos meios de comunicao. Os meios superaram a fotografia, os grficos,
a animao e, cada vez mais, o uso da lngua impensvel se no estiver articulado a
mltiplos cdigos e ferramentas tecnolgicas. A multimodalidade discursiva, entendida como a coexistncia de sistemas sgnicos, uma maneira cotidiana de representar
a realidade. Este trabalho se prope a verificar e interpretar o conjunto de recursos
simblicos e tecnolgicos que so utilizados num documentrio, para perceber um
problema social estrutural na sociedade colombiana como a pobreza. Ser analisado o
vdeo Los nios de Hollywood, que circula emYouTubee integra o corpus do projeto
Anlise crtica do discurso: representaes miditicas da pobreza.O posicionamento
terico retoma os postulados dos Estudos Crticos do Discurso (ECD), vinculando-os
com as reflexes tericas pioneiras na rea, para tornar possvel a formulao de uma
perspectiva analtica.
Palavras-chave: multimodalidade, midiatizao, discursos hbridos, Estudos Crticos do
Discurso, pobreza,YouTube.
Abstract. In a context in which images have become an element able to change social
life, social structural problems are represented, discussed, and debated in the mass
media. At the same time, the media have increasingly gone beyond pictures, graphs,
Recibido: 12 de mayo de 2012 Aceptado: 28 de septiembre de 2012.
ALED 12 (1), pp. 99-117
99
12 (1)
or animations, so the use of language is mandatorily articulated to multiple codes and

technological tools. Discursive multimodality is a daily way to represent reality. It is
the aim of this paper to verify and interpret the array of symbolic and technologic
resources deployed in a video in order to account for a structural problem of Colombian
society such as poverty. We analyze the YouTube documentary video Los nios de
Hollywood. This corpus is part of the research project Critical Discourse Analysis:
media representation of poverty. Our framework shares the theoretical position of
Critical Discourse Analysis (CDA), and relates it to mainstream works in order to
offer a novel analytical perspective.
Key words: multimodality, mediatization, hybrid discourses, Critical Discourse Analysis,
poverty, YouTube.
Introduccin
Los estudios de pobreza y racismo en Colombia han integrado diferentes
perspectivas analticas a partir de las cuales se han intentado explicar y comprender los factores que inciden en el reforzamiento de las estructuras sociales
que sostienen la discriminacin. En relacin con el tema de la pobreza, se
han realizado indagaciones para desentraar los factores que contribuyen a
mantener y reproducir las brechas sociales. En relacin con el racismo, se ha
reflexionado sobre los mecanismos y las estrategias que los grupos dominantes
despliegan para marginalizar, segregar y excluir a los grupos tnicos. Los nexos entre pobreza y racismo se han explorado para evidenciar una condicin
histrica de desposesin. En este sentido, se han abordado las formas en que
a los grupos tnicos minoritarios se les impide el acceso a los recursos simblicos y materiales indispensables para el ejercicio de sus derechos, as como la
posibilidad de acceder a los espacios de toma de decisiones y de participacin
en los asuntos pblicos.
Este trabajo se propone integrar algunas categoras de la sociologa, de la
antropologa cognitiva y de las ciencias econmicas sobre la pobreza y los grupos
tnicos para, en el marco de los Estudios Crticos del Discurso (ECD) dar cuenta
de las especificidades que adquieren los discursos contemporneos y su papel en
el reforzamiento del racismo, la desigualdad y la exclusin social. Se parte del
supuesto de que los problemas estructurales de las sociedades se representan, debaten y reflexionan en los medios de comunicacin, que en las sociedades actuales
han articulado una variedad de recursos y sistemas sgnicos en la produccin y
reproduccin de significados. En consecuencia, se asume que la multimodalidad
discursiva, es decir, la coexistencia de mltiples sistemas sgnicos, as como la
hibridacin de gneros, formatos, tcnicas y herramientas, se ha constituido en
una manera cotidiana de representar la realidad. Por lo tanto, en este trabajo se
propone un Estudio Crtico del Discurso Multimodal (ECDM).
Se pretende verificar e interpretar el conjunto de recursos simblicos y
tecnolgicos que apropia el discurso en YouTube, para dar cuenta de dos problemas sociales estructurales en la sociedad colombiana como son la pobreza
100
Neyla Graciela Pardo Abril: Las Exploraciones sobre la pobreza y el racismo en Colombia...
y el racismo. Se desentraa el carcter hbrido y multimodal del discurso, y se

exploran las estrategias y recursos en la produccin de significados analizando
el vdeo documental, Los nios de Hollywood elaborado por Telepacfico,
que concurs en el Festival Iberoamericano de Televisin Educativa en el ao
2001 y gan mencin especial. El material de anlisis forma parte de un corpus
ms amplio que se estudia en el proyecto Anlisis crtico del discurso: representaciones mediticas de la pobreza. El material objeto de esta investigacin
circula por YouTube y se recopil en el ao 2008.
1. Espacio social, orden simblico y discurso

El espacio social es lugar de controversias y de construccin permanente
de significado que adquiere su especificidad en virtud de las posiciones de los
actores sociales, de las estrategias que elaboran y de los recursos simblicos y
materiales que ostentan. De acuerdo con Bourdieu (2001), las condiciones
sociales de existencia proceden de la estructura de distribucin de los diferentes
tipos de capitales que circulan en una sociedad, de las formas de jerarquizacin
a partir de las cuales se instaura un orden social particular y de las maneras
en que los distintos agentes interiorizan el orden social como modus vivendi.
La conceptualizacin de la sociedad como un espacio de controversia permite
identificar a los grupos que interactan en este escenario de acuerdo con las
estrategias y capitales que emplean, para la conservacin de sus posiciones y
condiciones de existencia.
El carcter poltico que se deriva de la accin discursiva se amplifica en la
medida en que moviliza estratgicamente ms recursos discursivos. La eleccin
de uno u otro recurso semitico da cuenta de las elecciones poltico-ideolgicas
de actores sociales insertos en escenarios estratgicos muy complejos. El posicionamiento de intereses, el ocultamiento de fuentes de tensin social y la
propuesta escenificada de variadas formas de consenso encuentran en la multimodalidad discursiva sus mecanismos de cualificacin (Kress, Leite-Garca
& van Leeuwen, 2000).
Los discursos son portadores de diferentes modos y recursos, que evocan
sentidos y representaciones diferentes debido a los condicionamientos que se
derivan de cada sistema sgnico, de las maneras especficas como se amalgaman
y, de forma particular, de los condicionamientos socio-histricos. Por lo tanto,
la utilizacin, combinacin y condensacin de significado, a travs de las diferentes modalidades sgnicas, otorgan especificidad a los discursos. De acuerdo
con Kress & van Leeuwen (2001), las relaciones particulares entre modos,
recursos y discurso establecen significaciones cuyo fundamento es subjetivo e
intersubjetivo. A travs de la activacin de estos dos niveles, el discurso multimodal otorga sentido y contribuye a la estabilizacin de significados sociales.
El empleo de diferentes modos y recursos discursivos tiene impacto en la
cognicin individual y colectiva, y hace posible inferir que una configuracin
101
12 (1)
diferencial de tcnicas, recursos, formatos y modos tiene efectos sociales,

polticos y culturales diferentes. La restriccin sobre dichos recursos implica
la segregacin de los procesos culturales y la negacin de la utilizacin de los
medios de representacin a travs de los cuales es posible participar e incidir
en una comunidad (van Leeuwen, 2008).
La accin de los medios de comunicacin potencia la incidencia de los
actores mediticos en la configuracin de la agenda pblica, inciden en el
establecimiento de las prioridades polticas y, por consiguiente, contribuyen
a la configuracin de las opiniones pblicas. Los medios hacen referencia a
los escenarios, instituciones y tecnologas que gestionan y orientan la construccin de significados y la materializacin de los fenmenos multimodales.
La accin meditica se propone como lugar de construccin, reproduccin y
transformacin de representaciones sociales e ideologas, cuya funcin consiste
en reforzar o alterar las posiciones de los actores en el espacio social e incidir
sobre la estructura de distribucin de los recursos simblicos y materiales que
circulan en una comunidad.
Las representaciones se entienden como sistemas de estructuras y operaciones cognitivas producidas socialmente, utilizadas y transformadas a partir
de las correlaciones entre los actores sociales. Las ideologas, por su parte, estn
conformadas por conjuntos de representaciones relacionadas funcionalmente
para dotar de sentido y significado a las prcticas colectivas, y para otorgar
cohesin, obediencia y disciplina en torno a un objetivo colectivo. En sntesis,
los medios de comunicacin pueden consolidar representaciones e ideologas a
travs de las cuales se instala y dota de validez un orden simblico y, con l, los
proyectos de sociedad y de poder que resultan exitosos en el espacio estratgico
de interaccin social (Fairclough y Wodak, 1997). El discurso meditico es una
accin socialmente constitutiva y condicionada que tiene afectacin sobre las
identidades sociales, sobre las relaciones individuales y colectivas, y sobre los
posicionamientos evaluativos que los sujetos asumen en relacin con temas
relevantes para su comunidad (Busch y Wodak, 2004).
La pertinencia de los Estudios Crticos del Discurso Multimodal, para
el anlisis de las relaciones entre problemas sociales como el racismo o la
pobreza, se explica en la posibilidad de poner en relacin las estructuras del
discurso con las estructuras y los procesos sociopolticos. Los medios masivos
de comunicacin, en tanto instituciones sociales, actores polticos e instancias
de interaccin y de construccin de saberes, se posicionan como agentes que
gestionan y orientan las maneras en que se comprende e interpreta la realidad
social y los acontecimientos del mundo fsico.
2. Racismo y pobreza: aproximacin sociohistrica

Luego de la independencia de Colombia los grupos tnicos distintos a los
mestizos y blancos fueron marginalizados de los procesos de construccin co102
lectiva, y recin en 1851 fue abolida formalmente la esclavitud en Colombia. Si

bien la abolicin de la esclavitud signific para las poblaciones afrocolombianas
una ruptura aparente, su situacin de derechos no corresponde con el conjunto
de normativas que desde ese momento se han desarrollado para suprimir la
discriminacin. La ausencia de acciones afirmativas por parte del Estado y
la tarda construccin de un movimiento social slido, retrasaron la puesta
en escena de acciones coordinadas y orientadas a la transformacin cultural
necesaria para la inclusin de la problemtica de los grupos afrocolombianos
en la agenda social y poltica del pas (Arriaga, 2006).
La difcil situacin social y poltica de la poblacin afrodescendiente se
puede evidenciar en la ausencia de estrategias destinadas a la consolidacin
de acciones de visibilizacin, de integracin y de restitucin. Junto a los condicionamientos socioeconmicos y polticos, las caractersticas fenotpicas de
las distintas poblaciones se constituyen en el criterio de jerarquizacin, en el
requisito para acceder a los recursos simblicos y materiales y, en consecuencia,
en un marcador de estatus, prestigio y posicionamiento de los grupos tnicos.
Los procesos de marginalizacin y exclusin se advierten en la forma en
que los grupos tnicos se distribuyen geogrficamente, consolidando lo que se
ha denominado procesos de territorialidad tnica, cuya vigencia permanece
an hoy. En este marco, los grupos afrocolombianos, como consecuencia del
ejercicio de la violencia racial y de aspectos relacionados con la distribucin
del acceso al mercado laboral, fueron desplazados a las zonas perifricas del
pas (de Friedermann, 1993).
Aunque la constitucin de 1991 trajo consigo el reconocimiento y la
garanta formal de derechos para los grupos tnicos, as como la creacin de
condiciones de organizacin y movilizacin colectivas, la discriminacin sigue evidencindose en mltiples actividades de la vida social. Como lo seala
Bejarano (1994), pese a que el propsito expresado por los constituyentes
consista en realizar una transformacin de las estructuras del Estado para
incluir sectores histricamente marginados, la estrategia gubernamental estuvo
ligada a los intereses por implantar un modelo econmico neoliberal y generar
las garantas institucionales para adecuar el pas a un contexto internacional en
creciente globalizacin. As, por ejemplo, result funcional articular el tema
ambiental con la identidad de las comunidades afrocolombianas, para viabilizar
sus demandas y aspiraciones polticas que, entre otros aspectos, se expres en
su autodenominacin como guardianes de la naturaleza (Agudelo, 2001).
Esa condicin ha venido reforzando la segregacin de los afrocolombianos
en las regiones perifricas del pas. De acuerdo con datos del Departamento
Administrativo Nacional de Estadstica DANE- y el Departamento Nacional
de Planeacin DNP- estas regiones corresponden con las zonas geogrficas
que presentan los mayores ndices de pobreza, de desplazamiento forzado y
de restriccin al acceso de recursos simblicos y materiales1. La distribucin
territorial de la poblacin afrocolombiana se puede observar en el grfico 1.
103
12 (1)
Imagen 1. Los afrodescendientes en el territorio nacional
Fuente: Departamento Administrativo Nacional de Estadstica. Censo 2005. http://www.

dane.gov.co/files/censo2005/etnia/sys/etnias.pdf
Sumado a esto, aunque los procesos de inclusin de los afrocolombianos y

la proteccin de los derechos de propiedad adquiridos sobre sus territorios ancestrales fueron garantizados de forma nominal, la complejidad de los conflictos
y los intereses en el pacfico colombiano contribuye a la vulneracin, desconocimiento y segregacin de dichas poblaciones (Wouters, 2001; Oslender, 2008).
Adems, fenmenos como el desplazamiento forzado, las ejecuciones extrajudiciales, la amenaza y la intimidacin de lderes comunales son recurrentes en
los territorios de la costa pacfica. El incremento de las actividades delictivas de
los paramilitares en la regin corresponde con el inters de establecer negocios
por parte de los grandes capitales. La industria maderera, la siembra de palma
africana, el fomento de la ganadera extensiva y la explotacin de los recursos
naturales se constituyen en los factores ms importantes que permiten explicar
y comprender la forma como se han vulnerado a estas comunidades.
Entre los aos 1998 y 2002 el panorama se complica por el fallido
proceso de paz entre el gobierno de Andrs Pastrana y las Fuerzas Armadas
Revolucionarias de Colombia FARC-, a partir de lo cual se recrudece el
conflicto armado, se genera una reaccin generalizada de condena a las dilaciones de las FARC y se legitiman acciones militares en contra de los grupos
insurgentes. En este escenario, territorios con grandes riquezas econmicas y
biolgicas, se constituyeron en escenarios de confrontacin permanente entre
104
los actores armados del conflicto, en donde confluan los intereses del Estado,
los paramilitares, las guerrillas, los grupos econmicos, el narcotrfico y los
grupos tnicos, quienes buscaban salvaguardar sus territorios (Meja, 2010).
Como consecuencia de estos acontecimientos, el desplazamiento forzado
se increment en muchas regiones del pas. Las poblaciones afrocolombianas,
que habitan los territorios ms golpeados por el conflicto, se constituyen en
las principales vctimas de quienes tienen propsitos econmicos, polticos
y militares en sus territorios. Luego del destierro y el despojo, las empresas
multinacionales, los grupos econmicos y los narcotraficantes se apoderan de
los territorios de las comunidades negras, y cuando stas retornan, encuentran
a actores privados usufructuando sus tierras en ganadera intensiva, cultivos
agroindustriales y sembrados de coca. De esto se deriva que las estructuras
de racismo en la sociedad colombiana han sido reforzadas por los intereses de
grupos hegemnicos y por la ineficiencia del Estado en relacin con la proteccin, garanta y provisin de los derechos de los grupos tnicos.
3. Diseo para la exploracin del Discurso Multimodal

La propuesta analtica aspira a recuperar el conjunto de categoras y relaciones que pueden ser el punto de partida para la formulacin de un anlisis
cualitativo y sistemtico de los discursos multimodales. Para esto se aborda el
anlisis del video Los nios de Hollywood que forma parte de un corpus ms
amplio recopilado del sitio Web YouTube. El corpus se selecciona adoptando
como criterio bsico las palabras clave pobreza, pobre, indigencia e indigente.
La propuesta pone en relacin las maneras como se perciben los significados
en los discursos propios de la produccin multimedia y los ECD desarrollados
en los trabajos de Kress & van Leeuwen (2001), van Leeuwen & Jewitt (2001),
van Leeuwen (2008) y Ventola, Charles & Kaltenbacher (2004).
La sistematizacin del corpus se realiza desde la propuesta terico-metodolgica de OHalloran (2004) y se adaptan los programas ELAN 3.6.0 y Toolbox2
para desarrollar el proceso descriptivo que facilita el anlisis multimodal. En
este trabajo se asumen los principios tericos y metodolgicos de los ECD
y de los EDM en una propuesta que se denominar en lo sucesivo Estudios
Crticos del Discurso Multimodal ECDM.
Los recursos que se utilizan para los ECDM permiten reconocer, categorizar
y sistematizar para un corpus dado los modos semiticos implicados, as como los
recursos y estrategias discursivas. ELAN 3.6.0 es un programa desarrollado por
el Max Planck Institute3, que permite al analista agregar un nmero ilimitado
de anotaciones a archivos de audio y de vdeo. Las anotaciones se elaboran en
distintos niveles que pueden estar jerrquicamente relacionados entre s, permitiendo estructurar el corpus para el anlisis y garantizan la identificacin de
ciertas relaciones. Cada anotacin puede relacionarse con la lnea de tiempo del
discurso analizado o puede referirse a otras anotaciones previamente elaboradas.
105
12 (1)
A partir de las anotaciones se pueden formular distintos puntos de vista en

relacin con el corpus que se analiza, de manera que el proceso descriptivo sirve
al trabajo analtico-interpretativo.
Las principales caractersticas del programa se manifiestan en la facilidad
para describir el corpus en sus distintas expresiones y recursos. La visualizacin
de informacin en los diferentes niveles, su registro y su comentario, facilita
la categorizacin. Para el modo auditivo, se incluyen categoras como tono,
gnero, perspectiva, ruido, forma, fondo y estrategia perceptual, entre otras. Para
el caso del modo lingstico o verbal, se abordan unidades lxicas, categoras
gramaticales, relaciones y redes semnticas, temas, tpicos, voces discursivas,
formas de atribucin, marcadores de subjetividad, coherencia, figuras retricas
y relaciones pragmticas, entre otras.
Para la descripcin del corpus el programa permite la construccin de vocabularios controlados, sistematizando el procedimiento. En tanto herramienta
tecnolgica, ELAN permite que el analista relacione e interprete el conjunto
de recursos y estrategias discursivas que proceden de la articulacin de los
mltiples modos semiticos, que se explorarn en profundidad en una segunda
etapa. Estos modos son apropiados en los distintos medios tecnolgicos, que
para este caso corresponden a la tecnologa digital interactiva. En el proceso
descriptivo se da cuenta de las estructuras discursivas para poner en relacin
lo visual y lo sonoro. En la imagen 2 se observan algunos de los criterios que
el programa permite organizar para efectos del anlisis.
Imagen 2. Aplicacin del programa ELAN en la descripcin del corpus multimodal
106
La flexibilidad que el programa ELAN posee facilita adoptar unidades

temporales que no estn basadas en unidades de tiempo fijas, sino que se
utilizan otras estrategias de segmentacin como las unidades narrativas. Se
cualifican las posibilidades de anlisis en tanto pueden elaborarse reflexiones
lineales y transversales.
4. Discriminacin y desposesin: representacin meditica de las

negritudes de Buenaventura
Los nios de Hollywood permite hacer un acercamiento, por una parte,
a las caractersticas propias de los discursos multimodales y, por otra parte, a
las formas en que se consolidan idearios y se refuerzan relaciones sociales proclives a los ejercicios abusivos de poder. En este documental el punto de vista
adoptado por el narrador es el de un observador externo que hace usufructo
de la condicin particular de un grupo humano, exponiendo una problemtica
que reitera los factores que histricamente se han atribuido a la desposesin
y a grupos tnicos concretos. La pretendida objetivacin de la problemtica
representada contribuye a objetualizar una comunidad y a naturalizar sus condicionamientos. De esta manera, se contribuye a estabilizar la representacin
que propone al grupo como incapaz de accin, carente de volicin y objeto
de manipulacin, en sntesis, se le despoja de su dignidad y potencialidad
creadora y transformadora.
El discurso propuesto a travs del video se encuentra ubicado estratgicamente en un escenario econmico y poltico desde el cual es posible dar cuenta
de los lugares y estrategias de interlocucin. Este escenario est constituido
por actores sociales que desarrollan estrategias orientadas a fines. Aunque el
vdeo documental producido por Telepacfico4 se propone como un discurso
reivindicatorio, en el proceso de dar cumplimiento a lo estipulado en la visin
del canal, es decir, promover la identidad sociocultural de las comunidades de
la costa pacfica ante el mundo, objetualiza y espectaculariza a los actores que
pretende representar.
Adems de ser un rgano que percibe recursos del Estado y, en esa medida, estar en la obligacin de rendirle informe detallado de sus actividades,
Telepacfico es regulado por la Comisin Nacional de Televisin5. En consecuencia, el lugar de interlocucin del canal est definido por la posicin que
ocupa en la estructura de la organizacin estatal y en el campo de la economa,
y sus estrategias involucran la utilizacin de recursos, a travs de las cueles aspira
a lograr un desempeo adecuado en estos escenarios.
4.1. En busca de la consolidacin de lo establecido
la estructura del vdeo se encuentra compuesta por treinta y siete escenas,
enriquecidas con ttulos y subttulos que se agrupan en cuatro secuencias.
107
12 (1)
Esta estructura est diseada para describir el modo de vida de un sector de

la comunidad afrocolombiana en la ciudad costera de Buenaventura, en el
departamento del Valle del Cauca. La primera secuencia se introduce con
la expresin Ciento cincuenta aos despus para luego hacer un paneo
general de la ciudad, utilizando para ello encuadres generales y panormicos,
y un ngulo picado. Esta toma abarca las edificaciones y el mar al fondo para
luego ingresar en la ciudad, cuyas calles se muestran transitadas por carros y
gente, mientras se explica algunas de sus caractersticas socio-econmicas y
demogrficas.
En la segunda secuencia se construye una visin general, apropiando el
recurso del encuadre panormico y el ngulo picado, para mostrar el segmento
de la poblacin que vive en palafitos6, enfatizando en su condicin socioeconmica. Se busca con ello focalizar en las distintas espacialidades para detallar
escenarios como los pasadizos, las viviendas y los sectores aledaos que sirven
incluso como lugares de trabajo. En la tercera secuencia, se inserta el ttulo
y se visualiza a quienes se proponen como protagonistas del video documental, es decir, a los nios que viven en los palafitos del sector conocido como
Hollywood. Dicha visualizacin incluye iconos de la marginalidad, como los
pies descalzos, un puente rstico en madera por el cual transitan los personajes y
un perro, as como una descripcin detallada de sus pasatiempos, las actividades
ldicas que realizan y las locaciones en las que coexisten. En la secuencia final
se observa el charco de marea donde los nios nadan y, en seguida, se cierra
con el enunciado 21 de Mayo. 150 aos de la abolicin de la esclavitud en
Colombia, con lo cual se construye una estructura narrativa cclica, cuyo eje es
la temporalidad y una temtica implcita que ubica la narrativa histricamente.
Aunque la construccin espaciotemporal formulada constituye un eje del
proceso de contextualizacin, se silencian los condicionamientos histricos y
se evita la reflexin que procede de poner en relacin los modos de desarrollo
occidentales con el acceso concreto de las comunidades a los recursos simblicos y materiales de los que requieren para participar de dicho desarrollo. El
punto de partida es el discurso hegemnico, en el que se representa a los grupos
tnicos desposedos de manera antagnica a aquellos grupos humanos que se
supone se encuentran insertos en procesos de desarrollo.
La narrativa visual se estructura en la construccin de visiones panormicas con la combinacin de ngulos picados y encuadres generales, con el
fin de mostrar los tres espacios en los que se sita la narracin: la ciudad de
Buenaventura, los palafitos del barrio Cristbal Coln y el charco de marea del
sector de Hollywood. Podra inferirse que el discurso visual desempea una
funcin focalizadora, pues a medida que va avanzando el relato se enfatizan
ciertos escenarios y aspectos de la narrativa, y se realizan tomas para coextender
significados particulares a mbitos generales. En paralelo, el discurso visual
contribuye a la construccin de las paradojas que se expresan en la secuencia
108
de imgenes, en la sucesin temporal de tomas y en los personajes focalizados:

la opulencia de la miseria y la miseria de la esperanza. Por su parte, el recurso
sonoro sirve al propsito de diferenciar los escenarios a travs de la constitucin
de planos sonoros, que contribuyen a topicalizar sentidos.
La construccin de las disparidades procede de la comparacin entre los
sectores de Buenaventura que se escenifican, por una parte, como lugares de
supuesto desarrollo y, por otra parte, el sector que se propone como representativo de un grupo socioeconmico caracterizado por condiciones de vida
distintas a los estndares occidentales. La representacin del desarrollo se realiza
a travs de tres escenas en las que se focaliza una mirada urbana y comercial de
la ciudad. Se incluyen actividades econmicas, arquitecturas modernas, trazado
urbano incipiente, y flujo vehicular y martimo. Las condiciones de vida de la
poblacin del barrio Cristbal Coln se representan, en contraposicin, como
disposiciones a la inactividad, focalizando el aparente ocio del adulto, que
contrasta con la actividad caritativa de los personajes que se proponen como
representantes de la institucin religiosa y que se consolidan como iconos de las
polticas asistencialistas. Simultneamente, se incluye la actividad ldica de los
nios, los cuales se constituyen en conos de la desposesin, de la marginalidad
y de la ausencia de autonoma y autodeterminacin. Esto evoca el sentido de
vulnerabilidad, desproteccin y debilidad, entre otros.
La narrativa del documental reconstruye permanentemente una esttica
de la ruina, a partir de la cual se incorporan elementos tales como las basuras,
construcciones en condicin de deterioro, charcos de lodo, escombros, aguas
residuales y objetos averiados. Lo que se propone en el documental es una
focalizacin sobre los condicionamientos que orientan las formas de vida de
la comunidad representada, para cuestionar los marcos temporales en los que
se ha venido desarrollando la historia de las comunidades de la regin que se
referencia. En este sentido, la ruina se propone para evocar recuerdos del pasado,
de un pasado parcialmente superado, que imprime en la niez una marca de
continuidad, de inercia y de inaccin, y que se expresa en la advertencia de un
futuro catastrfico, adverso e invariante.
4.2. Formas de exclusin: estrategias y recursos
la representacin visual de la ruina, adems de posicionar una forma rgida
de comprender la realidad de la comunidad, contribuye a la estabilizacin de
representaciones proclives a la preservacin de la exclusin y la marginalizacin. La narrativa visual incluye las estrategias de naturalizacin y de espectacularizacin, as como el uso de estrategias ms puntuales como la elipsis,
la paradoja o la focalizacin, entre otras. El efecto consiste en la limitacin
de la posibilidad de comprender a profundidad los fenmenos socioculturales representados. Esto sucede como consecuencia de procesos en los que se
conjugan emociones, representaciones y formas de ejercicio abusivo de poder
109
12 (1)
(Pardo y Hernndez, 2007). As, el usufructo sensacionalista que se hace de

los nios, la naturalizacin de las representaciones sobre los escenarios en los
que conviven y la legitimacin de sus condiciones de vida, consolidan la idea
de invariabilidad que se puede recoger en la afirmacin de que as es, as ha
sido y as seguir siendo.
La estrategia de espectaculizacin y la evocacin de imgenes sensacionalistas se observan en varios segmentos que van desde el minuto 2:20 a 2:40.
En este intervalo se focaliza en los nios que se proponen como los personajes
centrales. La estrategia de focalizacin se combina con el recurso de la planificacin, el cual consiste en registrar una escena en planos que varan en la lnea de
tiempo. As, el movimiento va del primer plano, pasando al gran primer plano,
hasta el plano general. Con la ltima imagen, el plano se ampla lentamente
a travs de un movimiento de la cmara en retroceso, que permite ver que las
nias se encuentran a las puertas de uno de los palafitos.
En las tomas en las que se muestra a los nios mirando la cmara con
curiosidad se propone un sentido de lo inusual, de lo novedoso y de lo raro, lo
cual da cuenta de la falta de familiaridad de la comunidad con las tecnologas
y, en consecuencia, con los potencialidades de uso que de ellas se derivan. Las
tomas con las que se construyen personajes como el nio trabajador y los nios
jugando a la pelea sugieren la falta de actividades acadmicas y artsticas que
contribuyan al desarrollo de las capacidades de los personajes. Por ltimo, las
tomas que incluyen nios caminando sobre tablas con chancletas o descalzos
(minuto 4:03 y 4:12), se usan para denotar la carencia de los elementos que la
cultura occidental propone como bienes bsicos. En consecuencia, los referentes
a los que se apela para narrativizar la realidad corresponden con sistemas de
categorizacin eurocntricos y occidentalistas.
El recurso de la elipsis visual es utilizado de manera frecuente para generar paradoja. Este recurso consiste en la supresin de unidades grficas con el
fin de que el interlocutor reconstruya la representacin de lo que se propone
y otorgue relevancia a una unidad particular. Adems, la elipsis contribuye
a la evocacin y el reforzamiento de representaciones icnicas, a partir de
las cuales se proponen las distintas problemticas sociales. As, cuando en el
minuto 2:05 se focaliza la imagen de los pies, se est evocando y estabilizando
la representacin a partir de la cual se asocia la indigencia, la desposesin y la
marginalizacin, con los personajes que sintetizan dicha conceptualizacin, es
decir, los nios afrocolombianos de un sector de la ciudad de Buenaventura.
En consecuencia, adems de funcionar como una figura retrica de elisin,
la elipsis visual contribuye a proponer representaciones, a activar saberes o a
consolidar imgenes sobre lo que se representa.
Las imgenes propuestas desde el minuto 4:18 tambin generan un efecto de diferenciacin. En este caso, la definicin del punto de referencia hace
imprescindible la reformulacin conceptual a medida que se va introduciendo
nueva informacin. El efecto de las imgenes se expresa en la generalizacin
110
de significados y en la atribucin de cualidades a los sujetos implicados. En un

principio, la toma que incluye a los nios en el charco no permite evidenciar
los alrededores del lugar, que slo hasta el minuto 4:44 van a hacerse explcitos.
El escenario slo logra percibirse de manera precisa cuando se observa que el
charco, en el que nadan los nios, est formado por aguas residuales, desechos
y algunas acumulaciones de agua de mar.
La paradoja, por una parte, evidencia una realidad que se ha formulado
y estabilizado en la cultura y, por otra parte, genera una ruptura en relacin
con esos saberes. La paradoja tambin acenta los prototipos que se proponen
como contrarios, pues dichos prototipos constituyen sus referentes de validez
retrica. Luego de la toma donde los nios se baan aparentemente felices, se
evidencia el estado real del escenario que en principio es descrito como una
piscina natural. De esta manera, se refuerzan los estereotipos occidentales en
relacin con los personajes implicados y con lo que se les atribuye. Las interpretaciones son mediadas por la idea de que la desposesin y la marginalidad
se vinculan con la basura y la suciedad.
La construccin de las tomas y sus efectos de choque se apoya en recursos
como el encuadre general, el ngulo picado y las formas en que se ubica la
cmara en las distintas espacialidades propuestas, todo lo cual contribuye a
focalizar ciertos aspectos y a generalizar lo focalizado. Esto puede apreciarse
en los minutos 5:49 y 5:52 en los que el manejo del zoom se constituye en
el recurso de focalizacin y generalizacin. En el minuto 5:49, la presencia
de una mujer y un nio sentado sobre una mesa deteriorada, al lado de una
pared de madera rota, se constituyen en el foco de la imagen. Para el minuto
5:52 disminuye el zoom desplazando el foco de las personas a la estructura
del hbitat. Se propone un desplazamiento visual, a partir del cual se enfatiza
en las caractersticas del entorno fsico para denotar las condiciones vitales de
quienes habitan en el escenario representado.
Imagen 3. Papel del Zoom en la construccin de sentido
Fuente: http://www.youtube.com/watch?v=tAE1isDwow0
La presencia de la mujer con el bebe se propone para sugerir su rol como

un actor social pasivo, que se define en razn de la complicidad que le es atri111
12 (1)
buible por su inaccin frente a los condicionamientos en los que crecen y se

desarrollan los nios de su grupo social. Este carcter se infiere de los recursos
sonoros: una meloda que evoca melancola y desasosiego, y las voces de los
nios y los sonidos ambientales. Esto contribuye a reforzar la idea de la responsabilidad compartida y, de esta manera, a normalizar los hbitos, conductas y
prcticas que refuerzan la imposicin identitaria comnmente asignada a stas
comunidades. Visibilizar de esta forma la vida de una comunidad contribuye
a estabilizar representaciones a partir de las que el sujeto, responsable de su
propio destino, debe ser objeto de correccin, reprensin, orientacin y direccionamiento por parte de sujetos externos a su grupo social.
Los sentidos de desproteccin, vulnerabilidad, inestabilidad e inercia
asociados con la mujer y el bebe que se representan en las imgenes contribuye, a travs del zoom, por una parte, a estabilizar el carcter femenino de la
pobreza y, por otra parte, a generalizar dicho carcter a la comunidad en su
conjunto. La naturalizacin de los estereotipos frustra la posibilidad de proponer e implementar acciones transformadoras, al tiempo que oculta a quienes
son responsables de los sistemticos y sostenidos ejercicios de exclusin. La
funcin ideolgica del uso del zoom se evidencia en la adopcin de un punto
de vista en el que se enfatiza el rol expectante de los personajes, los cuales ante
el escenario que se presenta como marginal, se muestran como sujetos pasivos
carentes de capacidad de accin y de transformacin.
5. Conclusiones
El campo de los Estudios Crticos del Discurso ha venido enriquecindose
con los desarrollos de la semitica social y de los Estudios del Discurso Multimodal. La articulacin de diferentes perspectivas analticas y de categoras
provenientes de campos como la sociologa, la antropologa cognitiva, las
ciencias econmicas, la lingstica, la ciencia poltica y la psicologa social y
cognitiva, entre otras disciplinas, han arrojado luces sobre la complejidad de
los fenmenos sociales contemporneos y han contribuido al desarrollo de
puntos de vista integrados que los permitan explicar y comprender. Simultneamente, el incremento en la complejidad de los procesos sociales, derivado
de las transformaciones de los procesos productivos y comunicativos en la
era de la globalizacin, ponen de manifiesto la necesidad de dar cuenta de los
mecanismos y estrategias de interaccin social actuales y, sobre todo, de sus
efectos sobre lo pblico.
En este marco, los discursos contemporneos adquieren nuevas especificidades. El auge tecnolgico otorga la potencialidad para utilizar mltiples
recursos, formatos, gneros y herramientas en la construccin de significado,
as como en la produccin y reproduccin de representaciones sobre los fenmenos que se desarrollan en la sociedad. Por ello, el abordaje de los problemas
socioculturales contemporneos, en perspectiva crtica, requiere del desarrollo
112
de procedimientos metodolgicos, la integracin de mltiples referentes tericos

y un trabajo interdisciplinar que permita llevar a cabo anlisis integrales de la
realidad estudiada. Desde esta perspectiva, los Estudios Crticos del Discurso
Multimodal se constituyen en una corriente intelectual interdisciplinar preocupada por la manera en que se concreta la reproduccin discursiva del abuso del
poder y de la desigualdad social en las sociedades contemporneas.
Para el propsito de dar cuenta de las formas de reproduccin de la dominacin y el abuso del poder, los Estudios Crticos del Discurso Multimodal
permiten verificar e interpretar el conjunto de recursos y estrategias simblicas
y tecnolgicas que se apropian y despliegan en un sitio Web como YouTube. En
el caso de problemas sociales como la pobreza y el racismo, un anlisis crtico
del discurso multimodal permite dar cuenta de las representaciones, estereotipos e ideologas que se erigen en rdenes simblicos orientadores de la accin
colectiva y reforzadores de estructuras sociales inequitativas y excluyentes. As,
el discurso meditico de la pobreza en YouTube, si bien amplia el espectro del
acceso a la informacin a personas de otros lugares en tiempo real, mercantiliza
los temas propuestos y contribuye a estabilizar formas de diferenciacin social
que tienen su anclaje en referentes econmicos y culturales.
En relacin con el vdeo documental analizado, el cual hace parte de un
amplio corpus seleccionado de YouTube, se evidencian los mecanismos y estrategias a partir de los cuales no solamente se ha propuesto una informacin
sobre las comunidades abordadas, sino que, fundamentalmente, se les ha
construido y asignado arbitrariamente una identidad. Esta identidad, adems
de no corresponder con los intereses y demandas reales de estas comunidades,
legitima formas de intervencin en las que dichos grupos son reducidos a la
condicin de meros objetos funcionales. En esta perspectiva, la descripcin
de los hbitos y conductas de los habitantes del barrio Cristbal Coln de la
ciudad de Buenaventura es representada bajo cnones occidentales, para generar
contrastes entre los estilos de vida locales y el deber ser que se ha definido en
la cultura occidental.
El proceso de representacin meditica de la identidad de las comunidades
referenciadas, incluye la utilizacin estratgica de recursos semiticos para generar espectculo, mediante lo cual se objetualiza a los actores representados. Esta
objetualizacin a menudo se acompaa de la naturalizacin de roles y atributos,
as como de la construccin de estereotipos negativos. La naturalizacin de
estereotipos inhibe el desarrollo de acciones de transformacin, al tiempo que
oculta a quienes son responsables de los sistemticos y sostenidos ejercicios de
exclusin hacia las comunidades representadas.
El anlisis exploratorio, que ser profundizado en la segunda etapa de
anlisis de este vdeo, sugiere que la combinacin de recursos y la articulacin
de modos discursivos permiten amplificar el sentido de lo expresado y potencializar la funcin poltica del discurso meditico. En muchos de los casos, la
113
12 (1)
funcin ideolgica de los recursos utilizados se evidencia en la focalizacin del

supuesto rol expectante de los personajes, los cuales, ante el escenario que se
propone marginal, se muestran como sujetos pasivos carentes de capacidad de
volicin, de accin y de transformacin. Desde esta perspectiva, la aspiracin
de dar cuenta de la identidad histrica de las comunidades representadas termina constituyndose en una estrategia, a partir de la cual se aspira a definir
la situacin de interaccin, a generar un sentido comn que se articula a las
expectativas que se anticipan de los interlocutores los financiadores de algunos
proyectos televisivos- y a desarrollar actuaciones para escenificar roles y lugares
funcionales a dichas expectativas.
Con el despliegue de estrategias y recursos semiticos se pretende generar
la conmocin necesaria en el interlocutor para movilizar recursos y apoyos
institucionales. Dada la necesidad inminente de efectuar presentaciones estratgicamente orientadas, se lleva a cabo la produccin simblica y arbitraria de
la comunidad que pretende representar objetivamente, mediante lo cual se le
conceptualiza como un ente incapaz de tomar decisiones y como un ser que
no tiene la potencialidad para concretar su propio proyecto de vida. As, los
recursos y estrategias visuales apropiados y desplegados por los productores del
documental no solamente desarrollan propuestas temticas, sino que proponen
y expresan representaciones sociales proclives al ejercicio de la discriminacin,
marginalizacin y dominacin de los grupos tnicos que son representados.
De esta manera, el discurso multimodal se constituye en una accin orientada
que se inscribe en conjuntos de prcticas sociales ms amplias, validando e
invalidando visiones de mundo, normalizando formas de interaccin y naturalizando representaciones.
Notas
1 Para ms informacin vase DANE. (2007). Colombia una nacin multicultural.
Su diversidad tnica. URL: http://www.dane.gov.co/files/censo2005/etnia/sys/
colombia_nacion.pdf. Tambin vase DNP. (2008). Insumos para el anlisis de las
barreras que impiden el avance de la poblacin negra, afrocolombiana, palenquera
y raizal. Bogot: DNP.
2 Agradezco Carlos Rodrguez, Lingista de la Universidad Nacional de Colombia,
por la adaptacin y puesta en funcionamiento del software.
3 Vase Albert Bikford (2005). Using ELAN: A getting-started guide for use with
sign languages.
4 Para ms informacin a este respecto, vase http://www.telepacifico.com/index.php
5 Para ms informacin a este respecto, vase http://www.cntv.org.co/cntv_bop/.
6 Los palafitos son construcciones para la vivienda que se apoyan en columnas de
madera o en estacas, y que, generalmente, se construyen sobre agua a la orilla del
mar, de los ros, lagunas o donde las aguas son tranquilas.
7 Agradezco a Juan Ruiz, estudiante del Departamento de Ciencia Poltica de la Universidad Nacional de Colombia por su colaboracin en el desarrollo de ste trabajo
114
como asistente de investigacin y miembro del Grupo Colombiano de Anlisis del

Discurso Meditico.
Arriaga, L. (2006). Los negros, ciento cincuenta aos despus de la esclavitud en
Colombia. Ctedra de estudios afrocolombianos, Volumen 1. Fondo de
publicaciones afrocolombianas. Bogot: Casa Nacional de la Cultura Afrocolombiana.
Agudelo, C. (2001). Nuevos actores sociales y relegitimacin de Estado. Estado
y construccin de movimientos sociales de comunidades negras en Colombia, Anlisis Poltico, 43: 1-33. Bogot: Universidad Nacional de Colombia.
Bejarano, A. (1994). Recuperar el Estado para fortalecer la democracia, Anlisis
Poltico, 22: 59-91. Bogot: Universidad Nacional de Colombia.
Bourdieu, P. (2001). Poder, derecho y clases sociales. Bilbao: Editorial Descle de
Brower.
Bikford, A. (2005). Using ELAN: A getting-started guide for use with sign languages.
URL: http://www.und.nodak.edu.
Busch, B. & Wodak, R. (2004). Approaches to Media Texts. The SAGE Handbook of Media Studies. URL: www.sage-ereference.com/hdbk_mediastudy/
Article_n6.html.
Departamento Administrativo Nacional de Estadstica (DANE) (2007).
Colombia una nacin multicultural. Su diversidad tnica. URL: http://www.
dane.gov.co/files/censo2005/etnia/sys/colombia_nacion.pdf.
De Friedermann, N. (1993). La saga del negro. Bogot: Pontificia Universidad
Javeriana.
Departamento Nacional de Planeacin (DNP) (2008). Insumos para el anlisis
de las barreras que impiden el avance de la poblacin negra, afrocolombiana,
palenquera y raizal. Bogot: DNP.
Fairclough, N. & Wodak, R. (1997). Critical Discourse Analysis, en T.A.
van Dijk (Ed.) Discourse Studies: A Multidisciplinary Introduction. Vol. 2.
London: Sage.
Kress, G., Leite-Garca, R. & van Leeuwen, T. (2000). Semitica discursiva, en
T. van Dijk (Comp.). El discurso como estructura y proceso. Barcelona: Gedisa.
Kress, G. & van Leeuwen, T. (2001). Multimodal discourse. The modes and media
of contemporary communication. New York: Hodder Arnold.
Meja, C. (2010). Atrato, ms all de la extensin del conflicto armado: Derechos
colectivos y cultivos extensivos en un escenario de confrontaciones, Dilogos
de Derecho y Poltica, 3 (1) URL: http://aprendeenlinea.udea.edu.co/revistas/
index.php/derypol/article/view/5162/4518
OHalloran, K. (2004). Multimodal Discourse Analysis: Systemic Functional Perspectives. London: Continuum.
Oslender, U. (2008). Comunidades negras y espacio en el Pacfico colombiano. Hacia
un giro geogrfico en el estudio de los movimiento sociales. Bogot: Instituto
115
12 (1)
Colombiano de Antropologa e Historia.

Pardo, N. & Hernndez, E. (2007). La parlisis cognitiva. Sumatoria de determinantes socioculturales, Enunciacin, 12: 24-46. Bogot: Universidad
Distrital Francisco Jos de Caldas.
Van Leeuwen, T. (2008). Discourse and practice. New tools for Critical Discourse
Analysis. Oxford: Oxford University Press.
Van Leeuwen, T. & Jewitt, C. (2001). Handbook of Visual Analysis. London: Sage.
Ventola, E., Charles, C. & Kaltenbacher, M. (2004). Perspectives on Multimodality. Philadelphia: John Benjamins.
Wouters, M. (2001). Derechos tnicos bajo fuego: El movimiento campesino
negro frente a la presin de grupos armados en el Choc. El caso de la
HACIA, Accin colectiva, Estado y etnicidad en el Pacfico Colombiano, pp.
259-285. Bogot: Instituto Colombiano de Antropologa e Historia.
Anexo 1
Letra video documental
LOS NIOS DE HOLLYWOOD
Ciento cincuenta aos despus Buenaventura, principal puerto sobre el
pacfico colombiano la puerta ms importante para las importaciones y
exportaciones del pas. Gran parte de su poblacin de afrodescendientes,
habita en palafitos construidos sobre pedazos de tierra que le han robado al
mar. Sus condiciones de vida estn por debajo del nivel ms bajo de cualquier
ciudadano colombiano.
LOS NIOS DE HOLLYWOOD.
En estas circunstancias los nios del barrio Cristobal Coln, que tienen
pocas oportunidades de asistir a la escuela, se ingenian diversas formas
para ocupar mucho de su tiempo libre y divertirse. Algunos juegan
mientras trabajan recogiendo las almejas que se encuentran en el barro durante la marea baja del ocano pacfico. Los juguetes que otros
han dejado y que no les pertenecen por no ser de su cultura, cobran
vida en las manos de estos nios que ven el mundo de otras maneras.
Aqu la violencia es un juego [?...] parecera simplemente que el
juego es la violencia. En medio del barrio existe un lugar conocido
como Hollywood, y all, un charco que es como un gran parque
de diversiones. Los nios saltan, se sumergen, se baan, gritan, ren
y juegan. La piscina natural que se forma durante el crecimiento de
las mareas, sirve para que los nios se entretengan, intercambien y
hagan un poco de deporte a la vista de todos. Lejos de tener unas
aguas frescas y cristalinas, estas aguas estancadas durante meses son la
alcantarilla del barrio y el botadero de escombros, animales muertos y
116
heces fecales. Sin embargo, los nios de Hollywood ren porque ni

la pobreza absoluta calla sus gritos, sus alegras y sus sueos de nios.
Neyla Graciela Pardo Abril es Doctora en Filologa-Lingstica Espaola.
Profesora titular e investigadora del Instituto de Estudios en Comunicacin
y Cultura y del Departamento de Lingstica de la Universidad Nacional de
Colombia. Investigadora principal del Grupo Colombiano de Anlisis del
Discurso Meditico.
Correos electrnicos: neylapardo@yahoo.com / pardo.neyla@gmail.com
117
Reseas
BEDNAREK, Monika y MARTIN, Jim R. (eds.) (2010). New Discourse on

Language. Functional Perspectives on Multimodality, Identity, and Affiliation.
London: Continuum. 269 pp. ISBN 978-1-8470-6483-7.
En este libro se plantea ampliar el campo de estudio de la Lingstica
Sistmico-Funcional (LSF) a partir de la inscripcin terico-metodolgica en
el enfoque multimodal. Desde este punto de vista, se intenta dar cuenta de
los constructos fundamentales para el conocimiento de las relaciones entre
lenguaje y sociedad: los fenmenos semitico-sociales de la individuacin, la
identidad y la afiliacin. Este es el objetivo fundamental de esta publicacin
que permite extender la perspectiva sistmico-funcional a diversos objetos y,
al mismo tiempo, repensar esos objetos a partir de un abordaje de la variacin
semntica. Esto permite desplegar el panorama de posibilidades del anlisis
del discurso, tanto en lo que hace a las modalidades de la comunicacin como
a las negociaciones entre los hablantes/escritores.
Gracias a los fructferos trabajos pioneros de Halliday y Matthiessen (1999,
2004) para el estudio del lenguaje y los de Kress y van Leeuwen (2006 [1996])
para las imgenes, los investigadores de este libro -representantes de la LSF de
la Escuela de Sydney- han desarrollado una nueva y vigorosa perspectiva sobre
el modo en que se utilizan los recursos semiticos (lingsticos y visuales) tanto
desde la perspectiva de la variacin entre los textos como desde la variacin
entre los usuarios. La primera supone qu recursos semiticos se utilizan para
realizar acciones, para construir textos y, por lo tanto, reconstruir textos con
los que entran en dilogo; y la segunda, qu recursos semiticos se utilizan
para negociar la construccin de la identidad de los sujetos y de la afiliacin,
entendida esta ltima como la pertenencia a un grupo social. Si bien ambas
perspectivas son diferenciadas en el terreno de la explicacin y el anlisis, este
libro muestra cmo en el uso de los sistemas semiticos (que son, entre otros, el
lenguaje y las imgenes) las variaciones semnticas provienen de las opciones de
significado que se actualizan de manera simultnea acorde con las intenciones,
realidades e ideas de los sujetos en un contexto socio-cultural determinado.
Los diez captulos del libro estn relacionados de un modo muy cercano
y coherente por este planteo y enfoque terico comunes. En cada uno los autores desarrollan los conceptos de la teora propuesta por medio del anlisis de
corpora conformados por textos que no son sino instanciaciones de diversos
recursos multimodales. Martin (cap. 1) introduce el marco terico del libro y
lo ilustra por medio del estudio de una columna publicada en la revista Good
119
12 (1)
Weekend (del Sydney Morning Herald). Knight (cap. 2) estudia el humor entre
amigos para dar cuenta de cmo la identidad y la afiliacin son negociadas en
los textos como procesos de valores compartidos. Caldwell (cap. 3) se ocupa
tambin de los conceptos de identidad y afiliacin pero explorando los estilos
rtmicos de una seleccin de artistas de rap que colaboraron con Kanye West,
productor de este gnero musical popular. Knox, Patpong y Piriyasilpa (cap. 4)
analizan el tailands estudiando la primera plana de los peridicos de Tailandia
y cmo este medio masivo de comunicacin se posiciona en relacin con los
individuos, los grupos sociales y la sociedad de esta nacin. Caple (cap. 5)
explora las nociones de alusin y vinculacin a partir del anlisis de las coconstrucciones de significado entre palabras e imgenes en una serie de artculos
periodsticos del Sydney Morning Herald. Tian (cap. 6) examina qu se entiende
por feminidad en la edicin ilustrada y bilinge (ingls-chino) de The ballad
of Mulan, constructo multimodal que no solo se atiene a las relaciones entre
imagen, texto y gnero (lo femenino) sino tambin a las determinaciones
ideolgicas subyacentes. Tann (cap. 7) revisa las teoras contemporneas sobre
la identidad que la entienden como un fenmeno lingstico, sugiere una
aproximacin multifuncional para un abordaje ms comprensivo y lo ejemplifica con manuales de texto de Singapur. Zhao (cap. 8) propone un modelo
complementario de intersemiosis para estudiar los textos de hipermedia, en
el que las relaciones entre los diversos recursos de significado son entendidas
como patrones logogenticos. Zappavigna, Clirigh, Dwyer y Martin (cap. 9)
analizan las relaciones de emparejamiento entre la fonologa y los gestos, en
tanto que estos ltimos tambin poseen una estructura prosdica, a travs de
un corpus de filmaciones de encuentros realizados en el marco de la justicia
juvenil en Australia. Bednarek (cap. 10) cierra el libro ofreciendo una contribucin no solo a la combinacin de la lingstica del corpus y las dimensiones
tericas de la LSF, sino tambin al anlisis de la cultura popular con el estudio
de la serie televisiva estadounidense Gilmore Girls.
Como se mencion arriba, Martin (cap. 1) se ocupa de desarrollar el marco
terico general de estas investigaciones revisando algunos conceptos clave de
la LSF para dar cuenta del sistema como un conjunto de recursos potenciales
de significado: los conceptos de metafuncin, realizacin e instanciacin, entre
otros. Primero, explica que, adems de la jerarqua de la realizacin entre los
tres estratos sociales (gnero, registro y sistema lingstico), existe la jerarqua
complementaria de la instanciacin. Esta nocin relaciona el sistema con las
instancias de uso, recontextualiza los trabajos sobre las nociones de registro
y gnero e introduce los conceptos de emparejamiento y compromiso como
herramientas para explorar la multimodalidad en relacin con la variacin funcional entre los textos. Luego, pasa a desarrollar la jerarqua complementaria de
la individuacin, que relaciona el sistema con los repertorios de uso. Esta permite revisar los trabajos sobre el concepto de la orientacin del cdigo (Hasan,
2009, siguiendo a Bernstein, 1971) e introduce las nociones de vinculacin e
120
Reseas
iconizacin como herramientas para explorar la afiliacin. Finalmente, se ocupa

de la gnesis (la variacin semntica en el tiempo), reviendo los trabajos sobre
filognesis (evolucin del sistema), ontognesis (desarrollos de los repertorios)
y logognesis (instancias desarrolladas de uso).
Martin seala la diferencia terica entre realizacin e instanciacin considerando el lugar del registro y el gnero en cada jerarqua. Como el gnero
es un patrn configurativo del campo, el tenor y el modo, se sita en la cima
de la escala de la realizacin, en el nivel ms alto de abstraccin. Pero como
cada gnero despliega una configuracin recurrente especfica de significados,
estos estn posicionados como un sistema de sub-potencial en la escala de instanciacin. Todos los estratos de realizacin, por lo tanto, estn involucrados
en la instanciacin, que es una jerarqua relativamente poco desarrollada en la
LSF, de modo que este libro es un importante aporte para pensar esta categora
central de relaciones jerrquicas.
Dos conceptos presentes en la lnea de trabajo de todos investigadores
cuyos trabajos conforman este libro son los de emparejamiento y compromiso. Por emparejamiento se hace referencia al modo en que los significados
se combinan a travs de los estratos, metafunciones y sistemas simultneos
(incluyendo las modalidades). En tanto que la jerarqua de la realizacin se
ocupa de las combinaciones de significado en general, un conjunto indefinidamente amplio de combinaciones posibles queda abierto; y, dado que los
textos especifican combinaciones de este conjunto, el concepto de emparejamiento resulta entonces til para centrar la atencin en cmo se desarrollan
estas combinaciones. Por compromiso se refieren al grado de especificidad
del significado que se instancia en un texto. Esto tiene que ver con cuntas
elecciones de significado son tomadas y la manera en la que, generalmente, en
un texto, estas elecciones se suscriben a un modo particular de instanciacin.
Emparejamiento y compromiso son procesos que se interrelacionan, ya que
los modos de compromiso que llevan a cabo los sujetos tienen que ver en los
discursos multimodales con modos de emparejar imgenes, sonidos y textos
verbales, entre otras posibilidades de instanciacin de los recursos semiticos.
De esta manera, la multimodalidad se constituye en una semitica en la
que la instanciacin es fundamental para comprenderla e interacta con muchos fenmenos de la biologa humana poco estudiados desde una perspectiva
sistmico-funcional, que guarda relacin (entre otros) con el ver, el gesticular
o el or, aspectos que son tratados en este libro. El color, por ejemplo, impacta
somticamente en los observadores, lo que genera una respuesta neurobiolgica.
Esto plantea cuestiones importantes sobre los lmites de la semiosis y la responsabilidad de los semilogos para realizar emparejamientos no slo a travs de las
modalidades de la comunicacin, sino entre esas modalidades y su incorporacin
en las especies biolgicas. Como Caldwell (cap. 3) y Zappavigna et al. (cap. 9)
demuestran, en lo que respecta a la interaccin del sonido y la expresin verbal,
la cuestin del significado incorporado es, hoy en da, insoslayable.
121
12 (1)
Mientras que la instanciacin refiere a la especializacin del potencial de

significado de una cultura en los textos, la individuacin especializa ese potencial
de significado de acuerdo con la gente (privilegiando los usuarios, antes que
los usos del lenguaje) y su pertenencia a determinados grupos sociales en y con
los que construye su identidad. Las lecturas de los investigadores de este libro
en materia de diferenciaciones de gnero, generacin y clase social son especialmente acertadas y afinadas: no solo reconocen estilos semnticos asociados
con identidades tales como gnero y generacin (Knight: cap. 2; Tian: cap. 6)
sino los estilos de diversos grupos sociales, incluyendo naciones (Tann: cap.
7), las llamadas tribus urbanas de varias clases (emos, gticos, motoqueros),
crculos de amigos (Knight: cap. 2), parejas y personalidades individuales. En
LSF. el principal trabajo sobre individuacin ha sido orientado a la generacin,
el gnero y la clase en el lenguaje materno de nios en edad preescolar (Hasan,
1996). En este libro, sin embargo, se muestra el rol capital que tambin juegan los medios de comunicacin y la cultura popular en la negociacin de la
identidad (Caldwell: cap. 3; Knox et al.: cap. 4; Caple: cap. 5.; Tian: cap. 6).
Siguiendo a Bernstein (1996), Martin (cap. 1) explica que la afiliacin de
un sujeto es una trayectoria que empieza con su constitucin como persona,
pasa por su grado de pertenencia a alguno/s de los grupos de la sub-cultura
(como las tribus urbanas), conforma luego una identidad primaria y, por
ltimo, se integra como sujeto social a una determinada cultura. El proceso
de individuacin es una trayectoria que sigue un recorrido inverso al de la
afiliacin: la jerarqua va desde la integracin a una cultura del sujeto hasta
la constitucin de la persona (Knight: cap. 2). Los procesos de afiliacin e
individuacin son actividades de negociacin donde los hablantes evalan los
distintos factores socio-culturales (grupos sociales, identidad, cultura, etc.) a
partir de la instanciacin de recursos evaluativos del potencial de significados.
Recientemente, la teora de la evaluacin (Martin y White, 2005; Tian: cap.
6; Tann: cap. 7) ha llamado la atencin sobre la importancia de la negociacin
en las comunidades a travs del lenguaje evaluativo. Las evaluaciones son las
que actan como recursos constitutivos de la pertenencia a una comunidad,
ya que las funciones evaluativas aportan la experiencia comn y los valores
compartidos entre los sujetos (Bednarek: cap. 10).
Con respecto a la logognesis, el libro plantea que todos los emparejamientos tienen que ser, en ltima instancia, progresivos, en forma de cadenas
lineales de sonidos, grficos o signos gestuales. La orientacin paradigmtica de
la jerarqua de la realizacin en LSF ha sido poderosa en cuanto a la cartografa
del potencial de significado de las culturas (Matthiessen, 1995). Pero en materia
de logognesis, que tiene que ver con los fenmenos sintagmticos de significar
en el decurso del tiempo, muchos lingistas han interrumpido su investigacin
(Martin, 1985; ODonnell, 1990). Sin embargo, en este libro Zhao (cap. 8)
explora el tema en relacin con los textos basados en la web y Zappavigna et
122
Reseas
al. (cap. 9) analizan cuidadosamente el desarrollo semitico-temporal a travs

de dos modalidades: la entonacin y el gesto. Hasta tanto se disee una forma
de visualizar la animacin de base matemtica para el tiempo real de los emparejamientos en el desarrollo del discurso, ser difcil que este progreso ms
que anecdtico en los estudios de logognesis pueda superar estos lmites. Las
series de textos no son sino un conjunto de significados acumulndose en el
tiempo, como una esfera rodando que se desarrolla da a da en ese recorrido;
pero an no puede obtenerse una percepcin sinptica cabal de lo que est
ocurriendo en ese proceso semntico-gentico.
En sntesis, este libro representa un marco metodolgico y terico coherente
y elegante, cuya perspectiva multifuncional y multimodal permite explorar
nuevas lneas de investigacin que en la actualidad han sido poco trabajadas y,
por eso mismo, constituyen un fascinante desafo. De ah su valor principal:
el de promover nuevas ideas que contribuyen a extender los alcances de la LSF
a otros objetos, intereses y, en definitiva, problemas del lenguaje y la sociedad
en el siglo XXI.
Bernstein, B. (1971). Class, Codes, and Control. London: Routledge. Vol. I.
Bernstein, B. (1996). Pedagogy, Symbolic Control and Identity: Theory, Research,
Critique. London: Taylor & Francis.
Halliday, M. A. K. & Matthiessen, C. M. I. M. (1999). Construing Experience
through Meaning. A Language-based Approach to Cognition. London: Cassell.
Halliday, M. A. K. & Matthiessen, C. M. I. M. (2004). An Introduction to
Functional Grammar. London: Arnold.
Hasan, R. (1996). Ways of Saying: Ways of Meaning. London: Cassell.
Hasan, R. (2009). Semantic Variation: Meaning in Society and in Sociolinguistics.
London: Equinox. Vol. II.
Kress, G. & van Leeuwen, T. (2006 [1996]). Reading Images: The Grammar of
Visual Design. London: Routledge.
Martin, J. R. (1985). Process and Text: Two Aspects of Human Semiosis, en
J. D. Benson y W. S. Greaves (eds.) Systemic Perspectives on Discourse, pp.
248-274. Norwood, NJ: Ablex.
Martin, J. R. & White, P. R. R. (2005). The Language of Evaluation: Appraisal
in English. London: Palgrave.
Matthiessen, C. M. I. M. (1995). Lexicogrammatical Cartography: English Systems.
Tokyo: International Language Science Publishers.
ODonnell, M. (1990). A Dynamic Model of Exchange, Word, 41 (3): 293-328.
Damin Alvarado
Universidad de Buenos Aires
damianalvarado@filo.uba.ar
123
12 (1)
KRESS, Gunther R. (2010). Multimodality: A Social Semiotic Approach to

Contemporary Communication. London & New York: Routledge. 213 pp.
ISBN 978-0-415-32061-0.
Los anlisis (inusuales) del catlogo de entidades semiticas (usuales) que
se desarrollan en este volumen no son sino las ilustraciones y los ejemplos
que alternan el desarrollo de un abordaje terico acerca de la condicin multimodal del significado y la comunicacin humanos. As, el libro comienza
con el anlisis de tres carteles con indicaciones para estacionar. En el captulo
segundo, el autor desarrolla con detenimiento las consideraciones tericas
de su marco de anlisis, particularmente en referencia al entorno social de la
comunicacin contempornea tema sobre el que volveremos ms adelante;
en el captulo tercero, se analizan las condiciones de la comunicacin en una
sala de ciruga, el tratamiento de la digestin en dos manuales escolares y dos
de los mapas de las visitas a una muestra en un museo; en el captulo cuarto,
el autor analiza ilustraciones hechas por nios, el portal de un sitio web, los
sobres de condimentos de tres lneas reas distintas, dos envases de un mismo
desodorante, un auto armado con piezas lego y dos fotos de un mismo saln
tomadas de distinta forma; en el captulo quinto, su corpus incluye un mapa
conceptual de la circulacin de la sangre, la narracin de la misma circulacin, la
escritura alfabtica y en caracteres, el dibujo de una lnea de tiempo occidental,
un esquema modular y una bandeja oriental para el almuerzo; en el captulo
sexto, se estudian la fachada y el hall de entrada de un edificio, la foto de un
mismo rostro inserta en un pasaporte y en fuera de ese contexto, sellos y una
suma de dibujos que incluye una clasificacin domstica y una escolar; en el
captulo sptimo, dos mondadores o pelapapas y los distintos portales de una
misma pgina web se constituyen en objeto de anlisis; en el captulo octavo,
la reflexin terico y analtica se centra en los dibujos y los gestos que hiciera
un profesor en una clase sobre la circulacin de la sangre y afiches hechos en el
aula con diferentes consignas acerca de un mismo tema; en el captulo noveno,
se aborda el estudio de los signos de aprendizaje en la escritura y en los dibujos
hechos por dos nios de seis aos; en el captulo dcimo -en coautora con
Adami se analiza un telfono mvil: el modelo N95 desarrollado por Nokia.
Los anlisis de este corpus amplio y heterogneo son la puesta en accin del
enfoque terico y estudian los potenciales semiticos y los facilitantes (en ingls,
affordances) de los modos y ensambles, en particular, y su proyeccin posible,
en general. En otras palabras, qu puede significar un modo que no pueda
significar otro, cmo se construyen los signos (en los distintos modos), cmo
se forman los significados, cmo se comunican y qu implica comunicarlos.
Sostiene Kress que el mundo del significado ha sido siempre multimodal,
que los modos de los que disponemos para representar, conocer y comunicar
son mltiples la imagen, el color, la forma, el habla, los gestos, la escritura, la
disposicin (retrica). Y que, aunque hegemnica durante siglos, la escritura es
124
Reseas
solo una de las tecnologas de la comunicacin, solo una de las formas de transcribir nuestra relacin con el mundo y representarlo. Las nuevas tecnologas,
medios y dispositivos de comunicacin, en un contexto social globalizado en el
que el mercado comparte y supera el poder del estado, amplan y fomentan la
agencia individual de opciones y elecciones en la factura del sentido. La manipulacin de la informacin, la produccin del conocimiento y la constitucin
de la subjetividad, todas formas de aprendizaje, implican un proceso incesante
de creacin de significados en desarrollo gobernado por un equilibrio pujante
entre los recursos culturales y las elecciones individuales.
Kress adopta, por eso, la perspectiva funcional del modelo semitico
propuesto por Halliday (1978). Una teora completa de la comunicacin necesita representar significados acerca de acciones, estados y eventos del mundo
funcin ideativa, significados acerca de la relacin social de quienes estn
involucrados en la comunicacin funcin interpersonal y tener la capacidad
de formar textos, es decir, entidades semiticas complejas que puedan proyectar
un mundo (social) completo, que puedan, a su vez, funcionar como mensajes
internamente cohesivos y coherentes con el entorno funcin textual.
Los diferentes modos, es decir, los diferentes recursos semiticos discretos que satisfagan los requisitos teorticos funcionales, poseen diferentes
potenciales para producir significados. Esos potenciales producen un efecto
fundamental en la eleccin del modo o ensamble en instancias especficas
de comunicacin. Si los dispositivos o facilitantes de los modos difieren, es
evidente que no configuran el mundo de la misma forma. Los modos podrn
concebirse, entonces, como tecnologas de transcripcin para representar el
mundo. Las opciones y las elecciones modales son, por eso, tanto individuales
como socialmente motivadas.
La sociedad es el dominio de la (inter)accin humana, el terreno del trabajo,
las prcticas, los usos y los efectos del poder. La cultura es un recorte evaluativo
de los efectos del poder social. La globalizacin, sin embargo, constituida de
diversa forma en distintos lugares, en interaccin con la vasta variedad cultural, social, econmica y poltica del globo, produce efectos e impactos en las
condiciones que hacen posible que caractersticas de uno o varios lugares sean
financieras, culturales o tecnolgicas estn presentes y activas en otro u otros.
En el mundo, prcticas y valores de todo tipo estn sujetos a fuerzas externas
al dominio comprendido por lo local e inmediato. La relativa estabilidad del
mundo social de hace uno o varios siglos (segn la regin) devino, durante las
ltimas tres dcadas, en inestabilidad. La movilidad provisional y sincrtica
de las nuevas formas de representacin y comunicacin propici y produjo
cambios de largo alcance en el dominio del significado, es decir, el dominio
de quienes hacemos el significado.
Contra la subjetividad del ciudadano (de Estado), que adhiere mayormente
a las nociones de responsabilidad, convencin y clase sociales, la globalizacin y
el mercado instalan y prefieren la subjetividad del consumidor (participante),
125
12 (1)
imbricado en las concepciones de opcin y estilo de vida estilo entendido como

la poltica de las opciones, cuyos principios tambin controla el mercado. El
avance del capitalismo que busca y crea nuevos nichos de mercado fomenta
la fragmentacin social, maximiza las opciones y, en eso, desarticula la nocin
de clase social en estilo de vida. Tericos de la representacin y la comunicacin
humanas proponen un trmino aparentemente ms apropiado y comprensivo,
mundo de vida (en alemn, lebenswelt), que agrupa factores y recursos sociales
y culturales, tales como educacin, gnero, generacin, etnicidad, ocupacin o
profesin (Schtz & Luckmann, 1984). El impacto, entonces, de los potenciales
modales y semiticos y los posibles efectos de aceleracin y desarrollo de las
tecnologas para la produccin y la comunicacin de mensajes necesitan ser
considerados en este contexto.
Las nuevas formas de accesibilidad, diseminacin, movilidad, conectividad
y ubicuidad que facilitan los nuevos dispositivos tecnolgicos condicionan
los criterios de la composicin de textos, ya sean multi o monomodales.
Procedimientos como copiar cortar, descargar, arrastrar, re-contextualizar y
pegar confieren protagonismo al intrprete o usuario y ponen en crisis los criterios de autora, autenticidad y legitimidad de cierto tipo de textos y, entonces,
cierto tipo de informacin y conocimiento (Barthes, 1968). Los lmites de los
marcos ontolgicos, epistemolgicos, discursivos y genricos devienen, pues,
borrosos. Tanto la canonicidad de los modos sea la escritura o la imagen
como los marcadores discursivos de poder (Foucault, 1982) son relativos a
condiciones genricas (Bakhtin, 1986) circunstanciales.
Una teora socio semitica de la multimodalidad en la que se inscribe la
obra de Kress representa, pues, un cambio de paradigma (Kuhn, 1968) respecto de las concepciones tradicionales del lenguaje, es decir, un cambio de
punto de vista. El lenguaje, entendido como el recurso total de la expresin y
las representaciones, como el fundamento de la racionalidad, suficiente para
todo lo que pueda ser dicho, escrito, pensado, sentido o soado (Eco, 1979),
segn una teora de la semiosis social, es slo un recurso representativo y comunicativo parcial e insuficiente. En este modelo, la categora del lenguaje la
oralidad y la escritura, segn la escisin de sus modos es satelital (Kress & van
Leeuwen, 1996). Si los modelos lingsticos priorizan la generalizacin formal
y sistemtica de los fenmenos integrales de la comunicacin, un enfoque socio
semitico de la comunicacin multimodal el estudio de los modos prioriza la
materialidad especfica de las instancias comunicativas en un entorno determinado
de acuerdo con la estabilidad relativa de los recursos en un momento preciso.
Un abordaje de esta naturaleza tiene, por eso, dos ramificaciones tericas
complementarias: la semitica y la multimodal. La primera se refiere a los signos, al significado y a la formacin de signos y significados; la segunda, a los
recursos materiales involucrados en dicha factura del significado, a los modos,
cuya constante reformulacin depende tambin de la actualizacin de los dispositivos y facilitantes, su potencia y sus limitaciones. El inters sinttico del
126
Reseas
abordaje propuesto por Kress en este libro radica, entonces, en los potenciales
semiticos de los modos y los ensambles, en su materialidad y en su lgica.
Sobre tales presupuestos, Kress delinea en los tres primeros captulos, un
esquema de la comunicacin. Y, a medida que el libro avanza, el esquema, sus
categoras y supuestos adquieren claridad y precisin. Se considera que la comunicacin es un proceso compuesto por dos estadios. Al primero lo gobierna el
inters del hacedor inicial (retrico) del texto o complejo sgnico, con la intencin
de manifestar el complejo semitico como un mensaje y que el mismo opere
en tanto estmulo discreto (en ingls, prompt) para uno o ms intrpretes. En el
segundo estadio, sern el inters y la atencin del intrprete los que conduzcan
la seleccin crtica y el encuadre del mensaje inicial. Asimismo, el significado
hecho en tal interpretacin puede convertirse en la base de un nuevo complejo
sgnico para la composicin de un mensaje nuevo.
Desde la perspectiva del hacedor inicial (retrico/diseador/productor, que
pueden o no ser los mismos) la secuencia comienza con un (estmulo discreto
anterior y su interpretacin ) complejo sgnico nuevo (basado en el inters y
la sensibilidad de las caractersticas de la audiencia) un mensaje intencional
en tanto estmulo discreto la atencin y el compromiso del interlocutor con
el mensaje y una (posible) respuesta. Desde la perspectiva del intrprete, la
secuencia est conformada por el mensaje el inters del receptor la atencin
el compromiso la seleccin el encuadre el diseo y el nuevo signo (interno),
cuya exteriorizacin posible formara las bases de un nuevo complejo sgnico.
Ambos estadios son instancias de trabajo semitico, ambos son productores de
nuevos signos.
Sendos estadios portan, asimismo, una subdivisin contingente (uno de
cuyos momentos puede o no cumplirse, segn la direccin de la interaccin),
a saber, el trabajo semitico interno y el trabajo semitico de exteriorizacin.
En otros trminos, el momento crtico (el inters, la atencin y el compromiso),
orientado a la relacin entre el pasado remoto y el inmediato, y el momento
del diseo (la seleccin, la transformacin y el encuadre), orientado al futuro
inmediato. El diseo representa el estadio prospectivo de la empresa: el medio
que proyecta el inters en el mundo con la intencin de causar un efecto.
Esta concepcin del trabajo (semitico) enfatiza la orientacin y los propsitos sociales de la teora. Este trabajo implica experiencia y aprendizaje,
involucra y produce cambios en quien trabaja, en las herramientas y en aquello en lo que se trabaja. Cada uno de estos cambios, sociales y funcionales,
producen y corporizan nuevos significados. El efecto de tales cambios es el de
producir recursos culturales. La cultura es, entonces, el nombre de los recursos
que han sido hechos, producidos y transformados como resultado del trabajo
(social), imbuidos de los significados del trabajo de aquellos quienes hicieron y
rehicieron los recursos. Es, entonces, lo social lo que genera lo cultural y, en
eso, lo semitico. Contra los sistemas y las gramticas, los recursos semiticos
producidos por esta fuerza de interaccin socialmente transformativa portan
127
12 (1)
la regularidad discernible de las prcticas sociales y, as, su estabilidad relativa.

En un esquema con estas caractersticas el significado es siempre (hecho,
no usado de) nuevo y las entidades que lo representan (en cualquier modo o
ensamble) son un todo integrado; la forma, el significado y el uso son inseparables. Contra la distincin lingstica (hegemnica): sintaxis, semntica y
pragmtica, Kress de acuerdo con Peirce (1991) sostiene que el uso es una
parte normal de la factura de cualquier signo y que el significado depende de
una conjuncin adecuada a la forma. Por eso, la relacin entre la forma y el
significado multimodales (por ejemplo, el dibujo de un auto o el nombre) no
es arbitraria sino motivada y los signos operan como metforas, siempre hechas
de nuevo (Lakoff & Johnson, 1982). La motivacin depende del inters del
retrico, la seleccin y la (re) formulacin que haga el diseador (que suele ser el
mismo) de los recursos y los dispositivos disponibles de acuerdo con los requisitos del entorno social. Segn Kress aquello que parece arbitrario (de Saussure,
1983 [1917]) y convencional (Wittgenstein, 1935) es socialmente motivado por
principios semiticos generales comunes a la comunicacin humana, presentes
ostensiblemente en todas las sociedades y sus culturas (Whorf, 1966). Kress
no se refiere a universales innatos (Chomsky, 1965) sino a principios, recursos
y procesos generales compartidos basados en la experiencia social.
Esta teora socio semitica de la multimodalidad hace hincapi, por tanto, en la agentividad de individuos formados socialmente que hacen signos
motivados por intereses y propsitos sociales con recursos hechos en sociedad
en interacciones sociales. An cuando los significados no se materializaran en
signo/s, la formacin interna de los significados est motivada socialmente.
El dominio social cuenta con (al menos algo) de regularidad, conformada
por la suma de las experiencias pasadas y contemporneas de sus numerosos
miembros. El dominio individual se provee de la regularidad social, aunque el
uso individual est formado por las contingencias de la experiencia individual,
siempre en entornos especficos. Postular que los significados son siempre
nuevos e individuales implica que los signos estn integrados en un conjunto
de experiencias del individuo y que emergen en un entorno y un momento
especficos expresados como inters prospectivo.
El compromiso constante con el trabajo, con recursos culturales y semiticos socialmente realizados y su rehacer cotidiano, da forma a los recursos
individuales internos mediante los cuales los individuos interpretan y transforman los potenciales de significado de tales recursos culturales y semiticos.
Los recursos y los dispositivos influencian la factura del significado y, en eso,
influencian tambin la formacin de la identidad y la subjetividad a partir del
uso que se haga de los mismos para abordar y concebir el mundo de vida que
afecte y represente la vida de los individuos (Kress & Pachler, 2007).
En efecto, un abordaje retrico como ste implica directamente la produccin del conocimiento y la constitucin de la subjetividad, est basado
en la diligencia de quienes hacen y rehacen los mensajes, en su inters y sus
128
Reseas
propsitos, en su capacidad conciente de seleccionar los recursos e interpretar

las necesidades de la audiencia y el entorno. El conocimiento se hace y se forma
en la representacin, de acuerdo con los potenciales facilitantes de los modos;
el proceso de representacin es idntico al de la formacin del conocimiento.
En esto, quienes hacen representaciones (incluso de ellos mismos), hacen conocimiento (incluso de ellos mismos); la produccin del conocimiento toda
ella es parte de procesos participativos socio semiticos.
Una teora socio semitica, con todo lo que implica, requiere, pues, un
marco bsico para la conducta tica de la comunicacin. La participacin total,
activa y por sus propios medios, de todos los miembros de un grupo social,
cultural, econmica y afectivamente en los asuntos de la comunidad es una
condicin sine qua non para el desarrollo saludable del grupo. Eso requiere
el acceso total a los recursos semiticos, culturales, sociales y econmicos e
incluye un compromiso con los valores centrales para la mantencin de la cohesin social. Dadas las condiciones, ser fundamentalmente tico tener clara
conciencia de los efectos de las acciones (semiticas) en el prjimo y actuar de
manera que tales efectos no perjudiquen los potenciales de accin de los otros.
Las escuelas y las universidades tanto como otras instituciones deben
comprometerse con la investigacin de los facilitantes comunicativos (y pedaggicos) de los nuevos dispositivos y tomar decisiones acerca de posibles
acciones a la luz de un asesoramiento detenido de las necesidades y propsitos
sociales especficos para la educacin. Este libro concluye Kress pretende ser
un recurso para tales propsitos.
La teora socio semitica de la comunicacin que sintetiza esta resea
formula, entonces, algunos giros epistemolgicos de consideracin, a saber,
el pasaje de lo monomodal o la multimodalidad en el recorte del objeto de
estudio; de lo abstracto a lo material, respecto de la concepcin ontolgica
del mismo, y una transicin de lo sincrnico a lo contemporneo respecto del
tratamiento metodolgico y, adicionalmente, de las reglas estticas a las regularidades relativas, del sistema o gramtica a los recursos semiticos, respecto
de algunas consideraciones tericas distintivas.
El libro que propone tales giros puede interesar principalmente a semilogos, lingistas, analistas del discurso, pedagogos y psiclogos. A los primeros, sin
embargo, pueden incomodarlos o bien invitarlos a contribuir con el desarrollo
del modelo algunas imprecisiones tericas; las definiciones de gnero y discurso,
por ejemplo, dada la abundancia bibliogrfica que discute tales conceptos (y el
encuentro inadvertido de parte de esa bibliografa en este mismo volumen), son
ms o menos imprecisas; la adopcin de la perspectiva semitica de Halliday
ignora deliberadamente su carcter sistmico y la adhesin a la concepcin de
signo de Lakoff y Johnson confunde los presupuestos cognitivos de la perspectiva precedente (cf. Halliday & Matthiessen, 1999); y, aunque Kress aclare que
no es el propsito del libro, las presuntas confusiones atribuidas a de Saussure
parecen ignorar el recorte del objeto de la lingstica estructural.
129
12 (1)
Hechas estas las advertencias, celebro y fomento los propsitos ticos y

pedaggicos declarados, y sostengo que este libro, resueltas las inconsistencias
tericas y la definicin de los modos que el propio Kress advierte parcialmente
irresoluta, puede ser una provechosa herramienta analtica, que ya es una audaz
contribucin para quienes seguimos preguntndonos e investigamos sobre
el posible significado de las cosas.
Bakhtin, M. (1986). Speech Genres and Other Essays. Cambridge, MA: MIT Press.
Barthes, R. (1968/1978). The Death of the Author, en Barthes, R. Image- Music- Text (traducido por Heath, S.), pp. 142-148. New York: Hill & Wang.
Chomsky, N. (1965). Aspects of the Theory of Syntax. Cambridge, MA: MIT Press.
Eco, U. (1979). A Theory of Semiotics. Bloomington: Indiana University Press.
Foucault, M. (1982). The Archaeology of Knowledge and Discourse on Language.
London: Tavistock Press.
Halliday, M. A. K. (1978). Language as a Social Semiotic. London: Edward Arnold.
Halliday, M. A. K. & Matthiessen, C. (1999). Construing Experience through
Meaning: A Language-based Approach to Cognition. London & New York:
Continuum.
Kress, G. R. & Pachler, M. (2007). Thinking about the m in m-learning, en
M. Pachler (ed.) Mobile Learning. Structures, Agency, Practices, pp. 7-32.
London: Springer.
Kress, G. R. & van Leuween, T. (1996). Reading Images: The Grammar of Graphic
Design. London: Routledge.
Kuhn, T. (1968). The Structure of Scientific Revolutions. Chicago: University of
Chicago Press.
Lakoff, G. & Johnson, M. (1982). Metaphors We Live By. Chicago: University
of Chicago Press.
Peirce, Ch. S. (1991). Peirce on the Semiotic. Chapel Hill: University of North
Carolina Press.
de Saussure, F. (1983 [1917]). Course in General Linguistics (R. Harris trans.).
London: Duckworth.
Schtz, A. &. Luckmann, T. (1984). Strukturen der Lebenswelt. Band 2, Frankfurt
am Main: Suhrkamp.
Whorf, B. L. (1966). Language, Thought, and Reality: Selected Writings of Benjamin
Lee Whorf. J. Carrol (ed.). Cambridge, MA: MIT Press.
Wittgenstein, L. (1935). Philosophical Investigations. New York: Prentice Hall.
Julian E. Ezquerra
Universidad de Buenos Aires
julianez@gmail.com
130
Indice acumulado
Indice acumulado
VOLUMEN 1 (1) 2001
CHARAUDEAU, Patrick, De la competencia social de comunicacin a las
competencias discursivas, 7-22.
MARCUSHI, Luiz Antnio, Aspectos da questo metodolgica na anlise da interaao
verbal: o continuum cualitativo-cuantitativo, 23-42.
CARB, Teresa, Tocar el lenguaje con la mano: experiencias de mtodo, 43-67.
VAN DIJK, Teun, Algunos principios de la teora del contexto, 69-81.
ESPAR, Teresa, Estrategias enunciativas en el discurso irnico: un artculo de opinin
de Jos Ignacio Cabrujas, 83-100.
Reseas
Teun van Dijk (comp.), El discurso como estructura y proceso. Estudios del discurso:
Introduccin multidisciplinaria, reseado por Guillermo Soto, 103-125.
Giovanni Parodi Sweis (comp.), Relaciones entre lectura y escritura: una perspectiva
cognitiva discursiva. Bases tericas y antecedentes empricos, reseado por Rebeca
Beke, 127-130.
Helena Calsamiglia Blancaflor y Amparo Tusn Vals, Las cosas del decir. Manual de
anlisis del discurso, reseado por Antonio Nez, 133-137.
VOLUMEN 2 (1) 2002

VILLAA KOCH, Ingedore G., A constru de objetos-de-discurso, 7-20.
CUCATTO, Mariana, Cmo hacer hacer cosas con palabras. La construccin
discursiva del estereotipo femenino en la publicidad de los 90. El caso de Slim
Center, 21-49.
WILLIAMSON, Rodney, Situacin comunicativa y estructura genrica en la telenovela
mexicana, 51-68.
MADRIZ, Mara Fernnda, La nocin de pueblo en el discurso populista, 69-92.
RUIZ VILA, Dalia, Discurso autobiogrfico e identidad sociocultural, 93-109.
Reseas
Bob Hodge y Kam Louis, The politics of Chinese language and culture. The art of reading
dragons, reseado por Irene Fonte, 111-114.
Susan Hunston y Geoff Thompson (eds.), Evaluation in text: Authorial Stance and the
Construction of Discourse, reseado por Nora Kaplan, 115-121.
Ingedore Grunfeld Villaa Koch, Desvendando os segredos do texto, reseado por Lenita
Vieira, 122-126.
131
12 (1)
VOLUMEN 3 (1) 2003

CADEMARTORI D. Yanina, La inscripcin de las personas en textos de divulgacin
cientfica, 9-27.
CHAMORRO MIRANDA, Diana, MIZUNO HAYDAR, Jorge y MOSS, Gillian,
Tergiversaciones y correspondencias: la metfora y sus bemoles, 29-47.
GARCIA DA SILVA, Denise Elena, Discurso y cognicin social en la red de las
metforas, 49-69.
MARTINS FERREIRA, Dina Mara, La identidad en la posmodernidad: Lula y la
construccin discursiva del sujeto, 71-81.
VIEIRA, Lenita D., El mundo al revs. Humor en el discurso poltico, 83-91.
Reseas
Leda Berardi (comp.), Anlisis crtico del discurso. Perspectivas latinoamericanas, reseado
por Luisa Martn Rojo, 93-96.
Luisa Martn Rojo (dir.), Ester Alcal Recuerda, Aitana Gari Prez, Laura Mijares,
Inmaculada Sierra Rodrigo y M ngeles Rodrguez, Asimilar o integrar?
Dilemas ante el multilingsmo en las aulas, reseado por Dalia Ruiz vila,
97-101.
Analia Brandoln y Mara Eugenia Rosboch, Transformaciones al aire: radio, medios
y poder, reseado por Pedro Santander Molina, 102-107.
VOLUMEN 4 (1) 2004

ROMANO PACFICO, Soraya Maria y SOUSA ROMO, Luclia Maria,
Intertextualidade e humor: No pas do carnaval Muito riso e pouco siso o
lema nacional, 7-24.
ACOSTA V., Gladys Luca, El Ser y el Hacer del DIRCOM: un anlisis en la perspectiva
del discurso, 25-46.
RODRGUEZ ALFANO, Lidia y KOIKE, Dale April, La interaccin en dilogos
transmitidos por la radio en la frontera, 47-72.
KICZKOVSKY, Silvia, Los relatos tradicionales como vehculos de valores ticos,
73-88.
HESS ZIMMERMANN, Karina, El desarrollo de la habilidad para manejar tiempos
verbales en la narracin, 89-102.
Reseas
Patrick Charaudeau, El discurso de la informacin. La construccin del espejo social,
reseado por Mara Jess Nieto y Otero, 103-104.
Dalia Ruiz vila, Tejiendo discursos se tejen sombreros. Identidad y prctica discursiva,
reseado por Irania Malaver, 105-107.
Deborah Schiffrin, Deborah Tannen y Heidi E. Hamilton, (comps.) The handbook of
discourse analysis, reseado por Nora Kaplan, 108-114.
132
Indice acumulado
VOLUMEN 4 (2) 2004

ZULLO, Julia y RAITER, Alejandro, Piquetes y piqueteros. Los actores sociales de la
pobreza en la prensa argentina, 7-26.
ESCAMILLA MORALES, Julio y MORALES ESCORCIA, Efran, Imaginarios
culturales subyacentes en la cancin vallenata, 27-53.
OSUNA, Zulaima, GALINDO VILLARDN, Ma Purificacin y MARTN
VALLEJO, Javier, Anlisis estadstico de datos textuales. Aplicacin al estudio
de las declaraciones del Libertador Simn Bolvar, 55-62.
ALVAREZ, Guadalupe, Estudio sobre la representacin del trabajo en el discurso de
los indigentes de la Ciudad de Buenos Aires, 63-89.
CHUMACEIRO, Irma, Las metforas polticas en el discurso de dos lderes
venezolanos: Hugo Chvez y Enrique Mendoza, 91-113.
Reseas
Gladys Acosta y Jorge Snchez, Construccin de Identidad y Funcin Poltica en el discurso
del director de comunicaciones, reseado por Olga Beatriz Muoz, 115-119.
Michel Meyer (Ed.), Perelman. Le renouveau de la rhtorique, reseado por Frances
D. de Erlich, 120-126.
Teun A. van Dijk, Racismo y discurso de las lites, reseado por Leda Berardi, 127133.
VOLUMEN 5 (1) 2005

BERTORELLO, Adrin, El estatuto de la subjetividad en la teora polifnica de la
enunciacin, 7-25.
RESENDE, Viviane De Melo, Y SEBBA RAMALHO, Viviane C., Anlise de discurso
crtica: uma reflexo acerca dos desdobramentos recentes da teoria social do
discurso, 27-50.
MARTINS FERREIRA, Dina Maria, La construccin de la identidad de lo femenino:
pragmatismo, imaginario y simbolismo, 51-61.
SHARIM PAZ, Sarah y MUOZ ACEVEDO, Daniel, Una propuesta metodolgica
para el anlisis del dilogo: la Unidad Interaccional, 63-96.
BURDACH, Ana Mara y ROSS A., Paula, La construccin de la voz del enunciador en
el discurso poltico de Ricardo Lagos, ex-Presidente de la Repblica, 97-112.
Reseas
Marianne Peronard y Ximena Gmez Garca (Eds), El hombre y su palabra, reseado
por Juana Marinkovich, 113-115.
Anamara Harvey (comp.), En torno al discurso. Contribuciones de Amrica Latina,
reseado por Marianne Peronard Thierry, 121-125.
Giovanni Parodi (ed), Discurso especializado e instituciones formadoras, reseado por
Carmen Lpez Ferrero, 116-120.
133
12 (1)
VOLUMEN 5 (2) 2005

CONSTANTINO, Gustavo Daniel, Modalidades comunicativo-discursivas de
participacin en comunidades virtuales de aprendizaje: una propuesta para la
evaluacin formativa, 7-32.
FLORES TREVIO, Mara Eugenia, La irona y el humor en El Habla de Monterrey,
33- 47.
GALLUCCI, Mara Jos, Argumentacin y funciones estratgicas en el discurso poltico
venezolano: el cierre de campaa del referndum revocatorio presidencial, 49-75.
FONTE Irene y WILLIAMSON, Rodney, Marcos temporales y proyectos comunicativos:
el anlisis de la temporalidad en la interaccin verbal, 77- 94.
RODRGUEZ ALFANO, Lidia y ELIZONDO REGALADO, Gabriela, Dime a quin citas
y te dir quin eres. La co-construccin de la identidad en el dilogo, 95- 106.
SALGADO ANDRADE, Eva, Una nueva tipologa para analizar la prensa en Mxico,
107- 125.
Reseas
Alexandra lvarez Muro, Potica del habla cotidiana, reseado por Ainoa Larrauri, 127- 133.
Jan Renkema, lntroduction to discourse studies, reseado por Mara Valentina Nobla,
134- 137.
Rodney Williamson y Fernando de Diego, Verbo e Imagen en la Telenovela mexicana, reseado
por Yoconda Correa Maneiro, 138- 146.
VOLUMEN 6 (1) 2006

OQUENDO, Lus y DOMNGUEZ, Mariluz, Gnero, tnia y actitudes lingsticas
en hablantes bilinges wayuu, 5-20.
SOUSA ROMO, Luclia Mara, RIBEIRO PATTI, Ane y DE MACEDO RIBEIRO
PATTI, Antnia, Heris da mdia na voz das crianas: efeitos de sentido sobre/
da infancia, 21-38.
MARCHESE, Mariana Carolina, La construccin del signo indigente en el discurso
de las instituciones estatales de la Ciudad de Buenos Aires, 39-62.
TRINDADE, Eneus y FABIANO ANNIBAL, Sergio, Os sentidos do espao na
enunciao miditica publicitria, 63-76.
ESTRADA, Andrea, Originalidad vs. claridad en el discurso acadmico: la comprensin
del evidencial reformulativo en todo caso, 77-112.
Reseas
Lus Alfonso Ramrez Pea y Gladis Luca Acosta Valencia (comps.), Estudios del
discurso en Colombia, reseado por Martha Shiro, 113-119.
Viviane de Melo Resende y Viviane Ramalho, Anlise de discurso crtica, reseado por
Joo Bosco B. Bonfim, 120-123.
Denise Elena Garca Da Silva, Nas instancias do discurso. Uma permeabilidade de
fronteiras, reseado por Lcia Gonalves de Freitas, 124-128.
Entrevista
scar Ivn Londoo Zapata, El anlisis crtico del discurso (ACD), una actitud de
resistencia. Entrevista a Teun A. van Dijk, 129-135.
134
Indice acumulado
VOLUMEN 6 (2) 2006

MASSONE, Mara Ignacia y BUSCAGLIA, Virginia Luisa, La cumbia villera (en)
red(ada) en el discurso. Una introduccin al monogrfico sobre cumbia villera
en Argentina, 5-20.
MASSONE, Manuel y DE FILIPPIS, Mariano, Las palmas de todos los negros
arriba Origen, influencias y anlisis musical de la cumbia villera, 21-44.
MARCHESE, Mariana Carolina, Tango: el lenguaje quebrado del desarraigo, 45-60.
SERPA, Cecilia, Estado argentino y cumbia villera, 61-82.
PARDO, Mara Laura, Cumbia villera en Argentina: un anlisis crtico del discurso
de la posmodernidad, 83-95.
Reseas
Daniel Cassany, Tras las lneas. Sobre lectura contempornea, reseado por Cristina
DAvolio, 97-103.
Norman Fairclough, Language and globalization, reseado por Viviane de Melo
Resende, 104-111.
Teun A. Van Dijk, Dominacin tnica y racismo discursivo en Espaa y Amrica Latina,
reseado por Luisana Bisbe, 112-120.
VOLUMEN 7(1) 2007

GALLEGO MENGOD, Vernica, Metodologa para el anlisis de las publicaciones
peridicas: los gneros discursivos como seales de cambio (Ensayo Literario
1872-1874), 5-30.
KALTENBACHER, Martn, Perspectivas en el anlisis de la multimodalidad: desde
los inicios hasta el estado del arte, 31-58.
SANTANDER, Pedro, Anlisis Crtico del Discurso y anlisis de los medios de
comunicacin: retos y falencias, 59-78.
XU, Shi, Reconstruyendo los paradigmas orientales de los estudios del discurso, 79-94.
VIEIRA, Lenita, Humor en editoriales de TalCual: Texto e imagen en el discurso
poltico, 95-114.
Reseas
Adriana Bolvar (comp.), Anlisis del discurso Por qu y para qu?, reseado por Francisco
Jos Bolet, 115-123.
Neyla Pardo Abril, Cmo hacer anlisis crtico del discurso. Una perspectiva
latinoamericana, reseado por Alicia Carrizo, 124-132.
Luis Alfonso Ramrez Pea, Comunicacin y discurso. La perspectiva polifnica en los
discursos literario, cotidiano y cientfico, reseado por Gonzalo Pubiano Bernal,
133-140.
135
12 (1)
VOLUMEN 7(2) 2007

ALVES, A., FERRAREZI, L. y SOUSA ROMO, L. M., Leitura de barraco: a semente
da leitura, o discurso e os movimentos do sujeito, 5-20.
BISBE BONILLA, L., El amerindio venezolano en los textos escolares: una representacin discursiva desde la Gramtica Sistmica Funcional, 21-48.
BOLET, F. J. Estrategias de divulgacin de la ciencia en Venezuela a fines del siglo
XIX: El Zulia Ilustrado (1889-1896), 49-72.
GUALDA, R., As Eleies Presidenciais de 2002 nas pginas de Veja, 73-90.
MONTERO, A.S., Poltica y conviccin. Memorias discursivas de la militancia setentista en el discurso presidencial argentino, 91-114.
Reseas
Liliana Cubo de Severino (coord.), Los textos de la Ciencia. Principales clases del discurso
acadmico-cientfico, reseado por Telma Piacente, 115-118.
Martha Shiro, La construccin del punto de vista en los relatos orales de nios en edad
escolar. Un anlisis discursivo de la modalidad, reseado por Guillermina Piatti,
119-123.
Patricia Vallejos Llobet (coord.), Los estudios del discurso. Nuevos aportes desde la investigacin en la Argentina, reseado por Mara Leticia Mccero, 124-128.
VOLUMEN 8(1) 2008

NMERO MONOGRFICO: HOMENAJE A LUIZ ANTNIO MARCUSCHI
Apresentaao. Saito Monteiro De Barros Kasue, Garcia Da Silva, Denize Elena y
Aguiar, Marigia Ana M.
DE ARRUDA C. DA CUNHA, Dris. Reflexes sobre as noces de leitor, autor e
polifona no hipertexto, 9-18.
GARCIA DA SILVA, Denize Elena y RAMALHO, Viviane. Reflexes para uma
abordagem crtica dos gneros discursivos, 19-40.
BOLVAR, Adriana. El informe de arbitraje como gnero discursivo en la dinmica
de la investigacin, 41-64.
SAITO MONTEIRO DE BARROS, Kasue. Estratgias de (im)polidez em interaes
acadmicas virtuais, 65-76.
PARDO ABRIL, Neyla Graciela. El discurso multimodal en Youtube, 77-108.
POSSENTI, Srio. Um percurso: o caso por qu no te callas?, 109-118.
Reseas
Luiz Antnio Marcuschi, Produo textual: anlise e compreenso. Reseado por Cristina
Teixera, 119-121.
Luiz Antnio Marcuschi, Cognio, Linguagem e Prticas Interaccionis. Reseado por
Judith C. Hoffnagel, 122-124.
Luiz Antnio Marcuschi, Fenmenos da linguagem. Reseado por Viviane de Melo
Resende, 125- 124.
136
Indice acumulado
VOLUMEN 8(2) 2008

BIANCARDI, Maria Silvia, La representacin de los recursos naturales en la prensa. El uso
de las nominalizaciones en crnicas de Clarn sobre Minera La Alumbrera, 5-23.
COLARES Virginia, JARDIM, Natalia, PEDROSA, Bruno, BARROS, Lvia y SIMPLCIO Kamila, Buracos do Recife: estudo de uma deciso judicial, 25-44.
CORTS, Daniel F., Una mitigacin reveladora: La Declaracin de Principios de la
Marina argentina (noviembre de 1955), 45-60.
RAMALHO, Viviane, Anncio publicitrio de medicamento: discurso e ideologia, 61-79.
ROGERS, Rebecca, Entre contextos: un anlisis crtico del discurso de la alfabetizacin
familiar, las prcticas discursivas y las subjetividades de la alfabetizacin, 81-132.
Reseas
Patrick Charaudeau, Entre populisme et peopolisme. Comment Sarkozy a gagn, Reseado
por Karina M. Ibaez, 133-137.
Beatriz Gabbiani e Irene Madfes, Conversacin y poder. Anlisis de interacciones en aulas
y consultorios, Reseado por Mara Carolina Ferrari, 138-140.
Mara Laura Pardo, El discurso sobre la pobreza en Amrica Latina, Reseado por Mara
Luca de la Vega, 141-147.
Entrevista
Claudia Gabriela DAngelo, Tendencias actuales de los estudios multimodales. Entrevista
a Martin Kaltenbacher, 149-156.
VOLUMEN 9(1) 2009

NMERO MONOGRFICO
SOTO, Guillermo, Introduccin: Relaciones entre la gramtica y el discurso, 5-10.
CUCATTO, Andrea, Un enfoque lingstico-cognitivo para trabajar la conexin en los textos
escritos. De la gramtica al discurso, 11-43.
CUCATTO, Mariana, Narrar para describir; describir para argumentar. La operacin lingstico-cognitiva de la reificacin en las secuencias penales de primera instancia, 45-65.
GONZLEZ V., Carlos y JLVEZ H., Lorena, Peso pragmtico y xito de la discusin en
la argumentacin oral en sala de clases, 67-85.
OTEZA S., Teresa, De la conspiracin de silencio al reconocimiento de voces alternativas.
Las violaciones a los derechos humanos en Chile segn el Informe Valech (2003),
87-111.
PINUER R., Claudio A., La funcin focal en la gramtica: implicancias tericas y repercusiones metodolgicas, 113-134.
SABAJ M. Omar, Gramtica, Pragmtica y Discurso: antecedentes de un desamor y una
reconciliacin, 135-146.
Reseas
Andrea Cucatto, Introduccin a los estudios del lenguaje y la comunicacin. Teora y prctica, Reseado por Alejandro Martn Errecalde, 147-150.
Mara Jos Serrano, Gramtica del discurso, Reseado por Yanira Becerra Ortiz, 151-156.
137
12 (1)
VOLUMEN 9(2) 2009

FERRARI Laura D., Marcadores de modalidad epistmica y evidencial en el anlisis
de las conclusiones de artculos de investigacin de disciplinas distintas, 5-23.
DE FREITAS Ernani C., Blocos semnticos e a construo do sentido no discurso,
25-42.
LUI Gabriel Henrique e RIBEIRO DE ALMEIDA J. Antnio, O discurso sobre a
gesto e a conservao da Amaznia em dois dos principais peridicos cientficos internacionais, 43-61.
OLIVEIRA FARIA Daiana e SOUSA ROMO Luclia Maria, Che Guevara: sentidos
em confronto no discurso miditico, 63-80.
PIATTI Guillermina, La funcin de la modalidad interrogativa en la conversacin,
81-99.
Reseas
Lourdes Molero de Cabeza y Julin Cabeza. El poder, el querer y el protestar, Reseado
por Ana Mireya Uzctegui Q., 101-110.
Teun Van Dijk, Discurso y poder. Contribuciones a los estudios crticos del discurso, Reseado por Carlos del Valle Rojas, 111-114.
VOLUMEN 10(1) 2010

NMERO MONOGRFICO
BOLVAR, Adriana y CHUMACEIRO, Irma, Introduccin: Crisis y cambios en la
democracia venezolana, 3-7.
ADRIN S., Thays, La metfora conceptual en el discurso poltico venezolano: Rmulo
Betancourt y Hugo Chvez Fras, 9-33.
LVAREZ, Alexandra y Chumaceiro Irma, Con la Iglesia hemos topado! Aspectos
de una interaccin polmica entre el Presidente Chvez y el Cardenal Urosa
Savino, 35-63.
COURLEANDER HIDALGO, Vanesa, El pueblo en campaas electorales venezolanas: palabra e imagen en 1999 y 2006, 65-92.
D. ERLICH, Frances, Los cubanos en misiones de salud en Venezuela. Referencias
contrapuestas y polarizacin discursiva, 93-110.
MOLERO DE CABEZA Lourdes, Crisis y cambio en el discurso poltico venezolano
de la primera dcada del siglo XXI: estrategias lingstico-discursivas, 111-133.
PALACIOS, Euclides, Discurso y cambio constitucional en el VIII Plan de la Nacin
del presidente Carlos Andrs Prez 1989-1993, 135-152.
Reseas
Rosa Graciela Montes y Patrick Charaudeau, El tercero. Fondo y figura de las personas
del discurso, Reseado por Martha Shiro, 153-158.
Srio Possenti, Humor, lingua e discurso, Reseado por Cellina Rodrguez Muniz,
159-162.
138
Indice acumulado
VOLUMEN 10(2) 2010

BONNIN Juan E., Dinmicas de la voz y produccin de legibilidad en los Documentos
Finales de Medelln (1968). Un anlisis gentico-discursivo, 7-28.
CAMEJO Estrella, Premio CAB Somos Patrimonio: construccin discursiva de la identidad cultural venezolana en un contexto internacional, 29-53.
GMEZ C. Natalia, Violencia contra mujeres: voz y agencia en noticias de La Nacin, 55-76.
OLIVEIRA A. Fbio, Anlise do discurso e psicoanlisis: a questo do sujeito, 77-85.
DE MELO RESENDE Viviane e FILIPE ALEXANDRE Marta, Representao
discursiva da pobreza extrema. Anlise discursiva crtica de um testemunho
publicado em editorial da revista Casi, 87-105.
Reseas
Beth Brait. Literatura e outras linguagens, Reseado por Valdemir Miotello y Marina
Haber de F., 107-112.
Lsmer Montecino. Discurso, pobreza y exclusin en Amrica Latina, Reseado por
Leda Berardi, 113-119.
VOLUMEN 11(1) 2011

NMERO MONOGRFICO: HOMENAJE A TEUN A. VAN DIJK
BOLVAR, Adriana, EMILSSON, Elin y FONTE, Irene, Introduccin: La ALED y
Teun van Dijk. Permanencia y fluir de un discurso, 3-8.
BOLVAR, Adriana y D. ERLICH Frances, La prctica del anlisis del discurso en
contextos polticos polarizados. Una reflexin crtica, 9-30.
CARB, Teresa, Sobre la semiosis en textos verbales y visuales, 31-60.
CERUTI, Emilio, La americanizacin del discurso historiogrfico. Un anlisis crtico
del discurso sobre el 1898 puertorriqueo en un texto de amplia circulacin para
la educacin media superior, 61-77.
KOCH, Ingedore G.V., MORATTO, Edwiges M. y BENTES, Anna C., Ainda o
contexto: algumas consideraes sobre as relaes entre contexto, cognio e
prticas sociais na obra de Teun van Dijk, 79-109.
MONTECINO, Lsmer y VIDAL, Margarita, Representacin del consumo de drogas
en historias de vida de personas en situacin de calle en Santiago de Chile, 93PARDO ABRIL, Neyla Graciela, Construccin de opiniones pblicas: preservacin y
normalizacin de la dependencia, 111-127.
SHIRO, Martha, Usos del lenguaje evaluativo en el planteamiento del problema del
artculo de investigacin, 129-148.
139
12 (1)
VOLUMEN 11(2) 2011

AMADIO Dbora, Las inocentes preguntas sobre el significado durante los testimonios,
5-22.
CRDENAS N. Camila, Anlisis de tres modos de representacin ideolgica construidos en discursos especializados sobre juventud chilena producidos entre 1970 y
1990, 23-47.
de FREITAS Ernani C., Prticas de linguagem na atividade de trabalho: cenografia e
ethos em discursos socioprofissionais, 49-68.
GARCA N. Mara Marta, Sin duda y en principio: Modalizacin, desdoblamiento
enunciativo y heterogeneidad, 69-88.
LIBENSON Manuel, La configuracin discursiva de efectos incitativos en rumores
econmicos, 89-111.
Reseas
Beth Brait. Literatura e outras linguagens, Reseado por Valdemir Miotello y Marina
Haber de F., 107-112.
Lsmer Montecino. Discurso, pobreza y exclusin en Amrica Latina, Reseado por
Leda Berardi, 113-119.
140
Instrucciones para las reseas

La resea tendr como encabezado el autor (o editor), el ao, el ttulo, el nmero
de pginas, la casa editorial y el ISBN de la obra reseada.
En la introduccin se identificar el tema y el problema central.
Se describir la estructura de la obra (en captulos, y partes, existencia de glosarios,
apndices, etc.) y se har una sntesis completa del contenido. Asimismo, se
especificar quines son los lectores potenciales del libro reseado.
El texto de la resea ser evaluativo y expresar la posicin del autor frente a la obra
reseada.
El libro reseado se pondr en relacin con otros trabajos sobre el mismo tema y/o
del mismo autor y se situar en el contexto del momento y lugar en que aparece
publicado.
Se seguirn las convenciones de citas que se indican para el resto de las contribuciones
a la revista de la ALED.
El texto de la resea tendr un lmite mximo de 3.000 palabras (aproximadamente
diez cuartillas).
Enviar dos copias en papel tamao carta y una en disquete en formato de documento
Word (o compatible) a: Srio Possenti, e-mail: siriop@terra.com.br o Irene Fonte,
e-mail: irenefz@yahoo.com
Instrues para as resenhas

No encabeado da resenha devem ser indicados o autor (ou editor), o ano, o ttulo,
o nmero de pginas, a casa editorial e o ISBN da obra resenhada.
Na introduo sero indicados o tema e o problema central.
Descrio da estrutura da obra (em captulos, ou partes, a existncia de glossrios,
apndices, etc.) e apresentao de uma sntese completa do contedo. importante
a informao sobre os leitores potenciais do livro resenhado.
O texto da resenha ser avaliativo e expressar a posio do autor frente obra
resenhada.
Comentar-se- a relao entre o livro resenhado e outros trabalhos sobre o mesmo
tema, alheios ou do autor considerado, e situar-se- a obra no seu contexto temporal
e espacial.
Para as citaes, sero seguidas as mesmas convenes que se indicam para o resto
das contribuies da revista da ALED.
O texto da resenha ter um limite mximo de 3.000 palavras (aproximadamente
dez pginas).
Enviar duas cpias em papel tamanho carta e uma em disquete em formato Word
(ou compatvel) a: Srio Possenti. E-mail: siriop@terra.com.br e Irene Fonte, e-mail:
irenefz@yahoo.com
141
Instrues para os autores

Poltica Editorial. A Revista Latino-americana de Estudios del Discurso publica trabalhos originais
e inditos dos membros pesquisadores da Associao. Os trabalhos recebidos so submetidos
arbitragem por parte de especialistas de reconhecido prestgio. O Comit Editorial reserva-se o
direito de sugerir aos autores modificaes formais aos artculos que forem aceitos, assim como
public-los no nmero que considerar mais conveniente.
Instrues para os autores: Os pesquisadores interessados em publicar seus trabalhos na Revista
Latino-americana de Estudios del Discurso, devero seguir as seguintes instrues:
1. Enviar seus trabalhos ao seguinte endereo postal:
Adriana Bolvar y Martha Shiro
Revista Latinoamericana de Estudios del Discurso
Apartado 47075, Los Chaguaramos, Caracas 1041-A, Venezuela.
Os trabalhos tambm podem ser enviados em attachment s seguintes direes
eletrnicas:
revistaaled2004@yahoo.es
shiromartha@gmail.com
aled_edicion2006@yahoo.es
2. Os artculos devero ser escritos em papel tamanho carta, com espao duplo, de um s lado e ter
uma extenso mxima de 25 laudas, incluindo notas e bibliografia.
3. O texto do artculo deve ser precedido por um resumo em espanhol, portugus (resumo) e
ingls (abstract) de no mais de 150 palavras. Incluir-se-o at seis palavras chave. Os ttulos
gerais e de sees devem ser breves e explcitos.
4. Todo artculo deve estar acompanhado por uma breve informao biogrfica em numa extenso
entre 50 e 100 palavras, onde se indique o nome completo do ou dos autores, instituio onde
trabalha, telefone, fax e correio eletrnico. Do mesmo modo, dever-se- proporcionar, de forma
clara e completa, o endereo postal mais seguro para receber a correspondncia.
5. As citaes textuais de mais de 40 palavras devem insertar-se no texto com sangria de 1cm de
cada lado. Sua referncia far-se- segundo o sistema autor-data. Ao final da citao, escreve-se
entre parntese o sobrenome do ou dos autores, o ano de publicao e o nmero de pgina.
Exemplo: (Charaudeau, 2003: 25)
6. As notas devem enumerar-se consecutivamente e colocar-se ao final do texto, antes das
Referncias Bibliogrficas.
7. Todas as referncias bibliogrficas devem ser ordenadas alfabeticamente depois das notas, e como
se ver a seguir: Livros: Ruz vila, D. (2003). Tejiendo discursos se tejen sombreros. Identidad y
prctica discursiva. Mxico: Fomento Editorial. Captulo de libro: Wodak, R. (2003) De qu trata
el anlisis crtico del discurso (ACD). Resumen de su historia, sus conceptos fundamentales y
sus desarrollos, en R. Wodak & M. Meyer (eds.) Mtodos de Anlisis crtico del discurso, pp.1743. Barcelona: Gedisa. Artculos: Chumaceiro, I. (2004). Las metforas polticas en el discurso
de dos lderes venezolanos, Revista Latinoamericana de Estudios del Discurso, 4 (2): 91-112. As
letras a, b, c, anexadas data de publicao, podem ser usadas para referenciar trabalhos de um
mesmo autor publicados no mesmo ano.
142
Instrucciones para los autores
Revista Lationamericana de Estudios del Discurso

Revista Latinoamericana de Estudos do Discurso
Poltica Editorial. La Revista Latinoamericana de Estudios del Discurso publica trabajos originales e
inditos de los investigadores miembros de la Asociacin. Los trabajos recibidos sern sometidos a arbitraje
por parte de especialistas de reconocido prestigio. Como consecuencia, el Comit Editorial se reserva
el derecho de sugerir a los autores modificaciones formales a los artculos que sean aceptados, as como
publicarlos en el nmero que considere ms conveniente.
Instrucciones para los autores: Los investigadores interesados en publicar sus trabajos en la Revista
Latinoamericana de Estudios del Discurso, debern seguir las siguientes instrucciones:
1. Enviar sus trabajos a la siguiente direccin postal:
Revista Latinoamericana de Estudios del Discurso
Editoras
Apartado 47075, Los Chaguaramos, Caracas 1041-A, Venezuela.
Los trabajos tambin pueden ser enviados en attachment a las siguientes direcciones electrnicas:
revistaaled2004@yahoo.es
shiromartha@gmail.com
aled_edicion2006@yahoo.es
2. Los artculos debern ser escritos en papel tamao carta, a espacio y medio en Times New Roman 12, por
una sola cara y tener una extensin mxima de 25 cuartillas, incluyendo notas y bibliografa. Tanto las
imgenes, grficos o tablas deben anexarse en su formato original (jpg, tif, gif, png, excel, power point...)
3. El texto del artculo debe ir precedido por un resumen en espaol, portugus (resumo) e ingls (abstract)
de no ms de 150 palabras. Se incluirn hasta seis palabras clave. Los ttulos generales y de secciones
deben ser breves y explcitos.
4. Todo artculo debe estar acompaado por una breve informacin biogrfica y acadmica escrita en
una extensin entre 50 y 100 palabras, donde se indique con claridad el nombre completo del o los
autores, nombre y direccin de la institucin donde labora, telfono, fax y correo electrnico. Asimismo,
aparte se deber proporcionar de forma clara y completa la direccin postal ms segura para recibir
correspondencia.
5. Las citas textuales de ms de 40 palabras deben insertarse en el texto con sangra de 1cm a
cada lado. Su referencia se har segn el sistema autor-fecha: al final de la cita se escribe entre
parntesis el apellido del o los autores, el ao de publicacin y el nmero de pgina. Ejemplo:
(Romano y Sousa, 2004: 17), (Charaudeau, 2003:25).
6. Las notas deben numerarse consecutivamente y colocarse al final del texto, antes de las Referencias
Bibliogrficas.
7. Todas las referencias bibliogrficas deben ser ordenadas alfabticamente despus de las notas, y
como se muestra a continuacin: Libros: Ruz vila, D. (2003). Tejiendo discursos se tejen sombreros.
Identidad y prctica discursiva. Mxico: Fomento Editorial; captulo de libro: Donaire, M. L. (2004)
La polifona, una relacin binaria, en E. Arnoux & M.M. Garca Negroni (Comps.) Homenaje a
Oswald Ducrot, pp. 117-133. Buenos Aires: Eudeba. Wodak, R. (2003). De qu trata el anlisis
crtico del discurso (ACD). Resumen de su historia, sus conceptos fundamentales y sus desarrollos,
en R. Wodak & M. Meyer (eds.) Mtodos de Anlisis crtico del discurso, pp.17-43. Barcelona:
Gedisa. Artculos: Chumaceiro, I. (2004). Las metforas polticas en el discurso de dos lderes
venezolanos, Revista Latinoamericana de Estudios del Discurso, 4 (2): 91-112. Las letras a, b, c,
anexadas a la fecha de publicacin, pueden ser usadas para referenciar trabajos de un mismo autor
publicados en el mismo ao.
8. Cada autor recibir 2 ejemplares del nmero de la revista donde aparece su trabajo.
Editoras de la Revista Latinoamericana de Estudios del Discurso
Apartado 47075, Los Chaguaramos
Caracas 1041-A, Venezuela
Mercedes Duarte y Ricardo Gualda
Asistentes editoriales
Email: aled_edicion2006@yahoo.es

Revista ALED. Multimodalidad

Caricato da

Informazioni sul documento

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Revista ALED. Multimodalidad

Caricato da

Copyright:

Formati disponibili

Revista Lationamericana de Estudios del Discurso

Revista Latinoamericana de Estudos do Discurso

Asociacin Latinoamericana de Estudios del Discurso

Srio Possenti, Universidade Estadual de Campinas,

Neyla Graciela Pardo Abril

Denize Elena Garcia da Silva

Paola Bentivoglio, Universidad Central de Venezuela

Francisco Jos Bolet, Universidad Central de Venezuela

Mara Cristina Azqueta

Wander Emediato de Souza

Mara Laura Pardo, Conicet, Ciafic, Argentina

Ingedore Villaa Koch, Universidad de Campinas,

Marianne Peronard, Universidad Catlica de

Doris Martnez, Universidad de Puerto Rico, Ro

Eva Salgado Andrade

Irene Madfes, Universidad de la Repblica, Uruguay

Carmen Rosa Caldas-Coulthard, Universidade de

Teun van Dijk, Universidad de msterdam,

Teresa Espar, Universidad de Los Andes, Venezuela

Teun van Dijk

Lars Fant, Universidad de Estocolmo, Suecia

Grafiweb Impresores y Publicistas

Adriana Bolvar (1995-2003)

Claudio Capellini. Acuarelas Barcelona 10, 2010.

Discurso, imagem e texto verbal: uma perspectiva crtica

Metodologia para elaborao de audiodescries para

Multimodalidad y estrategias discursivas: un abordaje metodolgico

Anlisis del discurso multimodal

Exploraciones sobre la pobreza y el racismo en Colombia.

Monika Bednarek y J.R. Martin (eds.). New Discourse on Language.

ndice Acumulado 131

Multimodalidad: de la teora a la prctica

En su trabajo, Garcia da Silva y Ramalho abordan el anlisis multimodal

de comunicacin y propone un Estudio Crtico del Discurso Multimodal

Claudia Gabriela DAngelo

Discurso, imagem e texto verbal:

DENIZE ELENA GARCIA DA SILVA

Resumen. Discutimos la multimodalidad desde la perspectivade los estudios crticos

ALED 12 (1), pp. 7-29

Abstract. We discuss multimodality following the perspective of critical discourse

bens de consumo. Mas resulta que, em situaes especficas, deparamo-nos com

1. Economia baseada em conhecimento e hibridismo semitico

escala, facultada pelos avanos nas tecnologias da informao. Uma economia

Uma primeira mudana sociodiscursiva a multimodalidade. Textos que

2. Bases tericas da multimodalidade

configuraes visuais em que o objeto do olhar no o leitor, mas, sim, o

dado, isto , como informao j conhecida pelo leitor. Equivale ao rema

integrada de material visual e texto verbal: uma estrutura

de superfcie iconicamente motivada

Observemos, no caso acima, a plasticidade e dinamicidade com que o

Podemos afirmar que estamos diante de uma construo inter-modal

bem como o real, aquilo que h de mais concreto e realista, na ordem

obscurece relaes assimtricas de poder entre leitor/a e consumidor/a,

Texto 2 Cartaz de evento contra a violncia

Fonte: Anncio de um evento/campanha em Portugal (2008)

Cabe, aqui, ressaltar que o reator configura o participante que concretiza

traz uma intertextualidade com um ditado popular Em briga de marido e

do pblico, mas, ao contrrio do primeiro texto, problematiza consensos sociais

A candidata do Lula ter trs minutos de vantagem no horrio eleitoral

A imagem remete-nos a uma associao de ideias que se coaduna com

relao de simbolizao entre identificados (Dilma, Serra e a candidata do

Candidato Jos Serra

O/a telespectador/a assistiu, nos ltimos segundos do debate, a uma

Em termos acionais e representacionais, o Texto 3 constri uma realidade