La gramática de la narrativa visual: evidencia

neuronal para la estructura constituyente en la

comprensión de la imagen secuencial
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4364919/

Neil Cohn , 1, 3 Ray Jackendoff , 2, 1 Phillip J. Holcomb , 1 y Gina R. Kuperberg 1, 4

Información del autor ► Información de derechos de autor y licencia ► Descargo de responsabilidad

La versión final editada de este artículo está disponible en Neuropsychologia

Vea otros artículos en PMC que citan el artículo publicado.

Neuropsychologia . Manuscrito del autor; disponible en PMC 2016 Mar 18.

Publicado en forma editada final como:
Neuropsychologia. 2014 de noviembre; 64: 63-70.
Publicado en línea el 2014 Sep 18. doi: 10.1016 / j.neuropsychologia.2014.09.018
PMCID: PMC4364919
NIHMSID: NIHMS629327
PMID: 25241329

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4364919/

Abstracto
Ir:

1. Introducción
La estructura constituyente es un sello distintivo del lenguaje humano. Las unidades
discretas (palabras) se agrupan en constituyentes más grandes (frases), que pueden
combinarse recursivamente de manera indefinida de muchas maneras ( Chomsky,
1965 ; Culicover y Jackendoff, 2005 ). El lenguaje, sin embargo, no es nuestro único
medio de comunicación. Durante milenios, los humanos han contado historias
utilizando imágenes secuenciales, ya sea en paredes de cuevas o pinturas, o en la
sociedad contemporánea, en cómics o películas ( Kunzle, 1973 ; McCloud,
1993 ). Análogamente a la forma en que las palabras se combinan en el lenguaje, las
imágenes individuales pueden combinarse para formar constituyentes más grandes que
permiten la producción y comprensión de narrativas visuales complejas y coherentes
( Carroll y Bever, 1976 ; Cohn, 2013b ;Cohn, Paczynski, Jackendoff, Holcomb y
Kuperberg, 2012 ; Gernsbacher, 1985 ; Zacks, Speer, y Reynolds, 2009 )
Durante mucho tiempo se ha reconocido que las narrativas siguen una estructura
particular ( Freytag, 1894 ; Mandler y Johnson, 1977 ). Esto se remonta a las
observaciones de Aristóteles sobre la estructura de la trama en el teatro ( Butcher,
1902). Recientemente hemos formalizado una gramática narrativa de imágenes
secuenciales, en la que cada imagen juega un papel categórico en función de su función
narrativa dentro de la secuencia visual general ( Cohn, 2013b , 2014 ). Estas unidades de
imágenes pueden agruparse posteriormente para formar constituyentes narrativos , que
a su vez cumplen roles narrativos en la estructura general. Si bien este enfoque general
es similar a las gramáticas anteriores del discurso y las historias (por ejemplo,HH Clark,
1996 ; Hinds, 1976 ; Labov y Waletzky, 1967 ; Mandler y Johnson, 1977 ; Rumelhart,
1975 ), difiere de estos precedentes en la simplicidad de sus estructuras recursivas
( Cohn, 2013b ), la incorporación de modificadores más allá de un arco narrativo
canónico ( Cohn, 2013a , 2013b ), y la separación explícita de estructura y significado
( Cohn et al., 2012 ), ver Cohn (2013b) para más detalles.
Para entender mejor esta gramática narrativa, considere la secuencia en la Figura 1. Esto
tiene dos componentes narrativos. El primer constituyente contiene dos imágenes: la
primera imagen desempeña el papel narrativo de un "Inicial", que funciona para
configurar el evento central ("golpear la pelota"), mientras que la segunda imagen
desempeña el papel narrativo de un "Pico", ya que representa la acción de golpe en
sí. El segundo componente consta de cuatro imágenes: la primera, un "Establisher",
funciones para presentar a los personajes involucrados en el evento principal; el
segundo, un "Inicial", configura el evento; el tercero funciona como un "Pico" que
representa el evento culminante culminante en sí mismo, y la cuarta imagen actúa como
un "Lanzamiento", resolviendo esta acción central. Es importante destacar que estos dos
componentes narrativos se relacionan en un nivel superior de estructura narrativa, de
modo que el primer constituyente más grande funciona como un "Inicial" para
establecer el contenido del segundo constituyente más grande, que a su vez actúa como
el "Pico" culminante de toda la secuencia. En narrativas más complejas, la incrustación
a lo largo de líneas similares puede ser más profunda o alterada a través de
modificadores.

Figura 1
Estructura narrativa de una secuencia visual
Esta secuencia contiene dos componentes narrativos. Los primeros dos paneles juntos
representan un evento; el primer panel es un "Inicial", que configura el evento climático en el
segundo panel, un "Pico". A su vez, estos dos paneles juntos sirven como una Inicial para la
secuencia como un todo, y el evento representado por el final cuatro paneles sirven como Pico
para toda la secuencia.
En investigaciones experimentales previas, hemos demostrado que estas categorías
narrativas siguen tendencias distributivas en secuencias, confiando en claves tanto del
contenido de la imagen como de su contexto dentro de una secuencia ( Cohn,
2014 ). Además, nuestro trabajo anterior sugiere que, durante la comprensión de
secuencias narrativas visuales, el cerebro usa esta estructura narrativa en combinación
con esquemas semánticos más generales ( Schank y Abelson, 1977 ) para construir
coherencia narrativa global, lo que a su vez facilita procesamiento semántico de paneles
entrantes ( Cohn et al., 2012)) Hasta ahora, sin embargo, no está claro cómo responde el
cerebro a la información que en realidad viola las expectativas que se basan en nuestra
representación de esta estructura narrativa. Abordar esta pregunta fue el objetivo del
presente estudio. Mostramos que la estructura constitutiva en nuestra gramática
narrativa propuesta no es solo una construcción teórica interesante: puede ser detectada
experimentalmente.
El paradigma que desarrollamos se basa en experimentos psicolingüísticos clásicos que
demostraron que la comprensión palabra por palabra involucra la estructura constitutiva
gramatical. En una serie importante de estudios de comportamiento, los participantes
escucharon oraciones simples como Mi compañero de cuarto miró la televisión ,
durante el cual hubo un estallido de ruido blanco (un "clic": representado aquí como
**). La investigación inicial utilizando este paradigma mostró que los clics que
aparecen dentro de un constituyente sintáctico (p. Ej., Alterar el sintagma nominal: mi
** compañero de cuarto observado ... ) se recordaban con menos precisión que los clics
que aparecen entre constituyentes sintácticos (por ejemplo, entre el sintagma nominal y
la frase-verbo: Mi compañero de cuarto ** miró ...), y esa recolección falsa de clics los
recordó como ocurriendo entre los constituyentes ( Fodor y Bever, 1965 , Garrett y
Bever, 1974 ). Estudios posteriores usando tareas de monitoreo en línea encontraron que
los tiempos de reacción fueron más rápidos para clics colocados entre constituyentes
que aquellos dentro de componentes sintácticos, y más rápido para aquellos dentro de
los primeros constituyentes que los segundos constituyentes ( Abrams y Bever,
1969 ; Bond, 1972 ; Ford y Holmes, 1978 ) . El éxito de esta técnica de "disrupción
estructural" como método para examinar la estructura gramatical en el lenguaje, ha
llevado a su uso más allá del estudio de la estructura en el lenguaje, para estudiar la
estructura en la música ( Berent y Perfetti, 1993 ;Kung, Tzeng, Hung y Wu, 2011 ) y
eventos visuales ( Baird y Baldwin, 2001 ).
A nivel neuronal, los estudios que utilizan potenciales relacionados con eventos (ERP)
han reportado dos efectos en asociación con aspectos estructurales (sintácticos) del
procesamiento del lenguaje: (1) una negatividad anterior lateralizada a la izquierda
( Friederici, 2002 ; Friederici, Pfeifer y Hahne , 1993 , Hagoort, 2003 ; Neville, Nicol,
Barss, Forster, y Garrett, 1991 ), comenzando en o antes de 350 ms, y (2) una
positividad distribuida posteriormente (P600), comenzando en alrededor de 500 ms,
aunque a veces antes ( Hagoort , Brown y Groothusen, 1993 ; Osterhout y Holcomb,
1992) El efecto negativo de la izquierda anterior tiende a ser evocado por palabras que
son consistentes (contra inconsistentes) con una de las dos o tres posibles estructuras
sintácticas futuras predichas por el contexto ( Lau, Stroud, Plesch y Phillips, 2006 ), y se
ve incluso cuando este contexto es semánticamente no restrictivo ( Gunter, Friederici y
Schriefers, 2000 ) o semánticamente incoherente ( Münte, Matzke y Johannes,
1997 ). Es muy probable que el P600 se active cuando una entrada viola una expectativa
estructural fuerte y de alta certeza establecida por un contexto, particularmente cuando
este contexto también es semánticamente restrictivo ( Kuperberg, 2007 , 2013) Se cree
que refleja intentos prolongados de dar sentido a la información ( Kuperberg,
2007 , 2013 ; Sitnikova, Holcomb y Kuperberg, 2008a ). Cabe destacar que tanto la
negatividad anterior izquierda como los efectos P600 son distintos del bien conocido
efecto N400: una negatividad generalizada entre 300-500ms modulada por ambas
palabras (Kutas y Hillyard, 1980) e imágenes ( Barrett y Rugg, 1990 ; Barrett , Rugg y
Perrett, 1988 ) que coinciden con las expectativas contextuales no coincidentes acerca
de las características semánticas de las entradas futuras, en lugar de las expectativas
sobre su estructura gramatical ( Kutas y Federmeier, 2011 ).
Aquí, nos preguntamos si las violaciones de la estructura constitutiva narrativa en
imágenes secuenciales producen efectos neurales análogos a los observados en
respuesta a violaciones estructurales en el lenguaje. Desarrollamos un paradigma de
disrupción estructural, análogo al clásico paradigma de "clic" que, como se discutió,
proporcionó evidencia temprana de que los entendidos usan una estructura constitutiva
sintáctica para comprender el lenguaje ( Fodor y Bever, 1965 ; Garrett y Bever,
1974 ). Nuestro paradigma también comparte similitudes con los llamados paradigmas
de "omisión" ERP en los que, en lugar de examinar la respuesta neuronal a un estímulo
que es incongruente (versus congruente) con un contexto, los ERP están bloqueados por
el tiempo a la omisióndel estímulo esperado Desde finales de la década de 1960
sabemos que la omisión de los estímulos esperados puede provocar una gran respuesta
cerebral ( Klinke, Fruhstorfer y Finkenzeller, 1968 ; Simson, Vaughan Jr y Walter,
1976 ), y más recientemente, este fenómeno se ha interpretado dentro de un marco de
codificación predictivo bayesiano generativo ( A. Clark, 2013 ; Friston, 2005 ; Rao &
Ballard, 1999).) De acuerdo con este marco, el cerebro construye un modelo interno del
entorno evaluando constantemente los estímulos entrantes en relación con su contexto
precedente y las representaciones almacenadas. Las predicciones descendentes se
comparan, en múltiples niveles de representación, con estímulos entrantes, y la
diferencia en la respuesta neuronal entre la predicción descendente y la entrada
ascendente (el "error de predicción") se pasa a un nivel superior de representación,
donde se usa para ajustar el modelo interno o, cuando la entrada viola una expectativa
de certeza muy alta, cambie a un modelo alternativo que pueda explicar mejor la
combinación del contexto y el estímulo entrante. Las respuestas neuronales a las
omisiones se toman para reflejar el error de predicción neuronal puro, producido por el
desajuste entre las predicciones descendentes y la entrada ascendente (ausente)
(Bendixen, Schröger y Winkler, 2009 ; Friston, 2005 ; Todorovic, van Ede, Maris y
Lange, 2011 ; Wacongne et al., 2011 ).
En nuestro paradigma, los participantes vieron secuencias visuales sin texto de seis
paneles de duración, presentadas imagen por imagen. Estos paneles se construyeron
para tener dos componentes narrativos en varios patrones estructurales diferentes (ver
Métodos). En algunas de las secuencias visuales, insertamos paneles blancos "en
blanco" desprovistos de contenido (estímulos de "omisión"). Los paneles en blanco
cayeron dentro de un constituyente narrativo (el primero o el segundo constituyente)
o entre los dos componentes narrativos (ver Figura 2).para un ejemplo). Es importante
destacar que, debido a que utilizamos varios patrones de estructura constituyente, con
límites narrativos ubicados después del panel 2, 3 o 4, los paneles en blanco podrían
aparecer en cualquier lugar desde la posición del segundo al quinto panel en la
secuencia. Esto significaba que los entendidos no podían usar la posición ordinal como
una indicación directa para predecir cuándo se produciría un panel en blanco. Medimos
los ERP en estos paneles en blanco, y comparamos la respuesta ERP producida por
aquellos que cayeron dentro de los componentes narrativos (interrumpiendo un
constituyente narrativo) a los producidos por imágenes en blanco que cayeron en la
ruptura natural entre los componentes narrativos.
Figura 2
Muestra de estímulos experimentales
Las condiciones experimentales se crearon insertando "imágenes en blanco" blancas ya sea a)
dentro del primer (WC1), b) dentro del segundo constituyente (WC2), oc) entre los dos
constituyentes en un límite constitutivo natural (BC). Esta secuencia de ejemplo ubica el límite
constituyente después del segundo panel. Sin embargo, variamos la posición del límite
constituyente a través de los estímulos, de modo que en otros el límite apareció después del
tercer o cuarto panel.
La lógica de este diseño es la siguiente: si los espectadores usan una gramática
constituyente narrativa para guiar la comprensión secuencial de imágenes, las imágenes
en blanco que interrumpen esta estructura narrativa producirán un error de predicción
detectado por una respuesta ERP. Esto está en línea con el razonamiento detrás de los
paradigmas de "omisión" ERP en los que la actividad cerebral a la omisión de un
estímulo esperado proporciona evidencia de su anticipación, como se discutió
anteriormente. Es importante destacar que esta interrupción debería ser mayor cuando la
imagen en blanco cae dentro deun constituyente narrativo, que interrumpe directamente
la estructura narrativa, que cuando cae entre dos constituyentes en un límite constitutivo
natural, lo que conduce a un mayor error de predicción y una mayor respuesta de ERP a
los espacios en blanco dentro de los espacios en blanco constituyentes. Tal efecto
proporcionaría evidencia directa de que los entendidos usan una estructura narrativa
almacenada para anticipar los próximos aspectos de la estructura. Además, si la
estructura narrativa involucra mecanismos neurocognitivos similares a los de la
comprensión del lenguaje, estas respuestas ERP podrían manifestarse como una
negatividad anterior lateralizada a la izquierda y un efecto P600.
Ir:

2. Métodos

2.1 Estímulos
Se crearon nuevas historietas largas de 6 fotogramas (135) para tener dos componentes
narrativos. Estas secuencias se basaron en un corpus de paneles seleccionados de seis
volúmenes de The Complete Peanuts de Charles Schulz (1952-
1968). Usamos cacahuetescómics porque tienen 1) tamaños de paneles consistentes; 2)
personajes y situaciones que son familiares para la mayoría de las personas; y 3) un gran
corpus de tiras para extraer. Para eliminar cualquier efecto del lenguaje escrito, solo
utilizamos paneles sin texto o borramos digitalmente el texto de los paneles. Nuestra
creación de nuevas secuencias aseguró que se adhirieran a las estructuras constitutivas
requeridas para nuestro experimento, y que los participantes no estarían familiarizados
con las secuencias específicas utilizadas en el experimento. Los límites entre los
constituyentes siguieron criterios definidos teóricamente ( Cohn, 2013b ) y se
confirmaron mediante una "tarea de segmentación" conductual ( Gernsbacher, 1985).)
en el que 20 participantes (15 hombres, 5 mujeres, edad media: 22) dibujaron líneas
entre las imágenes en cada secuencia que las dividió más intuitivamente en dos
partes. Nuestras últimas 120 tiras tuvieron un acuerdo del 71% para la ubicación del
límite entre los constituyentes, que apareció después de la imagen 2, 3 o 4 (40 de cada
tipo) dando como resultado tres patrones diferentes de estructuras constituyentes a lo
largo de los estímulos.
Para cada secuencia, creamos tres condiciones experimentales. Introdujimos imágenes
en blanco que interrumpieron el primero o el segundo constituyente narrativo (Dentro
de los espacios en blanco constituyentes: WC1 y WC2 respectivamente), o
alternativamente, que ocurrió entre los dos constituyentes narrativos (Entre
constituyentes: BC), como se muestra en la Figura 2. Debido a que nuestras secuencias
utilizaron tres patrones diferentes de estructuras constituyentes que variaban la
ubicación del límite narrativo, las interrupciones podrían aparecer en cualquier lugar
desde la segunda a la quinta posición en todas las secuencias y todos los tipos de
interrupción. Esta variación se introdujo para evitar cualquier confusión sistemática
entre la posición ordinal y la posición de los paneles en blanco. Por definición, los
espacios en blanco WC2, en promedio, aparecieron más tarde que los espacios en
blanco de BC que aparecieron más tarde que los espacios en blanco WC1: espacios en
blanco WC1 (posición promedio: 3; rango: 2-4); Espacios en blanco BC (posición
promedio: 4; rango: 3-5), espacios en blanco WC2 (posición promedio: 5; rango: 4-
6). Sin embargo, debido a que, a través del conjunto de estímulos, un panel en blanco
podría aparecer en la misma posición ordinal en las condiciones WC1, WC2 y BC,
Nuestras listas aleatorias también incluyeron secuencias de relleno que no tenían
imágenes en blanco, dos imágenes en blanco seguidas (para evitar que las imágenes
normales sigan una interrupción) y / o una infracción de coherencia (verificada en un
estudio de calificación anterior). En total, cada participante vio un número igual de tiras
con espacios en blanco (90 espacios simples + 15 espacios dobles = 105) y sin espacios
en blanco (105 secuencias sin espacios en blanco) y 60 secuencias con violaciones de
coherencia y 150 imágenes totalmente coherentes.

2.2 Participantes
Veinticinco lectores de cómic diestros de habla inglesa con visión normal (8 hombres,
17 mujeres, edad media = 19.9) fueron pagados por la participación y dieron su
consentimiento informado por escrito siguiendo las pautas de la Junta de Revisión
Interna de Tufts University. La lectura de historietas “experiencia” se evaluó mediante
el cuestionario “Índice de Lenguaje Visual fluidez” (VLFI), que pide a los participantes
para evaluar la frecuencia con la que se leen y dibujar diferentes tipos de narrativas
visuales (cómics, cómics, manga japonesa, novelas gráficas) , tanto actualmente como
durante su crecimiento (ver Cohn et al., 2012 para más detalles). Nuestro trabajo previo
ha demostrado que el "puntaje VLFI" resultante de esta métrica se correlaciona con los
efectos conductuales y neurofisiológicos en la comprensión visual narrativa ( Cohn et
al., 2012).) Un puntaje VLFI promedio ideal sería de 12, con bajo por debajo de 7 y alto
por encima de 20. En este estudio, el puntaje VLFI promedio general de los
participantes fue de 16.12 (DE = 6.7, rango: 7.6-32).
2.3 Procedimiento
Los participantes vieron cada secuencia imagen por imagen en la pantalla de una
computadora mientras medíamos su EEG. Cada panel en la secuencia representaba una
imagen en blanco y negro en un cuadrado blanco que estaba centrado en una pantalla
negra. Los paneles en blanco simplemente representaban un cuadrado blanco (de las
mismas dimensiones) también centrado en la pantalla negra. Se mantuvieron las luces
encendidas durante todo el experimento para evitar un "efecto de destello" que provocó
el parpadeo. Las imágenes con contenido pictórico permanecieron en la pantalla por
1350ms, mientras que los paneles en blanco aparecieron por 750ms para aparecer como
claramente separados en carácter de las imágenes narrativas (es decir, no eran paneles
con información faltante). Para reforzar esta interpretación, se les dijo a los participantes
de antemano que las secuencias podrían contener marcos en blanco, y que estas
imágenes no eran parte de la narrativa. Un ISI de 300ms de una pantalla negra completa
separaba cada panel (tanto los paneles pictóricos como los paneles en blanco) para
evitar el efecto de "superposición" de imágenes secuenciales que aparecen como una
animación de flip-book. Los participantes calificaron la coherencia de cada secuencia en
una escala de 1 a 5 por lo fácil que era de entender (1 = difícil, 5 = fácil).

2.4 Análisis de datos

Los ERP se bloquearon con el tiempo hasta el inicio de cada imagen en blanco y se
colapsaron en las imágenes. Los ensayos EEG con parpadeos, movimientos oculares,
artefactos causados por movimientos musculares y / o artefactos causados por pérdida
de señal o bloqueo (es decir, una línea plana), fueron rechazados del análisis. El rechazo
de los ensayos se determinó mediante inspección visual de los datos brutos de cada
participante, y las tasas de rechazo se mantuvieron por debajo del 15% para cada evento
de estímulo (es decir, manteniendo al menos 26 de 30 ensayos por condición por
participante). Se excluyeron los datos de un participante por exceder esta tasa máxima
de rechazo. Los ensayos restantes mantenidos después del rechazo de artefactos se
utilizaron en nuestros ERP promediados.
Analizamos los voltajes medios dentro de las épocas de 300-500ms y 500-700ms. El
montaje del electrodo usó 29 electrodos organizados en la línea media y las regiones
periféricas de interés para el análisis de los datos ERP (ver Figura 3).) Las regiones de la
línea media consistían en Prefrontal (FPz, FP1, FP2), Frontal (Fz, FC1, FC2), Central
(Cz, C3, C4), Parietal (CP1, CP2, Pz) y Occipital (O1, O2, Oz) regiones. Las regiones
periféricas incluyeron las regiones Frontal Izquierdo (F3, F7, FC5), Frontal Derecho
(F4, F8, FC6), Posterior Izquierda (CP5, T5, P3) y Posterior Derecha (CP6, T6, P4). Los
electrodos debajo del ojo izquierdo (LE) y junto al ojo derecho (HE) registraron
parpadeos y movimientos oculares. Todos los electrodos se referenciaron a un electrodo
colocado en la mastoides izquierda (A1), mientras que la actividad diferencial se
controló en la mastoides derecha (A2). Un bioamplificador SA amplificó el
electroencefalograma (EEG) utilizando un paso de banda de 0,01 a 40 Hz y se tomaron
muestras de forma continua a una velocidad de 200 Hz. Las impedancias del electrodo
se mantuvieron por debajo de 10 k para los ojos y por debajo de 5 k en todos los otros
sitios.
figura 3
Análisis de montaje de electrodos .
Ir:

3. Resultados
Los participantes calificaron la coherencia de cada secuencia completa en una escala de
cinco puntos (1 = difícil de entender, 5 = fácil de entender). La posición de la imagen en
blanco no tuvo efecto en las calificaciones de coherencia general de los participantes
(BC = 3.7 (.32); WC1 = 3.8 (.33); WC2 = 3.8 (.38); F (2,48) =. 792, p = .459).
Nuestro análisis de los efectos ERP en imágenes en blanco no encontró efectos
principales o interacciones en la época de 300-500 ms (un análisis post hoc que examinó
300-400 ms y 400-500 ms por separado tampoco mostró efectos en la ventana de 300-
400 ms, aunque , como se señala a continuación, reveló algunos efectos entre 400 y 500
ms). Sin embargo, en la época de 500-700 ms, los ANOVA combinados de mediciones
repetidas con una corrección de Bonferroni para comparaciones múltiples mostraron
interacciones significativas entre la posición (BC, WC1, WC2) y la región en las
regiones medias del cuero cabelludo (consulte la Figura 4).), F (8,184) = 3,39, p <.05,
así como entre Posición, Región y Hemisferio en las regiones periféricas, F (2,46) =
5,72, p <.01. Los análisis de seguimiento de estas interacciones en regiones individuales
revelaron dos efectos ERP distintos, que se distinguen por las diferencias en la polaridad
y la distribución del cuero cabelludo (ver Figura 4 ): un efecto de negatividad anterior
lateralizado a la izquierda y un efecto de positividad distribuido posteriormente.

Figura 4
Respuestas ERP a imágenes en blanco
Las respuestas de ERP (N = 24) bloquearon en el tiempo las imágenes en blanco que
interrumpieron el primer constituyente narrativo (WC1) o el segundo constituyente (WC2), o
que cayeron entre los dos constituyentes narrativos (BC). Los ERP evocados por las imágenes
en blanco WC1 y WC2 fueron más negativas que las evocadas por las imágenes en blanco de
BC en sitios anteriores frontales y hacia la izquierda (arriba y a la izquierda). Los espacios en
blanco WC2 también evocaron una forma de onda ERP más positiva (un P600) que los espacios
en blanco WC1 y BC en sitios de electrodos distribuidos posteriormente (parte inferior). Los
mapas de voltaje ilustran la distribución del cuero cabelludo de estos efectos dentro de la
ventana de tiempo de 500-700 ms.
En la región frontal izquierda, las imágenes en blanco WC1 evocaron una negatividad
mayor que los espacios en blanco de BC, F (1,23) = 4.93, p <.05. Las imágenes en
blanco de WC2 provocaron una negatividad mayor que los espacios en blanco de BC en
la misma región frontal izquierda, F (1,23) = 5,25, p <.05, así como en la región
prefrontal, F (1,23) = 8,37, p < .01. (Un análisis post hoc entre 400-500 ms en la región
anterior izquierda indicó un efecto WC2-BC casi significativo, F (1,17) = 3,97, p =
0,063, pero ningún efecto WC1-BC, F (1, 17 = .184, p = .674). No hubo diferencias en
la negatividad evocada por los espacios vacíos WC1 y WC2 en cualquiera de estas
regiones anteriores (todas las Fs <.767, todas las ps> .390).
En la región occipital, las imágenes vacías WC2 evocaron una positividad más grande
que los espacios en blanco BC, F (1,23) = 9.24, p <.001, pero no se observó tal efecto al
contrastar los blancos WC1 y BC en cualquier región posterior ( todos los Fs <1.82,
todos los ps> .190). Un contraste directo entre los espacios en blanco WC1 y WC2
confirmó una positividad marginalmente mayor evocada por los espacios en blanco
WC2, en la región occipital, F (1,23) = 4.27, p = .05, y la región posterior derecha, F
(1,23 ) = 4.18, p = .05. Un análisis post hoc en la región posterior derecha indicó que
este efecto P600 comenzó entre 400-500 ms, pero solo para el efecto WC2-WC1, F
(1,17) = 10.6, p <.01.
Ir:

4. Discusión
Este experimento tuvo como objetivo determinar si el cerebro recurre a una estructura
constituyente narrativa para comprender secuencias de imágenes visuales. Con este fin,
les pedimos a los participantes que vean secuencias de imágenes, cada una
transmitiendo una narración simple. Interrumpimos la estructura de cada narración
insertando imágenes en blanco dentro de su primer o segundo constituyente narrativo
("paneles de interrupción"), y comparamos la respuesta neuronal producida por estas
violaciones estructurales a las producidas por imágenes en blanco que caen en los
límites de un constituyente natural (espacios en blanco entre los constituyentes). Ningún
componente ERP modelado puramente con la posición lineal (promedio) del espacio en
blanco en las tres condiciones. Por el contrario, en relación con los espacios en blanco
entre los constituyentes, las imágenes en blanco que alteraron tanto el primero como el
segundo constituyente narrativo produjeron un efecto de negatividad negativamente
distribuido anteriormente, lateralizado a la izquierda, que era máximo entre 500-700
ms. Además, las imágenes en blanco que alteraron el segundo constituyente narrativo,
pero no el primero, provocaron un efecto de positividad distribuido posteriormente
dentro del mismo intervalo de tiempo.

4.1 El efecto de negatividad anterior izquierda

Sugerimos que el efecto negativo de la izquierda anterior refleja la respuesta neural a
una violación de las anticipaciones bastante restringidas de los comprehensores de una
próxima estructura narrativa. En nuestra interpretación, después de ver la primera parte
de un constituyente narrativo, los participantes anticiparon dos o tres paneles que
posiblemente podrían desempeñar papeles narrativos particulares en este
constituyente. Por ejemplo, en la Figura 1 , después de la Inicial, los integrantes podrían
anticipar un Pico, o posiblemente una Prolongación, una categoría medial que separa
Iniciales y Picos ( Cohn, 2014 ; Cohn & Paczynski, 2013 ). Al encontrar una imagen en
blanco en esta posición ( Figura 2b)), estas expectativas fueron violadas, produciendo
una respuesta neuronal relativamente grande. En contraste, después de ver el primer
constituyente completo (el Inicial y el Pico en la Figura 1 ), los participantes predijeron
un límite constitutivo natural. Una imagen en blanco que cae en esta posición, entre los
dos componentes narrativos ( Figura 2a ), fue más consistente con esta predicción y
produjo una respuesta neural más pequeña.
Es importante destacar que este efecto negativo de la izquierda anterior no puede
atribuirse a la detección de una violación local específica (por ejemplo, un espacio en
blanco siempre después de una inicial) porque modificamos deliberadamente la
estructura de las secuencias (el orden / tipo de constituyentes narrativos). Por ejemplo,
en algunos constituyentes, el espacio en blanco en el primer constituyente siguió una
inicial, mientras que en otros siguió un pico. Del mismo modo, un espacio en blanco
entre los constituyentes podría seguir un Pico o una Liberación. Además, los
constituyentes variaron en longitud (que van de 2-4 paneles de largo). Esto significaba
que un panel en blanco no ocurría consistentemente en una posición única en la
secuencia. 1
Un grupo de negatividades anteriores izquierdas se ha asociado previamente con el
procesamiento sintáctico durante la comprensión del lenguaje ( Friederici,
2002 ; Friederici et al., 1993 ; Hagoort, Wassenaar, y Brown, 2003 ; Hahne y Friederici,
1999 ; Neville et al., 1991 ). . Es particularmente probable que se vea el efecto cuando
un contexto restringe solo dos o tres posibles categorías sintácticas; su amplitud es
menor para la entrada que coincide (frente a desajustes) con una de estas anticipaciones
( Lau et al., 2006 ). Su latencia de inicio puede oscilar entre 100 ms (la llamada
negatividad anterior temprana izquierda, ELAN p. Ej., Friederici et al., 1993 ; Hahne y
Friederici, 1999).; Neville et al., 1991 ), a 350 ms (LAN, Hagoort et al., 2003 ). Se ha
sugerido que esta variación en la latencia de inicio refleja la velocidad con la que el
analizador es capaz de determinar si la entrada coincide o no con sus predicciones
sintácticas ( Lau et al., 2006 ). Esto, a su vez, dependerá de las señales en el input en sí,
incluidas sus características morfológicas ( Hagoort et al., 2003 ) o incluso las
características perceptivas que pueden estar asociadas con la categoría sintáctica
pronosticada ( Dikker, Rabagliati, Farmer, y Pylkkänen, 2010) En el presente estudio, el
efecto de negatividad anterior izquierda comenzó relativamente tarde, y se volvió
significativo a los 500 ms después del inicio de la imagen en blanco. Sugerimos que
esto se debe a que los paneles en blanco no proporcionaron pistas visuales obvias que
permitieran a los integrantes hacer un diagnóstico rápido de coincidencia estructural /
desajuste. En este sentido, el efecto relativamente tardío de la negatividad anterior tardía
en este estudio puede ser un reflejo más directo de la narrativa o evento estructural de
sorpresa / error de predicción. Esta interpretación sería consistente con informes
recientes de negatividades anteriores de inicio tardío a palabras que coinciden (versus
desajuste) con una de las dos posibles estructuras de eventos que se anticipan en ciertos
contextos de oraciones y discursos ( Baggio, van Lambalgen, & Hagoort,
2008 ;Paczynski, Jackendoff y Kuperberg, 2014 ; Wittenberg, Paczynski, Wiese,
Jackendoff y Kuperberg, 2014 ; Wlotko y Federmeier, 2012 ).
La distribución lateralizada a la izquierda del efecto de negatividad visto por las
violaciones estructurales lo distingue de otro componente de ERP negativo visto tanto
en palabras como en imágenes: el N400 entre 300-500 ms, que se modula clásicamente
por congruencia semántica . El efecto N400 provocado por los estímulos del lenguaje
típicamente tiene una distribución centro-parietal del cuero cabelludo, mientras que el
N400 producido por imágenes a menudo tiene una distribución más amplia del cuero
cabelludo y a veces se acompaña de un pico de negatividad anterior distribuido
frontalmente (aunque no lateralizado). el N300) ( Barrett y Rugg, 1990 ; Holcomb y
McPherson, 1994 ). El complejo N300 / N400 es más pequeño que las imágenes que
contienen elementos semánticamente congruentes versus incongruentes ( Mudrik, Lamy
y Deouell, 2010; Sitnikova, Holcomb y Kuperberg, 2008b ), a imágenes precedidas por
imágenes "primarias" semánticamente relacionadas (versus no relacionadas) ( Barrett y
Rugg, 1990 ; Barrett, Rugg, y Perrett, 1988 ), y a imágenes precedidas por
semánticamente congruentes (versus incongruente) contextos narrativos (secuencias de
imágenes o películas) ( Cohn et al., 2012 , Sitnikova et al., 2008b , Sitnikova,
Kuperberg, y Holcomb, 2003 ; West & Holcomb, 2002 ).
La coherencia de estos contextos narrativos está obviamente influenciada por su
estructura narrativa global, y, en este sentido, el N400 es indirectamente sensible a esta
estructura. Por ejemplo, en trabajos previos mostramos que el N300 / N400 era más
pequeño para dirigirse a paneles siguiendo secuencias coherentes (con una estructura
narrativa global y un tema semántico común) que con objetivos que seguían secuencias
de paneles que estaban relacionados a través de un tema semántico pero que no tenía
ninguna estructura narrativa ( Cohn et al., 2012 ). Es importante destacar, sin embargo,
que el N300 / N400 evocado por las imágenes no está directamentesensible a las
violaciones estructurales Por ejemplo, en nuestro estudio anterior, no vimos modulación
del complejo N300 / N400 cuando contrastamos secuencias que eran semánticamente
incoherentes sin ninguna estructura narrativa (es decir, secuencias completamente
codificadas) con secuencias que eran semánticamente incoherentes pero que sí tenían
una estructura narrativa (es decir, estructuralmente análogo a oraciones como ideas
verdes incoloras duermen furiosamente) Por el contrario, este contraste se asoció con un
efecto de negatividad anterior izquierda con una distribución similar a la observada en
el presente estudio (aunque el efecto en nuestro estudio anterior comenzó antes y duró
hasta alrededor de 900 ms). Este hallazgo proporcionó evidencia preliminar de que los
efectos negativos de la izquierda anterior pueden ser sensibles al procesamiento
estructural durante la comprensión de la imagen visual. Sin embargo, en este estudio
previo, no violamos explícitamente la estructura narrativa de las secuencias y no
apuntábamos directamente a aspectos de la estructura constitutiva; solo comparamos
secuencias en las que la estructura narrativa global estaba presente o ausente.

4.2 El efecto P600

Las violaciones del segundo constituyente narrativo, pero no el primero, produjeron un
efecto P600 distribuido posteriormente además del efecto de negatividad anterior
izquierda. En trabajos previos que examinaban la comprensión de clips de película
cortos y silenciosos, informamos un efecto similar de P600 a imágenes que violaban
predicciones fuertes para eventos específicos y estructuras de eventos que se establecían
mediante contextos semánticamente restrictivos, por ejemplo, un hombre que intentaba
cortar pan con un hierro un contexto que lo muestra en la cocina con el pan en una tabla
de pan ( Sitnikova et al., 2008b ; Sitnikova et al., 2003)) Sugerimos que el P600 fue
desencadenado por la detección de los participantes de esta fuerte violación de
predicción de estructura de evento, y que reflejó intentos prolongados de reestructurar y
dar sentido a la información ( Kuperberg, 2007 ; Sitnikova et al., 2008a , 2008b ; ver
también Võ Y Wolfe, 2013) En el presente estudio, ofrecemos una interpretación
similar. Específicamente, argumentamos que para cuando los entendidos alcanzaran el
segundo constituyente, habían construido un contexto semántico coherente y habían
generado predicciones fuertes y de alta certidumbre sobre las características semánticas
y la categoría narrativa de la próxima imagen dentro de este constituyente. Esto es
particularmente posible dado que se pidió a los integrantes que evaluaran explícitamente
la coherencia de cada escenario. Encontrar una imagen en blanco que interrumpió este
segundo constituyente narrativo violó estas predicciones de alta certidumbre y condujo
a un gran error de predicción. Forzó una agrupación de las tres primeras imágenes
juntas que los entendidos detectaron como infelices (es decir, en la Figura 1 , un
constituyente no gramatical que consiste enInitial-Peak-Establisher ) y condujo a
intentos prolongados de reestructurar la entrada en nuevos esfuerzos para darle sentido a
la narrativa como un todo. Dentro de un marco de codificación predictivo generativo,
este tipo de error de predicción, que conduce a un P600, se puede conceptualizar como
"sorpresa inesperada" ( Kuperberg, 2013 ; Yu y Dayan, 2005 ) que condujo a un cambio
a (o aprendizaje de) un nuevo modelo interno / causa latente que mejor explicó esta
agrupación de constituyentes.
Una vez más, existen analogías con la comprensión del lenguaje. Existe una gran
literatura que describe los efectos P600 a violaciones de la estructura sintáctica y
semántica dentro de las oraciones ( Hagoort et al., 1993 , Kuperberg, 2007 , Osterhout y
Holcomb, 1992 ), así como a las violaciones de las estructuras de eventos esperadas en
el discurso ( Ferretti , Rohde, Kehler, y Crutchley, 2009 ; Nieuwland y Van Berkum,
2005 ; Van Berkum, Koornneef, Otten, y Nieuwland, 2007) El P600 evocado por
violaciones lingüísticas también se desencadena por una entrada que viola una
predicción fuerte y de alta certeza para un mapeo semántico-estructural específico. El
conflicto entre una fuerte predicción de alta certidumbre y una entrada ascendente es
más probable cuando el contexto es relativamente rico y semánticamente restrictivo
( Gunter et al., 2000 ; Nieuwland & Van Berkum, 2005 ) y cuando los integrantes llevan
a cabo una coherencia explícita o un juicio de aceptabilidad tareas (aunque ninguna es
suficiente o necesaria para evocar este efecto, ver Kuperberg, 2007 ). Se piensa que este
conflicto conduce a intentos prolongados de integrar tanto la estructura como el
significado del aporte al actualizar o revisar la representación más amplia del contexto
( Christiansen, Conway, y Onnis, 2011).; Kuperberg, 2013 ). Nuevamente, en términos
bayesianos, esta fuerte violación de predicción puede conceptualizarse como una
sorpresa inesperada que desencadena un cambio a un nuevo modelo subyacente que
podría explicar mejor la relación estructural entre el contexto y la nueva entrada
( Kuperberg, 2013 ; Yu y Dayan, 2005 ). . 2

4.3 Implicaciones generales

Nuestros hallazgos son consistentes con el trabajo previo que muestra que la estructura
juega un papel importante en la comprensión de las secuencias visuales. Estudios
previos informaron que los participantes tienden a ponerse de acuerdo sobre la
ubicación de los límites entre los episodios de narrativas visuales ( Gernsbacher,
1985 ; Magliano y Zacks, 2011 ) y entre los eventos visuales ( Zacks et al.,
2009 ; Zacks, Tversky e Iyer, 2001 ) La recuperación de imágenes manipuladas en
narrativas visuales también se vuelve menos precisa cuando la codificación inicial
implica el cruce de un límite constituyente ( Carroll y Bever, 1976 ; Gernsbacher,
1985).) Del mismo modo, al ver videos de eventos del mundo real, los participantes son
más precisos en la predicción de acciones posteriores dentro de los segmentos de
eventos que a través de los límites del evento ( Zacks, Kurby, Eisenberg y Haroutunian,
2011 ). Sin embargo, la mayoría de estos enfoques previos para estudiar eventos
visuales / estructura narrativa y narrativa han atribuido estos efectos de segmentación a
cambios transitorios en la semántica, como cambios en los personajes o ubicaciones de
un evento después de un límite de evento ( Gernsbacher, 1985 ; Magliano & Zacks,
2011 ). Debido a que nuestros resultados mostraron diferencias en la negatividad
anterior izquierda entre las interrupciones en WC1 y antes de BCal cruzar el límite, es
decir, antes de cualquier cambio en los personajes o ubicaciones, sugieren que los
entendidos construyen las expectativas imagen por imagen al usar su conocimiento de
una estructura narrativa más abstracta, en lugar de simplemente reaccionar a los
cambios en el contenido semántico. Esta interpretación es consistente con trabajos
previos que informaron actividad nerviosaanticipatoria antes de los límites esperados
del evento durante la comprensión no verbal ( Kurby & Zacks, 2008 ; Zacks, Braver, et
al., 2001 ).
Finalmente, es importante notar que la narrativa visual no es el primer dominio
argumentado que tiene algún tipo de estructura constitutiva análoga a la del
lenguaje. Los sistemas "gramaticales" se han propuesto en visión ( Biederman,
1987 ; Marr, 1982), dibujo ( Cohn, 2012 ; Willats, 2005 ), relaciones sociales
( Jackendoff, 2007 ) y música ( Jackendoff, 2011 ; Lerdahl & Jackendoff, 1982).) Al
igual que los ERP provocados por manipulaciones de narrativas visuales en este estudio,
las violaciones de la estructura musical también han evocado formas de onda similares a
las del procesamiento del lenguaje: efectos P600 distribuidos posteriormente y
negatividades anteriores, en estos casos, a menudo con una distribución lateralizada
hacia la derecha ( Koelsch, Gunter , Wittfoth, y Sammler, 2005 ; Koelsch y Siebel,
2005 ; Patel, 2003 ; Patel, Gibson, Ratner, Besson y Holcomb, 1998) Esto, por supuesto,
no implica que las estructuras que utilizamos para dar sentido al lenguaje, la música y la
narrativa visual sean las mismas; cada uno de estos dominios cognitivos difiere tanto en
sus unidades básicas (palabras, notas, imágenes) como en las reglas mediante las cuales
se combinan (sintaxis, armonía, narrativa). Lo que sí sugiere, sin embargo, es que la
estructura constitutiva no es específica del lenguaje, y que el cerebro recurre a
mecanismos neurocognitivos similares o principios computacionales comunes para
analizar la estructura en múltiples dominios ( Corballis, 1991 ; Hoen & Dominey,
2000 ; Jackendoff, 2011). ; Patel, 2003 ; Sitnikova et al., 2008a ; Võ y Wolfe, 2013 ).
1.
Reflejos

1. La comprensión de imágenes secuenciales se basa en una estructura constitutiva

narrativa.

2. Examinamos esta estructura insertando interrupciones dentro o entre los

constituyentes.

3. Las interrupciones de los componentes narrativos provocaron ERP similares a

las violaciones sintácticas.

4. Los comprehensivos predicen la próxima estructura constitutiva narrativa.

5. Mecanismos neurocognitivos similares construyen una estructura a través de

dominios visuales y verbales.

Ir:

Expresiones de gratitud
Este trabajo fue apoyado por NIMH (R01 MH071635), NICHD (HD25889) y
NARSAD (con el Sidney Baer Trust), así como por fondos del Centro Tufts de Estudios
Cognitivos. Agradecemos a Suzi Grossman, Chelsey Ott y Patrick Bender por su ayuda
en la creación y experimentación de estímulos, y a Fantagraphics Books por su
donación de The Complete Peanuts.
Ir:

Notas a pie de página

Descargo de responsabilidad del editor: este es un archivo PDF de un manuscrito sin editar que
ha sido aceptado para su publicación. Como servicio a nuestros clientes, ofrecemos esta primera
versión del manuscrito. El manuscrito se someterá a correcciones, composición tipográfica y revisión
de la prueba resultante antes de que se publique en su forma final citable. Tenga en cuenta que
durante el proceso de producción se pueden descubrir errores que podrían afectar el contenido, y
todas las exenciones de responsabilidad legales que se aplican a la revista pertenecen.
1
Esta variación en la estructura significaba que no podíamos determinar si la amplitud de la
negatividad anterior izquierda era más grande que los espacios en blanco después de algunas
categorías narrativas frente a otras. Sin embargo, si nuestra interpretación es correcta, entonces
podríamos esperar espacios en blanco siguiendo categorías narrativas más predictivas (p. Ej., Picos
e Iniciales) para evocar una mayor negatividad anterior izquierda que espacios en blanco siguiendo
categorías narrativas menos predictivas.
2
Ha habido un debate de larga data en la literatura sobre si el P600 es un subtipo del bien conocido
P300 ( Coulson, King y Kutas, 1998 ), el componente de ERP que se desencadena por violaciones
de predicciones subjetivamente altas de una mayor -estructura de órdenes ( Donchin & Coles,
1988 ; Wacongne et al., 2011 ), especialmente cuando estas violaciones son relevantes para la
tarea. El P300 también puede ser evocado por omisiones subjetivamente inesperadas en
secuencias estructuradas ( Klinke et al., 1968 ; Simson et al., 1976 ; Wacongne et al., 2011).), y se
cree que refleja la (re) asignación de atención al contexto para actualizar el modelo del entorno que
da lugar a estas predicciones ( Donchin y Coles, 1988 ). En el caso del P300, las predicciones
contextuales estructurales se establecen mediante secuencias de estímulos relativamente
simples. Sin embargo, durante la comprensión del lenguaje, las predicciones sintácticas y
semánticas se establecen a través de una interacción entre el contexto y las reglas y contingencias
almacenadas que constituyen nuestro conocimiento lingüístico. De manera similar, en el presente
estudio, argumentamos que comprehender se basó en su conocimiento almacenado de la estructura
narrativa para generar expectativas estructurales a partir del contexto.

Ir:

Referencias

1. Abrams K, Bever TG. La estructura sintáctica modifica la atención durante la

percepción y el reconocimiento del habla. Revista Trimestral de Psicología
Experimental. 1969; 21 (3): 280-290. doi: 10.1080 / 14640746908400223.
[ PubMed ]

2. Baggio G, van Lambalgen M, Hagoort P. Modelos de discursos de computación

y reconfiguración: un estudio de ERP. Diario de la memoria y el
lenguaje. 2008; 59(1): 36-53. doi: http://dx.doi.org/10.1016/j.jml.2008.02.005 .

3. Baird JA, Baldwin DA. Sentido del comportamiento humano: análisis de la

acción e inferencia intencional. En: Malle BF, Moses LJ, Baldwin DA,
editores. Intención e intencionalidad. MIT Press; Cambridge: 2001.
4. Barrett SE, Rugg MD. Potenciales relacionados con eventos y la coincidencia
semántica de imágenes. Cerebro y Cognición. 1990; 14 (2): 201-
212. doi:http://dx.doi.org/10.1016/0278-2626(90)90029-N . [ PubMed ]

5. Barrett SE, Rugg MD, Perrett DI. Potenciales relacionados con eventos y la
coincidencia de rostros familiares y
desconocidos. Neuropsychologia. 1988; 26(1): 105-
117. doi: http://dx.doi.org/10.1016/0028-3932(88)90034-6 . [ PubMed ]

6. Bendixen A, Schröger E, Winkler I. Oí eso: Evidencia de potencial relacionada

con el evento para la predicción impulsada por el estímulo en el sistema
auditivo. The Journal of Neuroscience. 2009; 29 (26): 8447 - 8451. doi:
10.1523 / jneurosci.1493-09.2009. [ PubMed ]

7. Berent I, Perfetti CA. Un método en línea para estudiar el análisis de

música. Cognición. 1993; 46 (3): 203 - 222. doi: 10.1016 / 0010-0277 (93)
90010-s.[ PubMed ]

8. Biederman I. Reconocimiento por componentes: una teoría de la comprensión de

la imagen humana. Revisión psicológica. 1987; 94 : 115-147. [ PubMed ]

9. Bond ZS. Unidades fonológicas en la percepción de la

oración. Phonetica. 1972; 25 (3): 129-139. [ PubMed ]

10. Butcher SH. La poética de Aristóteles. 3ª ed. Macmillian and Co. Ltd .; Londres:
1902.

11. Carroll JM, Bever TG. Segmentación en la percepción del

cine. Ciencia. 1976; 191 (4231): 1053-1055. [ PubMed ]

12. Chomsky N. Aspectos de la teoría de la sintaxis. MIT Press; Cambridge, MA:

1965.

13. Christiansen MH, Conway CM, Onnis L. Correlatos neuronales similares para el
aprendizaje del lenguaje y el aprendizaje secuencial: evidencia de potenciales
cerebrales relacionados con eventos. Lenguaje y procesos
cognitivos. 2011; 27(2): 231-256. doi: 10.1080 /
01690965.2011.606666. [ Artículo gratuito de PMC ] [ PubMed ]

14. Clark A. ¿Qué sigue? Cerebros predictivos, agentes situados y el futuro de la

ciencia cognitiva. Conducta y Ciencias del cerebro. 2013; 36 (03): 181-204. doi:
doi: 10.1017 / S0140525X12000477. [ PubMed ]

15. Clark HH. Usando el lenguaje. Prensa de la Universidad de

Cambridge; Cambridge, Reino Unido: 1996.

16. Cohn N. Explicación "No puedo dibujar": paralelos entre la estructura y el

desarrollo del lenguaje y el dibujo. Desarrollo humano. 2012; 55 (4): 167-
192. doi: 10.1159 / 000341842.
17. Cohn N. El lenguaje visual de los cómics: Introducción a la estructura y
cognición de imágenes secuenciales. Bloomsbury; Londres, Reino Unido:
2013a.

18. Cohn N. Estructura narrativa visual. Ciencia cognitiva. 2013b; 37 (3): 413 -
452. doi: 10.1111 / cogs.12016. [ PubMed ]

19. Cohn N. Eres una buena estructura, Charlie Brown: la distribución de categorías
narrativas en historietas. Ciencia cognitiva. 2014 doi: DOI: 10.1111 /
cogs.12116. [ Artículo gratuito de PMC ] [ PubMed ]

20. Cohn N, Paczynski M. Predicción, eventos y la ventaja de los agentes: el

procesamiento de los roles semánticos en la narrativa visual. Psicología
cognitiva. 2013; 67 (3): 73-
97. doi: http://dx.doi.org/10.1016/j.cogpsych.2013.07.002 . [ Artículo gratuito de
PMC ] [ PubMed ]

21. Cohn N, Paczynski M, Jackendoff R, Holcomb PJ, Kuperberg GR. (Pea) tuercas
y tornillos de la narrativa visual: estructura y significado en la comprensión
secuencial de imágenes. Psicología cognitiva. 2012; 65 (1): 1-38. doi: 10.1016 /
j.cogpsych.2012.01.003. [ Artículo gratuito de PMC ] [ PubMed ]

22. Corballis M. El mono descuidado: Evolución de la mente generativa. Prensa de

la Universidad de Oxford; Oxford: 1991.

23. Coulson S, King J, Kutas M. Espere lo inesperado: respuestas cerebrales

relacionadas con eventos a violaciones morfosintácticas. Lenguaje y procesos
cognitivos. 1998; 13 (71-74): 71.

24. Culicover PW, Jackendoff R. Sintaxis simple. Prensa de la Universidad de

Oxford; Oxford: 2005.

25. Dikker S, Rabagliati H, Agricultor TA, Pylkkänen L. La sensibilidad temprana a

la categoría sintáctica se basa en la tipicidad de la forma. Ciencia
psicológica. 2010; 21 (5): 629-634. doi: 10.1177 /
0956797610367751. [ PubMed ]

26. Donchin E, Coles MGH. ¿El componente P300 es una manifestación de la

actualización del contexto? Conducta y Ciencias del cerebro. 1988; 11 (03): 357-
374. doi: doi: 10.1017 / S0140525X00058027.

27. Ferretti TR, Rohde H, Kehler A, aspecto Crutchley M. Verb, estructura de

eventos y procesamiento correferencial. Diario de la memoria y el
lenguaje. 2009; 61 (2): 191-
205. doi: http://dx.doi.org/10.1016/j.jml.2009.04.001 . [ Artículo gratuito de
PMC ] [ PubMed ]

28. Fodor J, Bever TG. La realidad psicológica de los segmentos

lingüísticos. Revista de Aprendizaje Verbal y Comportamiento
Verbal. 1965; 4 (5): 414-420.
29. Ford M, Holmes VM. Unidades de planificación y sintaxis en la producción de
oraciones. Cognición. 1978; 6 (1): 35-53. doi: 10.1016 / 0010-0277 (78) 90008-
2.

30. Freytag G. Técnica del drama. SC Griggs & Company; Chicago: 1894.

31. Friederici AD. Hacia una base neural del procesado auditivo de
oraciones. Tendencias en Ciencias Cognitivas. 2002; 6 (2): 78-84. [ PubMed ]

32. Friederici AD, Pfeifer E, Hahne A. Potenciales cerebrales relacionados con

eventos durante el procesamiento del habla natural: efectos de violaciones
semánticas, morfológicas y sintácticas. Cognitive Brain Research. 1993; 1 (3):
183-192. doi: http://dx.doi.org/10.1016/0926-6410(93)90026-2 . [ PubMed ]

33. Friston K. Una teoría de las respuestas corticales. Transacciones filosóficas de la

Royal Society B: Ciencias Biológicas. 2005; 360 (1456): 815-836. doi:
10.1098 / rstb.2005.1622. [ Artículo gratuito de PMC ] [ PubMed ]

34. Garrett MF, Bever TG. La segmentación perceptual de las oraciones. En: Bever
TG, Weksel W, editores. La estructura y la psicología del lenguaje. Mouton y Co
.; La Haya: 1974.

35. Gernsbacher MA. Pérdida de información superficial en

comprensión. Psicología cognitiva. 1985; 17 : 324-363. [ Artículo gratuito de
PMC ] [ PubMed ]

36. Gunter TC, Friederici AD, Schriefers H. Esperanza sintáctica de género y

semántica: los ERP revelan una autonomía temprana y una interacción
tardía. Revista de Neurociencia Cognitiva. 2000; 12 : 556-568. [ PubMed ]

37. Hagoort P. Cómo el cerebro resuelve el problema vinculante del lenguaje: un

modelo neurocomputacional de procesamiento
sintáctico. NeuroImage. 2003; 20 : S18-
S29. doi: http://dx.doi.org/10.1016/j.neuroimage.2003.09.013 . [ PubMed ]

38. Hagoort P, Brown CM, Groothusen J. El desplazamiento sintáctico positivo

(SPS) como una medida ERP de procesamiento sintáctico. En: Garnsey SM,
editor. Lenguaje y procesos cognitivos. Número especial: potenciales cerebrales
relacionados con eventos en el estudio del lenguaje. Vol. 8. Lawrence Erlbaum
Associates; Hove: 1993. pp. 439-483.

39. Hagoort P, Wassenaar M, Brown CM. Efectos ERP relacionados con la sintaxis
en holandés. Cognitive Brain Research. 2003; 16 (1): 38-
50. doi:http://dx.doi.org/10.1016/S0926-6410(02)00208-2 . [ PubMed ]

40. Hahne A, Friederici AD. Evidencia electrofisiológica de dos pasos en el análisis

sintáctico: procesos automáticos tempranos y controlados tardíamente. Revista
de Neurociencia Cognitiva. 1999; 11 (2): 194-205. doi: 10.1162 /
089892999563328.[ PubMed ]
41. Hinds J. Aspectos del discurso japonés. Kaitakusha Co., Ltd .; Tokio: 1976.

42. Hoen M, Dominey PF. Análisis ERP de la secuenciación cognitiva: una

negatividad anterior izquierda relacionada con el procesamiento de
transformación estructural. NeuroReport. 2000; 11 (14): 3187-3191. [ PubMed ]

43. Holcomb P, McPherson WB. Los potenciales cerebrales relacionados con

eventos reflejan el cebado semántico en una tarea de decisión de
objetos. Cerebro y Cognición. 1994; 24 : 259-276. [ PubMed ]

44. Jackendoff R. Language, Consciousness, Culture: Ensayos sobre la estructura

mental (Conferencias Jean Nicod) MIT Press; Cambridge, MA: 2007.

45. Jackendoff R. ¿Cuál es la facultad del lenguaje humano ?: Dos puntos de

vista. Idioma. 2011; 87 (3): 586 - 624.

46. Klinke R, Fruhstorfer H, Finkenzeller P. Evocadas respuestas en función de la

información externa y almacenada. Electroencefalografía y Neurofisiología
Clínica. 1968; 25 (2): 119-122. doi: http://dx.doi.org/10.1016/0013-
4694(68)90135-1 . [ PubMed ]

47. Koelsch S, Gunter TC, Wittfoth M, Sammler D. Interacción entre procesamiento

de sintaxis en lenguaje y música: un estudio de ERP. Revista de Neurociencia
Cognitiva. 2005; 17 (10): 1565-1577. [ PubMed ]

48. Koelsch S, Siebel WA. Hacia una base neuronal de la percepción

musical. Tendencias en Ciencias Cognitivas. 2005; 9 (12): 578-584. doi: 10.1016
/ j.tics.2005.10.001. [ PubMed ]

49. Kung SJ, Tzeng O, Hung D, Wu D. Asignación dinámica de atención a acentos

métricos y de agrupamiento en secuencias rítmicas. Investigación cerebral
experimental. 2011; 210 (2): 269 - 282. doi: 10.1007 / s00221-011-2630-2.
[ PubMed ]

50. Kunzle D. La historia de la historieta. Vol. 1. Prensa de la Universidad de

California; Berkeley: 1973.

51. Kuperberg GR. Mecanismos neuronales de la comprensión del lenguaje:

desafíos a la sintaxis. Brain Research. 2007; 1146 : 23-49. [ PubMed ]

52. Kuperberg GR. El entendido proactivo: qué potencial relacionado con el evento
nos dice sobre la dinámica de la comprensión lectora. En: Miller B, Cutting L,
McCardle P, editores. Desentrañar los componentes conductuales,
neurobiológicos y genéticos de la comprensión lectora. Publicación de Paul
Brookes; Baltimore: 2013.

53. Kurby CA, Zacks JM. Segmentación en la percepción y memoria de

eventos. Tendencias en Ciencia Cognitiva. 2008; 12 (2): 72-79. [ Artículo
gratuito de PMC ] [ PubMed ]
54. Kutas M, Federmeier KD. Treinta años y contando: Encontrar significado en el
componente N400 del potencial cerebral relacionado con eventos
(ERP). Revisión anual de psicología. 2011; 62 (1): 621 - 647. [ Artículo gratuito
de PMC ] [ PubMed ]

55. Labov W, Waletzky J. Análisis narrativo: versiones orales de la experiencia

personal. En: Helm J, editor. Ensayos sobre las artes visuales y visuales. Prensa
de la Universidad de Washington; Seattle: 1967. pp. 12-44.

56. Lau E, Stroud C, Plesch S, Phillips C. El papel de la predicción estructural en el

análisis sintáctico rápido. Cerebro y lenguaje 2006; 98 (1): 74-
88. doi:http://dx.doi.org/10.1016/j.bandl.2006.02.003 . [ PubMed ]

57. Lerdahl F, Jackendoff R. Una teoría generativa de la música tonal. MIT

Press; Cambridge, MA: 1982.

58. Magliano JP, Zacks JM. El impacto de la edición de continuidad en la película

narrativa en la segmentación de eventos. Ciencia cognitiva. 2011; 35 (8): 1489-
1517. [ Artículo gratuito de PMC ] [ PubMed ]

59. Mandler JM, Johnson NS. Recuerdo de cosas analizadas: Estructura de la

historia y recuerdo. Psicología cognitiva. 1977; 9 : 111-151.

60. Marr D. Vision. Hombre libre; San Francisco, CA: 1982.

61. McCloud S. Understanding Comics: The Invisible Art. Harper Collins; Nueva
York, NY: 1993.

62. Mudrik L, Lamy D, Deouell LY. Evidencia de ERP para efectos de congruencia
de contexto durante el procesamiento simultáneo de escenas de
objetos. Neuropsychologia. 2010; 48 (2): 507 -
517. doi:http://dx.doi.org/10.1016/j.neuropsychologia.2009.10.011 . [ PubMed ]

63. Münte TF, Matzke M, Johannes S. Actividad cerebral asociada con

incongruencias sintácticas en palabras y psuedo-palabras. Revista de
Neurociencia Cognitiva. 1997; 9 : 318-329. [ PubMed ]

64. Neville HJ, Nicol JL, Barss A, Forster KI, Garrett MF. Clases de procesamiento
de oraciones basadas sintácticamente: Evidencia de potenciales cerebrales
relacionados con eventos. Revista de Neurociencia Cognitiva. 1991; 3 (2): 151-
165. [ PubMed ]

65. Nieuwland MS, Van Berkum JJA. Probando los límites del fenómeno de la
ilusión semántica: los ERP revelan la sordera temporal del cambio semántico en
la comprensión del discurso. Cognitive Brain Research. 2005; 24 (3): 691-
701. doi: 10.1016 / j.cogbrainres.2005.04.003. [ PubMed ]

66. Osterhout L, Holcomb P. Potenciales relacionados con eventos provocados por

anomalía sintáctica. Diario de la memoria y el lenguaje. 1992; 31 : 758-806.
67. Paczynski M, Jackendoff R, Kuperberg G. Cuando los eventos cambian su
naturaleza: los mecanismos neurocognitivos subyacentes a la coerción
aspectual. Revista de Neurociencia Cognitiva. 2014; 26 (9): 1905-1917. doi:
10.1162 / jocn_a_00638. [ Artículo gratuito de PMC ] [ PubMed ]

68. Patel AD. Lenguaje, música, sintaxis y el cerebro. Nature

Neuroscience. 2003; 6(7): 674-681. [ PubMed ]

69. Patel AD, Gibson E, Ratner J, Besson M, Holcomb PJ. Procesamiento de

relaciones sintácticas en lenguaje y música: un estudio de potencial relacionado
con un evento. Revista de Neurociencia Cognitiva. 1998; 10 (6): 717 -
733. [ PubMed ]

70. Rao RPN, Ballard DH. Codificación predictiva en la corteza visual: una
interpretación funcional de algunos efectos de campo receptivo extra-
clásicos. Nature Neuroscience. 1999; 2 (1): 79-87. [ PubMed ]

71. Rumelhart DE. Notas sobre un esquema para historias. En: Bobrow D, Collins
A, editores. Representación y comprensión. Prensa académica; Nueva York, NY:
1975. pp. 211-236.

72. Schank RC, Abelson R. Guiones, Planes, Metas y Comprensión. Lawrence

Earlbaum Associates; Hillsdale, NJ: 1977.

73. Simson R, Vaughan HG, Jr, Walter R. La topografía del cuero cabelludo de los
potenciales asociados con la falta de estímulos visuales o
auditivos. Electroencefalografía y Neurofisiología Clínica. 1976; 40 (1): 33-
42. doi:http://dx.doi.org/10.1016/0013-4694(76)90177-2 . [ PubMed ]

74. Sitnikova T, Holcomb PJ, Kuperberg GR. Mecanismos neurocognitivos de

comprensión humana. En: Shipley TF, Zacks JM, editores. Comprender los
eventos: cómo los humanos ven, representan y actúan en los eventos. Prensa de
la Universidad de Oxford; 2008a. pp. 639-683.

75. Sitnikova T, Holcomb PJ, Kuperberg GR. Dos mecanismos neurocognitivos de

integración semántica durante la comprensión de eventos visuales del mundo
real. Revista de Neurociencia Cognitiva. 2008b; 20 (11): 1-21. [ Artículo
gratuito de PMC ] [ PubMed ]

76. Sitnikova T, Kuperberg GR, Holcomb P. Integración semántica en videos de

eventos del mundo real: una investigación
electrofisiológica. Psicofisiología. 2003; 40 (1): 160-164. [ PubMed ]

77. Todorovic A, Van Ede F, Maris E, de Lange FP. La expectativa previa media la
adaptación neuronal a sonidos repetidos en la corteza auditiva: un estudio de
MEG. The Journal of Neuroscience. 2011; 31 (25): 9118 - 9123. doi: 10.1523 /
jneurosci.1425-11.2011. [ PubMed ]

78. Van Berkum JJA, Koornneef AW, Otten M, Nieuwland MS. Establecer
referencia en la comprensión del lenguaje: una perspectiva
 electrofisiológica. Brain Research. 2007; 1146 (0): 158-
171. doi:http://dx.doi.org/10.1016/j.brainres.2006.06.091 . [ PubMed ]

79. Võ ML-H, Wolfe JM. Firmas electrofisiológicas diferenciales de procesamiento

semántico y sintáctico de escenas. Ciencia psicológica. 2013 doi: 10.1177 /
0956797613476955. [ Artículo gratuito de PMC ] [ PubMed ]

80. Wacongne C, Labyt E, van Wassenhove V, Bekinschtein T, Naccache L,

Dehaene S. Evidencia de una jerarquía de predicciones y errores de predicción
en la corteza humana. Procedimientos de la Academia Nacional de
Ciencias. 2011; 108 (51): 20754 - 20759. doi: 10.1073 /
pnas.1117807108. [ Artículo gratuito de PMC ] [ PubMed ]

81. West WC, Holcomb P. Potenciales relacionados con eventos durante la

integración semántica a nivel de discurso de imágenes complejas. Cognitive
Brain Research. 2002; 13 : 363-375. [ PubMed ]

82. Willats J. Haciendo sentido de los dibujos de los niños. Lawrence

Erlbaum; Mahwah, NJ: 2005.

83. Wittenberg E, Paczynski M, Wiese H, Jackendoff R, Kuperberg G. La diferencia

entre "dar una rosa" y "dar un beso": actividad neuronal sostenida para la
construcción del verbo de la luz. Diario de la memoria y el
lenguaje. 2014; 73 (0): 31-
42. doi: http://dx.doi.org/10.1016/j.jml.2014.02.002 . [ Artículo gratuito de
PMC ] [ PubMed ]

84. Wlotko EW, Federmeier KD. ¡Así que eso es lo que querías decir! Los
potenciales relacionados con eventos revelan múltiples aspectos del uso del
contexto durante la construcción del significado a nivel de
mensaje. NeuroImage. 2012; 62 (1): 356 -
366. doi: http://dx.doi.org/10.1016/j.neuroimage.2012.04.054 . [ Artículo
gratuito de PMC ] [ PubMed ]

85. Yu AJ, Dayan P. Incertidumbre, Neuromodulación y

Atención. Neurona. 2005; 46(4): 681-692. doi: 10.1016 /
j.neuron.2005.04.026. [ PubMed ]

86. Zacks JM, Braver TS, Sheridan MA, Donaldson DI, Snyder AZ, Ollinger JM,
Raichle ME. La actividad del cerebro humano está bloqueada por el tiempo a los
límites del evento perceptivo. Nature Neuroscience. 2001; 4 (6): 651-
655. [ PubMed ]

87. Zacks JM, Kurby CA, Eisenberg ML, Haroutunian N. Error de predicción
asociado con la segmentación perceptual de eventos naturalistas. Revista de
Neurociencia Cognitiva. 2011; 23 (12): 4057 - 4066. doi: 10.1162 /
jocn_a_00078.[ PubMed ]
88. Zacks JM, Speer NK, Reynolds JR. Segmentación en lectura y comprensión de
películas. Revista de Psicología Experimental: General. 2009; 138 (2): 307 -
327. [ PubMed ]

89. Zacks JM, Tversky B, Iyer G. Percibir, recordar y comunicar la estructura en los
eventos. Revista de Psicología Experimental. 2001; 130 (1): 29-58. [ PubMed ]