Evaluacin de la Traduccin Automtica

Melisa Cuevas Mster TECNOLOC, 2010

El fenmeno lingstico que hemos escogido para es la elipsis. Una oracin elptica es aquella en la que se encuentra ausente un elemento que sin embargo, es recuperable o inferible gracias al contexto. La elipsis es un fenmeno complejo ligado a la economa del lenguaje, y de tanta frecuencia tanto en el lenguaje oral como en el escrito, que en ocasiones puede pasarse por alto. Como veremos a continuacin, los mecanismos lingsticos de la elipsis en ingls y en espaol no son los mismos, y esto dificulta el trabajo de los traductores automticos. A continuacin, realizaremos una prueba de traduccin automtica con quince oraciones que contienen ejemplos caractersticos de elipsis en ingls y comentaremos los resultados obtenidos por los siguientes traductores automticos: Systran, el Servicio de traduccin automtica del Instituto Cervantes, el Traductor de Google, SDL, PROMPT Translator y el software Word Magic Translator Professional Plus. Todos ellos son sistemas de traduccin multilinges y bidireccionales. Systran, PROMPT y el Traductor Gratuito de SDL utilizan un mtodo de transferencia (basado en un sistema anlisis sintctico y semntico), mientras que Google Translator es un sistema hbrido que utiliza tanto mtodos estadsticos como un conocimiento lingstico. El traductor del Instituto Cervantes tambin est basado en una tecnologa hbrida. Word Magic Translator Professional Plus es un software comercial que dispone de un mdulo de traduccin automtica, el cual, segn sus propios creadores, funciona con inteligencia artificial y anlisis gramatical sensible al contexto El programa produce una traduccin utilizando unas diez mil reglas de sintaxis y ms de un milln de marcas significativas insertas en la base de datos. Podramos afirmar que estas marcas significativas lo aproximan ms al concepto de un traductor automtico basado en mtodos lingsticos combinados con mtodos estadsticos, es decir, a un sistema hbrido. Para la evaluacin de las traducciones, hemos seguido una evaluacin de tipo humana desde el punto de vista de un usuario que accediera a estos servicios de traduccin automtica a la hora de comprender oraciones o textos escritos en una lengua extranjera que desconoce. Para ello, hemos seguido los criterios de fidelidad al significado original, inteligibidad y en ltima instancia, de estilo. Con el fin de facilitar la aplicacin de estos criterios, incluimos una traduccin de referencia que es la que consideramos ms cercana al significado original, y que nos permitir determinar la calidad de las traducciones ofrecidas por los distintos traductores automticos en funcin de su mayor o menor cercana a ella.

Original

Systran

Instituto s

Cervante Juan sabe jugar algo, s lo que. pero no

Google

SDL

PROMPT

WordM agic

Trad. de a

referenci Juan sabe tocar algo, pero no

Evaluacin

John can play something, but I dont know what.

Juan sabe jugar algo, pero no

John puede tocar algo, pero yo no s qu.

John puede jugar algo, pero yo no qu. saben

John puede jugar algo,

Juan puede jugar algo, pero qu. no s

El principal problema de esta oracin es su ambigedad, ya que to play puede significar en castellano tanto tocar (un instrumento) como jugar. Sin embargo, un traductor humano, por su conocimiento del mundo, sabra que en este interpretado correctamente, mientras que el resto han cometido el mismo error de anlisis al no interpretar adecuadamente la informacin contextual del verbo can (en este caso, saber). Por otro lado, ninguno ha resuelto incluir el qu. adecuadamente la reconstruccin de la elipsis, que debera En funcin del criterio de fidelidad al significado original,

s lo que.

pero no s que.

se el qu.

contexto to play hace referencia a tocar. Slo Google lo ha

elegiramos la de Google por ser la que ms prxima a sta. Original 2 What if I miss the deadline? Systran Qu si falto el plazo? Instituto Cervantes Qu si falto el plazo? Qu pasa si pierdo el plazo? Qu si pierdo la fecha tope? Y si yo pierda la fecha lmite? Qu ocurre si la fecha? incumplo Google SDL PROMPT WordMagic Trad. de referencia Qu ocurre si el plazo? incumplo Slo Google y Word Magic han interpretado correctamente la elipsis del verbo to happen en What if.... Se trata de un error de anlisis, ya que se han limitado a traducir esta construccin palabra por palabra. Lo mismo ocurre con to miss, un verbo con muchas acepciones y para el que todos (salvo Word Magic) han Se trata de un error de generacin debido a la falta de informacin contextual que permita a los traductores saber que incumplir un plazo es una colocacin. De las seis traducciones, elegiramos la de Word Magic, ya que es la ms correcta tanto desde un punto de vista de fidelidad como de inteligibilidad. Evaluacin

elegido la ms general (perder, faltar) como equivalente.

Original 3 I have

Systran He ido a

Instituto He ido a

Cervantes practicar, y as que tengo Lucy.

Google He ido a la prctica, y as ha Lucy.

SDL He ido a

PROMPT He ido para practicar, y Lucy tambin.

WordMagic He ido para practicar, y as tambin tengo a Lucy.

Trad. de He ido a Lucy

referencia practicar, y tambin.

Evaluacin Slo el traductor Prompt ha resuelto bien el problema que plantea esta elipsis, mientras que el resto han realizado una traduccin palabra por palabra. En caso de

gone to practice, and so has Lucy.

practicar, y as que tengo Lucy.

practicar, y as que tiene Lucy.

Systran, Cervantes y Word Magic, han interpretado mal la sintaxis al determinar que el sujeto de has es I, lo que les lleva a conjugar el verbo en primera persona. Ambos errores son errores de anlisis que se traducen en oraciones agramaticales. Sin duda, la traduccin natural desde un punto de vista de estilo. propuesta por Promt es la ms fiel, as como la ms

Original 4 Brian the

Systran Brian no har los platos, as que tuve que.

Instituto Brian no har los

Cervantes

Google Brian no

SDL Brian no fregar los platos, as que tendr que a.

PROMPT Brian no fregar los platos, entonces tendr a.

WordMagic Brian no

Trad. de Brian no

referencia lavar los platos,as que que tendr hacerlo yo.

Evaluacin En este caso, slo Google ha detectado correctamente la de transferencia y generacin que comete con el verbo

wont do dishes, so Ill have to.

lavar los platos, as que que tendr hacerlo.

lavar los platos, as es que tendr que.

elipsis del verbo. Sin embargo, es incomprensible el error lavar en infinitivo. Systran y Cervantes no reconocen la colocacin to do the dishes y lo traducen por hacer los platos, debido probablemente a una falta de informacin contextual. Por otro lado, tienen dificultades para reconocer las formas verbales de futuro contradas seis traducciones propuestas, elegiramos la de Google ya que es la nica que mantiene todos los elementos necesarios en una oracin inteligible. (I'll), que traducen por el pretrito perfecto simple. De las

platos, as que tuve que.

Original 5 Tom locks himself in the

Systran Tom se

Instituto Tom se

Cervantes cierra en el cuarto de bao cuando malas

Google Tom se en el

SDL Tom se

PROMPT Tom se

WordMagic Tom se

Trad. de Tom se

referencia encierra en el bao cuando llega una pero Bill hara. mala noticia, nunca lo

Evaluacin Solo Google y Word Magic han resuelto de una

cierra en el cuarto de bao cuando malas

encierra bao cuando mala llega una noticia, pero Bill hara. nunca lo

cierra en el cuarto de bao cuando malas noticias llegan, nunca pero Bill hara as.

cierra con llave en el cuarto de bao

encierra a s mismo en el cuarto de bao

forma aceptable la elipsis, el resto han traducido palabra por palabra debido a un error de anlisis y apropiado para to lock himself (error de adems, tampoco han escogido el equivalente ms generacin). La eleccin de la mejor traduccin entre las propuestas por Google y Word Magic, se basara, en este caso, en el nivel de oralidad de la oracin que deseamos conservar en la lengua de destino, que es mayor en la traduccin sugerida por Word Magic.

bathroom when bad news arrives, but Bill would never do so.

llegan las noticias, pero Bill nunca hara tan.

llegan las noticias, pero Bill nunca hara tan.

cuando las noticias malas llegan, nunca

cuando las malas noticias llegan, pero Bill nunca hara eso.

pero Bill hara as. PROMPT Sent esta mano al dorso de mi cuello, y era Jane.

Original 6 I felt this hand on the back of my neck, Janes. and it was

Systran Senta esta mano en la parte r de mi posterio cuello, y era Jane.

Instituto Cervantes Senta esta mano en la parte de mi posterior cuello, y

Google Me senta esa mano en la parte

SDL Senta esta mano en la nuca, y fui Jane.

WordMagic Sent que as de da en la parte trasera de fue de Jane. mi cuello, y

Trad. de referencia Sent aquella mano en el dorso de mi la de Jane. cuello, y era

Evaluacin El problema de esta oracin es la elipsis del sustantivo hand, ya que cuando introducimos nuevamente esta frase aadiendo este elemento, todos los traductores reconocen el valor de poseedor del genitivo sajn (Jane's). Al faltar este elemento, todos los traductores, salvo Google y Word Magic, omiten ese valor. Se trata de siendo evidentes los problemas con los tiempos imperfecto y perfecto simple. Aunque todas las nuevo de un error de anlisis. Por otro lado, siguen verbales, en este caso en cuanto al uso del pretrito traducciones son inteligibles, elegiramos la de Google debido a que conserva el valor de posesin, aunque resulta incomprensible el uso de me senta en lugar de senta, error de generacin que puede deberse a una mala seleccin de la informacin contextual.

posterior de mi cuello, y era de Jane.

era Jane.

Original 7 Bill defended himself against the better than his lawyer did.

Systran Bill se defendi contra las

Instituto Cervantes Bill se defendi contra las acusacion es mejor que lo hizo su abogado.

Google Bill se defendi de las acusacion es mejor que su

SDL La cuenta se defendi contra las es mejor que su hizo. abogado acusacion

PROMPT Bill se defendi contra las acusacion es mejor que su

WordMagic Bill se defendi en contra de las

Trad. de referencia Bill se defendi contra las acusaciones mejor de lo que lo hizo su abogado.

Evaluacin En este caso, todos los traductores detectan que tanto el verbo to defend como sus complementos se encuentran elididos y han resuelto la elipsis de una forma aceptable desde un punto de vista gramatical y siguiendo un criterio de inteligibilidad y fidelidad, aunque la traduccin que resulta ms natural desde un punto de vista de estilo es la de Prompt. El espaol en este caso permite elidir ms elementos que el ingls, aunque si quisiramos estructura de lo que lo hizo su abogado.

accusations

acusacio nes mejor que lo hizo su abogado .

acusaciones mejor que lo que su abogado hizo.

abogado lo hizo.

abogado.

mantener el verbo, sera ms correcto utilizar la

Original 8 Wise men

Systran Los

Instituto Los

Cervantes hombres sabios hablan porque tienen decir; algo que tontos,

Google Los

SDL Los

PROMPT Los sabios hablan porque

WordMagic Los sabios hablan porque

Trad. de Los

referencia hombres sabios hablan porque tienen algo que decir, porque los tontos, tienen que decir algo.

Evaluacin No resulta fcil decir si el hecho de que Google, SDL y Prompt hayan incluido el artculo en reconocido que el sustantivo men se espaol en los tontos corresponde a que han encuentra elidido, o si se trata de una regla

talk because they have something to say; fools, have to say because they something.

hombres sabios hablan porque tienen decir; algo que tontos, tienen algo.

hombres sabios hablan porque tienen algo que decir, porque los tontos, tienen que decir algo.

hombres sabios hablan porque ellos tienen algo decir; porque los tontos, ellos tienen que decir algo.

ellos tienen algo para decir; los tontos, porque ellos tienen que decir algo.

tienen algo que decir; Tontos, porque

sintctica del programa que automticamente aade los artculos al traducir al espaol. En cualquier caso, s que es evidente que el resto de programas han cometido un error de anlisis al no relacionar la oracin elptica con el sujeto de la oracin. La traduccin de Google es idntica a nuestra traduccin de referencia, y por tanto, la ms correcta siguiendo el criterio de fidelidad.

tienen que decir algo.

porque que decir

porque tienen que decir algo

Original 9 Prosperity is a great teacher; greater.

Systran La

Instituto La

Cervantes prosperidad es gran profesor; adversidad un mayor.

Google La

SDL La

PROMPT La

WordMagic La

Trad. de La

referencia prosperidad es una gran maestra; la una an mayor. adversidad,

Evaluacin La mayora de los programas han

prosperidad es gran profesor; adversidad un mayor.

prosperidad es un gran mayor maestro, un adversidad.

prosperidad es un gran maestro; un ms adversidad grande.

prosperidad es un grande profesor; adversidad un mayor.

prosperidad es una gran maestra; La adversidad uno ms gran.

cometido un error de anlisis debido a la elisin del sustantivo teacher. Google y con unos resultados donde la gramtica Word Magic han realizado un intento, pero sigue siendo incorrecta. En el caso de Word Magic, analiza correctamente la oracin y generacin al traducir greater por ms detecta la elipsis, pero comete un error de gran en lugar de por mayor. De todas las traducciones, elegiramos la de Word Magic por ser la ms cercana a nuestra traduccin de referencia y ser la nica que concuerda en femenino el sustantivo maestra.

adversity a

Original 10 The

Systran Colgaron al cabecilla, y n a sus encarcelaro cmplices.

Instituto

Cervantes Colgaron al cabecilla, y n a sus encarcelaro cmplices.

Google El cabecilla y sus

SDL El cabecilla y sus

PROMPT El cabecilla fue ahorcado, y sus cmplices .

WordMagic El cabecilla fue colgado, y sus cmplices

Trad. de

referencia Colgaron al cabecilla, y encarcelar on a sus

Evaluacin Desde un punto de vista de correccin gramatical, tanto Google como Word Magic incurren en un ejemplo de solecismo (que, por otra parte, ya estaba presente en la oracin original), ya que el tiempo verbal fue en encarcelados. El traductor del singular no concuerda con el plural de Insituto Cervantes y Systran son los nicos que ofrecen una solucin a una voz que resulta mucho ms esto, transformando la frase en activa, natural en castellano. SDL y Prompt

ringleader was hanged, and his accomplices imprisoned.

fue ahorcado, cmplices encarcelados.

fue colgado, cmplices encarcelaron.

encarcelaron

arrestados.

cmplices.

interpretan imprisoned como un

verbo en voz activa (error de anlisis) con his accomplices como sujeto. La mejor traduccin es, por tanto, la de Systran y el traductor del Instituto Cervantes.

Original 11 Some

Systran Alguna a los

Instituto Alguna los

Cervantes gente va a sacerdotes ; otros a la poesa; I a mis amigos.

Google Algunas

SDL Algunas van a

PROMPT Algunas van a

WordMagic Algunas

Trad. de Algunas

referencia personas acuden a los sacerdotes; otras, a la

Evaluacin El verbo go es demasiado general para que ninguno de los traductores pueda elegir la opcin que sera ms adecuada en cuanto a artculos y la conjuncin y podramos aventurar que Google es el nico que realmente ha detectado la elipsis del verbo to

people go to priests; others to poetry; I to

gente va sacerdote s; otros a I a mis la poesa; amigos.

personas van a los sacerdotes, otros a la poesa, y yo a mis amigos.

personas sacerdotes; otros a la a mis poesa; yo amigos.

personas sacerdotes; otros a poesa; yo a mis amigos.

personas van a los sacerdotes; Los otros para la poesa; Yo para mis amigos.

estilo: acudir. Por la forma de anteponer los

my friends.

poesa; yo, a mis amigos.

go en I, to my friends, mientras que los otros se han limitado a traducir palabra por palabra, con unos resultados muy variables.

Original 12 John voted for Sue because she told him to.

Systran Juan vot por Sue porque ella le dijo a.

Instituto Cervantes Juan vot por Sue porque a. ella le dijo

Google John votado a favor de Sue

SDL John vot para Sue porque ella lo dijo a.

PROMPT John vot por Demandan porque ella le dijo a.

WordMagi c Juan vot por Sue porque para. ella le dijo

Trad. de referencia John vot por Sue porque ella le dijo que lo hiciera.

Evaluacin El problema de esta oracin es la elipsis del verbo to vote y sus complementos. Ninguno ha detectado la elipsis y debido a este error de palabra ms, y no como una oracin anlisis traducen la preposicin to como una subordinada, produciendo oraciones

porque ella le dijo que.

prcticamente ininteligibles. Por tanto, niguna de ellas sera vlida desde un punto de vista de fidelidad e inteligibilidad.

Original 13 True

Systran Las

Instituto Las

Cervantes historias verdaderas se ocupan las del hambre, imaginarias con amor.

Google True

SDL Las

PROMPT True

WordMagic Las

Trad. de

referencia Las historias verdaderas tratan sobre el hambre, las imaginarias,

Evaluacin Lo primero que llama la atencin es que tanto google como Prompt han interpretado el sintagma true stories como un nombre propio, dejndolo sin traducir y con maysculas. En el hallado ninguna referencia similar entre sus ejemplos disponibles en su corpora. caso de Google, esto puede deberse a que no ha

stories deal with hunger, y ones imaginar with love.

historias verdaderas se ocupan del las hambre, imaginarias con amor.

Stories hacer frente al hambre, los imagina

historias verdaderas tratan con los el hambre, imaginario s con el amor.

Stories hacer frente al hambre, los imaginar ios con el amor.

historias verdaderas se ocupan de hambre, imaginario s con amor.

sobre el amor.

rios con el amor.

Systran y el traductor del Instituto Cervantes han detectado la elipsis y son los nicos en determinar que el sintagma imaginary ones est relacionado con stories, ya que han elegido el gnero femenino en la traduccin. Sin embargo, cometen un error de generacin en el empleo de la preposicin con en lugar de repetir la preposicin de, que es la que rige el verbo

ocuparse de. Por ello, podramos deducir que, de los dos elementos elididos, nicamente han detectado el primero. De las seis traducciones, elegiramos la propuesta por Systran y el

traductor del Instituto Cervantes, a pesar de que no resultan totalmente inteligibles debido a la mala eleccin de la preposicin.

Original

Systran

Instituto

Cervantes

Google

SDL

PROMPT

WordMagic

Trad. de

referencia

Evaluacin

14

Most of

them were socialists they all were. and perhaps

La mayor parte de eran

La mayor parte fue y quizs todos fueron. socialistas

La mayora de ellos eran

La mayor parte fue sy socialista quizs todos fueron.

La mayor parte de ellos eran y quizs eran.

La mayor parte de ellos fueron socialistas y quiz fueron. todos ellos

La mayor parte de ellos eran y tal vez todos lo fueran.

El problema de esta oracin es el sustantivo

elidido socialists. Ninguno de los traductores ha resuelto satisfactoriamete esta traduccin, ya que ninguno de ellos incluye el pronombre lo como elemento que reemplaza a la elipsis. La eleccin de tiempos oscila entre el pretrito imperfecto y el perfecto simple, sin embargo, por una razn ms cercana a cuestiones de preferiramos el uso del subjuntivo. estilo, en una oracin construida con tal vez Se trata de errores de anlisis debidos a la

socialistas y quizs todos estaban.

socialistas y tal vez todos ellos eran.

socialistas todos ellos

socialistas,

ausencia del elemento elidido, la cual, por otro lado, puede ser tambin la causa de que Systran se equivoque al elegir entre los verbos ser y estar en castellano. Podramos elegir, basndonos en un criterio de mayor propuestas por Google y Prompt. Original 15 The policeman who arrested read him his did the one Bill. John failed to rights, and so who arrested Systran El polica que arrest a Juan no leerlo las sus podido para Instituto Cervantes El polica que arrest a Juan no podido para derechas, y El polica que detuvo a Juan no le leyeron sus derechos, el que al igual que arrestaron El polica que detuvo a John fall de leerlo sus El polica que detuvo a John dej de leerle sus El polica que arrest a Juan fracas en leerle sus y as derechos, Google SDL PROMPT WordMagic Trad. de referencia El polica que detuvo a John no le ley sus como derechos, tampoco Los problemas de esta oracin son, en primer lugar, la ausencia del elemento policeman y su sustitucin por the one who, la presencia de una anfora him que hace referencia al objeto indirecto Todos los traductores, salvo Prompt y Word Magic, han cometido errores de John y la presencia del verbo to fail to. Evaluacin inteligibilidad, la mejor traduccin entre las

leerlo las sus as que hizo a la persona

derechas, y as que hizo

derechos, y as que

derechos, y tan hizo

a la persona que arrest a Bill.

que arrest a Bill.

a Bill.

hizo el que Bill. detuvo a

el que quin Bill. detuvo a

tambin el que Bill arrestado.

lo hizo el que Bill. detuvo a

anlisis al resolver esta traduccin. Sin embargo, el problema de las anforas tampoco se solventa cuando introducimos de nuevo la oracin sustituyendo failed to por didn't, ya que siguen the policeman.

interpretando que el referente de himes Esta confusin produce oraciones totalmente agramaticales e ininteligibles. Para poder obtener una traduccin aceptable, deberamos realizar una

posedicin que combinara los elementos que las distintas traducciones propuestas hayan resuelto correctamente.

Conclusiones En nuestra prueba con los distintas herramientas de traduccin automtica hemos obtenido unos resultados muy variables, lo que dificulta el poder establecer una conclusin clara acerca de la calidad ofrecida por los distintos tipos de sistemas. Sin embargo, podramos afirmar que, debido a la complejidad de el fenmeno lingstico de la elipsis, donde el contexto es primordial para inferir el elemento elidido, resulta en cierto modo lgico que los sistemas estadsticos o aquellos que dispongan de algn tipo de sistema de reglas sensible al contexto funcionen generalmente mejor. Debido a los problemas observados, fundamentalmente en cuanto a la resolucin de las construcciones elpticas, las anforas y el empleo de los tiempos verbales, podramos concluir que es necesario mejorar la manera en que los traductores automticos se enfrentan a este tipo de fenmenos. Sin embargo, no podemos desdear el avance de la importancia de la traduccin automtica, tanto si va dirigida al pblico en general, permitindole un acceso a una primera comprensin del texto, como a los investigadores, y por ltimo a los profesionales de la traduccin, que pueden encontrar en ella una herramienta que les permita agilizar su trabajo. Para estos ltimos, tanto la preedicin de los textos, con el fin de suprimir la posible ambigedad, como la posedicin de las traducciones obtenidas se hace imprescindible, y es el profesional quien deber valorar el tiempo y coste necesarios.

10