Pgina 1

RC25489 (WAT1409-048) 17 de septiembre 2014

Ciencias De La Computacin
IBM Research Report
WatsonPaths: basada en escenarios de Respuestas y
Inferencia sobre Informaciones no estructurados
Adam Lally, sugato Bachi, Michael A. Barborak, David W. Buchanan,
Jennifer Chu-Carroll, David A. Ferrucci *, Michael R. Glass,
Aditya Kalyanpur, Erik T. Mueller, J. William Murdock,
Siddharth Patwardhan, John M. Prager, Christopher A. Welty
Divisin de Investigacin de IBM
Thomas J. Watson Research Center
PO Box 218
Yorktown Heights, NY 10598
* Este trabajo fue hecho mientras que al J. Watson Research Center de IBM
Thomas
Divisin de Investigacin
Almaden - Austin - Pekn - Cambridge - Dubln - Haifa - India Melbourne - TJ Watson - Tokio - Zrich
Page 2

WatsonPaths: basada en escenarios de Respuestas y

Inferencia sobre Informaciones no estructurados
Adam Lally
1
, Sugato Bagchi
1
, Michael A. Barborak
1
, David W. Buchanan
1
,
Jennifer Chu-Carroll
1
, David A. Ferrucci
2
, Michael R. Glass
1
, Aditya Kalyanpur
1
,
Erik T. Mueller
1
, J. William Murdock
1

, Siddharth Patwardhan
1
, John M. Prager
1
Christopher A. Welty
1
1
IBM Research e IBM Watson Grupo
Thomas J. Watson Research Center
PO Box 218
Yorktown Heights, NY 10598
2
Este trabajo fue hecho mientras que al J. Watson Research Center de IBM
Thomas
Abstracto
Presentamos WatsonPaths
TM
, Un novedoso sistema que
puede responder preguntas basadas en escenarios, por ejempreguntas mdicos amplios, que presentan un paciente
Resumen y pregunte por el tico ms probable
sis o el tratamiento ms adecuado. WatsonPaths
se basa en el IBM Watson
TM
pregunta respuestasistema ing que toma preguntas en lenguaje natural
como entrada y produce respuestas precisas a lo largo
con confidencias precisos como salida. WatsonCaminos rompe el escenario de entrada en inpiezas indivi- de informacin, pregunta o subfondos
preguntas de Watson a la conclusin de nueva informacin
cin, y representa estos resultados en un grficamente
modelo de cal. Inferencia Probabilstico se realiza
sobre el grfico para concluir la respuesta. En un conjunto
de preguntas de preparacin de exmenes mdicos, WatsonRutas muestra una mejora significativa en la exacta
democracia sobre la base del sistema de control de calidad Watson. Nosotros
tambin
describen cmo WatsonPaths se pueden utilizar en una colaboracin
aplicacin cola- para ayudar a los usuarios de razonar sobre
escenarios complejos.
1. Introduccin
IBM Watson
TM
es un sistema de contestador pregunta que toma

preguntas en lenguaje natural como entrada y produce precisa

respuestas junto con confidencias precisos como salida (Fernandes
Rucci et al., 2010). Watson derrot a dos de los mejores humano
Jugadores hombre en el concurso de televisin Jeopardy! en 2011.
Watson ha sido descrita (Kelly y Hamm, 2013)
como una apertura a la era de la computacin cognitiva: comcomputadoras que interactan de forma natural con los seres humanos, ayudar
cognicin humana, y aprender y mejorar de interaccin
cin. Para cumplir con esta visin, se requieren nuevos avances.
Uno de tales avance es la capacidad de respuesta ms compleja
preguntas. Otra es la de permitir al usuario entender y
participar en el proceso de preguntas de respuesta.
Considere las siguientes preguntas, uno de medicina
y uno de los impuestos:
Una mujer de 32 aos con diabetes tipo 1
mellitus ha tenido insuficiencia renal progresiva. De Ella
la concentracin de hemoglobina es de 9 g / dl. A sangre
frotis muestra clulas normocrmica normoctica.
Cul es el problema?
Hered de bienes races de un pariente que muri
Hace 5 aos a travs de un fideicomiso que se cre antes
su muerte. La propiedad fue vendida este ao despus
disolucin de la confianza, y el dinero fue puesto
en una cuenta Roth IRA. Qu forma (s) de impuestos necesito
presentar?
Le preguntamos a los expertos de dominio para describir su enfoque de la
resolver tales cuestiones. Un ejemplo de la ex mdica
Expertos se muestra en la Figura 1. Muchos dibuj un grfico de la inicial
signos y sntomas que lleva a su ms probable es posible
causas y conectarlos a una conclusin final. Nos NOticed que su proceso de razonamiento a menudo pareca probainferencia bilistic.
En el ncleo de la pregunta de respuesta de Watson es una suite
de algoritmos que coincida con pasajes que contienen candidato
respuestas a la pregunta original. Estos algoritmos tienen
han descrito en una serie de artculos (Chu-Carroll et al.,
2012; Ferrucci, 2012; Gondek et al, 2012.; Lally et al.,
2012; McCord et al, 2012.; Murdock et al, 2012a.; Muratracar et al., 2012b). Pero, cuando las preguntas implican complejo
Page 3

El paciente tiene insuficiencia renal

Conc hemoglobina del paciente.
Is 9 g / dl [bajo]
Muestra de frotis de sangre del paciente

normoctica cel s
El paciente tiene anemia
Evidencia: "Low
conc hemoglobina.
indica anemia ".
Evidencia: "La eritropoyetina es
producida en los riones ".
"Una mujer de 32 aos con diabetes tipo 1 mel itus ha tenido insuficiencia
renal progresiva ...
Su concentracin de hemoglobina es de 9 g / dl ... Un frotis de sangre muestra
normocrmica,
s cel normoctica. Cul es el problema?
La causa ms probable de la baja conc hemoglobina.
es la deficiencia de eritropoyetina
El paciente tiene anemia normoctica
Evidencia: "anemia normoctica es
un tipo de anemia con normalidad
rojo sangre cel s ".
Evidencia:
"La eritropoyetina
deficiencia es una causa de
anemia normoctica ".
El paciente est en riesgo de
Deficiencia de eritropoyetina
Figura 1: Simple Diagnstico Grfico para un paciente con eritropoietin Deficiencia
escenarios, como en los ejemplos anteriores, a juego pasaje
por s mismo es a menudo insuficiente para localizar la respuesta. De Esta
es porque basado en escenarios pregunta contestador requiere
integracin y el razonamiento sobre la informacin de mltiples
ples fuentes. Adems, a menudo debemos aplicar en general
conocimientos a un caso concreto, como en un escenario mdico
sobre un paciente.
En este trabajo, presentamos un nuevo enfoque que se basa en
Fortalezas y de Watson est en lnea con el razonamiento humano
proceso ing observamos. Rompemos la entrada escenario en piezas individuales de informacin, pregunte relevante
preguntas secundarias concluyen nueva informacin, y se combinan
estos resultados en un grfico de la afirmacin. A continuacin, realizar
inferencia probabilstica sobre el grfico para concluir la anSwer a la pregunta general. Este proceso se repite para
ampliar el grfico hasta que se cumpla una condicin de parada. Becausa utilizamos Watson para responder a las preguntas secundarias, y por
debajo
causa que intentamos construir caminos de la inferencia a una final

respuesta, llamamos a nuestros WatsonPaths sistema

TM
.
En el grfico WatsonPaths, la evidencia se extrae de
una variedad de fuentes, incluyendo el conocimiento general clopedia
enciclopedias, libros de dominio especfico, el conocimiento estructurado
bases y bases de conocimiento semiestructuradas. ramos
motivado por el deseo de disear una solucin que pudiera
aprovechar Watson, y se observ que cada borde en este
grfico podra corresponder a una pregunta de Watson.
Una dimensin adicional a WatsonPaths es la capacidad de
interactuar con el usuario. El sistema original que Watson
Jeopardy ganado! fue en gran parte no interactiva. Para muchos AP
complicaciones, es importante para enganchar el usuario en la probabilidad
lem proceso de resolucin. WatsonPaths tiene la capacidad de provocar
entrada del usuario en mltiples puntos de la pregunta de respuesta y
toma de decisiones para aclarar cuestiones, para juzgar la evidencia,
y para hacer nuevas preguntas. Una ventaja clave de este AP
enfoque es que la retroalimentacin del usuario se puede utilizar como datos
de entrenamiento
para mejorar tanto Watson y WatsonPaths.
2 Mdico de Casos de Uso WatsonPaths
Pese A
WatsonPaths
permite
propsito general
basado en escenarios pregunta de respuesta, decidimos
empezar por centrar nuestra atencin en el mbito mdico.
Nos hemos centrado en el problema de anlisis de escenarios paciente,
donde el objetivo es tpicamente un diagnstico o un tratamiento
recomendacin.
Para explorar este tipo de resolucin de problemas, obtuvimos
un conjunto de preguntas de preparacin de exmenes mdicos. Son estas
mltiples preguntas mdicas eleccin basada en una no estructurada
rado o semi-estructurada descripcin en lenguaje natural de
un paciente. Aunque WatsonPaths no se limita a ples
preguntas de opcin tiple, vimos preguntas de opcin mltiple
como un buen punto de partida para el desarrollo. Muchos de estos
preguntas implican el diagnstico, ya sea como toda la cuestin,
como en el ejemplo anterior mdica, o como un compuesto intermedio
paso, como en el siguiente ejemplo:
Un paciente de 63 aos de edad se enva al neurlogo
con un cuadro clnico de temblor de reposo que sergan hace 2 aos. Al principio era slo de la izquierda
mano, pero ahora se pone en peligro todo el brazo.

Al examen fsico, el paciente tiene una unexpressive cara y dificultad para caminar, y una conel movimiento continuo de la punta de la primera dgitos
sobre la punta del segundo dgito de la mano izquierda
se ve en reposo. Qu parte de su sistema nervioso
es ms probable afectados?
Para esta cuestin, es til para diagnosticar que el paciente
tiene la enfermedad de Parkinson antes de determinar qu parte de
su sistema nervioso est muy probablemente afectada. Estas mltiples
inferencias paso son un paso natural para los grficos que WatsonPaths construye. En este ejemplo, el diagnstico es la
eslabn perdido en el camino a la respuesta final.
3 basada en escenarios de Respuestas
En basado en escenarios pregunta de respuesta, el sistema recibe una descripcin escenario que termina con una frase de remate
cuestin. Por ejemplo, la pregunta en el remate
Ejemplo de Parkinson es "Qu parte de su sistema nervioso
es ms probable afectados? "En lugar de tratar a la totalidad
escenario como una cuestin monoltica como sera Watson,
WatsonPaths explora mltiples hechos en el escenario en el
razones paralelas y con los resultados de su exploracin como
en su conjunto para llegar a la conclusin ms probable con respecto
la cuestin remate. La arquitectura de WatsonPaths
se muestra en la Figura 2.
Pgina 4

Guin
Anlisis
Afirmacin
Grfico
Escenario de entrada
Nodo
Priorizacin
Relacin (Edge)
Generacin
(Puede hacer preguntas
a Watson)
Repita hasta
"Finalizacin"
(Que puede ser
Estimacin
Confidencias
En Nodos
("Motor Belief")
(Que puede ser

se define en
diferentes caminos)
Hiptesis
Identificacin
Hiptesis
Confianza
Refinamiento
(Modelo aprendido)
Final
Confidencias en
Hiptesis
Figura 2: Bsqueda de Respuestas Arquitectura basada en escenarios
Anlisis 3.1 Escenario
El primer paso en la tubera es el anlisis de escenarios, donde
identificamos los factores en el escenario de entrada que puede ser
de importancia.
En el mbito mdico, los factores
puede incluir datos demogrficos ("32 aos mujer"), precondiciones existentes ("diabetes mellitus tipo 1"), signos
y los sntomas ("insuficiencia renal progresiva"), y la prueba
resultados ("concentracin de hemoglobina es de 9 g / dl," "norclulas mochromic "," clulas normoctica "). El extrada
factores se convierten en nodos en una estructura grfica denominada ASgrfico de insercin. La estructura grfica afirmacin se define
en la seccin 4, mientras ms detalles del anlisis de hiptesis
proceso se da en la Seccin 5.
3.2 Nodo de Priorizacin
El siguiente paso es la priorizacin nodo, en la que decidamos
cules nodos en el grfico son los ms importantes para solvcin del problema. En un pequeo escenario como este ejemplo,
podemos ser capaces de explorar todo, pero en general esto
no ser el caso. Factores que afectan a la prioridad de una
nodo puede incluir la confianza del sistema en el nodo AS
insercin o la estimacin del sistema de lo fructfero que lo hara
ser ampliar un nodo. Por ejemplo, los resultados de las pruebas normales
y la informacin demogrfica en general son menos tiles
para iniciar un diagnstico de sntomas y anormal de la prueba
resultados.
3.3 Relacin Generacin
La etapa de generacin de relacin, que se describe en ms
detalle en la Seccin 6, construye la grfica afirmacin. Hacemos
esto principalmente preguntando Watson preguntas sobre el factor
res. En la medicina queremos saber las causas del hallazgo
Ings y resultados anormales de las pruebas que sean consistentes con la
informacin demogrfica del paciente y vuelva a prueba normal

resultados. Dado el escenario en la Introduccin, que pudimos

preguntar: "Qu hace la diabetes tipo 1 causa mellitus?" Nosotros
utilizar una ontologa mdica para guiar el proceso de formulacin
Lating subpreguntas pedir Watson. Los factores relevantes pueden
Tambin pueden combinar para formar una sola, cuestin ms especfica
cin. Debido a que en esta etapa queremos destacar el recuerdo,
tomamos varias de las respuestas de alto rango-de Watson. Los Las
nmero exacto de respuestas toman o el umbral de confianza
edad, son parmetros que deben ser afinados. Dado un conjunto de
respuestas, les agregan al grfico como nodos, con los bordes
desde los nodos que se utilizaron en las preguntas a los nodos que eran
respuestas. El borde se etiqueta con la relacin utilizada para
formular la pregunta (como causas o indica), y el
resistencia del borde se establece inicialmente en la confianza de Watson
en la respuesta. Aunque Watson es la principal forma que
agregar bordes a la grfica, WatsonPaths permite cualquier mero
ero de componentes del generador de relacin para publicar bordes a la
grfico.
Computacin 3.4 Creencia
Una vez que el grfico afirmacin ha sido ampliado de esta manera,
se recalcula las confidencias de los nodos en el grfico
sobre la base de nueva informacin. Hacemos esto mediante probabilstico
sistemas de inferencia de tics que se describen en la Seccin 7. El
sistemas de inferencia tienen una visin holstica de la afirmacin
graficar y tratar de conciliar los resultados de varias rutas de
exploracin.
3.5 Identificacin de Hiptesis
Como muestra la Figura 2, este proceso puede ir a travs de mltiples
iteraciones, durante el cual los nodos que fueron las respuestas
a la anterior ronda de preguntas se puede utilizar para pedir a la
prxima ronda de preguntas, produciendo ms nodos y bordes
en el grfico. Despus de cada iteracin podemos hacer hiptesis
identificacin, donde algunos nodos en el grfico son identificaficado como posibles respuestas definitivas a la pregunta remate
(Por ejemplo, los diagnsticos ms probables de un paciente de
problema). En algunas situaciones hiptesis pueden ser proRESPETA en la delantera, un mdico puede tener una lista de competir
diagnsticos y quieren explorar la evidencia para cada uno. Pero Te
en general, el sistema necesita para identificar estos. Hiptesis
nodos pueden ser tratados de manera diferente en iteraciones posteriores. Por
Un
ejemplo, podemos intentar hacer el encadenamiento hacia atrs desde
las hiptesis, pidiendo Watson qu cosas, si fueran
verdadera del paciente, sera apoyar o refutar una hiptesis.
El proceso puede terminar despus de un nmero fijo de iteracin

ciones o sobre la base de otros criterios como la confianza en

Page 5

las hiptesis.
Mientras identificacin hiptesis es parte de WatsonPaths,
no se describe en detalle en este documento. En el sistema
que genera los resultados que presentamos en la seccin 10, no hiidentificacin hipte- es necesario porque el mltiplo
Se proporcionan respuestas de opcin. Ese sistema siempre hace
una iteracin de la expansin, tanto hacia delante desde la idenfactores ficadas y hacia atrs de las hiptesis, antes
parada.
3.6 Hiptesis Confianza Refinamiento
Como se ha descrito hasta ahora, la confianza de WatsonPath en cada hihipte- depende de los puntos fuertes de los bordes de ataque
a la misma, y desde nuestra relacin primaria (borde) del generador es
Watson, la confianza hiptesis depende en gran medida de
la confianza de respuestas de Watson. Tener buen anconfianza ponder depende de tener un conjunto representativo
de pregunta / respuesta pares con los que entrenan Watson. Los Las
siguiente pregunta que surge es: Qu podemos hacer si no lo hacemos
tener un conjunto representativo de pares de preguntas / respuestas, pero
s tenemos ejemplos de entrenamiento para los escenarios enteros (por
ejemplo,
diagnsticos correctos asociados con escenarios de pacientes)? A La
aprovechar la disposicin verdad terreno desnivelado escenario,
han construido tcnicas de aprendizaje automtico para aprender un
refinamiento
cin de la confianza de la estimacin de Watson que produce
mejores resultados cuando se aplican a todo el escenario. De Esta
el proceso de aprendizaje se discute en la Seccin 8.
3.7 Colaborar con el usuario
WatsonPaths puede funcionar de una manera totalmente automatizada, como
el sistema pregunta contestador Watson hizo cuando se juega
Jeopardy! (Este es el caso de los resultados presentados en
Seccin 10.) Pero tambin hay muchas posi- interesante
bilidades para la interaccin del usuario en cada paso en el proceso.
De esta manera, WatsonPaths ejemplifica computacin cognitiva
ing. Nuestra visin de la computacin cognitiva es que el usuario
y el equipo de trabajo en conjunto para explorar un escenario y
llegar a conclusiones ms rpido y con mayor precisin que sea
podra hacer solo. Se discute la AS-aprendizaje colaborativo
aspectos de WatsonPaths en la Seccin 9.
4 de asercin Grficos
La estructura de datos del ncleo utilizado por WatsonPaths es la asercin

grfico cin. Figura 3 explica esta estructura de datos, a lo largo

con la visualizacin que comnmente utilizamos para ello. Al Igualgrficos sercin se definen como sigue.
Una declaracin es algo que puede ser verdadera o falsa
(Aunque su estado no puede ser conocido). A menudo nos ocupamos de
declaraciones no estructurados, que son ex lenguaje natural
pressions como "Un paciente de 63 aos de edad, se enva a la neurologa
ogist con un cuadro clnico de temblor de reposo que comenz 2
hace aos ". WatsonPaths tambin permite declaraciones que
son expresiones estructuradas, es decir, un predicado y argumento
mentos. No todas las expresiones del lenguaje natural pueden tener un
indica
paciente
Sustancia
Nigra es
afectado
paciente tiene
Parkinson
Enfermedad
Un paciente de 63 aos de edad
se enva a la
neurlogo con ...
temblor en reposo ...
Qu parte de su
sistema nervioso es
muy probablemente afectados?
paciente
exposiciones
descanso
temblor
Un borde representa una
relacin entre el
declaraciones conectados.
Agentes hacen afirmaciones
sobre la verdad de estos
relaciones con
confidencias. Anchura Edge
representa que
confianza. Nivel de gris
representa la cantidad
de flujo de creencias.
estados
indica
Un nodo representa una
comunicado. Tipos de

declaraciones son de entrada

factores, factores inferidos
y las hiptesis o
respuestas. La Frontera
fuerza visual
representa la "creencia" la
factor es cierto en el contexto.
Entrada
Factor
Inferido
Factor
Hiptesis
Guin
Relacin
Afirmacin Grfico
Figura 3: Visualizacin de un Grfico de asercin. Por convencin,
factores de entrada se colocan en la parte superior e hiptesis en la parte
inferior
con niveles de factores de inferencia en el medio.
valor de verdad. Por ejemplo, la cadena "paciente" no puede ser
verdadero o falso; por lo que no encaja en la semntica de un
grfico afirmacin. WatsonPaths es benfica en pretacin
ing cuerdas como si tuvieran un valor de verdad. Por ejemplo, la
semntica por defecto de la cadena "hemoglobina baja" es el
mismo que "el paciente tiene niveles bajos de hemoglobina."
Una relacin es una asociacin nombrada entre las declaraciones.
Tcnicamente, las relaciones son en s mismas declaraciones, y
tener un valor de verdad. Cada relacin tiene un predicado; para inposicin en la medicina, podemos decir que "Parkinson causas
temblor en reposo "o" El Parkinson partidos parkinsonismo ".
Normalmente estamos interesados en las relaciones que pueden propruebas vide de la verdad de una declaracin dada anotra. Aunque algunas relaciones pueden tener significado especial
Ings en los sistemas de inferencia probabilstica, una se- comn
mantics para una relacin es indicativa de la siguiente manera:
"A indica B" significa que la verdad de A proporciona un
razn independiente para creer que B es cierto. Seccin 7
proporciona ms detalles sobre los sistemas de inferencia.
Una afirmacin es una afirmacin de que algn agente hace aproximadamente
la verdad de un enunciado (incluyendo una relacin). El ASinsercin registra el nombre del agente y una confianza
valor. Las afirmaciones tambin pueden grabar informacin procedencia
la que explica cmo el agente lleg a su conclusin.
Page 6

Para el agente pregunta contestador Watson, esto incluye

pasajes de lenguaje natural que proporcionan evidencia de la
responder. Cuando el sistema est colaborando con un usuario,
es crucial para ser capaz de mostrar pruebas para el usuario.
En el grfico de la afirmacin, cada nodo representa exactamente
una declaracin, y cada borde representa exactamente un remento. Los nodos y bordes pueden tener mltiples afirmaciones ATmontarlas ellos, uno para cada agente que ha afirmado que
nodo o borde para ser verdad.
A menudo nos visualizamos grficos afirmacin mediante un nodo de
Ancho del borde para representar la confianza del nodo, un
ancho del borde para representar la confianza del borde, y
nivel de gris de una ventaja como la cantidad de "flujo de creencia" a lo largo
de
ese borde. Creencia flujo se describe ms adelante, pero esencialmente
es como mucho el valor de la cabeza influye en el valor de
la cola. Esto depende principalmente de las confidencias de la
afirmaciones sobre el borde.
Anlisis 5 Escenario
El objetivo del anlisis de escenarios es identificar informacin
en la narrativa del lenguaje natural del problema escenario que es potencialmente relevante para la solucin del problema.
Cuando los expertos humanos leen la narracin problema, son
capacitado para extraer conceptos que responden a un conjunto de semantipos de tics pertinentes para resolver el problema. En el MEDLINE
ical de dominio, los mdicos y las enfermeras identifican tipos semnticos
como motivos de consulta, antecedentes mdicos, demographics, antecedentes familiares y sociales, hallazgo examen fsico
Ings, laboratorios y medicamentos actuales (Bowen, 2006). ExExpertos tambin generalizan a partir de observaciones especficas en un parinstancia problema par- a trminos ms generales utilizados en
el corpus de dominio. Un aspecto importante de esta informacin
extraccin cin es identificar la fase de clasificacin semntica ciacin
ciados con las observaciones clnicas (Chang et al., 1998).
Estos calificadores podran ser temporal (por ejemplo, "dolor comenz dos
hace das "), espacial (" dolor en la regin epigstrica "), o
otras asociaciones ("dolor despus de comer alimentos grasos"). Yo Midoexplcita en esta tarea es la capacidad del ser humano para extraer conceptos
y sus calificadores asociados del lenguaje natural
narrativa. Por ejemplo, las eliminatorias anteriores podran tener
para ser extrado de la frase "Los informes de los pacientes
dolor, que comenz hace dos das, en la regin epigstrica
especialmente despus de comer alimentos grasos ".
El sistema informtico necesario para llevar a cabo un an- similares
analysis de la narracin. Usamos el trmino factor para denotar la

observaciones potencialmente relevantes, junto con su asociado

calificadores semnticas ATED. Confiablemente identificar y escribir
estos factores, sin embargo, es una tarea difcil, porque Medi
trminos cas son mucho ms complejo que el tipo de llamada
entidades estudiadas tpicamente en el procesamiento del lenguaje natural.
Nuestra lnea de anlisis de escenarios intenta abordar este
problema con los siguientes pasos principales de procesamiento:
1. El anlisis comienza con el anlisis sintctico de la natuidioma ural. Esto crea un rbol de dependencia de
sintcticamente vinculada trminos en una oracin y ayuda a
trminos asociados que son distantes entre s en
la frase.
2. Las condiciones se asignan a un diccionario para idenconceptos tificar y sus tipos semnticos. Por lo
dominio mdico, nuestro diccionario se deriva de
el UMLS Metathesaurus (Biblioteca Nacional de
Medicina, 2009), Wikipedia redirecciona y mdica
recursos abreviatura. Los conceptos identificados por
el diccionario son entonces escribirse utilizando el UMLS Semntico de red, que consta de una taxonoma de
tipos semnticos biolgicos y clnicos como la anatoma,
SignOrSymptom, DiseaseOrSyndrome, y Thermo
apeuticOrPreventativeProcedure. Adems de
mapeo de la secuencia de tokens en una oracin a
el diccionario, tambin se utiliza el anlisis sintctico dependencia
para asignar trminos sintcticamente vinculados. Por ejemplo
"... La rigidez e hinchazn en el brazo y la pierna" puede
asignarse a los cuatro conceptos distintos contenidos
en esa frase.
3. La informacin sintctica y semntica identificado
anteriormente se utilizan por un conjunto de reglas predefinidas para identificar las relaciones importantes. La negacin es comnmente
utilizado en las narraciones clnicas y debe ser exacta
identificado. Reglas basadas en las caractersticas de anlisis sintctico
identifican el
plazo gatillo negacin y su alcance en una oracin.
Los factores que se encuentran dentro del alcance negada a continuacin,
pueden ser
asociado con un calificador negada. Otro ejemple de anotacin basado en normas es el anlisis de valor de laboratorio.
Esto asocia una medicin cuantitativa de la
sustancia medida y luego mira hacia arriba laboratorio de referencia
valor oscila hacer una evaluacin clnica. Por ejemamplia "la concentracin de hemoglobina es de 9 g / dl" es prosar por reglas para extraer el valor, la unidad, y sub-

postura y luego evalu a ser "la hemoglobina baja"

por buscar una referencia. A continuacin, la evaluacin clnica
cin se asigna por el diccionario a la correspondiente
ing concepto clnico.
En este punto, debemos tener toda la informacin para
identificar los factores y sus calificadores semnticas. Tenemos
que lidiar, sin embargo, con las ambigedades del lenguaje, errores
en el anlisis, un diccionario ruidoso y no exhaustiva,
y un conjunto limitado de reglas. Si tuviramos que depender solamente de
un sistema basado en reglas, entonces el factor resultante identificacin
cin sufrira de una composicin de errores en estos
componentes. Para abordar esta cuestin, empleamos mquina
mtodos de aprendizaje para aprender factores clnicos y su secalificadores mnticos en la narrativa problema. Obtuvimos
la verdad suelo pidiendo a los estudiantes de medicina para anotar
vanos de factores clnicos y sus tipos semnticos. Ellos tambin
anotada tramos clasificatorios semnticas y ellos vinculados a
Pgina 7

factores como las relaciones atributivas.

El sistema de aprendizaje automtico se compone de dos seCUENTES pasos:
1. Un modelo condicional campo aleatorio (CRF) (Lafferty
et al., 2001) se entera de los vanos de texto que debe ser
marcado como uno de los siguientes tipos de factores: hallazgo,
la enfermedad, la prueba, el tratamiento, la demografa, la negacin, o
un partido de clasificacin semntica. Caractersticas utilizadas para la
formacin de la
Modelo CRF son lxica (lemas, in- morfolgica
etiquetas formacin, parte-de-habla), semnticas (UMLS
tipos y grupos semnticos, demogrfica y de laboratorio
anotaciones de valor), y analizar a base de (caractersticas asociados con vnculos de dependencia de un token dado).
Un tamao de ventana de muestra de 5 (2 fichas antes y AF
ter) se utiliza para asociar las caractersticas de una muestra dada. La
BIO esquema de etiquetado se usa por la CRF para identificar
entidades en trminos de sus tramos y tipos de tokens.
2. Un modelo de mxima entropa entonces aprende las relaciones
entre las entidades identificadas por el modelo CRF.
Para cada par de entidades en una oracin, este modelo
utiliza rasgos lxicos (dentro y entre entidades),
tipo de entidad, y otros rasgos semnticos asociados
con ambas entidades, y analizar las caractersticas de la dependencia
dencia ruta une. Las relaciones aprendidas por
este modelo son la negacin y attributeOf relaciones

vincular desencadenantes negacin y calificadores semnticas (rerespectivamente) a factores.

Los modelos de identificacin de la entidad y relacin combinados
tener una precisin del 71% y la recuperacin del 65% en una persiana
conjunto de evaluacin de escenarios de pacientes se encontr en la prueba
mdica
preguntas de preparacin. Actualmente estamos explorando conjunta
modelos de inferencia y la identificacin de las relaciones que abarcan
mltiples oraciones usando resolucin correferencia.
6 Relacin Generacin
El componente de anlisis de escenario descrito en el anteseccin ous extrae factores pertinentes relacionados con el paciente
partir de la descripcin escenario. En esta etapa, la afirmacin
grfico consiste en el escenario completo, escenario individual
oraciones y los factores extrados. Una indica relacin
cin se registr desde un nodo fuente (por ejemplo, un escenario sennodo tencia) a un nodo de destino cuya afirmacin se deriva
de la afirmacin en el nodo de origen (por ejemplo, un factor de excontrajo de esa frase). Adems, un conjunto de hipteses, si se da, se publican como nodos gol en la afirmacin
grfico.
La tarea del componente de generacin de relacin es (1)
ampliar el grfico infiriendo hechos nuevos a partir de hechos conocidos
en el grfico y (2) identificar las relaciones entre nodos
en el grfico (como fsforos y contraindica) para ayudar
con el razonamiento y la estimacin de la confianza. Comenzamos por
discutir cmo podemos inferir nuevos hechos de expansin grfica.
6.1 Ampliar el Grfico con Watson
En la resolucin de problemas mdicos, expertos en razn con el jefe
quejas, hallazgos, historial mdico, in- demogrfica
formacin, y as sucesivamente, para identificar las causas subyacentes
para los problemas del paciente. Dependiendo de la situacin,
se podr proceder a proponer una prueba cuyos resultados
les permitir distinguir entre mltiples posiproblema ble causa, o identificar el mejor tratamiento para la
identificado causa, y as sucesivamente.
Motivado por el paradigma de la resolucin de problemas mdicos,
WatsonPaths primeros intentos de hacer un diagnstico basado en
factores extrados del escenario. El grfico es exexpandi para incluir nuevas afirmaciones sobre el paciente por
haciendo preguntas de una versin de la pregunta Watson ansistema adaptado para el mbito mdico swering (Ferrucci
et al., 2013). WatsonPaths tiene un enfoque de dos puntas
a la solucin de problema mdico, ampliando el grfico lucro
Ward de la situacin en un intento de hacer un diagnstico,

y luego vincular los diagnsticos de alta confianza con la hihipte-. Este ltimo paso se realiza normalmente mediante la identificacin de
una importante relacin expresada en la pregunta remate
(Por ejemplo, "Cul es el tratamiento ms adecuado para este papa- "o" Qu parte del cuerpo est muy probablemente afectados? "). De Esta
enfoque es una extensin lgica de los trabajos sectoriales abierto
de Prager et al. (2004), donde con el fin de construir un perfil
de una entidad, se hicieron las preguntas de las propiedades de la entidad y restricciones entre las respuestas se hicieron cumplir
para establecer la consistencia interna.
El proceso de expansin grfica de WatsonPaths comienza
con preguntas que formulan automticamente relacionados con alta
afirmaciones de confianza, que en nuestros grficos representan
declaraciones WatsonPaths cree que es verdad hasta cierto
grado de confianza sobre el paciente. Estas declaraciones
pueden ser factores, como extrado y escrito por el algoritmo
se describe en la Seccin 5, o una combinacin de estos factores.
Para determinar qu tipo de preguntas hacer, WatsonLas rutas pueden utilizar un modelo de dominio que nos dice qu relaciones
caminos formulario entre el tipo semntico de una alta fianza
nodo anza y el tipo semntico de una hiptesis como un
diagnstico o tratamiento. Para el dominio mdica, creacin
ATED un modelo que llamamos a la Esmeralda, que se muestra
En la Figura 4 (Ntese el parecido con una esmeralda.) El
Esmeralda es un pequeo modelo de tipos y relaciones de entidad
que son cruciales para el diagnstico y la formulacin siguiente
pasos.
Seleccionamos del Emerald todas las relaciones que vinculan el
tipo semntico de un nodo de origen de alta confianza para un
tipo semntico de inters. Las relaciones y el alto
los nodos de confianza entonces forman la base de instanciar la
apuntar nodos, ampliando el grfico afirmacin. A La
instancias de los nodos de destino, emitimos WatsonPaths subpreguntas a Watson. Todas las respuestas devueltas por Watson
que la puntuacin por encima de un umbral predeterminado se publican
como nodos de destino en el grfico de la inferencia. Un borde relacin
Pgina 8

Figura 4: La Esmeralda
temblor de reposo que
comenz hace 2 aos
Al examen fsico, la
paciente tiene una
rostro inexpresivo y
dificultad para caminar,

y se ...
Al principio era slo la izquierda
mano, pero ahora
compromete todo el brazo
Un paciente de 63 aos de edad es
enviado al neurlogo
con un cuadro clnico de
temblor de reposo que
comenz hace 2 aos
inexpresivo
la cara
compromisos
todo el brazo
dificultad de
para caminar
Sustancia
Nigra
Cerebel um
Caudado
Ncleo
Puente de Varolio
Lenticular
Ncleos
Parkinson
enfermedad
Huntington
enfermedad
Progresivo
supranuclear
parlisis
Cerebel ar
enfermedades
Parkinson
enfermedad
Difusa
con cuerpos de Lewy
enfermedad
Figura 5: WatsonPaths proceso de expansin Grfico
est publicado desde el nodo fuente a cada nuevo nodo de destino
donde la confianza de la relacin es confidencial de Watson
confianza en la respuesta en el nodo de destino.
Adems de pedir a las preguntas de los factores de escenarios,
WatsonPaths tambin puede expandirse hacia atrs desde hipteses. La premisa de este enfoque es explorar cmo un
hiptesis encaja con el resto de la grfica inferencia. Por Si

una hiptesis se encuentra que tiene una fuerte relacin con

un nodo existente en el grfico de la afirmacin, entonces la probamecanismos de inferencia bilistic descritos en 7 permiten creencia
a fluir de factores conocidos por esa hiptesis, por lo tanto inarrugar la confianza del sistema en esa hiptesis.
La Figura 5 ilustra la expansin WatsonPaths grfico
proceso. Las dos primeras filas de nodos y el BE- bordes
interplelas muestran un subconjunto de la afirmacin WatsonPaths
grfico despus de anlisis de escenarios, con la segunda fila de
nodos que representan algunos de los factores clnicos extrados de
las sentencias del escenario.
El proceso de expansin grfica identifica el ms confimella afirmaciones en el grfico, que incluyen los cuatro damicina
nodos de factor cos extrados del escenario. Estos cuatro
nodos se escriben todas como conclusiones, por lo que son agregada
en un nico nodo hallazgo con el propsito de grfico de expansin
sin. Para un nodo hallazgo, la Esmeralda propone un nico
findingOf relacin que lo vincula a una enfermedad. Esto da lugar a
la formulacin de la subpregunta "causas Qu enfermedades
temblor de reposo que comenz hace 2 aos, compromete la
todo el brazo, el rostro inexpresivo, y dificultad para caminar
ing? "cuyas respuestas incluyen la enfermedad de Parkinson, caza
enfermedad de ton, enfermedad cerebelosa, y as sucesivamente. Estos
los nodos de respuesta se agregan a la grfica y algunos de ellos
se muestran en la tercera fila de nodos en la Figura 5.
En la direccin inversa, WatsonPaths explora relacin
relacio- entre hiptesis de nodos en el vigente
grfico basado en la pregunta remate en el escenario,
que en este caso es "Qu parte de su sistema nervioso es
en su mayora probablemente afectados? "Suponiendo que cada hiptesis a ser
Es cierto que el sistema de formula preguntas secundarias para vincularlo a la
grfico afirmacin. Considere Sustancia negra. WatsonPaths
puede preguntar "De qu enfermedad es la sustancia negra ms probable
afectados? "Un subconjunto de las respuestas a esta pregunta, inla enfermedad de Parkinson y INCLUYENDO difusa por cuerpos de Lewy
disfacilidad se muestran en la cuarta fila de nodos en la Figura 5.
6.2 Coincidencia de Nodos de grficos
Cuando se aade un nuevo nodo a los WatsonPaths asercin
grfico cin, se compara la afirmacin contenida en el nuevo nodo
a los de los nodos existentes para asegurar que la equivalencia relacin
ciones entre los nodos se identifican correctamente. Est hecho
mediante la comparacin de las declaraciones contenidas en estas
afirmaciones: por desempleo
declaraciones estructuradas, si los estados son lxico

camente equivalente, y por resmenes estructurados, ya sea

los predicados y sus argumentos son los mismos. Una ms
operacin compleja es identificar cuando los nodos contienen ASinserciones que pueden ser equivalentes a la nueva afirmacin.
Empleamos un agregado de comparadores plazo (Murdock
et al., 2012a) para que coincida con los pares de afirmaciones. Cada trmino
Matcher mensajes un valor de confianza en el grado de coincidencia
entre dos afirmaciones sobre la base de su propio recurso para determining equivalencia. Por ejemplo, una basa WordNetmatcher plazo considera trminos de la misma synset ser
equivalente, y un matcher plazo basada Wikipedia-redirectconsidera trminos con un redireccionamiento vnculo entre ellos en
Wikipedia sea un partido. La lnea de puntos entre
La enfermedad de Parkinson y la enfermedad de Parkinson en la figura 5
est publicado por la matcher plazo basada en UMLS, que considers variantes para el mismo concepto que sea equivalente.
7 La confianza y la creencia
Una vez que la afirmacin grfico se construye, y algunos cuestin
ciones y respuestas se publican, persiste el problema
Page 9

de la estimacin de la confianza. Desarrollamos varios modelos de

inferencia para hacer frente a este paso.
Motor 7.1 Creencia
Un enfoque para el problema de inferir la hi- correcta
hipte- del grfico afirmacin es inferencia probabilstica
rencia sobre un modelo grfico (Pearl, 1988). Nos referimos a
el componente que hace esto como el motor de la creencia.
Aunque el objetivo principal del motor creencia es infer confidencias en hiptesis, tambin tiene dos secundarios
metas. Uno es para inferir la creencia en los nodos que son desconocidos
no hiptesis. Estos nodos intermedios pueden ser impasos intermedios portantes hacia una respuesta; por asignacin
ing altos confidencias a ellos en el bucle principal, sabemos
asignarles alta prioridad para preguntar de preguntas adicionales. Anotro objetivo secundario es apoyar a la interfaz de usuario (ver
Seccin 9). Entre los algoritmos de inferencia que realizan
bien en trminos de precisin y otras mtricas, tratamos de
tomar decisiones que harn que el flujo de la creencia intuitiva
para los usuarios. Esto facilita la obtencin de una mejor tunidad
anotaciones tunistas, lo que mejora el rendimiento futuro.
Para ejecutar el motor de creencia, lo primero que hacemos un trabajo
copia ing del grfico afirmacin de que nosotros llamamos la inferencia
grfico. Un grfico separado se usa para que podamos hacer
los cambios sin perder informacin que pudiera ser uso-

Ful en pasos posteriores de inferencia. Por ejemplo, podramos

elegir fusionar los nodos o reorientar bordes. Una vez que la inferencia
grfico cia se ha construido, se corre una inferencia probabilstica
motor cia sobre el grfico para generar nuevas confidencias.
Cada nodo representa una afirmacin, por lo que puede estar en uno de
dos estados: verdadero o falso ("on" u "off"). Por lo tanto un grfico
con k nodos pueden estar en 2
k
estados posibles. La inferencia
grfico especifica las probabilidades de cada uno de estos estados.
El motor creencia utiliza estas probabilidades para calcular la
probabilidad marginal, para cada nodo, de que sea en el
verdadero estado. Esta probabilidad marginal se trata como una confidencia. Por ltimo, leemos confidencias y otros datos de
la inferencia graficar de nuevo en el grfico afirmacin.
Hay algunos desafos en la aplicacin de in- probabilstica
Conferencia a un grfico afirmacin. La mayora de las herramientas de la
inferencia
literatura cia fueron diseados para resolver una probabilidad diferente
Lem, que llamaremos el problema de inferencia clsica.
En este problema, se nos da un conjunto de entrenamiento y un equipo de
prueba
que puede ser visto como muestras de una distribucin conjunta comn
bucin. La tarea es construir un modelo que captura la
conjunto de entrenamiento (por ejemplo, mediante la maximizacin de la
probabilidad
del conjunto de entrenamiento) y, a continuacin, aplicar el modelo para
predecir
valores desconocidos en la prueba. Posiblemente el mayor
problema en la tarea de inferencia clsica es que la estructura
tura del modelo grfico es indeterminado; un gran
espacio de posibles estructuras necesita ser explorado. Una vez
una estructura se encuentra, el ajuste de los puntos fuertes es relativamente
ms fcil, porque sabemos que las muestras de la formacin
conjunto son la muestra de una distribucin conjunta consistente.
En WatsonPaths, nos enfrentamos a una serie de problemas diferentes.
El reto no es la construccin de un modelo de formacin
datos, pero usar un modelo muy ruidoso, ya construido para
hacer inferencia. El entrenamiento de los datos en el sentido clsico est
ausente
o muy escasa; todo lo que tenemos son las respuestas correctas a algunos
preguntas a nivel de escenario. Una ventaja es que un grfico
la estructura se da. Una desventaja es que el grfico es
mucho ruido. Adems, no se sabe que las confianzas
en los bordes corresponden necesariamente al borde ptima

puntos fuertes. (En la siguiente seccin, se aborda el problema

de aprender fortalezas de borde.) As pues, tenemos el problema
de seleccionar una semntica-una manera de convertir la afirmacin
grfico en un grfico sobre el que podemos hacer proba- ptima
inferencia bilistic para cumplir con nuestros objetivos.
Despus de mucha experimentacin, la semntica primarias
utilizado por el motor creencia es la semntica indicativos: Si
existe una relacin dirigida desde el nodo A al nodo B con
fuerza x, entonces A ofrece una razn independiente para serlieve que B es cierto con probabilidad x. Algunos bordes son
clasificado como contraindica; para estos bordes, A proVides una razn independiente para creer que B es falsa
con una probabilidad de x. La independencia significa que mltiples
padres PLE R se puede combinar fcilmente usando un ruidoso-OR:
(1
rR
(1 - r)) =

rR
r
En el grfico, as interpretado, forma una ruidosa lgicoRed bayesiana (Yuille y Lu, 2007). La fuerza
de cada borde puede ser interpretado como una fuente de indicativo, un
concepto relacionado con poder causal (Cheng, 1997), con el
diferencia que somos semnticamente agnstico en cuanto al verdadero
direccin de la relacin causal. Formalmente, la probabilidad
de un nodo de estar "en" (verdadero) est dada por
P (x | R
x
,Q
x
)=
[

rR
x
(S
r
p
r
)
]

1
qQ
x
(S
q
p
q
)

donde P (x) es la probabilidad de estar en el nodo x, R

x
es el conjunto de los padres indicativos de x, y Q
x
es el conjunto de
padres contraindica. Se representa el estado de los padres
por p
r
: 1 si el padre est activado, y 0 en caso contrario. El valor de s
r
representa la resistencia del borde de la matriz a x.
En otras palabras, la probabilidad de que un nodo x es el es el
ruidoso-O de sus activos de padres indicativo fortalezas borde
combinado a travs de un ruidoso-Y-NO con el ruidoso-O de
sus activos contraindica fortalezas borde padres.
Por ejemplo, si el temblor de reposo nodo indica
La enfermedad de Parkinson con una fuerza 0,8, y el nodo cil
cultad para caminar indica la enfermedad de Parkinson con el poder
0,4, entonces la probabilidad de la enfermedad de Parkinson ser
(1 - (1-0,8) Resultados (1 - 0,4)) = 0,88. Si es as, entonces el borde
con una fuerza de 0,9 a la enfermedad de Parkinson se disparar con
Pgina 10

probabilidad 0,88 0,9 = 0,792. De esta manera, probadades a menudo puede multiplicar por cadenas simples. Inferencia
debe ser ms sofisticado para manejar los grficos que vemos
en la prctica, pero la intuicin es el mismo.
Un ejemplo que aade sofisticacin a la inferencia es
un "exactamente una" restriccin que se puede aadir opcionalmente
a preguntas de opcin mltiple. Esta restriccin asigna una
mayor probabilidad a las asignaciones en la que exactamente uno
respuesta de opcin mltiple es cierto. Debido a estos tipos
de las limitaciones, y por el hecho de que los grficos
contener dirigido y ciclos no dirigidos, no podemos sim-

capas calcular las probabilidades de una manera feed-forward.

Para llevar a cabo la inferencia utilizamos Metropolis-Hastings muestras
pling sobre una representacin grfica del factor de la inferencia
grfico. Esto tiene la ventaja de ser un muy general
enfoque el motor de inferencia puede ser fcilmente adaptado para
una nueva semntica y tambin permite un nivel arbitrario de
precisin da suficiente tiempo de procesamiento.
Usuarios y anotadores informan que se encuentran con la indicacin
semntica tivas intuitiva, y se lleva a cabo al menos tan bien como
otros semntica en los experimentos. Uno de los primeros semantics que probamos era no dirigido por parejas Markov azar
campos. Estos no tuvieron buenos resultados en la prctica. Nos hiptebin lanzamos que esto se debe a que la informacin es importante concontenida en la direccin de los bordes que devuelve Watson:
Preguntar sobre A y B como conseguir una respuesta es diferente
de preguntar sobre B y conseguir una como respuesta. Una
modelo no dirigido pierde esta informacin.
La semntica indicativos es un defecto, semntica bsica.
La capacidad de razonar sobre las relaciones arbitrarias hace que el
semntica indicativos robusta, pero es fcil de construir ex
ejemplos en los que la semntica indicativos no es estrictamente
correcta. Por ejemplo, "la fiebre es un hallazgo de la enfermedad de Lyme"
puede ser correctamente cierto con gran confianza, pero esto hace
no quiere decir que la fiebre proporciona una razn independiente para
creen que la enfermedad de Lyme est presente, con alta probabidad. La fiebre es causada por muchas cosas, cada uno de los cuales podra
explcalo. Actualmente estamos trabajando en la adicin de una causal
semntica en la que utilizan una red bayesiana ruidoso lgicofunciona, pero la creencia deriva de causas a los efectos, en lugar de
de factores a hiptesis. Los bordes estn orientados de acuerdo
cin a los tipos de los nodos: Enfermedades causan hallazgos pero
no al revs. Actualmente esto no conduce a detectable
mejora en la precisin y esperamos que necesitamos
mejorar la precisin de que el resto del sistema antes de que
mostrar impacto.
7.2 Closed-Form Inferencia
El mtodo de inferencia en la Seccin 7.1 obtiene los puntos fuertes
de bordes directamente de los valores de confianza en Watson
respuestas a preguntas secundarias, que dependen de tener un repreconjunto de entrenamiento sentante de pares de preguntas adicionales /
respuesta. Nosotros
Tambin se han desarrollado mtodos de inferencia donde cada borde
tiene un vector de caractersticas (producido por Watson o cualquier otro remento generador) y expresamos la confianza en cada
hiptesis como una forma cerrada, expresin parametrizada

en los valores de funciones. A continuacin, podemos optimizar el paretros en un entrenamiento conjunto de escenarios y diagnsticos correctos
(Ver seccin 8).
Para illustate la idea se describen en detalle uno de tales
modelo, el Noisy-o modelo, que se basa en el mismo
la intuicin es la semntica indicativos que acabamos de describir.
Primero convertimos el grfico afirmacin dirigida a un
grafo acclico (DAG). El grfico afirmacin no es, en geneeral, libre de ciclos. Adems, el grfico de la afirmacin conrelaciones coincidentes contiene, que son sin direccin. Para formar una
DAG, los nodos en el grfico afirmacin se agrupan primero
por estas relaciones a juego, y luego los ciclos se rompen
mediante la aplicacin de la heurstica para reorientar bordes a punto desde
factores a hiptesis.
La confianza en factores extrado por Escenario ananalysis es 1.0. Para todos los dems nodos se define la confianza
recursiva en trminos de las confidencias de los padres y
la confianza de los bordes producidos por el sistema de control de calidad.
Deje que el conjunto de los padres en el DAG para un nodo n ser dado
de un (n). El vector de caractersticas del sistema de control de calidad da para
un nodo, m, que indica otra, n, est dada por (m, n).
A continuacin, se da a continuacin la confianza para un nodo no factor.
El vector de pesos aprendido para las funciones de control de calidad es q.
P (n) =

un
yo
a (n)
(q (una
yo
, N)) P (una
yo
)
donde (x) denota la funcin sigmoide.
(x) =
1
1+e
-x
El ruidoso-O combinacin es ms sensible cuando el
fuentes de evidencia son independientes. Cuando hay
dos bordes de ataque desde el nodo misma inferencia (que
puede ser el resultado de la fusin de dos o ms grfico afirmacin
nodos) al nodo que se trate, estos bordes son
combinada por un mximo en vez de ruidoso-O.
Adems de la Noisy-O modelo, tenemos tambin de-

desarrollado las siguientes acciones:

La variante Tipo de borde de la con- Noisy-O modelo
siders el tipo de borde al propagar conconfianza de padres a hijos. La fuerza de
el borde de acuerdo con el modelo de control de calidad se multiplica
por un tipo de per-borde aprendi peso, entonces una sigmoide
funcin se aplica. En este modelo, los diferentes tipos de
sub-preguntas pueden tener diferente influencia en conconfidencias, incluso cuando el modelo de QA produce similares
caractersticas para ellos.
El modelo estima que concuerden con la confianza en
una hiptesis de acuerdo a qu tan bien cada factor en
Pgina 11

el escenario, adems de las respuestas que transmitan preguntas

le pregunt al respecto, ya sea partido contra la hiptesis o las respuestas a las preguntas atrasadas pedido
de eso. Calculamos este grado de coincidencia con el
matchers plazo describen la Seccin 6.2.
La funcin de adicin modelo utiliza el mismo DAG como
el Noisy-O modelo, pero la confianza en la intermediacin
nodos inme- se calcula aadiendo la funcin de vaUES para las preguntas que conducen a ella y luego aplicar
el modelo logstico al vector resultante. Un efecto
es que la confianza para un nodo no aumenta
montonamente con el nmero de padres. En Lugar,
si las caractersticas que se asocian negativamente con la correspondiente
rectness estn presentes en uno de los bordes, se puede bajar la
confianza del nodo por debajo de la confianza dado
por otro borde.
El modelo causal intenta capturar se- causal
mantics expresando la confianza para cada cancan- como el producto sobre cada factor clnico de la
probabilidad de que sea el diagnstico podra explicar
el factor (segn las estimaciones de caractersticas Watson / QA),
o el factor de "filtrado" - se trata de una observacin sin explicacin
vacin o no es realmente relevante.
En la forma cerrada sistemas de inferencia describen, hay
ninguna limitacin que las confidencias de respuesta suman uno.
Ponemos en prctica una etapa final en la que las funciones basadas en el
la confianza en bruto a partir del modelo de inferencia se transforman
en una distribucin de probabilidad apropiada sobre el candidato
respuestas.
8 Aprendizaje sobre asercin Grficos
Mtodos de inferencia como los descritos en el anterior

seccin depende de los puntos fuertes de los bordes creados a partir de

las respuestas a las preguntas secundarias. WatsonPaths utiliza superVISED mquina de aprender a aprender estas fortalezas borde de
datos de entrenamiento. Hay dos tipos diferentes de formacin
datos que podemos emplear:
Los datos de pregunta de entrenamiento Escenario incluye completa
escenarios, preguntas sobre los escenarios, y anSwers a esas preguntas (por ejemplo, una descripcin detallada
de un paciente, una pregunta pidiendo lo que est mal con
el paciente y el diagnstico correcto).
Los datos de la formacin de preguntas adicionales incluye ms simple,
atmica
preguntas y respuestas a esas preguntas (por ejemplo,
"Qu enfermedades causar dolor en las articulaciones?" Y algunos anSwers a esa pregunta).
El proceso WatsonPaths que hemos descrito hasta
este punto se supone que primero entrenamos una subpregunta answering modelo utilizando datos de entrenamiento de preguntas adicionales y
uso
las salidas de ese modelo como confidencias para la inferencia.
Pero hemos encontrado que este enfoque tiene limitaciones,
debido en parte a problemas con nuestra formacin de preguntas adicionales
existente
datos ING (descritos en la Seccin 10). Este enfoque tambin
adolece de la limitacin de que slo utiliza la informacin
interna al sistema de contestador de preguntas adicionales. Algunos inmtodos Ference tienen parmetros que no se basan en
subpreguntas. Por ejemplo, algunos enfoques desarrollan una
modelo para el grado que dos nodos coinciden o la importancia de un nodo dado. Una lnea de base sencilla para el nodo
importancia es dar a todos los nodos, ya sea el mismo peso o una
basado en una sola estadstica simple como IDF peso (inversa
documento de frecuencia). Un modelo simple para la coincidencia puede
tener la confianza de un pensamiento matcher solo trmino
para ser generalmente eficaz. Caractersticas grficas basadas como estos
puede ser til en combinacin con contestador subpregunta
caractersticas de aprendizaje modelo inferencia.
Por lo tanto, hemos aadido un ltimo paso en el proceso
que hace uso de los datos de pregunta de entrenamiento escenario. Nosotrosing las grficas afirmacin de que WatsonPaths ha construido para
cada pregunta escenario, nuestro objetivo es aprender un modelo que
produce una distribucin de probabilidad sobre respuestas con AS
gran parte de la masa como sea posible concentrado en la correcta
responder. Este aprendizaje es un reto porque cada asercin
grfico de la contiene muy diferentes nodos y los bordes de

los otros, incluso diferentes nmeros de nodos y los bordes.

Afortunadamente, los bordes de estos grficos comparten un comconjunto comn de caractersticas, tales como caractersticas de Respuestas,
caractersticas a juego, y las caractersticas del tipo de nodo.
Una complicacin es que Watson tiene una gran cantidad
de las caractersticas de Respuestas, y muchos de ellos tienen
efectos similares; por ejemplo, muchas caractersticas AS- independiente
sess si la respuesta tiene el tipo deseado (Murdock
et al., 2012b). Hay una conexin sutil e indirecta
entre el comportamiento de la ma subpregunta responder
sistema y las respuestas definitivas a pregunta de entrenamiento escenario
datos; esto hace que sea muy difcil para un sistema de aprendizaje nosotrosing slo los datos de entrenamiento cuestin de escenarios para encontrar un
EFmodelo efi- sobre tantas caractersticas. En consecuencia,
emplear un enfoque hbrido. Nos dividimos caractersticas en un
pequeo nmero de grupos con propsitos y nos similares
utilizar datos de entrenamiento de preguntas adicionales para construir un
modelo separado
para cada grupo. Las salidas de estos modelos representan
un conjunto consolidado de caractersticas pregunta de respuesta (con
un puntaje para cada grupo). A continuacin, utilizamos esta consolidada
conjunto de caractersticas de Respuestas de funciones para el aprendizaje
modelos de inferencia (junto con el basado en grficos adicionalcaractersticas).
8.1 Aprendizaje directo
Hemos explorado varios mtodos para la transformacin de una
afirmacin de una grfica en una funcin de mapeo de los valores
de los pesos a la confianza en la hiptesis correcta

un
:
R
n

R
. Los mtodos en la Seccin 7.2 proporcionan
rpido, la inferencia exacta. Estos enfoques permiten ExpressPgina 12

ing la confianza en la respuesta correcta como una forma cerrada

expresin. Resumiendo el registro de la confianza en el
hiptesis correcta a travs del conjunto de entrenamiento T, construimos
un problema de aprendizaje con la log-verosimilitud en la final correcto
responder como nuestra funcin objetivo. El resultado es una funcin

esto es no convexo, y en algunos casos (debido a max) no

diferenciable en los parmetros.
Para limitar sobreajuste y fomentar una escasa, interparmetro de ponderacin pretable utilizamos L1-regularizacin.
El valor absoluto de todos los pesos aprendidas se resta
a partir de la funcin objetivo.
w
*
= Argmax
wR
n
-w
1
+

tT
log (
t
(W))
Para conocer los parmetros de los modelos de inferencia
aplicamos un mtodo de optimizacin "recuadro negro": greedyestocstico de bsqueda local. Este es un mtodo de bsqueda directa
(Kolda et al., 2003) que considera un punto actual en
p
R
n
y una correlacin de funciones barrio apunta a
subconjuntos de
R
n
, N:
R
n
P (R
n
). Adems, la opcin
procedimiento timizacin mantiene p
*
, El punto ms conocido.
Desde el punto actual un nuevo punto p es SE- azar
seleccionada a partir de N (p). Si el cambio mejora el objetivo
funcin, entonces se mantiene; si el cambio empeora la objetividad
funcin tiva, a continuacin, se acepta con cierta probabilidad
. De esta manera, el aprendizaje explora el espacio de parmetros,
tendiendo a buscar en las regiones de alto valor mientras que nunca

quedar atrapado en un mximo local.

Utilizamos una funcin de vecindad N relacionada con brjula
Bsqueda. Un solo parmetro o un par de parmetros es seseleccionada para cambiar por algn . Adems, debido a la L1
regularizacin, los permisos de barrio ajuste cualquier pecado
gle parmetro a cero, el fomento de soluciones dispersas.
No hay criterio de parada sencilla para este
bsqueda, por lo que nos limitamos por el tiempo. Empricamente, se encontr
que
optimizacin de ms de dos horas rara vez mejor la
funcin objetivo sustancialmente.
No todos
t
depende de cada elemento de w. Aunque Sea
en los casos en que un
t
depende de w
yo
, Muchas piezas del
funcin no puede. Para habilitar reclculo eficiente, una
preprocesador construye para cada peso w
yo
una indicacin DAG
cando que se necesitan piezas de funciones para ser recocomputari-, y en qu orden, si se cambia ese peso. Despartes de funcin modificados devuelven su valor almacenado en cach si se
usa
en el clculo de una parte que hace el cambio.
Tambin experiment con la simple Nelder-Mead
mtodo (Nelder y Mead, 1965) y el multidireccional
mtodo cional busca de Torczon (1989), pero encontr ms dbil
el rendimiento de estos mtodos.
8.2 Conjunto de Aprendizaje
Tenemos mltiples mtodos de inferencia, cada uno se acerca
el problema de combinar las confidencias de preguntas adicionales
a partir de una intuicin diferente y formalizarlo en una diferencia
camino ent. Para combinar todos estos diferentes enfoques que
entrenar a un conjunto. Esta es una final, convexa, la confianza esTimation sobre las respuestas de opcin mltiple utilizando el predicciones de los modelos de inferencia como caractersticas. El ensemaprendizaje ble utiliza el mismo conjunto de entrenamiento que el indiviual modelos de forma cerrada de inferencia utilizan. Para evitar dar
el exceso de peso a la inferencia modelos que han overfit la
conjunto de entrenamiento, utilizamos una tcnica comn de apilamiento
conjuntos (Breiman, 1996). El conjunto de entrenamiento se divide en

cinco pliegues, cada uno dejando de 20% de los datos de entrenamiento, como
se
aunque para la validacin cruzada. Cada modelo de inferencia a partir de
Seccin 7.2 est capacitado en cada pliegue. Cuando el conjunto
rene la confianza de un modelo de inferencia como una caracterstica para
una instancia, el modelo de inferencia utiliza el parmetro aprendido
tros desde el pliegue que excluye a esa instancia. De este modo,
el rendimiento de cada modelo de inferencia es-test similares, y el
modelo conjunto no demasiado confiar modelos overfit.
El conjunto es una regresin logstica binaria por anhiptesis ponder mediante tres caractersticas de cada inferencia
modelo. Las caractersticas utilizadas son: la probabilidad de que la hihipte-, el logit de la probabilidad, y el rango de la
responder entre las respuestas de opcin mltiple. Usando el
logit de la probabilidad asegura que la seleccin de un solo
modelo de inferencia es en el espacio hiptesis del conjunto,
logrado, simplemente definiendo el peso para que el modelo de
funcin logit a uno y todos los otros pesos a cero.
Cada modelo de inferencia de forma cerrada tambin est capacitado
el conjunto de entrenamiento completo. Estas versiones se aplican en la
prueba
tiempo para generar las caractersticas para el conjunto.
9 Colaboracin aplicacin Entrenamiento
La aplicacin de una herramienta de preguntas y respuestas como Watson para
complex, problemas escenario impulsado era un reto que nos
no resolvi hasta que se observ cmo los seres humanos hacen esto.
Como se explica en la introduccin, una inspiracin para nuestra
enfoque de vino de ver estudiantes de medicina explican
sus razonamientos sobre cuestiones de preparacin de exmenes mdicos.
Su proceso fue uno de identificar detalles significativos,
inferencias y evaluar hiptesis. De esta manera
de atacar un problema es reconocible en el WatsonTrayectorias de flujo de ejecucin. As que cuando lleg el momento de crear
una
aplicacin interactiva, era obvio que la conclusin
debera facilitar un cierto modo de razonar acerca de comescenarios complejos. A esto le llamamos el Aprendizaje Colaborativo
La Solicitud.
9.1 Una aplicacin Entrenamiento
La Aplicacin de Aprendizaje Colaborativo crea un trabajo
flujo en el que el usuario y Watson trabajan juntos para analisar un problema. Creemos que resultar este enfoque
en mejores soluciones que si el usuario o Watson eran de trabajo
ing solo. Tambin se piensa que esto crear oportunidades

para el usuario y Watson para aprender.

Pgina 13

Para el usuario, "aprender" se entiende en el tradicional

sentido. En primer lugar, se propone que la aplicacin ayuda a
la enseanza del pensamiento crtico a travs de su labor de promocin de un
cerproceso de razonamiento Tain. En segundo lugar, proponemos que
exploratoria
ing anlisis de Watson ofrece valor educativo por cesionistas
ing un ndice nico y relevante en el enorme cuerpo de
conocimiento no estructurada que se examin para producir
estos resultados.
Para Watson, el aprendizaje es principalmente en el sentido de maaprendizaje mquina. Es decir, el aprendizaje implica derivar de obra
beled datos de datos de uso y el uso de esos datos para mejorar
probar nuestros modelos estadsticos. Lo que nos parece interesante
sobre la aplicacin WatsonPaths son los muchos tunidad
dades para reunir esos datos a travs tanto implcita y exmedios explcitos. Llamamos a estos "anotaciones oportunistas"
porque estn reunidos en el curso de la utilizacin de la ma
tem. Existe una sinergia entre la imitacin de la forma en que una
humano piensa acerca de un problema y la forma en la mquina
anlisis de un problema en el desarrollo de formas de reunir til
datos.
Si la Aplicacin Aprendizaje Colaborativo puede con xito
producir plenamente valor educativo para el usuario o Watson,
a continuacin, sostenemos que el sistema (incluyendo la aplicacin
cin y el usuario) aprende y mejora. Es decir, podemos
esperar que el sistema para proporcionar mejores resultados en el tiempo. De
Por supuesto, sabemos que los seres humanos son capaces de esta propiedad
y as a lo largo de esa dimensin queremos mostrar que la APplicatura se asocia con una tasa ms rpida de aprendizaje que,
por ejemplo, el uso de un motor de bsqueda sobre los corpus similar.
Y a lo largo de la dimensin de la mejora de la mquina,
queremos mostrar resultados estadsticamente significativos. Como la
capacidad para lograr esto es una funcin de la cantidad y
calidad de los datos de uso se reunieron, ser interesante
explorar cules son los requisitos que esto implica.
9.2 Una aplicacin de Colaboracin
Las interacciones que los soportes de aplicacin son los mejores exexplicado en el nivel lgico. En este nivel se encuentra el
grfico de la afirmacin y los procesos utilizados para WatsonPaths
poblarlo.
Nuestro estado inicial es un grfico afirmacin vaca, y

nuestra primera operacin es para describir el escenario del problema

a travs de las declaraciones de hechos y afirmaciones de la verdad acerca de
esas declaraciones. WatsonPaths hace a travs de la esceproceso de anlisis nario en el que la entrada es gua naturales
texto de calibre y la salida es una serie de declaracin afirmado
mentos. A travs de la aplicacin de Aprendizaje Colectivo,
el usuario puede optar por aceptar el resultado de este proceso,
alterarlo a travs del juicio, o de derivacin por completo y creacin
comi sus propias declaraciones afirmadas. Cada uno de estos interaccin
ciones produce datos que esperamos es valiosa para mejoing el sistema.
Al aceptar el resultado del proceso, hay una imanotacin explcita de que el resultado tiene valor positivo en el
El juicio de usuario.
Alterar el proceso a travs del juicio produce exanotaciones explcitas por parte del usuario. Tenga en cuenta que se trata de
una ms general
interaccin eral de lo que podra deducirse de este contexto
ya que se hace en el nivel grfico afirmacin y as es APplicable a todos los procesos que operan WatsonPaths
en esta estructura de datos. Un juicio es, de hecho, el usuario expulsando una opinin sobre una declaracin de que el ma
tem tambin ha expresado una opinin. Expresando un similares
opinin es un ejemplo de retroalimentacin positiva. Expresando
una opinin diferente es un ejemplo de retroalimentacin negativa.
Si podemos asociar la opinin del sistema con un especial
Proceso WatsonPaths, entonces podemos utilizar estos juicios
como retroalimentacin con respecto a ese proceso. (Entendiendo la
sesgo de este mecanismo de retroalimentacin es una preocupacin para
nosotros.)
Mediante la creacin de sus propias declaraciones afirmadas, el usuario es
generando su opinin de la realidad sobre el terreno para el Watproceso sonPaths. Conociendo la entrada el usuario estaba operacin
Ating a producir este terreno la verdad nos permite derivar
los datos etiquetados para el proceso.
En este paso se podra inferir que hay un pro- cerrada
proceso en el que los veteranos de usuarios y aumenta la mquina de
Resultados Antes de seguir adelante con el anlisis. Nuestra actual
nfasis en las cuestiones de preparacin de exmenes mdicos es susceptible
a este enfoque, pero para las entradas muy complejas (tales como
cientos de pginas de la historia clnica de un paciente) prcticas
ticalities pueden requerir un modo diferente, automtica de
operacin. Tal modo podra ser permitir WatsonPaths
trabajar a travs de todo el escenario solo y luego invitar a
el ser humano para juzgar o aumentar los resultados como mejor les parezca.

De hecho estamos explorando ambos enfoques como cada uno tiene decaractersticas deseables (comprensibilidad principalmente en el
caso del proceso cerrada y la facilitacin decisin en el
caso automtico).
La siguiente operacin es dar prioridad a las declaraciones en el AS
grfico de insercin para su posterior consulta. Es decir, que estados
mentos sobre el escenario tienen la mayor promesa de producing inferencias pertinentes? Una vez ms, hay una WatsonCaminos procesan para hacer esto, y el usuario puede optar por acexcepto el resultado de este proceso, alterar, o de derivacin que Altojuntos. Al igual que en el caso anterior, las anotaciones y
los datos marcados se pueden derivar de estas interacciones.
A continuacin en el proceso WatsonPaths es aplicar una semntica
plantilla a los estados prioritarios para generar inferencia
cias. Esta plantilla semntica puede incluir informacin
como "enfermedades causan hallazgos" de la que podemos derive una consulta para inferir una enfermedad de un hallazgo o un hallazgo
de una enfermedad. Cuando se utiliza la pregunta de Watson respuestafuncin ing para hacer esto, la forma de esta consulta es una tural
cuestin lingstica ural. Por ejemplo, imagine que el
declaracin temblor de reposo (se lee como "el paciente ha descansando
temblor ") ha sido priorizada. La aplicacin de la se- descrito
plantilla mntico entonces producira la pregunta "Qu
enfermedad causa temblor de reposo? "Las respuestas a esta pregunta
Pgina 14

cin son nuevos factores inferidos.

Hay muchas oportunidades para la retroalimentacin de los usuarios en este
proceso, pero tal vez el ms interesante es el de inducir
una plantilla semntica de las interacciones del usuario. Imaginamos
hacer esto permitiendo a los usuarios hacer preguntas de declaracin
mismos requisitos y luego extraer informacin de
ellos. Por ejemplo, si el usuario pide de "temblor en reposo,"
"Cul es la causa?" Entonces podramos extraer una semntica
instancia de plantilla de las "cosas causan temblor de reposo."
valor de esta plantilla se podra mejorar conociendo la
tipo de casos, por lo que podemos pedir al usuario: "Qu
tipo de cosas causan temblor de reposo? "a lo que nos recibir una respuesta de "enfermedad" o "trastorno neurolgico"
entre otras cosas. Y a travs de la tipificacin (una funcionalidad
de WatsonPaths), podemos suponer que "temblor en reposo"
es un hallazgo. Esto puede llevarnos a preguntar del usuario, "Do
enfermedades causan hallazgos? "o" Do trastorno neurolgico
Ders causan hallazgos? "La respuesta del usuario puede avanzar
refinar la plantilla semntica. Qu tan lejos para refinar la se-

plantilla mntica y si debe hacerse con reSPECT a una ontologa anterior son cuestiones abiertas a experimentar
mentacin. Un aspecto adicional es que la personalizacin de la
sistema podra aprender plantillas semnticas especficas del usuario, alLowing cada usuario utilizar su propia metodologa para
la resolucin de problemas.
La ejecucin de las consultas que se producen en la operacin anterior
los resultados cin en nueva afirmaron declaraciones. Como se ha
mencionado BEtanto, la funcin de bsqueda de respuestas de Watson se puede utilizar
para responder a estas preguntas intermedias. Aqu tambin, in- usuario
puesto puede ayudar a mejorar los resultados de Watson. El usuario puede acresultados del concepto Watson, alteran a travs de juicio, o
producir sus propios. Por ejemplo, el usuario puede sugerir alnombres ternativas y fraseos de entidades y relaciones
en la cuestin para su uso en la expansin de consultas. Y como BEtanto, estas interacciones producen datos que se pueden utilizar
para mejorar el sistema. En este caso, estos resultados encajan
muy bien en AdaptWatson (Ferrucci y Brown, 2012), un
metodologa para mejorar pregunta contestando miento
pares de pregunta-respuesta Mance basado en el ejemplo, ciencia de datos
cia y aprendizaje automtico.
Una ventaja de utilizar la pregunta de respuesta de Watson
capacidad para la inferencia es que los resultados son compatibles con evipasajes denciales. Estos pasajes son tpicamente de unos pocos sentencias extrados de un documento que Watson utiliza durante
ing generacin caracterstica de una respuesta a una pregunta candidato
cin y tan a menudo conllevan las altas respuestas de confianza. Al Igual
tal, la exposicin de esta evidencia para el usuario puede ser muy benebe- como una herramienta explicativa y as es algo que emphasize en la Solicitud de Aprendizaje Colaborativo. AlLowing el usuario para juzgar esta evidencia puede proporcionar datos
que se puede utilizar para mejorar los componentes de bsqueda de la
cuestin proceso respondiendo, as como entrenar a un justificando
pasaje ing modelo de un modelo que clasifica los pasajes como
justificando la respuesta a una pregunta o no.
Evaluacin de la grfica afirmacin ampliado con respecto
para la determinacin de la creencia en los estados es el papel de la
motor de la creencia. Aqu, los juicios por el usuario acerca de la seal
significa- o irrelevancia de las declaraciones al caso general
puede ayudar en la forma en que se realiza la evaluacin.
Un paso final en el proceso global es WatsonPaths
identificacin de hiptesis. Para la preparacin de examen mdico
preguntas, hiptesis se proporcionan, pero para el Collaboration
orative aplicacin Entrenamiento en que no lo son. Para una parti-

escenario ular, la lista de hiptesis cambiar a medida que la

anlisis progresa. Lo que podra haber comenzado con generacin
trastornos va- pueden terminar con enfermedades especficas. Y qu
podra haber comenzado con el diagnstico podra transicin a
tratamiento. Mediante la observacin de los patrones de uso, esperamos
para automatizar este mayor nivel de razonamiento impuesta a la
sistema.
El grfico afirmacin definitiva segn lo confirmado por el usuario
Se pueden almacenar en la base de conocimiento interno de Watson. Los Las
base de conocimientos puede almacenar afirmaciones junto con conla confianza y la informacin de procedencia (con adecuada
fusin y estrategias de resolucin de conflictos), y crece
a medida que ms usuarios interactan con el sistema. Este crecimiento
conjunto de conocimientos fondo mejora an Watcapacidad de respuesta a preguntas del hijo.
Las anotaciones que esperan obtener de la aplicacin
cacin son muy especficas a los procesos WatsonPaths.
Esta es una ventaja de elegir los procesos que imitan hurazonamiento hombre y as tener algn grado de familiaridad
y el rendimiento intuitiva para el usuario. Esto tambin conduce a
anotaciones oportunistas o preguntas especficas planteadas a
el usuario que pueden generar datos tiles. Por ejemplo, si
el usuario tuviera que despedir a un paso probatorio que Wathijo haba anotado altamente, surge una oportunidad para preguntar por qu.
Tal vez un componente pregunta contestador particular tena
generado una alta puntuacin para el paso. Determinar si
No debe tener puede ser til para mejorar que comPonent. Otras preguntas pueden proporcionar informacin axiomtica
macin (tales como la existencia de una parfrasis) que puede ser
til en el contexto especfico.
9.3 Un Computacin Cognitiva Aplicacin
Los valores que siguen en el desarrollo de la Collaboration
orative aplicacin Entrenamiento se describen en taquigrafa
como computacin cognitiva. Esa nocin abarca tres
caractersticas principales: facilitar el razonamiento humano, comcomunicarse de una manera natural, y aprender y mejorar (Kelly
y Hamm, 2013). Cmo estamos abordando la primera y
ltima de estas caractersticas debe ser claro en este punto,
pero la segunda merece mayor mencin.
Ser capaz de expresar la afirmacin grfico para el usuario
de una forma intuitiva es un reto que estamos trabajando,
pero que ha generado comentarios positivos. Dibujar en
el valor de los mapas conceptuales (Daley y Torre, 2010), nuestro
basada en la visualizacin grfica proporciona una pre accesible

Pgina 15

sentacin que los usuarios entiendan rpidamente.

Por ejemplo, la Figura 6 muestra la aplicacin durante
anlisis de un escenario en el que los sntomas del paciente conducen
a un diagnstico de la enfermedad de Parkinson que en las derivaciones de
giro
a la respuesta Sustancia negra. (La pregunta final
ser contestada es: "Qu parte de la paciente nervioso
sistema est muy probablemente afectados? ") La grfica representacin
cin permite al usuario navegar visualmente el resultado de
enunciados verdaderos afirmados (nodos dispuestos en la parte superior de la
pantalla), a travs de inferencias (nodos blancos en el medio
de la pantalla), y a hiptesis (nodos dispuestos en el
parte inferior de la pantalla). Decoraciones en el grfico como de lnea
anchura y opacidad dan al usuario un sentido de cmo la creencia
est fluyendo mientras que los indicadores de significacin (lneas
discontinuas Bebajo factores) muestran que los factores del motor creencia favorecida
en la eleccin de una respuesta. Algo a destacar es que la
resultado completo tiene 333 nodos y 444 bordes y as EditarSe necesita ING de la grfica.
9.4 Estado actual
La Aplicacin de Aprendizaje Colaborativo es un trabajo en
progreso y estamos refinando y explorar en el contexto de nuestra colaboracin con la Cleveland Clinic Lerner
Facultad de Medicina. En esa escuela de medicina, crtico
pensamiento se ensea a travs de una corriente de aprendizaje basado en
problemas
riculum en el que los estudiantes trabajan a travs narios mdica
ios como grupo. La forma en que los estudiantes hacer esto tiene
similitudes con el proceso WatsonPaths, y por lo que esperamos
que la aplicacin que estamos construyendo en esa funcionalidad
ser capaz de facilitar su pensamiento mientras que proporciona
educativo valor-algo que esperamos para medir en un
prximo piloto.
10 Evaluacin
Como se ilustra en la seccin anterior, una forma interactiva, cocola- herramienta de apoyo a la decisin clnica pueden beneficiarse de
los mismos componentes y tecnologas necesarias para un aupregunta mdica contestar ma basado en escenarios tomatic
tem. As pues, desarrollar y probar el sistema automtico
en la forma estndar en juegos de preguntas mdicas tiene la
beneficios de (1) conducir el desarrollo de la tecnolo- ncleo
loga, (2) proporcionar una evaluacin de la ma automtica
tem, y (3) la mejora de los componentes de la interactivo

sistema; tal evaluacin es el tema de esta seccin.

Tenga en cuenta que una evaluacin del propio sistema interactivo es
un ejercicio separado y sern reportados en un artculo futuro.
10.1 Conjuntos de Datos
Para la evaluacin automtica de WatsonPaths, se utiliz
un conjunto de preguntas mdicas de preparacin prueba de examen
Maestro y McGraw-Hill, que son anlogas a las
ejemplos que se han utilizado a lo largo de este trabajo. Estos
preguntas consisten en un lenguaje natural de prrafos
descripcin del escenario de un caso de un paciente, opcionalmente acomacompaada de una estructura semi-estructurada tabular. El prrafo
Descripcin grfica normalmente termina con una frase de remate pregunta
cin y un conjunto de respuestas de opcin mltiple (promedio 5.2
las opciones de respuesta por pregunta). Se excluyeron de consideracin
preguntas coo- que requieren anlisis de imagen o cuya
respuestas no son segmentos de texto.
Las preguntas punchline pueden simplemente estar buscando la
ms probable enfermedad que caus los sntomas del paciente
(Por ejemplo, "Cul es el diagnstico ms probable en este papa-? "), en cuyo caso la pregunta se clasifica como una didiag- pregunta. El conjunto de preguntas diagnstico reportado en
esta evaluacin fue identificado por los anotadores independientes.
Preguntas punchline no diagnstico pueden incluir de Crditos
tratamientos apropiados, el organismo causante de la enfermedad, y
etc. (por ejemplo, "Cul es el tratamiento ms adecuado?"
y "Qu organismo es la causa ms probable de su
meningitis? ", respectivamente).
Dividimos nuestro conjunto de datos de 2.190 preguntas en un entrenamiento
conjunto de 1.000 preguntas, un conjunto de desarrollo de 690 preguntas
ciones, y un conjunto de pruebas a ciegas de 500 preguntas. El desarrollo
conjunto cin se utiliz para conducir de forma iterativa el desarrollo de
el anlisis de escenarios, la generacin de relacin, y en- creencia
gine componentes, y para el ajuste de parmetros. El entrenamiento
conjunto se utiliz para construir modelos por el componente de aprendizaje
se describe en la Seccin 8.
Como se seal anteriormente, nuestro proceso de aprendizaje requiere subdatos de entrenamiento pregunta para consolidar grupos de pregunta
respondiendo a las caractersticas en conjuntos ms pequeos y manejables
de caractersticas. No tenemos slida y completa
verdad terreno para un suficientemente amplio conjunto de nuestra
automticacamente generada subpreguntas. En su lugar, se utiliza un pre
conjunto existente de preguntas mdicas factoid simples como subdatos de entrenamiento pregunta: Dilema del Doctor (DD) pregunta
conjunto cin (American College of Physicians, 2014). DD es

un punto de referencia establecido utilizado para evaluar el desempeo en

factoide contestador pregunta mdica. Utilizamos 1039 DD
preguntas (con una clave de respuestas conocido) como nuestra subpregunta
datos de entrenamiento. Aunque las preguntas dilema del doctor
s tienen cierta similitud bsica de las subpreguntas que pedimos
en grficos afirmacin, hay algunas diferencias importantes:
En una subpregunta grfico afirmacin, por lo general hay
una entidad conocida y una relacin que est siendo
preguntado. Para DD, la pregunta puede constreir
la respuesta de mltiples entidades y relaciones.
Una afirmacin grfica de preguntas adicionales como "Qu causa
hipertensin? "tiene muchas respuestas correctas, mientras que
DD preguntas tienen una sola respuesta correcta.
Puede haber un desajuste entre la forma en la confianza
para DD est entrenado y cmo la confianza de preguntas adicionales
se utiliza en un mtodo de inferencia. La confianza DD
modelo est entrenado para maximizar la probabilidad logartmica en un
Pgina 16

Figura 6: WatsonPaths interfaz de usuario

tarea correcta / incorrecta binario clasificacin. En concontraste, muchos mtodos de inferencia probabilstica utilizan conconfianza como algo parecido a la fuerza de indicacin o
relevancia.
Por todas estas razones, los datos DD es poco adecuado para entrenamiento
ing un modelo completo para juzgar borde resistencia para subpregunta bordes en WatsonPaths. Pero hemos encontrado que
Datos DD es til como datos de entrenamiento de preguntas adicionales
1
en el hibrid enfoque de aprendizaje se describe en la Seccin 8; usamos
1.039 preguntas DD para consolidar pregunta contestador
caractersticas y luego usan el, conjunto consolidado menor de caracterstica
turas como insumos para los modelos de inferencia que se entrenan en
las 1.000 preguntas de preparacin de exmenes mdicos.
10.2 Configuracin Experimental
Para fines de comparacin, se utiliz nuestra pregunta Watson
sistema adaptado para el mbito mdico responder (FerRucci et al., 2013) como un sistema de lnea de base. Este sistema toma
todo el escenario como entrada y evala cada mltiplo
respuesta eleccin en funcin de su probabilidad de ser el correspondiente
rect respuesta a la pregunta remate. Este AP one-shot
1
Tambin estamos investigando el uso de sub-preguntas reales

generada por WatsonPaths como datos de entrenamiento. La construccin de

un gral
clave de responder de la forma de tales preguntas es mucho tiempo,
y una clave de respuesta incompleta puede ser menos eficaz. Pese A
este enfoque no ha logrado todava, todava puede tener xito si nos
invertir mucho ms en la construccin de una clave mejor respuesta mayor
para
WatsonPaths reales subpreguntas.
enfoque para responder a preguntas mdicas escenario contrastes
con el enfoque WatsonPaths de descomponer el escenario, haciendo preguntas de los factores atmicos y rendimiento
ing inferencia probabilstica sobre la grfica resultante
modelo.
Nos sintonizamos diversos parmetros en los sistemas WatsonPaths
tem en el set de desarrollo para equilibrar la velocidad y miento
Mance. El sistema realiza una iteracin cada uno de forbarrio y de la generacin de relacin hacia atrs. El mnimo
umbral de confianza para la expansin de un nodo es 0,25, y
el nmero mximo de nodos expandidos por iteracin
es 40. En el componente de generacin de relacin, el Watson
sistema mdico contestador pregunta devuelve todas las respuestas
con una confianza de por encima de 0,01.
Evaluamos el rendimiento del sistema, tanto en la prueba completa
establecer, as como en slo el subconjunto diagnstico. La razn por
evaluar el subconjunto diagnstico separado es porque, en
la gran mayora de estas preguntas, ya sea el remate
cuestin tiene por objeto el diagnstico o depende de una correcta didiag- lo largo del camino. Utilizamos las 1.000 preguntas plenos en
el conjunto de entrenamiento para aprender los modelos tanto para la lnea de
base
sistema y el sistema WatsonPaths. Como se seal anteriormente,
Datos de entrenamiento dilema del doctor se utiliza para consolidar
pregunta contestando caractersticas en el sistema WatsonPaths.
No hicimos uso de datos de entrenamiento dilema del doctor para cualquier
propsito en el sistema de lnea de base.
Pgina 17

Completo
Diagnstico
Precisin
Base
42,0%
53,8%
WatsonPaths
48,0%

64,1%
Confianza
Base
59,8%
75,3%
Puntaje Ponderado
WatsonPaths
67,5%
81,8%
Tabla 1: Resultados WatsonPaths Rendimiento
10.3 Resultados y Discusin
La Tabla 1 muestra los resultados de nuestra evaluacin en un conjunto de 500
preguntas ciegos de los cuales un subconjunto de 156 preguntas fueron
identificado como preguntas de diagnstico de anotadores.
Presentamos los resultados utilizando dos mtricas. Precisin simply mide el porcentaje de preguntas para las cuales una
sistema clasifica la respuesta correcta en la posicin superior. Conconfianza puntaje ponderado es una medida que toma en accin
contar tanto la precisin del sistema y su confianza
en la produccin de la respuesta superior (Voorhees, 2003). Tenemos suerte
todos <pregunta, respuesta superior> pares en una evaluacin establecido en
orden de la confianza del sistema decreciente en la parte superior
responder y calcular la puntuacin ponderada de confianza como
CWS =
1
n
n

i=1
nmero correcto en primera filas i
yo
donde n es el nmero de preguntas de la evaluacin
el conjunto. Esta mtrica sistemas de recompensas para ms activos precisin
la firma de altos confidencias a las respuestas correctas, una importancia
consideracin tante para el mundo real pregunta de respuesta y
sistemas de diagnstico mdico.
Nuestros resultados muestran mejoras estadsticamente significativas
a p <0,05 (resultados en negrita en la Tabla 1) para el pleno ciego
conjunto de 500 preguntas para ambos indicadores. Para el diagnstico
subconjunto, la mejora de la precisin es estadsticamente significativa
icant pero la mejora confianza puntuacin ponderada es
no, incluso con un aumento de la puntuacin 6 +%. Esto es probablemente
debido
al pequeo subconjunto diagnstico, que contiene slo 156
preguntas.

11 Trabajos relacionados
Sistemas de apoyo de decisiones clnicas (SADC) han tenido un
larga historia de partida el desarrollo de los primeros das
de la inteligencia artificial. Estos sistemas utilizan una variedad de
representaciones del conocimiento, procesos de razonamiento, sistema
arquitecturas, alcance del mbito mdico, y los tipos de decisin (Musen et al., 2014). Aunque varios estudios
han informado sobre el xito de las implementaciones del CDSS
en la mejora de los resultados clnicos (Kawamoto et al., 2005;
Roshanov et al., 2013), la adopcin generalizada y rutinaria
uso an falta (Osheroff et al., 2007).
El sistema pionero dolor abdominal Leeds (De
Dombal et al., 1972) que se utiliza en el conocimiento estructurado
forma de probabilidades condicionales para las enfermedades y su
sntomas. Su xito en el uso de razonamiento bayesiano fue
comparable a los mdicos con experiencia en el hos- Leeds
pital donde se desarroll. Pero no se adapt xito
cessfully a otros hospitales o regiones, lo que indica la brittleness de algunos sistemas cuando estn separados de
sus desarrolladores originales. Una revisin reciente del sistmica
162 implementaciones CDSS muestra que el xito en damicina
ensayos iCal es significativamente asociados con sistemas que
fueron evaluados por sus propios promotores (Roshanov et al.,
2013). MYCIN (Shortliffe, 1976) fue otro ma temprana
sistema que utiliza representacin estructurada en forma de
reglas de produccin. Su mbito de aplicacin se limita al tratamiento
enfermedades de infecciosas y, como ocurre con otros sistemas con
bases de conocimientos estructurados, los humanos expertos requeridos a
desarrollar y mantener estas reglas de produccin. Este hombreual proceso puede llegar a ser inviable en muchos mediespecialidades cal donde la investigacin activa produce nueva dipautas y fases a cabo mayores diag- y tratamiento
queridos. Muchas implementaciones CDSS mitigar esta limitacin
tacin, centrndose su lgica desarrollo decisin Manual
esfuerzo cin de guas clnicas para enfermedades especficas
o tratamientos, por ejemplo, la gestin de la hipertensin (Goldstein
et al., 2001). Pero tales sistemas carecen de la capacidad de manicomorbilidades del paciente dle y planes de tratamiento concurrentes
(Sittig et al., 2008). Otro sistema que utiliza notable
conocimiento estructurado era Internista-1. El conocimiento
bsicos contenidos de enfermedad-para encontrar asignaciones representados
probabilidades condicionales (de enfermedad dada la constatacin y
de encontrar determinada enfermedad) asignado a una escala 1-5. A Pesar Que
xito inicial como una herramienta de diagnstico, su diseo como una exconsultor pert no fue considerado para satisfacer la informacin

cin necesita de la mayora de los mdicos. Eventualmente, su subyacente

base de conocimientos ayud a su evolucin hacia un sistema electrnico
referencia que puede ofrecer a los mdicos personalizado
informacin (Miller et al., 1986). Un sistema similar, DXliso (Barnett et al., 1987) sigue siendo comercialmente
exitoso y utilizado ampliamente. En lugar de centrarse en un
diagnstico definitivo, que proporciona al mdico una lista
de diagnsticos diferenciales, junto con informacin descriptiva
cin y las referencias bibliogrficas.
Otros sistemas en uso comercial han adoptado el desempleo
enfoque estructurado referencia texto mdico directamente, nosotrosing tecnologa de bsqueda para proporcionar apoyo a las decisiones. Isabel
proporciona apoyo diagnstico utilizando pro- lenguaje natural
procesamiento de textos mdicos y revistas. Otros comsistemas comerciales como Dia y renunciar ClinicalKey
el apoyo diagnstico y proporcionar una capacidad de bsqueda
a sus libros de texto mdicos y otra referencia no estructurada
cias. Aunque la bsqueda sobre el contenido no estructurado hace
ms fcil incorporar nuevos conocimientos, se desplaza el motivo
razona- carga del sistema a su mdico.
En comparacin con los sistemas anteriores, WatsonPaths usos
un enfoque hbrido. Utiliza de pregunta-respuesta nologa
ga sobre contenido mdico estructurado para obtener respuestas
a subpreguntas especficas generadas por WatsonPaths. Por Un
Pgina 18

esta tarea, se basa en la funcionalidad de bsqueda por Extracto de

ing entidades de respuesta de los resultados de la bsqueda y la bsqueda
evidencia de apoyo para ellos con el fin de estimar la respuesta
confidencias. Estas respuestas se tratan a continuacin como inferencias
por WatsonPaths sobre lo cual podr realizar probabilstico
razonamiento tic sin necesidad de un conocimiento probabilstico
la base.
Otra rea importante de la diferencia entre los SADC imimplementaciones es la medida de su integracin a la
sistema de informacin sanitaria y de flujo de trabajo utilizado por el
los mdicos. Los estudios han demostrado que la mayora son CDSS
eficaces cuando se integran dentro del flujo de trabajo
(Kawamoto et al., 2005;. Roshanov et al, 2013). Muchos
de las implementaciones del CDSS segn las guas estn interallado con el sistema de informacin de salud y flujo de trabajo,
tener acceso a los datos que se entr y proporcionando
apoyo a la decisin oportuna en forma de alertas. Pero esta
la integracin se limita a los datos estructurados contenidos en
historia clnica electrnica del paciente. Cuando un re- CDSS

requiere informacin como las conclusiones, evaluaciones o planes de

notas clnicas escritas por un proveedor de atencin mdica, existentes
sistemas no son capaces de extraer de ellos. Como resultado, SearchCDSS basado siguen siendo una herramienta de consulta independiente. Los
Las
escenario capacidad de anlisis de WatsonPaths proporciona la
medios para analizar estas notas clnicas estructuradas y
sirve como un medio para la integracin en la salud informacin
sistema de.
Un punto importante de la diferenciacin entre la SADC
implementaciones descritas anteriormente y el diseo de WatsonPaths es su capacidad para servir como un problema de colaboracin
la solucin de herramienta como se describe en la Seccin 9. Cuando se
asoci con
un estudiante, el papel de WatsonPaths aproxima a la de insistemas tutoriales telligent (Woolf, 2009). Diferencias clave
existir, sin embargo, en la representacin de conocimiento de dominio
borde y el conocimiento de los estudiantes. La mayora de los sistemas de
tutora tienen
una representacin estructurada del conocimiento del dominio,
llevando consigo la misma actualizacin de conocimientos y mantenimiento
cuestiones nanciar enfrentan las implementaciones del CDSS. WatsonCaminos carece de un modelo de estudiante (o en un modelo general de la
colaborador), que es una funcin clave de tu- inteligente
sistemas Toring. Como resultado, no puede guiar o personalizar
la tutora de acuerdo a las necesidades del estudiante, sino que confa en
en la eleccin de un instructor del escenario del problema sea
se utiliza.
12 Conclusiones y trabajo
WatsonPaths es un sistema para la pregunta basada en escenarios answering que tiene un modelo grfico en su ncleo. Incluye
una herramienta de apoyo a las decisiones de colaboracin que permite a los
usuarios
comprender y contribuir al proceso de razonamiento. Nosotros
han desarrollado WatsonPaths en un conjunto de opcin mltiple
preguntas del mbito mdico. En esta prueba de conjunto,
WatsonPaths muestra una mejora significativa sobre Wathijo. Aunque la prueba de preparacin pregunta conjunto ha sido
importante para el desarrollo temprano del sistema,
tienen WatsonPaths diseados para funcionar bien ms all de ella.
En el trabajo futuro, planeamos extender WatsonPaths en varios
maneras.
La presente serie de preguntas de opcin mltiple son todos
preguntas. Esto significa que las hiptesis ya han sido
identificado, y tambin se sabe que exactamente uno de los

hiptesis es la respuesta correcta. Aunque tienen

hecho que el desarrollo temprano de la cuestin basada en el escenario
cin de respuesta ms directa, el Wat-global
arquitectura sonPaths no depende de estas limitaciones.
Por ejemplo, podemos eliminar fcilmente la confianza refase de estimacin para los sistemas de inferencia de forma cerrada
y el "exactamente una" restriccin del motor creencia.
Adems, ser sencillo para aadir un sencillo hipteetapa de identificacin nesis al bucle principal. Una forma de
hacer esto es encontrar nodos cuyo tipo corresponde a la
escriba se le pregunt acerca de la cuestin remate. Nos permitimos que
listo encontrar tales correspondencias en la base de Watson ma
tem (Chu-Carroll et al., 2012). En el AP de colaboracin
plicatura, estamos explorando maneras de contar con la ayuda de usuarios
identificar hiptesis.
Tambin planeamos extender WatsonPaths all del MED
dominio ical. Para aplicaciones mdicas, que podra tener
sido ms fcil disear Watson con cierta AS- mdica
aspectos codificados en el flujo de ejecucin. En su lugar,
diseado el flujo general, as como cada componente para
ser de carcter general a travs de dominios. Tenga en cuenta que la esmeralda
poda
ser reemplazado por una estructura de un dominio diferente, y
la semntica bsica que han explorado: juego, indicador
tiva y causal, no tienen ningn requisito que la grfica estructura
tura provienen de la medicina. Incluso el aspecto causal de la
motor creencia podra aplicarse a cualquier dominio que implica diinferencia agnstico (por ejemplo, la reparacin de automviles). La mayora
de importancia
tante, la forma en que se responden preguntas secundarias es comen general completamente. Al hacer las preguntas secundarias adecuadas y
nosotroscin del corpus derecha, podemos aplicar a cualquier WatsonPaths
pregunta problema contestador basada en escenarios. Esperamos
desarrollar una caja de herramientas de las estrategias de expansin, relacin
gnero
radores, y mecanismos de inferencia que pueden ser reutilizados como
aplicamos WatsonPaths a nuevos dominios.
El rea ms importante para el trabajo futuro est en la colaboracin
aplicacin de usuario cola-. En el desarrollo temprano de
el sistema, era necesario centrarse en per- automtica
rendimiento (como se presenta en la Seccin 10) para crear un viable
basado en escenarios sistema de pregunta de respuesta. Como esta persona
rendimiento mejora, nos estamos centrando ms en cmo Wat-

sonPaths pueden interactuar mejor con los usuarios. Tenemos la intencin de

desarrollar y ms rigurosamente evaluar cmo WatsonPaths
aprende de los usuarios y cmo los usuarios aprenden de WatsonPaths.
En un sistema totalmente automtico, el usuario recibe un anSwer usando poco o ningn tiempo o esfuerzo cognitivo. En una colaboracin
sistema de cola-, el usuario pasa algn tiempo y esfuerzo,
y, potencialmente, para crear una mejor respuesta. Tenemos la sospecha de
que, en
Pgina 19

muchas aplicaciones de basado en escenarios pregunta de respuesta,

este ser un equilibrio atractivo para el usuario, debido
la complejidad de la situacin y la importancia de la
responder. Nuestro objetivo es reducir al mnimo el tiempo y esfuerzo
requerido de usuarios y maximizar el beneficio que reciben.
La combinacin del usuario y debe ser WatsonPaths
capaz de manejar los problemas ms difciles ms rpidamente que
ya sea por s sola podra.
Referencias
Colegio Americano de Mdicos.
2014.
Doccompetencia Dilema del tor.
http: // www.
acponline.org/residents_fellows/
competiciones / doctors_dilemma /.
G. Octo Barnett, James J. Cimino, Jon A. Hupp, y Edusala P. Hoffer. 1987. DXplain: Un diagns- evolucin
sistema de apoyo a decisiones tic. JAMA, 258 (1): 67-74.
Judith L. Bowen. 2006. Estrategias educativas para prorazonamiento diagnstico clnico mote.
Nueva Inglaterra
Journal of Medicine, 355 (21): 2217-2225.
E. Boyd, Kenneth W. Kennedy, Richard A. Tapia, y
Virginia Joanne Torczon. 1989. Multi-direccional
Bsqueda: Un algoritmo de bsqueda directa de ma- paralelo
lomos. Informe tcnico de la Universidad de Rice.
Leo Breiman. 1996. regresiones apiladas. La Maquina
Aprender, 24 (1): 49-64.
Rowland W. Chang, Georges Bordage, y Karen J.
Connell. 1998. Cognicin, la confianza, y clnica
habilidades: La importancia del problema a tiempo representativo
cin durante la presentacin de casos. Medicina Acadmica,
73 (10): S109-111.

Patricia W. Cheng. 1997. Desde covariacin a causalidad

cin: Una teora del poder causal. Psychological Review,
104 (2): 367.
Jennifer Chu-Carroll, James Fan, Branimir K. Boguraev,
David Carmel, Dafna Sheinwald, y Chris Welty.
2012. agujas hallazgo en el pajar: Buscar y
generacin candidato. IBM Diario de Investigacin y
Desarrollo, 56 (3/4): 6: 1-6: 12.
Barbara J. Daley y Daro M. Torre. 2010. Concepto
Los mapas en la educacin mdica: Un re- literatura analtica
punto de vista. Medical Education, 44 (5): 440-448.
FT De Dombal, DJ Leaper, John R. Staniland, AP
McCann, y Jane C. Horrocks. 1972. Computerdiagnstico asistido de dolor abdominal agudo. British Med
ical Journal, 2 (5804): 9.
David Ferrucci y Eric Brown. 2012. AdaptWatson:
Una metodologa para el desarrollo y la adaptacin de Watson
la tecnologa. Informe Tcnico RC25244, IBM Research
buscar Divisin.
David Ferrucci, Eric Brown, Jennifer Chu-Carroll, James
Ventilador, David Gondek, Aditya A. Kalyanpur, Adam
Lally, J. William Murdock, Eric Nyberg, John Prager,
Nico Schlaefer, y Chris Welty. 2010. Edificio Wathijo: Una visin general del proyecto DeepQA. AI Magazine, 31: 59-79.
David Ferrucci, Anthony Levas, sugato Bagchi, David
Gondek, y Erik T. Mueller. 2013. Watson: Beyond
Jeopardy! Inteligencia Artificial, 199-200: 93-105.
David Ferrucci. 2012. Introduccin a la "trata de Wathijo ". IBM Diario de Investigacin y Desarrollo,
56 (03/04): 1: 1-1: 15.
MK Goldstein, BB Hoffman, RW Coleman, SW
Tu, RD Shankar, M. O'Connor, S. Martins, A. Advani, y MA Musen.
2001.
La seguridad del paciente
en apoyo a las decisiones segn las guas para la hipertensin
gestin: ATHENA DSS. En Actas de la
AMIA Simposio, pgina 214. American Medical InAsociacin formatics.
David C. Gondek, Adam Lally, Aditya Kalyanpur,
J. William Murdock, Pablo A. Duboue, Lei Zhang,
Yue Pan, Zhao Ming Qiu, y Chris Welty. 2012.
Un marco para la fusin y la clasificacin de las respuestas en
DeepQA. IBM Diario de Investigacin y Desarrollo,

56 (03/04): 14: 1-14: 12.

Kensaku Kawamoto, Caitlin A. Houlihan, E. Andrew
Balas, y David F. Lobach. 2005. Mejora damicina
prctica ical utilizando sistemas de apoyo de decisiones clnicas:
Una revisin sistemtica de ensayos para identificar rasgos crticos
cal para el xito. British Medical Journal, 330: 765-72.
John E. Kelly y Steve Hamm. 2013. Inteligente malomos: Watson de IBM y la era de la com- cognitiva
Puting. Columbia University Press, Nueva York.
Tamara G. Kolda, Robert Michael Lewis, y Virginia
Torczon. 2003. Optimizacin de bsqueda directa: Nuevo
perspectivas sobre algunos mtodos clsicos y modernos.
SIAM Review, 45: 385-482.
John Lafferty, Andrew McCallum, y Fernando CN
Pereira. 2001. condicionales campos aleatorios: probabilstico
modelos de tics para segmentar y etiquetado de datos de secuencia.
En Actas de la 18a Conferencia Internacional
en Aprendizaje Automtico 2001 (ICML 2001), pginas 282289.
Adam Lally, John M. Prager, Michael C. McCord, Branimir K. Boguraev, Siddharth Patwardhan, James Fan,
Paul Fodor, y Jennifer Chu-Carroll. 2012. Pregunta
Anlisis: Cmo Watson lee una pista. IBM Diario de
Investigacin y Desarrollo, 56 (3/4): 2: 1-2: 14.
Michael C. McCord, J. William Murdock, y BranImir K. Boguraev. 2012. anlisis profundo de Wathijo. IBM Diario de Investigacin y Desarrollo,
56 (03/04): 3: 1-3: 15.
Pgina 20

Randolph A. Miller, Melissa A. McNeil, Sue M. Challini, Fred E. Masarie Jr, y Jack D. Myers. 1986. La
Internista-1 proyecto / Quick Medical Reference - estado
informe. Western Journal of Medicine, 145 (6): 816.
J. William Murdock, James Fan, Adam Lally, Hideki
Shima, y Branimir K. Boguraev. 2012a. Textual
la reunin de pruebas y anlisis. IBM Diario de Rebuscar y Desarrollo, 56 (3/4): 8: 1-8: 14.
J. William Murdock, Aditya Kalyanpur, Chris Welty,
James Fan, David Ferrucci, David C. Gondek, Lei
Zhang, y Hiroshi Kanayama. 2012b. Can- Typing
can- respuestas usando tipo coercin. IBM Diario de
Investigacin y Desarrollo, 56 (3/4): 7: 1-7: 13.
Mark A. Musen, Blackford Middleton, y Robert A.
Greene. 2014. Los sistemas de soporte de decisiones clnicas. En

Informtica Biomdica, pginas 643-674. Springer.

Biblioteca Nacional de Medicina.
2009.
UMLS rencia
Manual rencia. Bethesda, MD: Biblioteca Nacional de
Medicina (EE.UU.). http: //www.ncbi.nlm.nih.
gov / libros / NBK9676 /.
JA Nelder y R. Mead. 1965. Un mtodo simplex
para la funcin de minimizacin. Computer Journal, 7: 308313.
Jerome A. Osheroff, Jonathan M. Teich, Blackford Middleton, Elaine B. Steen, Adam Wright, y Don E.
Detmer. 2007. Una hoja de ruta para la accin nacional en la clnica
apoyo a las decisiones cal. Revista de la American Medical
Informatics Association, 14 (2): 141-145.
Judea Pearl. 1988. Razonamiento probabilstico en intelisistemas Gent: Redes de inferencia plausible. Morgan Kaufmann, San Francisco.
JM Prager, J. Chu-Carroll, y K. Czuba. 2004. Questionnaire
la contestacin usando satisfaccin de restricciones: QA por caso
dossier-con-limitaciones. En Actas de la 42
Asociacin de Lingstica Computacional, pginas
575-582, Barcelona.
Pavel S. Roshanov, Natasha Fernandes, Jeff M. Wilczynesqu, Brian J. Hemens, John J. Usted, Steven M. Handler,
Robby Nieuwlaat, Nathan M. Souza, Joseph Beyene,
Harriette GC Van Spall, Amit Garg X., y R. Brian
Haynes. 2013. Caractersticas informatizado eficaz
sistemas de apoyo a las decisiones clnicas: Meta-regresin
de 162 ensayos aleatorios. British Medical Journal,
346 (f657).
Edward H. Shortliffe. Basado ordenador: 1976. MYCIN
consultas mdicas. Elsevier, Nueva York.
Dean F. Sittig, Adam Wright, Jerome A. Osheroff,
Blackford Middleton, Jonathan M. Teich, Joan S. Ash,
Emily Campbell y David W. Bates. 2008. Gran
retos en apoyo a la decisin clnica. Journal of
Informtica Biomdica, 41 (2): 387-392.
Ellen M. Voorhees. 2003. Visin general de TREC 2002. En
Actas de la Conferencia REcuperacin texto.
Beverly Park Woolf. 2009. Edificio interaccin inteligente
tutores tivas. Morgan Kaufmann, Burlington, MA.
Alan L. Yuille y Hongjing Lu. 2007. El ruidoso,
distribucin lgica y su aplicacin a causales inferencia
cia. En Juan C. Platt, Daphne Koller, Yoram Cantante,

y Sam T. Roweis, los editores, los PIN. Curran Associates,

Inc.