SESGOS EN LA EVALUACIÓN DE LA EVIDENCIA

La evaluación de la evidencia es un paso crucial en el análisis, pero la evidencia de la que

dependen las personas y cómo la interpretan está influenciada por una variedad de factores
extraños. La información presentada con detalles vívidos y concretos a menudo tiene un impacto
injustificado, y las personas tienden a ignorar la información abstracta o estadística que pueda
tener un mayor valor probatorio. Rara vez tomamos en cuenta la ausencia de evidencia. La mente
humana también es demasiado sensible a la consistencia de la evidencia e insuficientemente
sensible a la fiabilidad de la evidencia. Finalmente, las impresiones a menudo permanecen incluso
después de que las pruebas en las que se basan se hayan desacreditado totalmente. 90
*******************

El analista de inteligencia trabaja en un entorno informativo algo único. La evidencia proviene de

un conjunto inusualmente diverso de fuentes: periódicos y servicios por cable, observaciones de
oficiales de la Embajada de los Estados Unidos, informes de agentes controlados e informantes
casuales, intercambios de información con gobiernos extranjeros, reconocimiento fotográfico e
inteligencia de comunicaciones.

Cada fuente tiene sus propias fortalezas, debilidades, sesgos potenciales o reales únicos y
vulnerabilidad a la manipulación y el engaño. La característica más destacada del entorno de la
información es su diversidad: múltiples fuentes, cada una con distintos grados de confiabilidad,
y cada una de ellas comunica información que, por sí misma, es incompleta y, a veces, es
inconsistente o incluso incompatible con la notificación de otras fuentes.

El analista solo tiene un control limitado sobre el flujo de información. La tarea de las fuentes
para informar sobre temas específicos suele ser un proceso engorroso y lento. La evidencia sobre
algunos temas importantes es esporádica o inexistente. La mayoría de la información de origen
humano es, en el mejor de los casos, de segunda mano.
Reconocer y evitar sesgos en tales circunstancias es particularmente difícil. La mayoría de los
sesgos discutidos en este capítulo no están relacionados entre sí y se agrupan aquí solo porque
todos se refieren a algún aspecto de la evaluación de la evidencia.

El criterio de vivacidad
El impacto de la información en la mente humana solo se relaciona imperfectamente con su
verdadero valor como evidencia. 91 Específicamente, la información que es vívida, concreta y
personal tiene un mayor impacto en nuestro pensamiento que la información pálida y abstracta
que en realidad puede tener un valor sustancialmente mayor como evidencia. Por ejemplo:

 La información que las personas perciben directamente, que escuchan con sus propios
oídos o que ven con sus propios ojos, es probable que tenga un mayor impacto que la
información recibida de segunda mano que pueda tener un mayor valor probatorio.
 Las historias de casos y las anécdotas tendrán un mayor impacto que los datos
estadísticos o agregados más informativos pero abstractos.
Los eventos que las personas experimentan personalmente son más memorables que aquellos
sobre los que solo leyeron. Las palabras concretas son más fáciles de recordar que las palabras
abstractas, 92 y las palabras de todos los tipos son más fáciles de recordar que los números. En
resumen, la información que tiene las cualidades citadas en el párrafo anterior es más probable
que atraiga y mantenga nuestra atención.

Es más probable que se almacene y se recuerde que el razonamiento abstracto o los resúmenes
estadísticos y, por lo tanto, se puede esperar que tenga un mayor efecto inmediato, así como un
impacto continuo en nuestro pensamiento en el futuro.

Los analistas de inteligencia generalmente trabajan con información de segunda mano. La

información que reciben los analistas está mediada por las palabras escritas de otros en lugar de
percibirse directamente con sus propios ojos y oídos. En parte debido a las limitaciones
impuestas por su empleo abierto de la CIA, muchos analistas de inteligencia pasaron menos
tiempo en el país que están analizando y tuvieron menos contactos con los ciudadanos de ese
país que sus colegas académicos y otros del gobierno. Las ocasiones en que un analista visita el
país cuyos asuntos está analizando, o habla directamente con un ciudadano de ese país, son
experiencias memorables. Tales experiencias son a menudo una fuente de nuevas ideas, pero
también pueden ser engañosas.

Que los datos concretos, sensoriales, tengan y deban tener una cierta prioridad cuando se
sopesan las pruebas y están bien establecidas. Cuando una teoría abstracta o un informe de
segunda mano se contradice con la observación personal, esta última prevalece adecuadamente
en la mayoría de las circunstancias. Hay una serie de adagios populares que aconsejan desconfiar
de los datos de segunda mano: "No creas todo lo que lees", "Puedes probar cualquier cosa con
estadísticas", "Ver para creer", "Soy de Missouri ..."
Es curioso que no haya máximas comparables para advertir contra ser engañado por nuestras
propias observaciones. Ver no debe ser siempre creer.
Las observaciones personales de los analistas y agentes de inteligencia pueden ser tan engañosas
como las cuentas de segunda mano. La mayoría de las personas que visitan países extranjeros se
familiarizan con solo una pequeña muestra de personas que representan un segmento estrecho
de la sociedad total. Las percepciones incompletas y distorsionadas son un resultado común.

Una forma familiar de este error es el caso único y vívido que supera un cuerpo mucho mayor de
evidencia estadística o conclusiones alcanzadas por el razonamiento abstracto. Cuando un
posible comprador de automóviles escucha por casualidad a un extraño quejándose de que su
Volvo resultó ser un limón, esto puede tener tanto impacto en el pensamiento del posible
comprador como las estadísticas en Consumer Reports sobre el costo promedio anual de
reparación de los automóviles fabricados en el extranjero.

Si el testimonio personal proviene del posible hermano del comprador o de un amigo cercano,
probablemente se le dará aún más peso. Sin embargo, el estado lógico de esta nueva información
es aumentar en uno la muestra en la que se basan las estadísticas de Consumer Reports ; La
experiencia personal de un único propietario de Volvo tiene poco valor probatorio.
Nisbett y Ross lo etiquetan como el síndrome "hombre-quién" y proporcionan las siguientes
ilustraciones: 93
 "Pero conozco a un hombre que fumaba tres paquetes de cigarrillos al día y vivía hasta los
noventa y nueve".
 "Nunca he estado en Turquía, pero el mes pasado conocí a un hombre que lo hizo y lo
encontró ..."

No hace falta decir que un ejemplo de "hombre-quién" rara vez merece el peso probatorio
pretendido por la persona que cita el ejemplo, o el peso que el receptor suele otorgarle.
La implicación más seria de la vivacidad como criterio que determina el impacto de la evidencia
es que ciertos tipos de evidencia muy valiosa tendrán poca influencia simplemente porque son
abstractos. Los datos estadísticos, en particular, carecen de detalles ricos y concretos para evocar
imágenes vívidas y, a menudo, se pasan por alto, se ignoran o se minimizan.

Por ejemplo, el informe del Cirujano General que vincula el consumo de cigarrillos con el cáncer
debería haber causado, lógicamente, una disminución en el consumo de cigarrillos per cápita. No
se produjo tal disminución durante más de 20 años. La reacción de los médicos fue
particularmente informativa. Todos los médicos conocían la evidencia estadística y estaban más
expuestos que la población general a los problemas de salud causados por fumar.

Cómo reaccionaron a esta evidencia dependía de su especialidad médica. Veinte años después
del informe del Cirujano General, los radiólogos que examinan las radiografías de los pulmones
todos los días tienen la tasa más baja de tabaquismo. Los médicos que diagnosticaron y trataron
a las víctimas de cáncer de pulmón también eran poco propensos a fumar.

Muchos otros tipos de médicos continuaron fumando. La probabilidad de que un médico

continuara fumando estaba directamente relacionada con la distancia entre la especialidad del
médico y los pulmones. En otras palabras, incluso los médicos, que estaban bien calificados para
entender y apreciar los datos estadísticos, se vieron más influenciados por sus vívidas
experiencias personales que por los datos estadísticos válidos.94
Las anécdotas personales, las cuentas reales de la capacidad de respuesta o la indiferencia de la
gente hacia las fuentes de información y los experimentos controlados pueden citarse hasta
el infinito "para ilustrar la proposición de que los resúmenes de datos, a pesar de sus
implicaciones lógicamente convincentes, tienen menos impacto que la evidencia inferior pero
más vívida". 95 Parece probable que los analistas de inteligencia también asignen un peso
insuficiente a la información estadística.

Los analistas deberían dar poca importancia a las anécdotas y los historiales personales a menos
que se sepa que son típicos, y quizás no tengan ningún peso si se pueden obtener datos
agregados basados en una muestra más válida.

Falta de prueba
Una característica principal del análisis de inteligencia es que a menudo falta información
clave. Los problemas analíticos se seleccionan en función de su importancia y las necesidades
percibidas de los consumidores, sin tener en cuenta la disponibilidad de información. Los
analistas tienen que hacer lo mejor que pueden con lo que tienen, teniendo en cuenta de alguna
manera el hecho de que falta mucha información relevante.
Idealmente, los analistas de inteligencia deberían ser capaces de reconocer qué evidencia
relevante falta y tener esto en cuenta en sus cálculos.

También deben poder estimar el impacto potencial de los datos faltantes y ajustar la confianza
en su juicio en consecuencia. Desafortunadamente, este ideal no parece ser la norma. Los
experimentos sugieren que "fuera de la vista, fuera de la mente" es una mejor descripción del
impacto de las brechas en la evidencia.

Este problema se ha demostrado mediante el uso de árboles de fallas, que son dibujos
esquemáticos que muestran todas las cosas que pueden salir mal en cualquier esfuerzo. Los
árboles de fallas a menudo se usan para estudiar la falibilidad de sistemas complejos como un
reactor nuclear o una cápsula espacial.

Varios grupos de mecánicos experimentados mostraron un árbol de fallas que muestra todas las
razones por las cuales un auto podría no arrancar. 96 El árbol tenía siete ramas principales: carga
insuficiente de la batería, sistema de arranque defectuoso, sistema de encendido defectuoso,
sistema de combustible defectuoso, otros problemas del motor, actos maliciosos o vandalismo,
y todos los demás problemas, y una serie de subcategorías en cada rama.

A un grupo se le mostró el árbol completo y se le pidió que imaginara 100 casos en los que un
automóvil no arranca. Luego se les pidió a los miembros de este grupo que estimaran cuántos de
los 100 casos eran atribuibles a cada una de las siete ramas principales del árbol. A un segundo
grupo de mecánicos se le mostró solo una versión incompleta del árbol: se omitieron tres ramas
principales para probar qué tan sensibles eran los sujetos de prueba a lo que quedaba fuera.

Si el juicio de los mecánicos hubiera sido completamente sensible a la información faltante,

entonces el número de casos de falla que normalmente se atribuirían a las sucursales omitidas
debería haberse agregado a la categoría "Otros problemas". En la práctica, sin embargo, la
categoría "Otros problemas" se incrementó solo la mitad de lo que debería haber sido. Esto
indicaba que la mecánica que mostraba el árbol incompleto era incapaz de reconocer e
incorporar completamente en sus juicios el hecho de que faltaban algunas de las causas por las
que un automóvil no arrancaba. Cuando se ejecutó el mismo experimento con no mecánicos, el
efecto de las ramas faltantes fue mucho mayor.
En comparación con la mayoría de las preguntas del análisis de inteligencia, el experimento "el
auto no arranca" involucró juicios analíticos más bien simples basados en información que se
presentó de una manera bien organizada. El hecho de que la presentación de las variables
relevantes en el árbol de fallos abreviado fuera incompleta podría y debería haber sido
reconocido por los mecánicos experimentados seleccionados como sujetos de prueba.
Los analistas de inteligencia a menudo tienen problemas similares. Los datos faltantes son
normales en los problemas de inteligencia, pero probablemente sea más difícil reconocer que
falta información importante e incorporar este hecho en los juicios sobre cuestiones de
inteligencia que en el experimento más concreto de "el automóvil no arranca".

Como un antídoto para este problema, los analistas deben identificar explícitamente aquellas
variables relevantes sobre las cuales falta información, considerar hipótesis alternativas con
respecto al estado de estas variables, y luego modificar su juicio y especialmente la confianza en
su juicio en consecuencia. También deben considerar si la ausencia de información es normal o
es en sí misma un indicador de actividad inusual o inactividad.