Lmites ticos de la inteligencia artificial

Artculo publicado en la Revista Hispanoamericana de Cultura Razn y Fe. Mayo 2001

Se describe a lo largo del artculo la inteligencia artificial como actividad, destacando los aspectos en que aparecen problemas ticos segn el campo especfico de aplicacin. Posteriormente la exposicin se centra en los sistemas de toma de decisin, y concretamente en aquellos en los que hay que considerar mltiples criterios conflictivos. Por ltimo, en las conclusiones finales se trata de recoger criterios que permitan establecer los lmites ticos de la inteligencia artificial.

Fernando de Cuadra Garca

Dr. Ingeniero Industrial del I.C.A.I. Es Profesor Propio Agregado de la UPCo e Investigador del Instituto de Investigacin.

Introduccin Se podr automatizar cualquier tarea actualmente desempeada por seres humanos? Creo que s. Y las tareas intelectuales ms abstractas, que slo llevan a cabo personas muy capaces y especializadas? Tambin. Las mquinas ya reemplazan con xito a campeones de ajedrez o a pilotos de avin.Y lo ms espectacular est an por llegar. En la prctica, los lmites tcnicos no son crticos. Los avances de la tecnologa rompen las barreras establecidas a mayor velocidad de lo que la sociedad y el individuo puedan asimilar. Los lmites fsico-tericos estn demasiado lejos para que lleguen realmente a restringir posibilidades. Debemos mucho antes encontrarnos con otros obstculos, de naturaleza econmica, sociojurdica y especialmente tica. Parece que hay cier ta diferencia esencial entre un piloto automtico y un juez automtico (o mdico, o polica). Nos resignamos a poner nuestra vida en manos del primero, pero seguramente pondramos reparos a

someternos a las decisiones del segundo. Por qu? Los dos son sistemas automticos, que parten de una cierta informacin para tomar decisiones que pueden ser crticas. Este ar tculo trata de analizar la naturaleza de la barrera que separa estos dos tipos de sistemas automticos.

Ingeniera En general, el objetivo de la ingeniera es el diseo, desarrollo y explotacin de sistemas ms o menos complejos para mejorar las condiciones de vida de las personas de una forma racional y controlada. Los sistemas estn formados por estructuras, mquinas y personas que colaboran activa o pasivamente en la consecucin de los fines establecidos. Los lmites tcnicos de la ingeniera se establecen dinmicamente segn los avances tericos de la ciencia (modelos y principios contrastados experimentalmente) y los avances prcticos de la tecnologa (capacidad de diseo, fabricacin y control). Otros lmites im-

10

anales de mecnica y electricidad. Enero-Febrero 2002

portantes son los de la imaginacin creativa. Pero debe distinguirse entre imaginar un sistema visto desde fuera, como un comportamiento deseable, e imaginar un sistema visto desde dentro, como un comportamiento factible y controlable. Lo primero es un ejercicio de creatividad especulativa o artstica, necesaria pero no suficiente para desarrollar un sistema. Si no somos capaces de ir ms all, nos quedamos en el terreno de la ciencia-ficcin. Lo segundo es un ejercicio de creatividad prctica propio de la ingeniera, que en general podemos llamar diseo. Cuando los sistemas que se desea desarrollar son complejos, los proyectos de ingeniera tambin lo son. Esto obliga a que las decisiones y los problemas ticos asociados a las mismas se tomen en sucesivas etapas siguiendo una estructura jerrquica. Simplificando, podemos identificar cinco etapas fundamentales: Aplicacin de polticas generales y estudios preliminares. Especificacin. Diseo. Desarrollo. Explotacin. Tomemos por ejemplo la construccin de una central nuclear. En la primera etapa debe decidirse sobre el conflicto entre rentabilidad y peligros de la energa nuclear y, si se decide que compensa globalmente, hay que adoptar un conjunto de normas de seguridad que minimizar estos peligros hasta lmites tolerables. En la segunda etapa se describe en detalle el conjunto de caractersticas tcnicas de la central, como su localizacin, potencia y tipos de tecnologa, pero tambin se detalla como se deben aplicar las normas de seguridad decididas en la primera etapa. En la tercera se describen con detalle todos los subsistemas de la central, las conexiones y relaciones entre ellos y cmo se plasman en todas y cada una de sus piezas las normas y procedimientos de seguridad de la segunda etapa. En la fase de desarrollo se construye, y en la de explotacin se mantiene el sistema bajo control para respetar en todo momento las normas emanadas de las etapas anteriores. Las decisiones con mayor contenido tico se plantean en las fases iniciales de un proyecto. Frecuentemente, aparece un conflicto entre beneficio econmico y dao al medio ambiente, entre bienestar a cor to plazo y posibles desastres a medio plazo, o tambin entre molestias a una minora frente a supuestos beneficios para la mayora. A partir de la decisin inicial, bsicamente hay que

seguir escrupulosamente las normas y no cometer negligencias, errores ni fraudes. Debe tenerse en cuenta adems que en muchos proyectos de ingeniera ni siquiera son relevantes las decisiones iniciales (por ejemplo, el desarrollo de un nuevo modelo de televisor). Algo fundamental en los proyectos de ingeniera es que siempre existe un responsable de cada aspecto del proyecto: diseo, seguridad, pruebas, puesta en marcha, mantenimiento, etc. Si se produce un fallo, se supone culpable al responsable, que tiene que demostrar su inocencia. La responsabilidad es muy importante, pues condiciona crticamente el grado de autonoma de las mquinas inteligentes.

Inteligencia artificial Bajo este nombre recojo un conjunto bastante diverso de disciplinas que persiguen objetivos similares: resolver automticamente problemas, y/o realizar tareas, que por su complejidad requieren un cier to grado de inteligencia. Entre estas disciplinas incluyo la programacin matemtica, la investigacin operativa, la informtica avanzada, la ingeniera del conocimiento y el control inteligente. En cuanto a su vertiente aplicada, considero la inteligencia artificial como una rama ms de la ingeniera. Muchos autores restringen el trmino inteligencia artificial a un conjunto limitado de tipos de aplicaciones informticas. Esto se debe a diversas causas: razones histricas, modas intelectuales; prejuicios gremiales, sutilezas tcnicas, ventajas comerciales, el estado actual de la tecnologa, o simple ignorancia. Los argumentos ms respetables que se manejan para hacer esta distincin son de dos tipos: La naturaleza del problema o tarea que se desea automatizar. Algunos ejemplos son la visin artificial, el aprendizaje, algunos problemas complejos de control, el diagnstico a partir de sntomas, el diseo creativo, y el procesamiento de lenguaje natural. La tcnica (o tecnologa) empleada. Por ejemplo, algunos tipos de lenguajes de programacin, la bsqueda heurstica, las redes neuronales, la lgica borrosa, los sistemas expertos, y el reconocimiento de patrones. Segn mi experiencia, toda frontera que se quiera establecer entre inteligencia artificial e informtica convencional es superficial, difusa, y dependiente del estado del arte. Por esto creo que resulta ms adecuado eliminar de raz dicha frontera.
Lmites ticos de la inteligencia artificial 11

Aunque hay sistemas electromecnicos analgicos capaces de realizar tareas bastante complejas, la inteligencia artificial est estrechamente relacionada con los sistemas digitales. Los sistemas digitales estn compuestos por mquinas fsicas y vir tuales (hardware y software) cuyo comportamiento puede describirse mediante lgebra o lgica binaria. La capacidad potencial de los sistemas digitales para implantar comportamientos complejos es inmensa. A ello contribuyen la inversin en tecnologa avanzada en hardware, la posibilidad de abstraccin del software y la propia automatizacin de tcnicas de diseo y verificacin. Los lmites prcticos se deben fundamentalmente al estado de la tecnologa de los dispositivos fsicos (almacenamiento limitado de informacin, tiempo de respuesta, tamao y consumo), y a las restricciones impuestas por el mercado en cuanto rentabilidad de las inversiones. Pueden las mquinas ser inteligentes, o bien slo parecerlo? sta es una cuestin que puede suscitar discusiones interminables (y muy entretenidas), pero es irrelevante desde el punto de vista siempre prctico de la ingeniera. Si un sistema funciona como si fuera inteligente, qu importa si realmente lo es? Otra cuestin bien distinta es la responsabilidad. Una mquina no es libre, y por tanto no es responsable de sus decisiones ni de sus actos. Liber tad, responsabilidad y conciencia son caractersticas propias de la condicin humana, y estrechamente relacionada entre s.

Aspectos ticos segn tipos de aplicaciones Se considera aqu que las decisiones problemticas desde un punto de vista tico son slo aquellas que puedan perjudicar directa o indirectamente a las personas. Por lo tanto se debe cuestionar si el desarrollo y explotacin de un sistema inteligente puede afectar a la vida, la salud (lo que incluye el medio ambiente), la libertad, la intimidad, el puesto de trabajo o la dignidad de alguien, y en general a su bienestar fsico y mental. Hay reas de trabajo que son en s mismas una fuente inagotable de preocupacin tica. En este grupo incluyo los sistemas de armamento, la gentica y la industria de alto riesgo medioambiental. Dado su carcter general y su amplia difusin, este tipo de problemas ticos no es objeto de este artculo.
12 anales de mecnica y electricidad. Enero-Febrero 2002

Dos tipos de aplicaciones de la inteligencia artificial tambin se van a dejar deliberadamente fuera de esta discusin. Uno es el recreativo y artstico, que incluye el campo de los videojuegos y la realidad vir tual. El otro es el de las herramientas avanzadas de trabajo y los equipos tcnicos especializados, utilizadas en actividades industriales, burocrticas o contables. La amenaza planteada por el primer tipo de aplicaciones est relacionada con problemas psicolgicos de alienacin, adiccin, incomunicacin personal o educacin. No se discute aqu por falta de conocimiento y por tanto de opinin fundada sobre el tema. La amenaza planteada por la automatizacin de actividades laborales se relaciona con la destruccin de puestos de trabajo. Esta amenaza se ignora por considerar que la dinmica del mercado de trabajo es una realidad ya muy conocida y globalmente beneficiosa (aunque pueda afectar localmente a algunos colectivos, y esto debe resolverlo la legislacin laboral). Quien argumenta, por ejemplo, que una excavadora quita el trabajo a muchos obreros, simplemente ignora los puestos de trabajo generados por su diseo, fabricacin, comercializacin, transporte, manejo, mantenimiento, formacin de personal especializado y otras actividades asociadas. No es fcil clasificar los campos de aplicacin de la inteligencia artificial, pues tienden a ser todos los imaginables. Para identificar grandes familias de aplicaciones y sus problemas ticos asociados se ha optado aqu por un criterio sencillo y bastante claro, basado en las funciones ms elementales que realiza un sistema digital. A diferencia de otras especialidades de ingeniera, la materia prima de la inteligencia artificial es la informacin, en la que se materializa algo ms abstracto, que es el conocimiento. Hay cuatro funciones bsicas que se realizan en cualquier proceso o sistema complejo: almacenamiento, transporte, proceso y control. En funcin de estas cuatro tareas bsicas, identificamos los siguientes tipos de aplicaciones informticas: Gestin de informacin. La informacin se almacena fsicamente en las memorias, y a ms alto nivel en las bases de datos. En estas aplicaciones, la funcin principal es el almacenamiento y recuperacin de informacin. Comunicacin. La informacin se transporta mediante sistemas y redes de comunicaciones. En estas aplicaciones, el transporte es la funcin ms importante.

 Control. El control de los sistemas consiste en la sincronizacin de las tareas que realiza cada uno de los subsistemas para garantizar la consecucin de una tarea comn ms compleja. En estas aplicaciones, la funcin de control es dominante. Razonamiento automtico. El proceso o transformacin de informacin corre a cargo de procesadores (a nivel fsico) y sistemas de clculo automtico en general. En este tipo de sistemas, la funcin de proceso de informacin es la fundamental. Cualquier sistema digital complejo rene todas estas funciones bsicas. Pero habitualmente es fcil identificar cul es la funcin dominante de una aplicacin, y esto nos permite caracterizar sus distintos problemas ticos asociados de una forma sencilla. En las aplicaciones de gestin de informacin y de comunicacin, los problemas ticos estn relacionados con el derecho a la intimidad y a un cierto grado de anonimato de las personas. No existe una garanta real de seguridad (informtica) ante el acceso de personas no autorizadas a nuestros datos ms ntimos. Existe el riesgo de opresin por un estado policial, o por otro tipo de organizaciones.Tambin se puede poner en peligro el derecho a la rehabilitacin, hacindonos esclavos de por vida de nuestra historia pasada. En las aplicaciones de control (robtica, transportes automatizados, control de procesos industriales), los problemas ticos son los propios de la ingeniera clsica: cmo se garantiza la seguridad (fsica) de las personas y del medio ambiente, quin se hace responsable de ella en caso de fallos y, por tanto, de posibles desastres. El problema se reduce al anlisis, gestin y aceptacin social del riesgo asociado al progreso tecnolgico. En las aplicaciones de razonamiento automtico, los problemas ticos son quiz ms complejos y sutiles. A su discusin se dedica el siguiente apartado.

Razonamiento automtico y toma de decisiones Aunque hay diversas tcnicas alternativas para abordar este tipo de desarrollos, se va a emplear aqu un enfoque propio de la programacin matemtica y de la investigacin operativa. Esto es suficiente porque todas las tcnicas persiguen los mismo objetivos y, por tanto, tambin plantean los mismos problemas ticos. Para facilitar la exposicin se

emplear un proyecto real de logstica, como es la asignacin ptima de turnos de trabajo en una empresa. Centrmonos en cmo resolver el problema de forma automtica. La solucin del problema se modela como un valor concreto de un conjunto de variables de decisin. En el ejemplo, algunas variables de decisin pueden ser el nmero total de turnos, las horas de comienzo de cada turno, o las horas de descanso programadas. La solucin tendr que cumplir una serie de restricciones; por ejemplo, que haya en todo momento un nmero suficiente de trabajadores (restriccin tcnica) o que ningn turno supere ocho horas de duracin (restriccin legal, pactada, o simplemente racional). Toda solucin que cumpla las restricciones es una solucin factible. Pero si hay ms de una solucin factible, se querr seleccionar la mejor (o las mejores) de todas, y eso se determina mediante atributos, objetivos o criterios de optimizacin. Un atributo podra ser minimizar el nmero total de trabajo, y otro podra ser respetar al mximo las preferencias de horario de cada trabajador, o intentar centrar las horas de descanso dentro de cada turno de trabajo. Si se desea obtener slo una solucin factible, basta con buscar una que respete todas las restricciones. Si adems se desea obtener la solucin ptima, hay que seleccionar la mejor de entre las factibles. Esto ltimo exige definir ar tificialmente qu se entiende por mejor. Una prctica habitual es sopesar los distintos atributos reducindolos a una sola funcin que se desea minimizar (funcin objetivo). Por ejemplo, una suma ponderada de atributos donde cada factor de ponderacin refleja la impor tancia relativa de cada uno frente a los dems. La solucin ptima ser la que corresponda a un valor mnimo de la funcin objetivo. Si los atributos son realmente conflictivos entre s, ser difcil incluirlos en una nica funcin objetivo. En el ejemplo empleado, es difcil ponderar el nmero total de horas de trabajo (coste) frente al grado de satisfaccin de los trabajadores. Otro ejemplo habitual en ingeniera es el conflicto entre minimizar el coste de una inversin industrial frente a minimizar su impacto medioambiental. Lo ms correcto (prctica y ticamente) en estos casos es aplicar tcnicas de optimizacin multiatributo, que permitan obtener un conjunto ptimo de soluciones no condicionado por una determinada ponderacin.
Lmites ticos de la inteligencia artificial 13

Este conjunto de soluciones cumple la propiedad de que ninguna es objetivamente peor ni objetivamente mejor que ninguna otra. La herramienta automtica ayuda a la toma de decisiones proporcionando un conjunto ptimo de alternativas y la informacin necesaria para ponderarlas, pero la decisin final y por tanto la responsabilidad se deja al usuario de la herramienta.

Razonamiento automtico y tica El problema tico ms inmediato en un sistema de razonamiento automtico es el mismo que en otros tipos de sistemas: hasta qu punto el objetivo fundamental de la aplicacin es tico.Ya se ha comentado que hay reas de trabajo ticamente delicadas, como el armamento, la gentica o cier tos tipos de aplicaciones industriales. En el ejemplo anterior de los turnos de trabajo el objetivo es opinable, porque puede verse como un arma empleada para explotar al trabajador (se emplea para negociar convenios, pero slo dispone de ella la empresa) o como un mtodo racional para obtener beneficios mejorando al mismo tiempo las condiciones de trabajo. En las aplicaciones de toma de decisiones, la definicin y forma de uso de la herramienta depende en gran medida de la labor del ingeniero de especificacin y diseo, frente a otros tipos de proyecto controlados ms rgidamente por el cliente. Existe la posibilidad de definir restricciones con flexibilidad, de hacer explcitos los criterios conflictivos y de mostrar las posibilidades reales de la herra-

mienta como ayuda, y no como elemento fro de decisin. Los objetivos finales de la aplicacin se pueden modificar parcialmente durante el proyecto, y en algunos casos esta influencia puede considerarse un deber desde el punto de vista tico. Una cuestin ms general es hasta qu punto debe confiarse a una mquina la toma de decisiones, cuando nunca puede ser responsable de las mismas. Antes de tratar este tema, vamos a excluir de la discusin una gran cantidad de aplicaciones: todas aquellas en las que la solucin de un problema es nica por naturaleza. Esto puede ocurrir porque las restricciones permitan slo una solucin o porque no existen realmente atributos conflictivos entre s. En el caso de problemas con solucin nica, la toma automtica de decisiones no es ticamente discutible. Una solucin errnea sera simplemente un fallo, pero no se delega la responsabilidad. Se debe tratar como una aplicacin de tipo control, y por tanto debe desarrollarse bajo las normas de seguridad correspondientes a la gravedad de las consecuencias del fallo. En casos en que est en juego la vida humana, esto incluye pruebas sistemticas, auditoras, redundancias de sistemas, monitorizacin y funciones de autocomprobacin. El sistema debe funcionar adems bajo la supervisin de personas que son responsables legal y moralmente de su buen comportamiento. En problemas que incluyen atributos ticamente conflictivos, la decisin final debe tomarla una persona que se haga responsable

14

anales de mecnica y electricidad. Enero-Febrero 2002

de las consecuencias. Una herramienta automtica puede generar el conjunto de soluciones ptimas, para que el usuario de la herramienta escoja entre ellas. En el ejemplo de la distribucin de turnos de trabajo, la empresa puede naturalmente elegir la solucin de mnimo coste ignorando el bienestar de los trabajadores (respetando slo mnimos legales o de convenio). Pero se dan dos circunstancias muy interesantes: primero, se conocen los costes objetivos de ceder ms o menos en la negociacin, pues est disponible todo el abanico de soluciones ptimas; segundo, en ninguna de las soluciones ptimas se perjudica a los trabajadores innecesariamente, sino slo en caso de que realmente esto represente un beneficio significativo para la empresa. Esta ltima propiedad es muy importante. Por ejemplo, mediante los resultados obtenidos por la herramienta de razonamiento automtico, se comprob que se poda aumentar bastante el tiempo de descanso de los trabajadores sin que la empresa se viera afectada en absoluto. Curiosamente, el problema de la duracin del descanso haba ocupado horas de negociacin en aos anteriores, al igual que otros puntos conflictivos slo en apariencia.

Resumen y conclusiones No es la tecnologa la que restringir la aplicacin de sistemas automticos a cualquier tipo de actividad. Mejor ser entonces que sean sus problemas ticos asociados los que establezcan los lmites prcticos. Un sistema automtico inteligente puede desarrollarse para cualquier tipo de finalidad. Por tanto, una fuente de problemas ticos es la valoracin de la finalidad en s. Ejemplo de reas de trabajo ticamente discutibles son la industria de armamento, los procesos industriales contaminantes o la manipulacin gentica. Un campo en el que lo discutible no son los objetivos, sino el uso de la Inteligencia Artificial en s, es el de los juegos y el arte. Es discutible su uso por la posibilidad de adiccin, y por la deshumanizacin o alienacin en unas actividades tan ligadas tradicionalmente a las relaciones personales. Clasificados los tipos de sistemas inteligentes por sus funciones principales (almacenamiento, transporte, control y proceso), se han identificado tres grandes familias de problemas ticos: En las aplicaciones de tipo control, los problemas ticos son similares a los de otras

especialidades de ingeniera. Ante el posible riesgo de desastres y accidentes, hay que establecer las normas, procedimientos y controles de seguridad necesarios. Adems hay que contar con la supervisin de personas que se hagan responsables legal y moralmente del compor tamiento del sistema, siempre bajo el supuesto de que no existe un sistema absolutamente infalible. En las aplicaciones de gestin masiva de informacin y comunicaciones, se puede amenazar seriamente la intimidad, libertad y dignidad de las personas. Esto plantea problemas ticos especiales, en particular porque es muy difcil responsabilizar directamente a una persona u organizacin de los posibles abusos y usos indeseables del poder de la informacin. En las aplicaciones de tipo razonamiento automtico, hay que distinguir entre razonamientos de solucin nica (que se trataran ticamente como aplicaciones de control), y razonamientos que emplean argumentos ticamente conflictivos, en los que se puede generar automticamente un conjunto de decisiones ptimas. La presencia de argumentos conflictivos en la toma de decisiones debera dejar a la mquina el papel de generar estos datos objetivos y precisos sobre la verdadera medida del conflicto, para consulta y ayuda de la persona responsable. Esto tampoco garantiza evidentemente que la decisin final sea ticamente correcta, pero al menos puede evitar errores innecesarios, como sera el adoptar una decisin que es peor que otra desde cualquier punto de vista. La falta de libertad y, por tanto, de responsabilidad de las mquinas se presenta aqu como factor crtico para limitar su accin y autonoma. Naturalmente, podemos cuestionar si somos nosotros realmente libres y realmente responsables de nuestros actos y decisiones. Tal vez slo seamos mquinas programadas de forma tan compleja como para crear nuestra propia ilusin de libertad. Y tal vez la conciencia sea un mecanismo de supervivencia social, adquirido y transmitido de generacin a generacin. Est bien, no podemos saberlo con certeza. Pero s sabemos con certeza que alguien tiene que hacer de juez, de mdico o de polica.Y que ese alguien tiene que hacerse responsable de sus decisiones, por lo que no puede ser una mquina creada por nosotros. Tal vez en el fondo no sepamos lo que somos, pero s que estamos seguros de lo que nuestras mquinas son: nada ms que mquinas.
Lmites ticos de la inteligencia artificial 15