1

TICA DE ROBOTS
Jos M Bengochea Guevara, Javier Grande Gil, Fernando Velasco Caldern Escuela Tcnica Superior de Ingeniera Industrial Universidad Politcnica de Madrid
Abstract En los ltimos aos la robtica se ha expandido notablemente en muchas direcciones olvidando la rama que posiblemente sea la ms importante, especialmente si lo que queremos es que los robots se encarguen de las tareas diarias hacindonos convivir con ellos. Esta rama es la de la tica.

ms tica? A su dueo? La persona que le gusta ms? La peticin que sirve mejor para sus propios intereses? Los seres humanos nos enfrentamos a estos dilemas todo el tiempo. La tica prctica se encarga de proporcionar los medios para resolver estas cuestiones. Pero para un robot esta toma de decisiones se toma altamente complicada. Esta toma de decisiones, requiere el compromiso conjunto de expertos de varias disciplinas totalmente alejadas de la robtica como tica, Teologa, Biologa, Ciencias Cognitivas, Derecho, Psicologa para ajustar las leyes y reglamentos a los problemas derivados de los logros cientficos y tecnolgicos de la Robtica. Por esta razn, expertos en todos esos campos son necesarios para sentar las bases de la tica en el diseo, desarrollo y empleo de robots. La UE, al igual que Amrica y Japn, saben de la importancia de la robtica tanto en el presente como en el futuro. Por esta razn la Red de Investigacin Robtica Europea, EURON, ha realizado un estudio para intentar trazar una hoja de ruta con el fin de localizar las oportunidades de desarrollo y empleo de la tecnologa robtica en los prximos aos. Su principal objetivo es identificar los cuellos de botella para desarrollar un calendario para la investigacin robtica en los prximos 20 aos. Al tratarse de un periodo de tiempo tan corto, slo se han insinuado los posibles problemas inherentes a la posible aparicin de las funciones humanas en el robot: el libre albedro, y la conciencia de s, el sentido de la dignidad, las emociones En consecuencia no se han examinado los problemas debatidos en literatura sobre la necesidad de considerar o no a los robots como nuestros esclavos o de la necesidad de garantizarles el mismo respeto, los derechos y la dignidad que debemos a los trabajadores humanos. El presente artculo se encuentra divido en varias partes, en primer lugar mencionamos las Leyes de Asimov y proseguiremos con un cdigo tico para ingenieros en robtica. Despus desarrollamos los distintos tipos implementables de tica desde diversos enfoques filosficos. A continuacin indicamos las lneas de investigacin ms importantes y prometedoras y los desafos a los que tienen an que enfrentarse. Por ltimo tratamos el tema de la responsabilidad de las acciones de un robot.

La falta de progresos en este campo, hacen que cada da que pasa, las personas nos preguntamos ms si los robots podran ser peligrosos para la humanidad igual que la Fsica Nuclear, la Qumica o la Bioingeniera. La robtica est siendo puesta bajo el punto de mira sobre esta cuestin, por eso se han iniciado conversaciones profundas destinadas a establecer lo conocido en ingls como Roboethics, la tica que debe inspirar el diseo, la fabricacin y el uso de robots.
Keywords: Roboethics, tica, Moral, Asimov, Top-Down, Bottom-up, Responsabilidad

I. INTRODUCCIN
ctualmente vivimos en un mundo en el que vemos normal que una mquina nos aspire el suelo, limpie el fondo de nuestra piscina o nos ayude en la elaboracin de una comida. Desde que se produjo la Revolucin Industrial se han ido extendiendo el uso de las mquinas, y lo que es ms importante an, cada vez realizan tareas ms complejas. Esta evolucin hace que podamos explorar sitios tan lejanos como el universo, realizar operaciones reduciendo los casos de ciruga invasiva o rescatar gente en catstrofes naturales. Estos avances en robtica estn haciendo que tarde o temprano los robots estarn tan metidos en nuestras vidas que se tendrn que enfrentar a las mismas situaciones ticas a las que se enfrentara un ser humano. No nos referimos solo a situaciones de vida o muerte, si no a situaciones cotidianas en las que tenemos que elegir entre varias opciones y elegir la ms tica posible. Por ejemplo, supongamos una situacin en la que tenemos un robot en un geritrico y una persona le pide el mando a distancia para ver un canal determinado y, por otro lado, otro residente desea ver otro canal, cul ser la actitud correcta que deber tomar el robot? O por otra parte, si a un robot se le dan dos rdenes contradictorias por dos personas diferentes, a quin debe obedecer? Al que hace la solicitud

II. LAS LEYES DE ASIMOV

Los problemas debatidos en la literatura mencionados anteriormente surgen en 1947, cuando Isaac Asimov escribi en su novela de ciencia ficcin, Yo, Robot, las tres leyes de la robtica. Sus Leyes se basan en la moralidad funcional, que asume que los robots tienen capacidad cognitiva suficiente para tomar decisiones morales. Aunque en principio las Leyes son sencillas, aplicarlas en situaciones del mundo real es muy difcil, debido al contexto particular de cada una de las mismas. El gran existo de Asimov ha sido inculcar en la sociedad expectativas acerca de cmo los robots deberan de actuar en torno a los seres humanos. Las Leyes son: 1. Un robot no puede hacer dao a un ser humano, o, por medio de la inaccin, permitir que un ser humano sea lesionado. Su principal problema es que considera la seguridad slo en trminos del robot. Un robot debe obedecer las rdenes recibidas por los seres humanos, excepto si estas rdenes entrasen en conflicto con la Primera Ley. Aunque la ley no lo dice, se sobreentiende que las ordenes se dan mediante comandos de voz, con la dificultad de la comprensin del lenguaje natural. Adems, los seres humanos utilizan gestos a travs de la postura corporal, expresiones faciales y movimientos de aclaracin y de nfasis. Un robot debe proteger su propia existencia en la medida en que esta proteccin no sea incompatible con la Primera o la Segunda Ley.

Para superar las dificultades que encierran esta Leyes, IEEE propuso otras tres leyes alternativas que recuerdan a los investigadores y desarrolladores de robtica de sus responsabilidades legales y profesionales. 1. Un ser humano no puede implementar un robot sin el sistema de trabajo humano-robot de los ms altos estndares legales y profesionales de la seguridad y la tica. 2. Un robot debe responder a los seres humanos segn corresponda a sus funciones. 3. Un robot debe estar dotado de suficiente autonoma como para proteger su propia existencia siempre y cuando dicha proteccin proporciona una transferencia suave de control a otros agentes de conformidad con las leyes primera y segunda.

2.

III. UN CDIGO DE TICA PARA INGENIEROS DE LA ROBTICA

Debido a que la implementacin de la tica en los robots es llevada a cabo por personas, el futuro de la ingeniera robtica est en manos de ingenieros y debe ser tenido en cuenta para garantizar la seguridad del resto de personas y la reputacin del campo. Por esta razn debe de desarrollarse un cdigo de tica para los ingenieros de robtica, existente en otras disciplinas tales como la ingeniera elctrica, ingeniera mecnica y ciencias de la computacin para proporcionar orientacin en la toma de decisiones, debido a que en los cdigos existentes los ingenieros no tienen la responsabilidad de las acciones de sus creaciones. Esta tica se enfrenta a desafos ticos nicos, debido a la combinacin de la autonoma de sus creaciones y la capacidad de interactuar directamente con su entorno, especialmente con los seres humanos. Uno de los propsitos principales de un cdigo de tica es reducir al mnimo el dao a todas las partes afectadas por las decisiones y acciones del ingeniero. Los principios que rigen el cdigo tico para ingenieros son: 1. Reconocer que pueda ser considerado responsable de las acciones y usos de todas las creaciones de las que form parte. Es responsabilidad del ingeniero de robtica examinar los posibles usos poco ticos de sus creaciones en la medida que sea prctico, y limitar las posibilidades de uso poco tico. 2. Considerar y respetar a la gente, no slo el bienestar fsico, sino sus derechos tambin. Un ingeniero de robtica debe preservar el bienestar humano, mientras que se respetan los derechos humanos.

3.

Estas Leyes se completaron posteriormente con la conocida como Ley Cero: Un robot no puede hacer dao a la Humanidad o, por inaccin, permitir que la Humanidad sufra dao. El problema fundamental con esta ley es definir "Humanidad", as como determinar qu supone un "dao" para la Humanidad.

Ilustracin 1: Ejemplar original de I, Robot de Isaac Asimov

3 3. No desinformar a sabiendas, y si se extiende informacin falsa, hacer lo posible para corregirlo. Un ingeniero de robtica siempre debe seguir siendo digno de confianza, al no desinformar a los clientes, empleadores, compaeros o el pblico de ninguna manera. 4. Respetar y cumplir las leyes locales, nacionales e internacionales siempre que sea aplicable. Un ingeniero de robtica debe respetar las leyes que se aplican en cada comunidad. 5. Reconocer y revelar cualquier conflicto de inters. Un ingeniero de robtica debe revelar la existencia de cualquier conflicto de inters para los empleados. El empleado debe estar al tanto de los conflictos ya que pueden afectar a las decisiones que toma el ingeniero. 6. Aceptar y ofrecer una crtica constructiva. Un ingeniero de robtica siempre debe esforzarse por producir los mejores trabajos posibles y ayudar a otros a hacer lo mismo. 7. Ayudar a los compaeros en su desarrollo profesional y en el seguimiento de este cdigo. Este cdigo de tica est disponible como una gua para todos los ingenieros en robtica como un medio de unir con una base comn para comportamiento tico. Un ingeniero de robtica se asegura de que el mbito de la robtica siga creciendo. Hay que tener en cuenta que este cdigo ha sido escrito para la situacin actual de la robtica, y cabe esperar que en el futuro este cdigo deba ser revisado para su mejora y actualizacin. El reto de construir agentes artificiales morales podra entenderse como la bsqueda de formas de aplicar valores abstractos dentro de la arquitectura de control de los sistemas inteligentes. Los filsofos que se han enfrentado a este problema han sugeridos dos tipos de enfoques: 1. Los enfoques top-down en la moral artificial generalmente se entienden como un conjunto de reglas que se pueden convertir en un algoritmo. Estas reglas especifican las obligaciones de un agente moral (El Imperativo Categrico de Kant) o la necesidad de que el agente calcule las consecuencias de las diferentes vas de accin que puede llevar a cabo (Utilitarismo). 2. El enfoque bottom-up para construir agentes morales artificiales se inspira en tres fuentes: los retoques de los ingenieros para optimizar el rendimiento, la evolucin, y el aprendizaje y el desarrollo en los seres humanos. Es decir, lo enfocaran de la misma manera en que el sentido moral se desarrolla en los nios humanos a medida que se transforman en adultos. El desafo para los ingenieros en robtica es decidir qu enfoque es mejor para el diseo de agentes morales artificiales, mediante la implementacin de una teora tica (top-down) o mediante un proceso de aprendizaje (bottom-up). Como comprobaremos a continuacin, estos dos enfoques tienen sus ventajas e inconvenientes, por lo cual sera pensable que una combinacin de ambos sera la solucin ideal. Este caso sera el conocido como sistemas hbridos, compuestos, tal y como veremos posteriormente por una mezcla de los dos anteriores. A. ENFOQUE TOP-DOWN La teoras top-down combinan la fortaleza en la definicin de criterios ticos con una amplitud que se puede aplicar a un sinnmero de desafos. El precio de esta fortaleza est en que estos principios o estn definidos de una manera tan vaga y abstracta que su significado y su aplicacin a situaciones especficas es discutible, o se definen de manera tan rgida que no conducen a decisiones que sean adecuadas para un nuevo contexto. Tal y como anteriormente mencionamos, hay dos tipos de reglas: 1. El imperativo Categrico de Kant (IC) La tica deontolgica (basada en deberes) presenta la tica como un sistema de reglas inflexibles; obedecindolas te conviertes en moral, rompindolas te conviertes en inmoral. El Imperativo Categrico de Kant (IC) es tpico del enfoque deontolgico, como se ve en sus dos componentes principales: a) Obra slo de forma que puedas desear que la mxima de tu accin se convierta en una ley universal ".

IV. PROGRAMANDO MORALIDAD

Hasta ahora, cuando los robots deben realizar juicios morales los diseadores e ingenieros que construyen los sistemas pueden ser capaces de discernir todas las diferentes opciones que el robot se encuentra y programar las respuestas apropiadas. Estos robots son operacionalmente morales. Sin embargo la moral operacional no es suficiente para muchas aplicaciones debido a la posibilidad de que los sistemas se encuentren ante situaciones no previstas. Por esta razn para que un robot trabaje con un cierto grado de autonoma se necesitan robots ms sofisticados con una moralidad funcional, de tal manera que las mquinas tengan tambin la capacidad para evaluar y responder a las consideraciones morales. Actualmente los ingenieros tienen muchas limitaciones para disear dichos robots debido a los lmites de la tecnologa actual. Adems, cualquier aproximacin a la construccin de mquinas capaces de tomar decisiones morales tendr que ser convenientemente evaluada para comprobar su viabilidad.

4 b) Obra de tal modo que uses la humanidad, tanto en tu persona como en la de cualquier otro, siempre como un fin, y nunca slo como un medio. A esta formulacin se le atribuye la introduccin de la idea de "respeto" para las personas. Este enfoque de Kant es muy influyente, pero tiene problemas de aplicabilidad y problemas con las consecuencias que se podran derivar. Uno de los problemas con la tica deontolgica, especfico de la robtica, es el problema de la "moralidad esclava". Por ejemplo, los robots militares seran programados presumiblemente para obedecer rdenes ciegamente, y no mostraran nada de la verdadera autonoma kantiana. De hecho, el trmino 'robot' se deriva de robota, palabra checa que significa "servidumbre". Estos robots podran tomar decisiones autnomas sobre los medios para llevar a cabo sus metas preprogramadas, pero no sobre los propios objetivos, no podran elegir por s mismos sus propias metas, siempre tendran como objetivo obedecer las rdenes. 2. Utilitarismo El utilitarismo es otro intento de eludir los conflictos entre las normas a travs de un principio imperativo top-down que puede aplicarse a todas las situaciones. Propone que un agente debe calcular las consecuencias netas derivadas de los diferentes cursos de accin disponibles y, a continuacin, seleccionar la accin que ofrece "el mayor bien para el mayor nmero". Esta es una teora pragmtica cuya poltica parece estar determinada por una ponderacin de razones a favor y en contra de una accin concreta. Sin embargo, este enfoque no es tan computacionalmente tratable como podra parecer. En la prctica existe un problema de clculo: es una exigencia imposible calcular la utilidad de cada accin; por lo tanto, el utilitarismo hace la valoracin moral imposible, ya que incluso las consecuencias a corto plazo de la mayora de acciones son imposibles de predecir con exactitud, y mucho menos las a largo plazo. Los problemas de cmo la utilidad puede ser representada en un sistema computacional, la amplitud de las consecuencias de las acciones que debe ser analizadas, as como incluir el bienestar del agente en el clculo son problemas que deben resolverse a fin de llevar a buen trmino un anlisis utilitario. Pero si la utilidad es incalculable, y la obligacin de uno es maximizar la utilidad, la mayor parte del valor de la teora parece desaparecer. Lo que es peor, hay ms objeciones al utilitarismo: la objecin a implicaciones absurdas, por ejemplo, apuntar que en algunos escenarios una mentira es tan moral como la verdad si las consecuencias son las mismas. An ms fundamentales son las objeciones basadas en la (in) justicia. Por ejemplo, la objecin de chivos expiatorios que implicara que la maximizacin de la utilidad podra exigir la injusticia, como la ejecucin de un inocente para evitar un motn que habra dado lugar a muertes y daos econmicos. Es decir, que desde el punto de vista del utilitarismo, al menos en su forma bsica, no se puede fcilmente explicar la nocin de derechos y deberes, ni las distinciones morales entre, por ejemplo, asesinar frente a dejar morir.

Ilustracin 2: Implementacin de tica mediante el enfoque Top-down

Esto transformara todas las preguntas sobre su tica en simplemente preguntas sobre la tica de la persona que da las rdenes. Pero las preocupaciones por la tica de los robot conciernen a las consecuencias de su uso (algo que la tica deontolgica estricta no puede tolerar, ya que insiste en que hay que obedecer las reglas, sin importar las consecuencias). Y, por supuesto, una objecin fundamental (que afecta tanto a la tica deontolgica y utilitarista) es la escptica afirmacin de que ningn conjunto finito de reglas puede garantizar nunca el comportamiento tico en todos los casos, o por lo menos si el conjunto de posibles comportamientos es grande o prcticamente ilimitado. Antes de responder a esa crtica, vamos a examinar tal vez la objecin ms importante a la deontologa (y el enfoque alternativo resultante), que las consecuencias importan moralmente, y seguir las reglas es moralmente malo si lleva a malos resultados.

B. ENFOQUE BOTTOM-UP El enfoque bottom-up para construir agentes morales artificiales se inspira en las tres fuentes citadas anteriormente: los retoques de los ingenieros para optimizar el rendimiento, la evolucin, y el aprendizaje y el desarrollo en los seres humanos. Una variedad de subsistemas discretos estn siendo desarrollados por cientficos de la computacin que potencialmente podran contribuir a la construccin artificial de agentes morales aunque no todos se han diseado explcitamente para el razonamiento moral. El problema est en que para los cientficos que deseen construir robots con mayores facultades se enfrentan a un reto difcil, y es que la suma de conjuntos de habilidades discretas

5 no tiene por qu dar lugar a la aparicin de facultades cognitivas de alto nivel, como inteligencia emocional, juicio moral y conciencia. Esto slo podr conocerse una vez se construyan estos sistemas robticos. La evolucin ha inspirado una serie de enfoques para el desarrollo de la inteligencia artificial, desde los experimentos de vida artificial hasta los algoritmos genticos y la robtica evolutiva. El poder de la evolucin es aprovechado en la seleccin de los agentes de una coleccin de agentes similares, los cuales optimizan ms un determinado criterio. Los agentes seleccionados sirven como padres que se modifican y se recombinan (mediante un proceso que es anlogo a la reproduccin sexual) para producir una nueva generacin de agentes. Esta nueva generacin se prueba, los mejores son seleccionados y se reproducen, y as sucesivamente. Esta estrategia bsica ha sido un xito para la produccin de agentes adecuados para una amplia variedad de tareas. Alan Turing fue el primero en abordar la idea de que la inteligencia artificial (IA) debe tratar de imitar el desarrollo del nio [Turing, 1950]. Y ms adelante Jean Piaget, Lawrence Kohlberg, Carol Gilligan y otros propusieron teoras del desarrollo sobre la forma en que los nios aprenden acerca de la moralidad [Murray, 2008]. Estas teoras han sido adaptadas en los programas de estudios para facilitar el desarrollo moral de los nios. Esto sugiere la posibilidad de que un robot que aprendiese podra desarrollar una moralidad similar a travs de un programa educativo similar. Sin embargo los algoritmos y tcnicas actuales no son lo suficientemente robustas como para llevar a cabo un proyecto educativo sofisticado. Las tcnicas de aprendizaje son todava bastante rudimentarias. La ingeniera bottom-up mantiene la promesa de una especie de moralidad dinmica en el que, al cambiar las condiciones, la retroalimentacin constante de los diferentes mecanismos facilita respuestas variadas. Se asocia a una corriente dentro de la tica denominada particularismo, que afirma que no existen leyes o normas generales, y cada situacin tica es nica. Pero la debilidad de los enfoques bottom-up para el desarrollo de agentes morales artificiales est en no saber qu objetivos va a utilizar para la evaluacin de acciones segn van cambiando las circunstancias. Los sistemas bottom-up funcionan mejor cuando estn dirigidos a alcanzar una meta clara. Cuando el sistema tiene ms de un objetivo, o cuando la informacin disponible es confusa o incompleta, el enfoque bottom-up tiene menos posibilidades de ofrecer un curso de accin claro. C. SISTEMAS HBRIDOS El juicio moral en el ser humano es un hbrido de mecanismos bottom-up formados por la evolucin y el aprendizaje y criterios top-down para razonar sobre los desafos ticos. Eventualmente, podemos ser capaces de construir robots moralmente inteligentes que mantengan la moral dinmica y flexible de los sistemas bottom-up capaces de acomodarse a diversas situaciones, mientras se somete a la evaluacin de opciones y acciones a los principios top-down. La perspectiva de desarrollo de robots virtuosos ofrece un lugar para considerar la integracin de mecanismos top-down, bottom-up.

1. tica de la virtud: el robot virtuoso Para la tica de la virtud, la moral no es funcin de las acciones, sino del carcter. Es decir, sus acciones no constituyen una moral, sino ms bien la revelan: "Qu clase de persona ser si hago este tipo de cosas? Este nfasis en el paulatino desarrollo de las virtudes puede ser entendido como un aprendizaje bottom-up, mientras que es posible considerar las virtudes como patrones top-down para la evaluacin de las acciones programadas en un robot. Debido a que la virtud es una "excelencia" y se define en trminos de los roles que uno desempea, es inevitablemente dependiente del contexto; ninguna norma o conjunto de normas sern capaces de dictar lo que diferentes personas (o robots) en diferentes roles necesitaran para hacer frente a distintas situaciones. Debido a que las virtudes objetivamente son dependientes del rol, la lista objetiva de virtudes de los bomberos ser diferente de la lista de los auditores o los vendedores o los soldados, etc. Slo las virtudes ms genricas como la sabidura, la honestidad, la empata, la justicia, etc., se aplicarn a todos los roles sociales. Los cdigos profesionales son entonces comprendidos mejor como listas de virtudes para un determinado papel social, en lugar de una lista de reglas a seguir.

2. El reto Top-down y el enfoque Bottom-up El reto top-down sera determinar cmo representar los patrones virtuosos y motivaciones, y cmo el sistema podra determinar qu virtud, o qu accin que representa la virtud debe ser llamada en una situacin particular. El enfoque bottom-up para la implementacin de virtudes en los sistemas computacionales se deriva del reconocimiento por parte de varios tericos de la similitud entre el aprendizaje en las redes neuronales y la discusin de Aristteles, en su tica a Nicmaco, sobre la forma en que se adquieren las virtudes. Las redes neuronales proporcionan una estrategia bottom-up para la creacin de capacidades a travs del reconocimiento de patrones y la construccin de categoras a partir de entradas complejas. A travs de la acumulacin gradual de datos, la red desarrolla respuestas generalizadas que van ms all de los datos con los que se entrena.

6 Los problemas abordados por las redes neuronales existentes estn lejos de las tareas complejas de aprendizaje asociadas con el desarrollo moral. Sin embargo, la posibilidad de que las redes neuronales puedan ser adaptadas para algunos aspectos del razonamiento moral es una posibilidad intrigante. El desarrollo bottom-up de patrones de conducta virtuosa podra combinarse con una implementacin top-down de las virtudes como una forma de evaluar las acciones y como vehculo para proporcionar explicaciones racionales de la conducta. un sistema que utiliza una mquina descubridora de principios ticos para resolver casos particulares de dilemas ticos biomdicos, y EthE1, un sistema prototipo para el cuidado de ancianos que utiliza el mismo principio para guiar sus acciones.

3. Conclusiones de los sistemas hbridos Un enfoque top-down programara unas reglas en el robot y esperara que el robot simplemente obedeciera dichas reglas sin cambio o flexibilidad. El inconveniente, como hemos visto con la tica deontolgica, es que esa rigidez puede llevar fcilmente a malas consecuencias cuando se producen acontecimientos y situaciones no previstas o insuficientemente imaginadas por los programadores, haciendo que el robot acte mal o haga cosas horribles, precisamente porque est dentro de los lmites de las reglas. Un enfoque bottom-up, en cambio, depende de la robustez del aprendizaje del robot: como un nio, un robot se coloca en situaciones variadas y se espera que aprenda por ensayo y error. En general, se evitan las normas universales. Pero esto tambin se vuelve problemtico, especialmente cuando se expone al robot a situaciones nuevas: el robot no puede recurrir a normas que le guen ms all de las que ha acumulado desde su propia experiencia, y si stas no son suficientes, entonces es probable que acte mal. Como consecuencia, una arquitectura hbrida es el modelo preferido para la construccin de robots autnomos ticos. Algunas reglas top-down se combinan con el aprendizaje del robot para aproximar de la mejor manera la forma en que los humanos ganan experiencia tica. Ilustracin 3: Robot Nao implementado con principio tico previo al EthE1 Rafal Rzepka y Kenji Araki [17] sugirieron que al igual que nosotros aprendemos el idioma sin aprender la gramtica, la mayora de la gente puede comportarse de forma tica sin aprender tica. Alegaron que podemos usar la WorldWideWeb para efectuar bsquedas masivas en la Red con el fin de indagar acerca de lo que, desde un punto de vista tico, se ha considerado aceptable en el pasado y, a partir de ello, aplicando anlisis estadsticos, suscitar patrones de comportamiento tico y valores seguros para la inteligencia artificial de los agentes. En [18, 19] Selmer Bringsjord, Konstantine Arkoudas, y Pablo Bello formalizaron cdigos ticos con lgica dentica, e insistieron en que los robots slo realizaran acciones que puedan ser ticamente admisibles. Discutieron sobre las dos condiciones necesarias para asegurar que el comportamiento de los agentes artificiales o robots fueran ticas: a) Los robots slo realizan acciones admisibles. b) Los robots realizan todas las acciones obligatorias relevantes para ellos, teniendo en cuenta las relaciones y conflictos entre las acciones disponibles. Vicente Wiegel y Jan van den Berg [2, 3] relacionaron el conocimiento sobre lo que es moralmente (in)aceptable para los deseos (objetivos) de los agentes y la formacin de intenciones (adaptacin de los planes) por los agentes. Con el fin de hacer esto utilizaron el modelo de intenciones, deseos y creencias (modelo BDI) de Bratman y una exhaustiva plataforma de lgica modal, DEAL. Slo proporcionan una descripcin informal y no una formalizacin completa. Para ello utilizaron un sistema software multiagente llamado JACK.

V. LINEAS DE INVESTIGACIN Lo citado en el apartado anterior de programando la moralidad puede parecer ms filosfico que implementable, pero como comprobaremos a continuacin, hay numerosos intentos de diversos grupos de investigacin por todo el mundo implementando tica en las mquinas con el objetivo de crear un agente tico artificial. Los casos ms destacables son: Michael Anderson y Susan Leigh Anderson [1] combinaron un enfoque bottom-up con una implementacin top-down de una teora tica para desarrollar un sistema que utiliza el aprendizaje para abstraer a primera vista las relaciones entre los deberes ticos de casos particulares de dilemas ticos, donde los especialistas en tica estn de acuerdo en cuanto a la accin correcta. Propusieron dos sistemas (MedEthEx y EthE1) para demostrar la viabilidad de su enfoque. MedEthEx,

7 En la plataforma lgica dentica-epistmica-accin (DEAL) [20], la lgica dentica cubre los conceptos denticos de obligacin, "permiso", y "prohibido". La lgica epistmica expresa las cosas que sabemos y nuestras creencias. Y la lgica de la accin nos permite razonar, a travs del operador STIT (preocuparse sobre eso) razonamos sobre las acciones. Wallach Wendell y Colin Allen [4] propusieron que la investigacin actual se centrara en la unin de subsistemas que implementaran capacidades humanas discretas con el objetivo de crear un sistema con suficiente complejidad para proporcionar un sustrato para la moral artificial. Tal enfoques es bottom-up en el sentido de que el desarrollo y despliegue de estos subsistemas discretos no est explcitamente guiado por una teora tica. En [21] propusieron una arquitectura AgenteBDI casuista que incrementa la potencia de la arquitectura BDI. La arquitectura Agente-BDI casuista combina el mtodo CBR (Razonamiento basado en casos) en IA y el enfoque casuista bottom-up en la tica con el fin de aadir la capacidad de razonamiento tico a la arquitectura Agente-BDI. En [22], basndose en la hiptesis principal de que el razonamiento tico es siempre un razonamiento incierto por su naturaleza, seleccionan tres enfoques principales de razonamiento incierto, y los aplican al razonamiento moral. Adems de redes bayesianas, redes, consideran la teora de Dempster-Shafer y sistemas de mantenimiento de la verdad basado en supuestos para modelar algunas reglas con el fin de determinar los efectos de la voluntariedad de hacer una accin en la responsabilidad tica de la misma. Consideraron la teora tica catlica para suscitar las reglas de voluntariedad. Thomas M. Powers [23] reformul la tica de Kant con el propsito de que sirviera como tica para las mquinas, sin embargo, en [5] Ryan Tonkens indica que el desarrollo de agentes morales artificiales kantianos est en contra de la tica kantiana. Jean Gabriel [24, 25] mostr que el progreso en la lgica no monotnica, que simula el razonamiento por defecto, podra proporcionar una formalizacin clara de las normas ticas de comportamiento de los agentes inteligentes. Marcello Guarini [15] realiz una investigacin enfocada en el entrenamiento de redes neuronales mediante el empleo de casos ya existentes para, en situaciones afines, reconocer y seleccionar decisiones aceptables ticamente. Aparte del desarrollo de las diferentes tcnicas de inteligencia artificial, los algoritmos para el razonamiento sobre los desafos morales no darn lugar a las respuestas apropiadas de comportamiento a menos que el robot tenga acceso a la informacin de contexto que describa la situacin, la capacidad de discernir qu informacin es esencial y qu entradas conciernen a la tica, y la capacidad de reconocer conflictos inherentes y potenciales derivados de los intereses contrapuestos de los distintos agentes. En otras palabras, el ingeniero deber determinar cules son los requisitos de informacin para un sistema de toma de decisiones morales. Qu necesitar saber el sistema para tomar una decisin bien formada? Qu dispositivos de entrada y sensores sern necesarios para tener acceso a esta informacin?

Ilustracin 4: Robot imitando al mitico pensador de Rodin

VI. UN PASO MS ALL

Los mtodos que se han propuesto para que una mquina derive normas de comportamiento son varios. En general, los mismos se fundamentan en diferentes tcnicas de inteligencia artificial (IA). Los estudios en tica artificial no se hallan sino en sus albores. Estos resultados, si bien preliminares, nos animan a pensar que es posible que una mquina elabore principios ticos tiles para guiar el comportamiento de los robots. Pero qu necesitar en el futuro un robot para ser plenamente tico?

Las facultades supraracionales tales como las emociones, sentirte dentro del mundo, las habilidades sociales, y la conciencia, representan formas que los seres humanos poseen para tener acceso a la informacin esencial que deben de tenerse en cuenta en las decisiones ticas. La experiencia sensorial y los mecanismos sociales contribuyen al refinamiento de la conducta que la gente espera de uno; esto tambin ser necesario para que los robots que funcionen con un alto grado de competencia en los contextos sociales. Mientras que los robots no tendrn necesariamente que emular toda la gama de las facultades humanas, los sistemas ms sofisticados s necesitaran mecanismos que proporcionen una apreciacin similar de los complejos contextos sociales. Por otra parte, la comunicacin a travs de expresiones faciales, gestos, entonacin vocal y prosodia, y otras conductas verbales y no verbales sern tiles en la transmisin de las intenciones del robot y facilitarn la cooperacin con los seres humanos. Esto, a su vez, ayudar a los humanos a percibir al robot como digno de confianza. Para todo ello, por tanto, se necesitar un mayor desarrollo de los sistemas de visin, sistemas de reconocimiento de voz, sensores hpticos, etc.

8 VII. RESPONSABILIDAD Hasta ahora hemos tratado el origen literario de la tica con las leyes de Asimov, un cdigo tico para los ingenieros en robtica que desarrolla e implementan la tica en los robots, as como los posibles enfoques de la tica desde un punto de vista filosfico, pero quin es el responsable de las acciones del robot? El campo ms importante en el que se debe implementar un comportamiento responsable son los robots para el cuidado de personas mayores y nios. Al dejar personas al cargo de un robot estaramos dndole responsabilidades muy importantes por lo que nos hara falta un algoritmo que supiera razonar en situaciones complicadas y que obrara de manera correcta, incluso cuando sus razonamientos entraran en conflicto con los de la persona que eligi utilizar un robot, se plantea de esta forma que un robot puede educar a un nio, el nico aspecto a tratar sera que el robot tendra que tener cargado en su base de datos un modelo de comportamiento tico perfecto y razonar en base a l, como ya vimos en el enfoque top-down. Otro tema a considerar es el uso de la tica en los robots militares, en principio podramos pensar en robots diseados para participar activamente en el combate. Sin embargo, actualmente no se ha llegado a esta complejidad y la situacin actual en este campo es el uso de robots teleoperados o robots para tareas de apoyo como desactivacin de minas o carga de equipamiento en el campo de combate. En este contexto es necesario implementar un sistema de toma de decisiones para robots autnomos y teleoperados y de esta forma aseguramos que el comportamiento es el que deseamos. Este concepto parece no tener sentido para robots teleoperados porque se supone que el bucle de control est cerrado por un humano y ya es ste quien toma las decisiones por el robot pero en realidad puede ser que estn controlados por un ordenador. Ilustracin 5: Robot militar La responsabilidad es un tema importante que se debe de tratar aparte, con el paso del tiempo los robots estn aprendiendo a tomar decisiones y el ser humano siempre tiende a buscar culpables cuando ocurre alguna situacin inapropiada o un accidente. Adems, la tecnologa actual est tendiendo al desarrollo de los robots autnomos y su integracin en la sociedad, de esta forma, el tema de la tica de robots y, en especial, la responsabilidad y toma de decisiones debera pasar a un primer plano. Cuando una persona toma una decisin se dice que se hace responsable de sus actos y debe responder a sus consecuencias, sin embargo esta situacin no es extrapolable a un robot ya que son considerados como mquinas complejas. En los sistemas ms simples esto se limita a disear robots que no proporcionen ningn riesgo para los humanos, pero segn los robots van incrementando sus habilidades ser necesario implementar sistemas de seguridad ms avanzados. De esta forma, llegamos al punto en el que para robots capaces de realizar actividades sociales necesitaramos que sean ms morales hacia las personas (no mentir, no robar) incluso si la propia persona no acta moralmente hacia ellos. A pesar de las altsimas inversiones que se han hecho en este campo actualmente no existe la tcnica necesaria para utilizar robots autnomos que sepan diferenciar entre aliados y enemigos. Adems, es posible que los algoritmos implementados tengan errores, y en el campo de batalla estos errores se pueden traducir en daos a personas inocentes, y es en estas situaciones cuando se busca la responsabilidad. Como se haba dicho anteriormente el robot no tiene la culpa porque de momento no est tipificado que los robots puedan ir a la crcel. La culpa sera de la persona que da la orden al robot para que mate, se llama autora mediata, es decir, el que da la orden (autor mediato) mata a travs del robot, que es el autor inmediato. Esto es anlogo a lo que ocurre en la actualidad en caso de haberse realizado por humanos, la responsabilidad suele recaer sobre el general que dio la orden en vez de los soldados que cometieron el crimen, ya que estos estaban simplemente siguiendo rdenes. Por citar otro ejemplo no blico, supongamos ahora un robot dispensador de frmacos que acte de manera que el primer cliente que viene es el primero que es servido, pero cuando detecte que se est quedando sin una cierta medicina debera seleccionar de una manera ms compleja a quin le corresponde el derecho a recogerla.

9 De manera similar un robot enfermera atiende a todos los pacientes pero cuando viene un gran nmero de ellos debe decidir cules necesitan atencin inmediata y cules pueden esperar, con las consecuencias que ello conlleva. La distribucin justa de los bienes sociales, ya sea los frmacos o atencin mdica, es un tema en el que las propias personas no estn de acuerdo. La igualdad de condiciones es a menudo una poltica impracticable debido a los recursos limitados, disear una poltica justa es una tarea no trivial que involucra un pensamiento moral.

REFERENCIAS
[1] Anderson, M., Anderson, S., Ethical Healthcare Agents, Studies in Computational Intelligence, Springer, 2008. [2] Wiegel, V., SophoLab, Experimental Computational Philosophy, Ph.D. dissertation, Faculty of Technology, Policy and Management, Delft University of Technology, 2007. [3] Wiegel, V., Van den Berg, J., Combining Moral Theory, Modal Logic and Mas to Create Well-Behaving Artificial Agents,Social Robotics, Springer, 2009. [4] Wallach, W., Allen, C.,EthicALife: A new field of inquiry, AnAlifeX workshop, 2006. [5] Tonkens, R., A Challenge for Machine Ethics, Minds and Machines, Springer, 2009. [6] Ingram, B, A code of ethics for robotics engineers, 2010. [7] Murphy, R., Woods, D., Beyond Asimov: The Three Laws of Responsible Robotics, 2009. [8] Ethics in Robotics, IRIE, 2006. [9] Lin, P., Bekey, G., Abney, K., Autonomous Military Robotics: Risk, Ethics, and Design, US Department of Navy, 2008. [10] Veruggio, G., The EURON Roboethics Roadmap, 2006. [11] Arkin, C., Moshkina, L., Lethality and Autonomous Robots: An Ethical Stance, 2007. [12] rkl, B., Dodig-Crnkovic, G., Akan, B., Towards Industrial Robots with Human-like Moral Responsibilities, 2010. [13] Sharkey, N., Cassandra or False Prophet of Doom: AI Robots and War, IEEE Intelligent Systems, 2008. [14] Machine Ethics, Intelligent Systems, 2006. [15] Guarini M., Particularism and the Classification and Reclassification of Moral Cases, IEEE Intelligent Systems, 2006. [16] Anderson, M., Anderson, S., tica para robots, Investigacin y Ciencia, 2010. [17] Rzepka, R., Araki, R.,What Statistics Could Do for Ethics? The Idea of Common Sense Processing Based Safety Valve. American Association of Artificial Intelligence, 2005. [18] Bringsjord, S. Arkoudas, K., Bello, P., Toward a General Logicist Methodology for Engineering Ethically Correct Robots, IEEE Intelligent Systems, 2006. [19] Arkoudas, K., Toward ethical robots via mechanized deontic logic, AAAI, 2005. [20] Van den Hoven, J., Lokhorst, G., Deontic Logic and Computer-Supported Computer Ethics, Cyberphilosophy: The Intersection of Computing and Philosophy, 2002. [21] Honarvar, A., Nasser, G., Casuist BDI-Agent: A New Extended BDI Architecture with the Capability of Ethical Reasoning, AI and Computational Intelligence, 2009. [22] Hmlinen, W., "Do computers have conscience? Implementing artificial morality". 2008. [23] Powers, T., Prospects for a Kantian Machine, IEEE Intelligent Systems, vol. 21, no. 4, 2006. [24] Ganascia, J., Using non-monotonic logic to model machine ethics, 2007. [25] Ganascia, J.,Modelling ethical rules of lying with Answer Set Programming, Ethics and Information Technology, 2007.

VIII. CONCLUSIONES
Actualmente existen muchos campos abiertos de investigacin en robtica que van avanzando rpidamente, pero la tica es, posiblemente, el campo con menos soluciones. Y este no es un tema menor, debido a que es uno de los campos ms importantes debido a la gran cantidad de decisiones ticamente complejas que los robots tendrn que tomar en un futuro no muy lejano. Los robots fueron diseados con el fin de realizar tareas montonas y peligrosas, pero hoy en da la tecnologa ha evolucionado hasta el punto de que estamos hablando de mquinas con cierta capacidad de decisin. Sin embargo, al extrapolar este conocimiento al campo tico surgen multitud de problemas debidos a, por un lado, la complejidad del pensamiento humano y su libertad para hacer el bien o el mal y, por otro lado, a la ambigedad que se pueden presentar en ciertas situaciones como las expuestas en los apartados de introduccin y responsabilidad. La mejor solucin a estos problemas es un sistema hibrido con una combinacin de los enfoques top-down y bottom-up, y de esta forma hacer que el robot vaya aprendiendo a actuar en ciertas situaciones partiendo de unas reglas universales. Si se quiere que los seres humanos vean a los robots como algo prximo, sin temor y sin considerarlos una mera mquina, es necesaria la implementacin de tica en los robots. Con el desarrollo de esta rama de la robtica, podr llevarse a cabo, lo cual proporcionar un impulso definitivo a la robtica, ya que permitir extender los robots por todo el mundo al ver las personas a los robots de forma ms humana y ayudar a la convivencia del ser humano con los robots.

AGRADECIMIENTOS:
Queramos dar las gracias a Antonio Barrientos por abrirnos la mente hacia un campo de la robtica totalmente desconocido y por lo tanto novedoso para nosotros. Gracias a sus orientaciones y presiones hemos profundizado en un tema de vital importancia para el futuro de la robtica tomando conciencia de los retos que plantea la tica en los robots, las dificultades que estos conllevan y las lneas de investigacin actuales para solucionarlas.