Documentos de Discusin en Ciencias Sociales CEACS - DD.002.

3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

Documento
CEACS-DD.002.4

Ttulo
TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS

Autor(es)
Oscar Rodrguez Nieto

Fecha
Octubre de 2008

Temas Relacionados
Tcnicas de Investigacin, Talleres, Mtodos cualitativos, mtodos cuantitativos.

CEACS
CENTRO DE ESTUDIOS Y ASESORAS EN CIENCIAS SOCIALES
Documentos de Discusin en Ciencias Sociales

Resumen
El Taller Delphos es una tcnica multicriterio de recoleccin de informacin diseada por CEACS con el fin de consultar la opinin experta de personas con amplios conocimientos de un tema en particular; Conocer los diferentes argumentos que sustentan las diferentes opiniones consultadas y contrastarlas mediante debate.; Contar con indicadores cuantitativos objetivos que midan, califiquen o ponderen los aspectos investigados de acuerdo con la opinin conjunta de las personas consultadas; Tener en cuenta en dichos indicadores tanto las opiniones mayoritarias como las minoritarias Este documento presenta la tcnica tal y como ha sido diseada originalmente y la compara con otros mtodos como los talleres y grupos de enfoque

INFORMACIN DE CONTACTO: Avenida 22 # 41-28 (402), La Soledad, Bogot DC Telfono: 2323253 Fax: 5701854 Sitio Web: www.ceacs.org Correo electrnico: info@ceacs.org

-1-

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS

Por Oscar Rodrguez Nieto

INTRODUCCIN
El Taller Delphos es una tcnica multicriterio de recoleccin de informacin diseada por el Centro de Estudios y Asesoras en Ciencias Sociales CEACS1 con los siguientes objetivos: Consultar la opinin experta de personas con amplios conocimientos de un tema en particular. Conocer los diferentes criterios y argumentos que sustentan las diferentes opiniones consultadas y contrastarlas mediante debate. Contar con indicadores cuantitativos objetivos que midan, califiquen o ponderen los aspectos investigados de acuerdo con la opinin conjunta de las personas consultadas. Tener en cuenta en dichos indicadores tanto las opiniones mayoritarias como las minoritarias. Lograr que la opinin de cada persona consultada tenga en cuenta los argumentos y opiniones de los dems participantes El diseo de los talleres Delphos est soportado en una tcnica de consulta de expertos ampliamente probada desde los aos 50s llamada el Mtodo Delphi, y ambos

entran dentro de lo que se denomina mtodos de expertos con los foros, mesas redondas, conversatorios, pneles, debates, grupos de enfoque (focus groups), etc. A continuacin se lleva a cabo una revisin general de las ventajas y desventajas de los mtodos expertos, del Mtodo Delphi en particular y de los Talleres Delphos.

LOS MTODOS DE EXPERTOS

Los mtodos de expertos2 utilizan como fuente de informacin un grupo de personas a las que se supone un conocimiento elevado de la materia que se va a tratar. Estos mtodos se emplean cuando se da alguna de las siguientes condiciones: No existen datos histricos con los que trabajar o es muy costoso recoger la informacin. por ejemplo el efecto que tendrn sobre un pas o una localidad un ataque terrorista o el asesinato de un lder. El anlisis de los expertos puede dar luces sobre dichas consecuencias El impacto de factores exgenos intangibles tienen una influencia alta sobre los resultados que se quieren investigar. Siguiendo el mismo ejemplo, la desconfianza mutua en la ciudadana cuando se sabe de la existencia de delincuentes o terroristas infiltrados o escondidos entre la poblacin civil, pueden

Rodriguez, Oscar - CEACS, Modelo de Otorgamiento de Microcrdito para la Financiera Compartir S.A. CFC. Consultora elaborada para Financiera Compartir y el Banco Interamericano de Desarrollo, Colombia, 2004.

Los conceptos descritos en esta seccin y la siguiente han sido basados en la informacin proporcionada por la Universidad Politecnica de Madrid en la siguiente direccin: http://www.gtic.ssr.upm.es/encuestas/delphi.htm#A1.1.1

-2-

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

generar fenmenos sociolgicos que no son fciles de predecir pero que los expertos pueden analizar. Las consideraciones ticas o morales, as como cuando dentro de lo que se quiere investigar las opiniones resultan importantes. En el caso de temas como el aborto o la clonacin de seres humanos, la discusin entre expertos defensores y detractores permite prever las reacciones y argumentos de franjas de opinin pblica al respecto. Los mtodos de expertos, en especial los que incluyen discusin en grupo, tienen las siguientes ventajas: La informacin disponible, al final del ejercicio, ser siempre mayor que la que dispone el participante mejor preparado, es decir, que la del experto ms versado en el tema. Esta afirmacin se basa en la idea de que varias cabezas son mejor que una. El nmero de factores que es considerado por un grupo es mayor que el que podra ser tenido en cuenta por una sola persona. Cada experto podr aportar a la discusin general la idea que tiene sobre el tema debatido desde su rea de conocimiento. Es menos costoso que otros procesos de anlisis cuando se involucran demasiados aspectos o variables que influyen marginalmente. Sin embargo, estos mtodos tambin presentan inconvenientes, como son: Al tratar con expertos, en especial cuando se trata de lderes y dems personas con experiencia en interactuar en ambientes de discusin, fcilmente el tema a tratar puede desviarse hacia los intereses de los expertos con mayor liderazgo. Estos grupos son -3-

vulnerables a la posicin y personalidad de algunos de los individuos. Una persona con dotes de comunicador puede convencer al resto de individuos, aunque su opinin no sea la ms acertada. Esta situacin se puede dar tambin cuando uno de los expertos ocupa una mayor jerarqua frente a los otros, por ejemplo alto cargo en la organizacin, ya que sus subordinados no le rebatirn sus argumentos con fuerza. Cuando no se presenta una organizacin estricta del debate las discusiones tienden a volverse circulares. Es posible que dos opiniones enfrentadas desemboquen en la reformulacin persistente de los mismos argumentos de parte y parte. La presin social que el grupo ejerce sobre sus participantes puede provocar acuerdos con la mayora, aunque la opinin de sta sea errnea. As, un experto puede renunciar a la defensa de su opinin ante la persistencia del grupo en rechazarla. En algunos casos el grupo hace de su supervivencia un fin. Esto provoca que se tienda a conseguir un acuerdo en lugar de producir una buena previsin. En estos grupos hay veces que el argumento que triunfa es el ms citado, en lugar de ser el ms vlido. Puede existir un sesgo comn a todos los participantes en funcin de su procedencia o su cultura, lo que dara lugar a la no aparicin en el debate de aspectos influyentes en la evolucin. Este problema se suele evitar con una correcta eleccin de los participantes.

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

sus inconvenientes. Esta intenta ser la filosofa de la metodologa Delphi3. MTODO DELPHI
Como
primera medida debe delimitarse claramente el contexto Se selecciona el panel de expertos Se enva por correo un primer cuestionario no estructurado, donde se pide a los expertos que establezcan cules son los eventos a analizar. Los expertos responden y devuelven los formularios. El moderador realiza una labor de sntesis y seleccin. Este conjunto de eventos formar el cuestionario de la segunda circulacin. Se lleva a cabo una segunda circulacin, en donde los expertos reciben el cuestionario reformado. Una vez contestados, los cuestionarios son devueltos al moderador, que realiza un anlisis estadstico de las previsiones de cada evento. El moderador confecciona el cuestionario de la tercera circulacin que comprende la lista de eventos y los estadsticos calculados para cada evento. Los expertos reciben el tercer cuestionario y se les solicita que realicen nuevas previsiones y deben dar una explicacin del motivo por el que creen que su previsin es correcta y la del resto del panel no. Estos argumentos se realimentarn al panel en la siguiente circulacin. Cuando el moderador recibe las respuestas, realiza de nuevo el anlisis estadstico y organiza los argumentos. El cuestionario de la cuarta circulacin va a contener el anlisis estadstico y el resumen de los argumentos. Se solicita a los expertos que hagan nuevas previsiones, teniendo en cuenta las explicaciones y las discrepancias aparecidas. Cuando el moderador recibe los cuestionarios, realiza un nuevo anlisis y sintetiza los argumentos utilizados por los expertos.

EL MTODO DELPHI TRADICIONAL4

El mtodo Delphi pretende extraer y maximizar las ventajas que presentan los mtodos basados en grupos de expertos y minimizar sus inconvenientes. Para ello se aprovecha la sinergia del debate en el grupo y se eliminan las interacciones sociales indeseables que existen dentro de todo grupo. De esta forma se espera obtener un consenso lo ms fiable posible del grupo de expertos Este mtodo fundamentales: presenta tres caractersticas

Anonimato: Durante un Delphi, ningn experto conoce la identidad de los otros que componen el grupo de debate. Esto tiene una serie de aspectos positivos, como son: o Impide la posibilidad de que un miembro del grupo sea influenciado por la reputacin de otro de los miembros o por el peso que supone oponerse a la mayora. La nica influencia posible es la de la congruencia de los argumentos. Permite que un miembro pueda cambiar sus opiniones sin que eso suponga una prdida de imagen. El experto puede defender sus argumentos con la tranquilidad que da saber que en caso de que sean

Tericamente, ya habra terminado el Delphi, quedando tan slo la elaboracin del informe final. Sin embargo, si no se hubiese llegado a un consenso, existiendo posturas muy distantes, el moderador debera confrontar los distintos argumentos para averiguar si se ha cometido algn error en el proceso.

De acuerdo con los documentos citados de la Universidad Politcnica de Madrid El mtodo de expertos ideal sera aquel que extrajese los beneficios de la interaccin directa y eliminase -4-

3 4

UPM, ibidem UPM, ibidem

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

errneos, su equivocacin no va a ser conocida por los otros expertos. Iteracin y realimentacin controlada: La iteracin se consigue al presentar varias veces el mismo cuestionario. Como, adems, se van presentando los resultados obtenidos con los cuestionarios anteriores, se consigue que los expertos vayan conociendo los distintos puntos de vista y puedan ir modificando su opinin si los argumentos presentados les parecen ms apropiados que los suyos. Respuesta del grupo en forma estadstica: La informacin que se presenta a los expertos no es slo el punto de vista de la mayora, sino que se presentan todas las opiniones indicando el grado de acuerdo que se ha obtenido. En la realizacin de un Delphi aparece una terminologa especfica: Circulacin: Es cada uno de los sucesivos cuestionarios que se presenta al grupo de expertos. Cuestionario: El cuestionario es el documento que se enva a los expertos. No es slo un documento que contiene una lista de preguntas, sino que es el documento con el que se consigue que los expertos interacten, ya que en l se presentarn los resultados de anteriores circulaciones. Panel: Es el conjunto de expertos que toma parte en el Delphi. Moderador: Es la persona responsable de recoger las respuestas del panel y preparar los cuestionarios. Antes de iniciar un Delphi clsico se realizan una serie de tareas previas, como son:

Delimitar el contexto y el horizonte temporal en el que se desea realizar la previsin sobre el tema en estudio. Seleccionar el panel de expertos y conseguir su compromiso de colaboracin. Las personas que sean elegidas no slo deben ser grandes conocedores del tema sobre el que se realiza el estudio, sino que deben presentar una pluralidad en sus planteamientos. Esta pluralidad debe evitar la aparicin de sesgos en la informacin disponible en el panel. Explicar a los expertos en qu consiste el mtodo. Con esto se pretende conseguir la obtencin de previsiones fiables, pues van los expertos van a conocer en todo momento cul es el objetivo de la cada una de los procesos que requiere la metodologa. En un Delphi clsico se pueden distinguir cuatro circulaciones o fases: Primera circulacin: El primer cuestionario es no estructurado, no existe un guin prefijado, sino que se pide a los expertos que establezcan criterios para analizar con respecto a un tema en particular. Generalmente se pregunta cules son los eventos y tendencias ms importantes que van a suceder en el futuro referentes al rea en estudio. Cuando los cuestionarios son devueltos, el moderador realiza una labor de sntesis y seleccin, obteniendo un conjunto manejable de eventos, cada uno de los cuales est definido de la forma ms clara posible. Este conjunto formar el cuestionario de la segunda circulacin. Segunda circulacin: Los expertos reciben el cuestionario con los sucesos y se les pregunta por la fecha de ocurrencia. Una vez contestados, los cuestionarios son devueltos al moderador, que realiza un anlisis estadstico de las respuestas. El anlisis se centra en el -5-

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

clculo de la mediana (v.g. ao en que hay un 50% de expertos que piensan que va a suceder en ese ao o antes), el primer cuartil o cuartil inferior y tercer cuartil o cuartil superior. El moderador disea el cuestionario de la tercera circulacin que comprende la lista de eventos y los estadsticos calculados para cada evento. Tercera circulacin: Los expertos reciben el tercer cuestionario y se les solicita que realicen nuevas previsiones. Si se reafirman en su previsin anterior y sta queda fuera de los mrgenes entre los cuartiles inferior y superior, deben dar una explicacin del motivo por el que creen que su previsin es correcta y la del resto del panel no. Estos argumentos se realimentarn al panel en la siguiente circulacin. Al ser estos comentarios annimos, los expertos pueden expresarse con total libertad, no estando sometidos a los problemas que aparecen en las reuniones cara a cara. Cuando el moderador recibe las respuestas, realiza de nuevo el anlisis estadstico y, adems, organiza los argumentos dados por los expertos cuyas previsiones se salen de los mrgenes intercuartiles. El cuestionario de la cuarta circulacin va a contener el anlisis estadstico y el resumen de los argumentos. Cuarta circulacin. Se solicita a los expertos que hagan nuevas previsiones, teniendo en cuenta las explicaciones dadas por los expertos. Se pide a todos los expertos que den su opinin en relacin con las discrepancias que han surgido en el cuestionario. Cuando el moderador recibe los cuestionarios, realiza un nuevo anlisis y sintetiza los argumentos utilizados por los expertos. Tericamente, ya habra terminado el Delphi, quedando tan slo la elaboracin de un informe en el que se indicaran las fechas calculadas a partir del anlisis de las respuestas de los expertos y los -6-

comentarios realizados por los panelistas. Sin embargo, si no se hubiese llegado a un consenso, existiendo posturas muy distantes, el moderador debera confrontar los distintos argumentos para averiguar si se ha cometido algn error en el proceso. Las principales desventajas del mtodo Delphi son: La informacin que llega a los expertos en cada circulacin puede ser resaltada o minimizada en algunos aspectos dependiendo de la organizacin que le de el moderados. El orden en que se tratan los temas en el resumen y la cantidad de espacio que se otorga a diferentes argumentos puede direccionar el debate. Esto en algunos casos puede ser una ventaja, si el moderador lo hace en pos de obtener los objetivos de investigacin y no para presionar un resultado favorable a sus propias opiniones. Es un mtodo que toma mucho tiempo para obtener los resultados definitivos. Al llevarse a cabo por correo y no en tiempo real, depende de la disponibilidad de tiempo de los expertos para contestar. El tiempo mnimo que dura cada circulacin es el que el ms demorado de los expertos se tome para responder. En los casos en los que se limita demasiado el tiempo de respuesta algunos expertos pueden quedar excluidos en el informe y debern aplazar la presentacin de sus argumentos hasta la siguiente circulacin. Al ser completamente annimo, no es posible vincular el tipo de respuesta dada por un experto particular con su contexto. Por ejemplo si se pregunta por el futuro del cultivo de la papa, las opiniones de un comercializador experto, las de un productor experto y la de un funcionario del Ministerio de Agricultura sern posiblemente distintas pero los dems participantes no sabrn el porqu de dichas

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

posiciones. Si se supiera el origen de las posiciones, podran ponderar dichas respuestas y hacerse a una opinin ms objetiva del asunto. Algunas de estos inconvenientes se han superado mediante la utilizacin de sitios web especializados para desarrollar este tipo de debates con retroalimentacin inmediata de los resultados de las consultas.

3 CARACTERSTICAS DE LOS TALLERES DELPHOS

Los talleres Delphos buscan aprovechar las ventajas tanto del mtodo Delphi Clsico, como la de los grupos de discusin entre expertos. En resumen, tienen en comn con los talleres el hecho de realizarse de manera presencial y con el Mtodo Delphi el realizar ms de una vuelta de consulta para enriquecer las opiniones de unos participantes con los argumentos de los otros. Tienen tres fases claramente definidas: consulta inicial, debate y consulta final. Los detalles se explican ms adelante. La primera y ms grande diferencia entre estas dos tcnicas es que en los grupos de discusin el tiempo requerido para la realizacin de la consulta es mucho menor que en el Mtodo Delphi, lo cual resulta conveniente en muchos casos en los cuales es necesario obtener conclusiones prontamente. Los talleres Delphos son similares a los talleres de discusin tradicionales en su duracin. Otra diferencia importante entre los grupos de discusin y el mtodo Delphi, es que en los primeros la participacin es explcita mientras que en el segundo la participacin es annima. Ambos enfoques tienen ventajas y desventajas como ya se ha mencionado. Para maximizar las ventajas y minimizar las desventajas los talleres Delphos prevn que en la primera consulta que se realiza a los expertos durante el taller, la opinin pueda ser annima o identificada, dependiendo del tema y el tipo de personas convocadas; durante la fase -7-

de discusin el anonimato se pierde en la medida que los participantes expresan sus opiniones libremente, si no se ha preguntado el nombre en la primera consulta, podra conservarse un anonimato discrecional del experto, el cual estara en capacidad de revelar o no su opinin al resto del grupo; en la fase final se mantiene el anonimato de la respuesta definitiva de cada persona ante el resto del grupo aunque se puede pedir identificacin en caso de que se deseen ponderar las opiniones de acuerdo con el grado de credibilidad de cada experto, desde el punto de vista de quien va a usar la informacin. METODOLOGA GENERAL DE LOS TALLERES DELPHOS
1. Se formula un conjunto de interrogantes a un grupo seleccionado de personas. (mediante un formulario u otro instrumento estructurado) 2. Se consolida la informacin haciendo explicitas las diferencias de opinin sobre cada tema preguntado 3. Se presentan los resultados a los participantes. A medida que se revisan los resultados se comparan las opiniones extremas y se escuchan los argumentos de los participantes. No se busca alcanzar acuerdos en esta discusin sino dejar claramente definidos los argumentos de cada posicin 4. Una vez revisados los resultados se vuelven a responder las mismas preguntas iniciales, argumentos participantes teniendo de la pueden en cuenta mantener los Los sus discusin.

posiciones iniciales o cambiarlas. Se espera que en la segunda consulta se presente menos dispersin en las respuestas (puede darse un mayor acuerdo o la polarizacin de las posiciones, pero ser menor la cantidad de indecisos

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

Otro aspecto importante es que en los talleres de discusin los resultados son eminentemente cualitativos y su interpretacin en la mayora de los casos, tiene un alto componente subjetivo. En el Mtodo Delphi el resultado aunque puede ser cualitativo (tipo de acciones a tomar, origen de un problema, eventos esperables, etc) los resultados se organizan segn indicadores estadsticos cuantitativos que permiten, independientemente del anlisis que el moderador realice, una lectura objetiva por parte de terceros. Para los Talleres Delphos se busca la cuantificacin de conceptos cualitativos mediante calificacin, escogencia, ordenamiento, escalamiento y otros mtodos tradicionalmente usados en encuestas para traducir opiniones y percepciones en respuestas estructuradas. Sin embargo para no perder la riqueza cualitativa de la discusin entre los expertos se desarrolla la fase intermedia de intercambio de argumentos y la segunda consulta representa el anlisis de la discusin por parte de los mismos participantes y la incorporacin de las conclusiones del taller en sus respuestas. Este ltimo aspecto mejora de manera importante la objetividad del anlisis en la medida que el informe del taller ser principalmente descriptivo y el procesamiento de las opiniones han sido llevadas a cabo al interior del grupo y no por quien observa la discusin. En los grupos de discusin tradicionales la opinin que se impone es la de aquel que por su liderazgo, insistencia o jerarqua logre convencer al observador/investigador con sus argumentos y las personas que tienen opiniones contrarias son convencidas tambin, lo cual es el mejor de los casos, o simplemente abandonan el debate5. En el mtodo Delphi lo que se busca en esencia es confluir hacia un

consenso, dadas las condiciones de anonimato, la opinin que se impone se espera sea la que tenga los argumentos ms convincentes, pero ignorando por parte de los dems participantes los posibles intereses y motivaciones personales o gremiales de quien los emite. En los Talleres Delphos se conoce la identidad de quien argumenta pero se mantiene el anonimato en la respuesta final, lo cual permite a cada persona ponderar los argumentos de acuerdo a la credibilidad que le merecen cada uno de los dems interlocutores y se le garantiza su libertad de opinin en la medida que la segunda respuesta no es de pblico conocimiento de los dems participantes. Es posible que finalmente los lderes y los insistentes logren imponer sus opiniones pero, en lugar de tener que convencer solamente al observador/investigador, debern convencer al mayor nmero de personas del grupo, lo cual resulta vlido desde una perspectiva democrtica de la medicin de los resultados. Tanto en los talleres de discusin tradicionales como en el mtodo Delphi clsico, y ms en primer caso que en el segundo, las opiniones minoritarias desaparecen prontamente de escena. En los talleres Delphos el debate se ordena y la palabra se otorga de acuerdo con los resultados estadsticos de la primera consulta. As pues, el moderador puede solicitar explcitamente a los participantes que expresaron opiniones diferentes a las de la mayora del grupo emitir sus argumentos y motivaciones, para que el grupo las pueda comparar con las de algunos de los opinaron en forma contraria.

PROCEDIMIENTO USADO EN LOS TALLERES DELPHOS

5 Dependiendo de la importancia del tema para cada participante y los rasgos especficos de personalidad, alguien en un grupo de debate puede darle mayor valor a terminar el pronto el debate que ha imponer sus convicciones. En especial cuando hay razones para pensar que sus opiniones no van a ser escuchados, independientemente de su solidez argumental, algunos participantes se vern inclinados a desistir de seguir insistiendo en participar

Al igual que en los talleres de discusin, en el mtodo Delphi, y en general en todas las tcnicas de investigacin, el primer paso consiste en tener claro el problema que se quiere tratar y el alcance que se pueden lograr con las limitaciones de tiempo que imponen este tipo de actividades.

-8-

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

En lo posible deben seleccionarse los temas en los cuales la opinin de los asistentes al taller sea ms importante. Debe recordarse que si se hacen demasiadas preguntas el tiempo de disponible para el debate se ver afectado, en especial si los asistentes son personas con limitaciones de tiempo agradecern que el tema del taller se centre en los aspectos ms relevantes del fenmeno a estudiar. No se trata de preguntar sobre temas en los que exista amplio acuerdo o realizar preguntas que se puedan responder objetivamente con otros mtodos de investigacin. El diseo del formulario debe ser claro y las preguntas deben ir al grano. Las preguntas de escogencia mltiple deben considerar las respuestas ms probables, pero deben dejar espacio para incorporar nuevas opciones por parte de los participantes. Las preguntas de calificacin deben indicar cul es la mayor y menor calificacin que se puede otorgar y el significado en trminos conceptuales de cada respuesta. Otro tipo de preguntas tpicas sern del tipo: ordene segn su importancia los siguientes... o Escoja de los siguientes... los (cuantos) ms.... escriba el valor ms bajo y el valor ms alto que cree que tendr... en los prximos (cuantos) meses de 1 a 100, cul cree que sea la probabilidad de que.... Si no estn bien formuladas las preguntas o se escogen ms las opciones de respuesta, el resultado puede ser que uno o varios de los expertos consultados se dediquen a corregir el formulario y no a responder lo que se quiere preguntar. Una vez determinado el tema, y diseado el formulario, se debe proceder a definir quienes sern los invitados y convocarlos. En esta actividad se deben tener en cuenta varios aspectos:

Los invitados deben tener trayectoria, experiencia o amplio conocimiento en los temas especficos a tratar. Debe recordarse que entre ms involucrados estn los invitados con el tema ms motivados estarn a asistir, tanto por el placer de hablar del tema como por la oportunidad de encontrarse entre ellos. Es posible incluso que la lista adecuada de personajes se complete por referencias de los mismos especialistas. En los casos en los cuales la tcnica se utiliza para tomar decisiones que afectan directa o indirectamente a los participantes debe evitarse este tipo de seleccin por referencia de los mismos participantes para evitar la formacin de coaliciones previas al ejercicio, a menos que ese sea uno de los objetivos previstos. Dependiendo del tema podr ser necesario el buscar equilibrar la participacin desde diferentes puntos de vista (posiciones polticas encontradas, acadmicos vs pragmticos, lo regional vs lo nacional, pblico vs privado, hombres vs mujeres, jvenes vs mayores, etc). para esto debe tenerse claro cuales pueden ser las opiniones divergentes a priori.. El nmero de convocados puede fluctuar entre 10 y 30 personas, teniendo en cuenta que en grupos muy pequeos es posible que no se generen diferencias de opinin importantes y que los grupos demasiado grandes son difciles de controlar y de procesar la informacin dentro del tiempo del taller. En general, si el tema es lo suficientemente apasionante para el invitado, este no slo no cobrar sino que agradecer que le hayan tenido en cuenta. Si se trata de funcionarios para los cuales la participacin en este tipo de ejercicios hace parte de su trabajo, ser necesario motivarlo con el tema pues lo comn sera que no se le pueda remunerar adicionalmente. Sin embargo en algunos casos es necesario pagar los honorarios correspondientes al tiempo de participacin y -9-

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

desplazamiento al taller, con el objeto de garantizar la permanencia durante su transcurso. Es importante tener conciencia de que la interaccin entre los participantes no es lo nico que puede enriquecer el debate. En ocasiones ser valioso llevar a cabo una investigacin previa que puede incluir uno o varios de los siguientes aspectos: Revisin Bibliogrfica, tanto para establecer un marco terico, jurdico, tcnico o antecedentes histricos, como para buscar resultados de estudios empricos sobre el tema a nivel local, regional, nacional o internacional. Levantamiento de informacin secundaria, sistematizacin y generacin de cuadros estadsticos Levantamiento de informacin primaria mediante tcnicas cuantitativas o cualitativas. En el proceso de convocatoria, se deben tener en cuenta los aspectos que normalmente requiere una reunin de acuerdo con el perfil. Si alguno de los invitados desea conocer quienes van a asistir a la reunin debe suministrarse toda la informacin disponible El da del Taller deben tenerse contemplados y organizados todos los aspectos logsticos que se consideren necesarios. Hay que tener en cuenta que no es conveniente ofrecer plato fuerte o refrigerio mientras se desarrolla el debate, porque esto puede distraer la atencin de los participantes y romperse la dinmica del taller. Salvo que se haya planeado especficamente lo contrario, el formulario de la encuesta inicial debe incluir un espacio para la identificacin del entrevistado. As mismo, a menos que se considere necesario lo contrario, se deben dar explicaciones previas acerca del funcionamiento del taller, en especial explicar que el - 10 -

formulario de la encuesta se llenar dos veces y que en la segunda se podrn cambiar las respuestas de acuerdo con el debate intermedio. Esto con el fin de organizar el debate, dejar claras las reglas de funcionamiento y minimizar las posibles sorpresas para el invitado. Se debe explicar tambin que las respuestas a los formularios son individuales Una vez llenados los formularios de la primera vuelta se llevan a cabo dos actividades paralelas: el procesamiento de los datos y la presentacin de la informacin adicional disponible sobre el tema, lo cual puede incluir las investigaciones descritas anteriormente. Los resultados se pueden presentar mediante grficas de torta o histogramas, de manera que sea claro en qu proporcin o frecuencia de respuesta se obtuvo en cada opcin de cada pregunta. Habr posiblemente preguntas en las que la mayora de los asistentes tengan una respuesta similar, las cuales no tienen mucha discusin, aunque se pueden pedir explicaciones por as algunos de los participantes desean aclarar el sentido de su respuesta. Habr tambin preguntas para las cuales se presente una mayor dispersin de respuestas, en cuyo caso ser pertinente preguntar a quienes respondieron opciones extremas o calificaron en forma contradictoria para que enuncien sus argumentos. Como en todo taller de discusin, debe tenerse cuidado en varios aspectos: El manejo del tiempo. De acuerdo con el desarrollo del taller y el tiempo disponible para terminar, se deber buscar respuestas ms concretas y dar prioridad a las preguntas con mayor diversidad de respuesta frente a las ms homogneas. Argumentos reiterativos. Una vez se ha expuesto un argumento con suficiente ilustracin, debe controlarse las contrarespuestas que vuelven sobre los mismos argumentos. Una forma de hacerlos es explicando que cada cual expone sus razones

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

de respuesta y que el ejercicio no busca obtener una nica respuesta sino conocer los diferentes argumentos sobre el mismo asunto Cuando se contacta personas muy especializadas, que tienen especial inters por un elemento particular del tema (obsesiones temticas) tendern a responder lo que les hubiera gustado que les preguntaran y no lo que realmente se les pregunt y manejarn sus argumentos para llevarlos hacia su tema particular de inters. Esto, que es uno de los mayores riesgos en los grupos de discusin con preguntas abiertas se minimiza en los Talleres Delphos por el carcter estructurado de los formularios, sin embargo el moderador debe tener la habilidad de saber cuando la discusin se desvi y recordar volver al rumbo normal de la reunin. Durante la discusin debe haber una persona especialmente dedicada a tomar nota de las posiciones y argumento de todos aquellos que toman la palabra. Luego de evacuadas el anlisis de todo el formulario, viene la fase ms importante del ejercicio, el diligenciamiento del formulario por segunda vez. Es el momento ideal para ofrecer un delicioso postre o refrigerio. Sin embargo si el taller se ha demorado ms de lo previsto y los asistentes tienen problemas de tiempo, podrn querer irse sin responderlo o simplemente escabullirse disimuladamente haciendo mutis por el foro. Podr suceder tambin que otras personas salgan despidindose de todos los asistentes y desordenando la reunin, eso sin contar con que se convierte en la oportunidad de los indecisos para marcharse. Hay varias formas de evitar esta situacin: Sobreestimar un poco el tiempo requerido y anunciar la duracin del taller en la convocatoria, de manera que los invitados puedan reservar el tiempo necesario. - 11 -

Programar el taller inmediatamente antes de un evento interesante para los asistentes (una conferencia, un almuerzo, una junta. Esto siempre y cuando el segundo evento pueda correrse si se alarga el taller. Reconocer honorarios por la asistencia al taller o alguna otra contraprestacin. En ltima instancia, permitir que los que se ausentan se lleven el formulario y lo devuelvan diligenciado posteriormente. Se espera que en la segunda consulta se presente menos dispersin en las respuestas (puede darse un mayor acuerdo o la polarizacin de las posiciones, pero ser menor la cantidad de indecisos. Posteriormente al taller se deben realizar los anlisis estadsticos de la segunda ronda, los cuales darn los indicadores definitivos del tema que se est buscando investigar. Otro punto de estudio interesante es el del anlisis de los cambios de posicin. Quien cambio su respuesta y cuales argumentos se presentaron que le hicieron variar su opinin. Otra variacin interesante que se puede incorporar es cuando el destinatario de los resultados participa como observador en el grupo y califica a los participantes de acuerdo al grado de credibilidad que le merecen. Los resultados se deben ponderar de acuerdo a dicha calificacin de manera que pesen ms los argumentos de aquellos mejor calificados y pesen menos los de aquellos que no tienen credibilidad para el cliente de los resultados.

5.

EXPERIENCIAS PRCTICAS

Los Talleres Delphos han sido utilizado tanto en el sector pblico como en el privado y por organismos de cooperacin internacional y Banca Multilateral en diferentes tipos de ejercicios. A continuacin se enumeran las experiencias llevadas a cabo por CEACS y Econometra o conjuntamente, principalmente en Colombia:

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

Formulacin de un scoring de microcrdito para Financiera Compartir en 2002. Taller Realizado por CEACS para Finianciera Compartir S.A. con expertos en microfinanzas Formulacin de indicadores de Pobreza y Vulnerabilidad en el Estudio de Vulnerabilidad y Pobreza en los municipios de los programas de Desarrollo y Paz Para ACCI y DNP en 2004. Dos talleres realizados por CEACS para Econometra S.A. con directivos y tcnicos de los programas de Desarrollo y Paz. Desarrollo y prueba de una metodologa de Diagnstico Participativo. en el Estudio de Vulnerabilidad y Pobreza en los municipios de los programas de Desarrollo y Paz para ACCI y DNP en 2004. Taller Realizado por CEACS para Econometra S.A. con poblacin campesina. Formulacin de un indicador de Mejoramiento de Barrios en la consultora para el Diseo e implementacin de un Sistema de Seguimiento del Programa de Mejoramiento Integral de Barrios realizado para la Caja de vivienda Popular de Bogot en 2006. Taller Realizado por CEACS para Econometra S.A. con lderes de los Barrios sujetos a mejoramiento. Levantamiento de diagnsticos participativos de cerca de 100 municipios, en el estudio Diagnstico de las poblaciones desplazadas y vulnerables y estrategias de respuesta realizado para FUPAD en 2006. Cerca de 200 talleres realizados por Econometra S.A. con poblacin Desplazada y Vulnerable y 5 talleres regionales con expertos en el rea social. Para estructurar un anlisis DOFA en la Evaluacin de Impacto del Programa PADEMER realizado para el Programa - 12 -

PADEMER del Ministerio de Agricultura y Desarrollo Rural en 2006. Taller realizado por Econometra S.A. con funcionarios de entidades relacionadas con el programa. Evaluacin de medidas regulatorias en el Estudio Evaluacin del Impacto Regulatorio de Impacto del marco regulatorio en su conjunto, en relacin con la sostenibilidad, viabilidad y dinmica del sector de las telecomunicaciones para la CRT. Talleres realizados por Econometra con directivos de empresas de telecomunicaciones reguladas por la CRT. Para la sistematizacin de experiencias en el Estudio Sistematizacin de los tres momentos de intervencin no financieros o tecnolgicos y de las metodologas, instrumentos y herramientas de gestin desarrolladas e implementadas realizado para el Programa PADEMER del Ministerio de Agricultura y Desarrollo Rural en 2007. Ocho talleres realizados por Econometra S.A. con miembros de asociaciones de productores rurales. Para la definicin de Lineamientos de Poltica en la Consultora para el Acompaamiento a la CAF en la definicin de Metodologas de Seguimiento y Evaluacin de Proyectos y Programas Sociales realizado para la Corporacin Andina de Fomento entre 2006 y 2008. Taller realizado por Econometra S.A. con altos directivos de la CAF en Caracas. Para la seleccin de conceptos a incluir en la definicin de un indicador de Paz y Desarrollo municipal en la Evaluacin de resultados e impactos tempranos de los programas Paz y Desarrollo (PD) y Laboratorios de Paz (LP) realizada para DNP y ACCION SOCIAL en 2007. Cuatro talleres realizados por

Documentos de Discusin en Ciencias Sociales CEACS - DD.002.3 Junio de 2004

TCNICAS DE CONSULTA A EXPERTOS MEDIANTE TALLERES DELPHOS Rodrguez N, Oscar

Econometra S.A. con directivos y tcnicos de los programas de desarrollo y paz. Para la definicin de variables relevantes para un futuro modelo explicativo de un indicador de impunidad procesal en Evaluacin de la poltica de lucha contra la impunidad de violaciones de los derechos humanos e infracciones al DIH realizado para la Vicepresidencia de la Repblica en 2010. Un taller realizado por Econometra Consultores, con expertos de la Fiscala, Procuradura, Consejo Superior de la Judicatura y Programa de Lucha contra la Impunidad. Para la formulacin de recomendaciones de Poltica, relacionadas con la gestin de Pasivos ambientales mineros en Diseo y validacin del marco conceptual y metodolgico para caracterizar, priorizar y valorar econmicamente los pasivos ambientales mineros en Colombia. Desarrollado por econometra Consultores para el ministerio de Minas y Energa en 2010. Tres talleres desarrollados en Medelln y en Bogot con representantes de entidades del sector, empresas, ONG y mineros independientes, en el marco del Seminario Taller sobre Pasivos Ambientales Mineros en Colombia.

- 13 -