METODOS Y HERRAMIENTAS PARA LA APRECIACION DE LAS REFORMAS EN POLITICA SOCIAL

Mario Torres

Document published in Enrique Vasquez (editor) Impacto de la Inversion Social en el Peru. Lima: Centro de Investigación. Universidad del Pacífico - International Development Research Centre: 13-27. 2000

Resumen

Para la apreciación de los procesos de reforma de la política social, hay que responder a dos preguntas claves: ¿cuáles son las necesidades de métodos y herramientas para la apreciación de los procesos de reforma de la política social? y ¿cuáles son las prioridades para desarrollar y aplicar dichos métodos y herramientas?. A fin de responder a estas preguntas, este documento discute un conjunto de conceptos básicos del campo de la investigación evaluativa de política, los elementos contextuales que deben ser tomados en cuenta para la apreciación de política en los países en desarrollo, y los tópicos prioritarios de investigación en métodos y herramientas.

Introducción

La reforma de la política social es un fenómeno global. El proceso de la reforma es diferente a los cambios rutinarios en la política tales como las mejoras, modificaciones o adiciones en sus procedimientos los cuales no cambian los parámetros que definen el carácter y estructura de una política pública. La reforma de la política social es un cambio del paradigma de política social que estuvo inspirado en el modelo del estado de bienestar. Específicamente el cambio consiste en la combinación de  criterios de provision de servicios tales como el universalismo, el centralismo y el carácter estatal de los servicios sociales con otros como la privatización, la descentralización, la focalización y el pago por los usuarios.

La reforma de la política social es el resultado de diferentes factores tales como las políticas de ajuste estructural, el surgimiento de nuevas orientaciones de valor, los cambios en las ideologías dominantes y la reconceptualización de los roles del estado y del mercado dentro del proceso de desarrollo.

La evaluación de la reforma debería hacerse desde las perspectivas política, económica y ética ya que este proceso tiene profundas implicaciones para el desarrollo sostenible. En el caso de los países en desarrollo, la información disponible indica que la pobreza, la iniquidad, la desigualdad y la desintegración social persisten y, mas aun, se agravan en un contexto que se caracteriza todavía por un importante crecimiento de la población, continuada urbanización y muchos procesos de degradación ambiental. La reforma de la política social se ha propuesto como un instrumento para superar y no para agudizar estas tendencias. Sin embargo, están apareciendo impactos inesperados de las diversas reformas económicas y sociales emprendidas. La vulnerabilidad de las poblaciones más pobres ha aumentado y a ello se ha sumado, en muchos casos, la vulnerabilidad de los grupos de clase media, que ahora aparecen también sujetos a riesgos sociales de desempleo y a la pérdida de su capacidad de consumo. Estos impactos inesperados pueden poner en peligro el desarrollo social equitativo, la cohesión social y, sin lugar a dudas, la competitividad económica de los países.

Los gobiernos han estado usualmente interesados en evaluaciones estándares de la política social. Es decir, evaluaciones que se focalizan en evaluar el logro de los objetivos específicos de la política y de los programas sociales. Sin embargo, hay una emergente necesidad de que el estado y la sociedad civil participen en la evaluación de la política pero bajo la guía de objetivos de evaluación más amplios que los específicos de los programas particulares. Para ello se requiere fortalecer la capacidad del estado y de la sociedad civil para evaluar los procesos de reforma de la política social e identificar las opciones de política y las oportunidades que podrían existir. Es decir, se requiere no solo evaluar sino además "apreciar" la política.

La apreciación de la política social no es un proceso fácil para el político, el hacedor de política, el investigador de política, el que aplica la política o el ciudadano común. La apreciación requiere algo más que la aplicación de instrumentos específicos ya que hay diferentes perspectivas e intereses para analizar la política (1). 

La apreciación de la política social es un tema complejo desde los puntos de vista político, institucional y de la investigación, más aun si se hace bajo las circunstancias de un proceso de reforma que implica un cambio del paradigma de la política social. Un proceso de reforma desde su inicio hasta su aplicación presenta una gran fluidez de los marcos institucionales, los contenidos y las prácticas que hacen arduo identificar, aislar y describir los factores que determinan los éxitos o fracasos de los cambios introducidos. Modalidades de reforma tales como la descentralización, la privatización, el pago por los servicios o la focalización envuelven diferentes actores, niveles de decisión, instituciones y organizaciones.

La fluidez del proceso queda ilustrada por el hecho que el proceso de reforma de la política social no ha sucedido de una manera sistemática y abarcando al conjunto del sistema de política social. El proceso más bien ha sucedido a pedazos con cambios grandes o pequeños aquí y allá que han afectado uno o más programas. La reforma de la política social se ha dado a saltos, con movimientos de ida y vuelta, dependiendo de la fortaleza de los interesados o involucrados.

Métodos y herramientas existen para evaluar programas y proyectos pero no están siempre hechos para capturar la complejidad de variables internas y factores externos implicados en la reforma de la política pública. No hay duda sobre la existencia de métodos y herramientas particulares para la evaluación de programas sociales. Sin embargo, datos y hechos simples producidos por estos instrumentos constituyen formas simples de conocimiento de la política. La razón es que describen importantes aspectos y características del proceso de la política pero no dan una explicación causal que relacione los elementos importantes de un problema de política a la operación de otras políticas publicas (2). 

Para la apreciación de los procesos de reforma de la política social, hay que responder a dos preguntas claves: ¿cuáles son las necesidades de métodos y herramientas para la apreciación de los procesos de reforma de la política social? y ¿cuáles son las prioridades para desarrollar y aplicar dichos métodos y herramientas?

Conceptos

Es necesario hacer una distinción entre la evaluación de política hecha en términos de los valores y propósitos que orientan una política y la evaluación de política basada en criterios técnicos relacionados a su diseño, aplicación y monitoreo (3). La discusión sobre los valores y propósitos finales de una política es una meta-actividad que va más allá del contenido intrínseco de una política. Es una discusión que esta orientada a examinar su filosofía subyacente y su impacto social. A diferencia de este tipo de discusión, la discusión técnica de una política no cuestiona los valores subyacentes y los propósitos finales sino que parte de su existencia como un dato dado (4).  Ambos tipos de evaluación se requieren bajo las actuales circunstancias de cambio radical en el paradigma de la política social especialmente debido a que la reforma implica el abandono del modelo del estado de bienestar y la construcción de un nuevo modelo.

Ligar la evaluación como una meta-actividad a la evaluación como una actividad técnica, es un desafío difícil de responder. Una respuesta es la apreciación de política la cual incluye la evaluación del diseño, los marcos institucionales y los procesos tomando en cuenta tanto los resultados de la política planeados o esperados como los no esperados. La apreciación de política incluye el análisis y evaluación tradicional de la política - o análisis intrínseco de las políticas y programas que se hace con relación a sus objetivos específicos- y la evaluación de impacto - o análisis extrínseco que es el análisis de las consecuencias no esperadas, las externalidades o los efectos secundarios tanto positivos como negativos (5). 

Al incluir el análisis intrínseco y el análisis extrínseco, la apreciación de política esta en posición de moverse un paso adelante en relación de las evaluaciones estándares. Es decir, la apreciación de política puede mirar a los programas y proyectos de una política a fin de concluir sobre su efectividad y relevancia tomando en cuenta objetivos que son de un rango mayor al de los objetivos específicos de una política particular. Esto significa, por ejemplo, que apreciar una política educacional incluye - además de examinar si los objetivos educativos de la política se cumplieron- hacer el análisis de cómo se dieron contribuciones a otros objetivos de rango mayor tales como la equidad social, la competitividad económica, la cohesión social o la participación ciudadana. Un ejercicio de apreciación de política debe poder concluir sobre el grado en que se dieron los efectos esperados, cuáles fueron los efectos no esperados, cómo esos efectos esperados y no esperados contribuyeron al cumplimento de otros objetivos y valores sociales y quiénes se beneficiaron con ello (Boothroyd, 1995; Hill & Bramley, 1986).

La apreciación de política requiere la definición de la unidad de análisis (de qué política o programa se esta hablando), la identificación de los propósitos de la evaluación, la selección de una estrategia metodológica y la participación de los diferentes interesados o involucrados con la política o programa en cuestión. Estos aspectos - propósito, método y participación- son difíciles de determinar y manejar en el caso de las políticas sociales ya que estas políticas envuelven una variedad de objetivos, intereses y procedimientos. La política social se dirige a objetivos que son multidimensionales, valorativos y resistentes a poder ser encapsulados en un conjunto de indicadores sociales simples (Klein, 1982). Como ejemplos de objetivos se pueden mencionar a la educación básica o el tamaño ideal de familia. La política social refleja una variedad de propósitos explícitos e implícitos los cuales a lo largo de su aplicación sufren adaptaciones, transformaciones y algunas veces drásticos cambios.

Además, el proceso de aplicación de una política pública se mueve a través de diferentes niveles que van desde las discusiones en el gabinete ministerial, pasando por los niveles de los directorios intermedios hasta la aplicación de las normas y la concesión de los beneficios por funcionarios públicos y practicantes al nivel local. A lo largo de estos niveles como a lo largo del tiempo que toma el proceso de aplicación de una política, procedimientos tales como organigramas, directivas generales, planes administrativos, operaciones técnicas, aplicación de instrumentos y mecanismos de retroalimentación no solo son variados sino que además cambian.

Las dimensiones estructural, temporal y funcional a través de la cuales puede cambiar una política tienen que ser tomadas en cuenta cuando se hace la apreciación de política. Es en este contexto que hay que considerar los métodos y herramientas relevantes para hacer apreciación de política. Estos métodos son aquellos que deben informar sobre qué tipo de objetivos - intrínsecos y extrínseco a la política- son o serán alcanzados, cómo se esta alcanzando el logro de los objetivos, y quiénes están obteniendo los beneficios o sufriendo los perjuicios. Esos métodos deben incluir procedimientos para recolectar, organizar y proporcionar dicha información.

La diferencia entre un método y una herramienta es materia de convención en la ciencia ya que ambos casos envuelven pasos técnicos bastante específicos. En este documento, se entenderá por método a una manera de generar, procesar y analizar datos - por ejemplo el sistema de evaluación por resultados- y por herramienta, un instrumento que produce un dato particular - por ejemplo un índice de bienestar social.

En el caso de la apreciación de la reforma de las políticas sociales es esencial que los métodos y herramientas permitan ligar los cambios institucionales y de procedimiento que implican las modalidades de la reforma - privatización, descentralización, pago por servicios y focalización- con los resultados tanto esperados como no esperados de las política.

El Contexto

El contexto en el cual se hace política pública ha cambiado en las sociedades modernas. Los grupos de la sociedad civil son ahora un socio indispensable en el proceso público de hacer política. En el caso de las sociedades democráticas, la apreciación de política tiene que envolver al gobierno y a un número variado de grupos de interés y presión. Esta nueva situación es el resultado de muchos factores que incluyen la expansión de la ciudadanía, el rol influyente de los medios masivos de comunicación y la expansión de los sistemas de información. Ahora más que antes, los grupos de la sociedad civil pueden y deben estar envueltos en los procesos de hacer y de apreciar política.

En este contexto, la apreciación de política puede producir evidencias empíricas sobre los logros de la política y su impacto en el desarrollo humano. Los logros y los impactos no son asuntos neutrales ya que las personas, grupos e instituciones que están concernidos suelen tener puntos de vista bastante diferentes sobre lo que deben ser los resultados e impactos deseables. Es decir, la apreciación de política tiene una dimensión normativa porque está orientada por criterios de valor que distintos grupos tienen sobre lo que es deseable. Estos criterios indican qué tipo de desarrollo debe lograrse, para quiénes debe lograrse, dentro de cuáles marcos institucionales debe darse y cuáles deben ser los resultados finales esperados - equidad, cohesión social, sostenibilidad u otros.

Dado que los resultados de la apreciación de política no se reducen a datos objetivos sino que además reflejan orientaciones de valor, no hay apreciación de política que sea neutral. Mas aún, es posible que haya más de una "apreciación" de una misma política en la medida en que haya más de un conjunto de criterios para hacerla. Desde el punto de vista de la investigación científica, la apreciación de política debe seguir una estrategia para (1) aplicar de manera objetiva métodos y herramientas, (2) establecer los resultados esperados y no esperados y (3) indicar la contribución de estos resultados a objetivos sociales de rango mayor a los objetivos específicos de la política en cuestión. La tarea del científico termina aquí. No obstante, para los actores políticos y la población concernida, los resultados de una apreciación de política pueden ser la base empírica para un análisis político y una discusión ética de los resultados esperados y no esperados que hayan sido observados.

Aunque en la apreciación de la política pública el estado debe jugar un rol central, hay que subrayar que la apreciación de política no es una actividad exclusiva del estado ni de los científicos. Hay muchos casos de apreciación de política ejecutadas por organizaciones no gubernamentales y por organizaciones de base. Mas aun, en el caso de la apreciación de la reforma de la política social, su realizacion no debería ser solo responsabilidad del estado. Probablemente, los gobiernos serán los menos inclinados a realizarla. No es de extrañar encontrar preferencia en los gobiernos por la evaluación estándar de la política- es decir, aquella que sólo es evaluación intrínseca.

Dado que la apreciación de política puede ser hecha por el estado, la sociedad civil o ambos, la investigación científica sobre los métodos y herramientas para hacerla no sólo debe enfocarse sobre aquellos métodos y herramientas que usan los científicos sino también sobre aquellos que utilizan los políticos, los hacedores de política y otros grupos concernidos. Esto comprende aquellos otros procedimientos que también producen conocimiento político tales como el uso de las redes de comunicación formal e informal, el uso de la información periodística, el conocimiento que viene de la practica o el uso del conocimiento clínico (6).  La consideración de estos u otros procedimientos que no están en los manuales científicos de evaluación es importante porque no solo interesa si ellos son válidos y confiables sino qué puede hacerse para mejorarlos. Al final del día lo que interesa con este tipo de investigación metodológica es cómo se puede mejorar el proceso y los resultados de la apreciación de política que hagan científicos, políticos y legos en la materia. 

El hecho que la apreciación de política tenga una dimensión normativa - o valorativa - no indica necesariamente que sea sesgada, no objetiva, no válida o no confiable. Dados los múltiples intereses y actores envueltos, el problema central cuando se hace apreciación de política no es que haya criterios de valor envueltos sino que no exista transparencia. Es decir, que no sean explícitos los parámetros, criterios, normas y datos utilizados para organizar la estrategia metodológica aplicada. En el contexto de las sociedades democráticas, la neutralidad en la apreciación de política podría decirse que es irrelevante. Lo que es crítico es que no sea transparente. La investigación para desarrollar métodos y herramientas para realizar la apreciación de política no solo debe proveer al estado y a la sociedad civil con los instrumentos mas apropiados para hacerla, sino además facilitar que dichas apreciaciones sean transparentes. Todo esto es de especial importancia cuando se trata de apreciar la reforma de la política social.

Necesidades de Métodos y Herramientas

En el caso de la apreciación de política es importante poner especial atención al desarrollo de las estrategias metodológicas. Es decir, desarrollar modelos que combinen diversos parámetros de evaluación, hipótesis, diseños de investigación, métodos, herramientas, técnicas de construcción de índices, sistemas de información y procedimientos de análisis. Con este propósito se podrían desarrollar estudios de caso para identificar cuales estrategias metodológicas producen los resultados mas validos y confiables y -sobretodo- cuales son más efectivas en términos de influir con sus resultados en el proceso de la reforma de la política social.

Apreciaciones de política sobre las modalidades de la reforma de la política social tales como, por ejemplo, la descentralización de la educación y los servicios de salud o la privatización de los sistemas de seguridad social han sido conducidas por organismos del estado, partidos políticos, bancos de desarrollo, grupos de interés, sindicatos, organizaciones no-gubernamentales y organizaciones de base. Los medios de comunicación muestran casi diariamente debates de este tipo, los cuales reflejan las diferentes posiciones para apreciar dichas reformas. Al respecto, hay que subrayar que con relación a las estrategias metodológicas subyacentes de estas apreciaciones de política, un problema particularmente crítico es su confiabilidad.

El problema de confiabilidad consiste en que las estrategias metodológicas, los métodos y las herramientas utilizadas puedan excluir, dado los criterios utilizados, resultados que pueden ser base para un debate público mas sistemático y productivo. Considerable confusión, sesgo, superposición y deficiencias caracterizan muchas de las apreciaciones de política que llevan a cabo los gobiernos o grupos de la sociedad civil. En este contexto con relación a la reforma de la política social, el conocimiento más necesario es la información sobre cómo una reforma de política social funciona y cuáles aspectos específicos de su marco institucional o de su proceso afectan los resultados e impacto de la política. Sólo con esa información será posible identificar a tiempo cual son las opciones posibles para mejorar la reforma. Tener una base para el monitoreo de la política y para dar un flujo de información es algo muy importante (7).  Sin embargo, esto no es fácil de obtener porque actores diferentes pueden tener diferentes necesidades de información. Mas aun, como el proceso de información no es unilineal sino circular, los resultados de una apreciación de política pueden constituirse a su vez en otro factor determinante de los resultados de una política en un momento posterior.

Las necesidades de métodos y herramientas, en el caso de la apreciación de la reforma de la política social, se pueden clasificar en dos categorías amplias: las necesidades de los gobiernos que se originan en el proceso mismo de la reforma, y las necesidades de grupos de la sociedad civil para conducir o participar en la apreciación de dichas políticas.

La apreciación de política por parte de los organismos gubernamentales requiere que se construyan sistemas de información apropiados. Hay un numero de sistemas de información y de métodos y herramientas de evaluación los cuales han sido diseñados para monitorear las políticas (8).  Sin embargo, los métodos y las herramientas actuales no han resuelto satisfactoriamente los problemas relativos a la producción a tiempo de la información, el costo-efectividad de su producción, y la accesibilidad y relevancia de los datos producidos.  En muchos casos, la aplicación de la reforma de la política social se ha hecho sin ningún sistema de comprobación de los resultados y de su impacto. Bajo estas circunstancias, la apreciación de política puede no sólo dar frágiles resultados sino incluso hacerse inviable.

De otro lado, los grupos de la sociedad civil necesitan tener acceso al conocimiento que permita entender los datos de política que puedan estar disponibles, evaluar otras fuentes de conocimiento de política y crear mecanismos que permitan compartir puntos de vista e información entre organizaciones gubernamentales y organismos de base. Hay notables esfuerzos para generar conocimiento y crear sistemas de información y monitoreo independientes (por ejemplo los análisis de coyuntura por los centros de investigación que permiten hacerle el seguimiento a la política económica o los observatorios de los derechos humanos que velan por su respeto). Hay también notables esfuerzos para crear foros públicos de discusión (lo cual incluye remarcables ejemplos en los medios de comunicación de masas). Hay también ejemplos de movimientos sociales que han llegado a articular efectivas apreciaciones de política a pesar de que no han seguido estándares científicos. Desdichadamente, las organizaciones de la sociedad civil no tienen centros de abastecimiento, bases de datos o servicios de asesoramiento para la aplicación de los métodos y herramientas que puedan estar disponibles. No hay tampoco muchas posibilidades de desarrollar nuevos instrumentos metodológicos que se ajusten a las necesidades, las capacidades o roles de las organizaciones o miembros de la sociedad civil.

Bajo las circunstancias anotadas, la apreciación de política realizada por grupos de la sociedad civil puede devenir en incompleta, no confiable, no efectiva e incluso ser manipulada o co-optada por grupos de interés distintos a los que la originaron.

Prioridades de Investigación

La necesidad de contar con métodos y herramientas para la apreciación de política que sean accesibles no es fácil de satisfacer. Las organizaciones gubernamentales y los grupos de la sociedad civil tienen diferentes intereses, capacidades, recursos y roles en el proceso de hacer política. En términos generales, la investigación sobre métodos y herramientas para la apreciación de política debería cubrir varios campos: el análisis de las practicas de apreciación de política, el examen de los contextos de las políticas, los roles de los actores, los marcos institucionales, las capacidades necesarias en el personal que aplica la reforma, la información requerida, y las formas de medir los resultados y el impacto.

A. Las prácticas. Es necesario examinar las prácticas de apreciación de política que hacen los organismos gubernamentales y los grupos de la sociedad civil. Algunos tópicos son los siguientes: ¿cómo las organizaciones gubernamentales, las no-gubernamentales y las de base hacen apreciación de política, cuáles son los resultados de esas apreciaciones, y qué rol juegan esas apreciaciones en el proceso de la reforma de las políticas sociales?. ¿Qué métodos, herramientas y fuentes de información son usadas? ¿Cómo se produce el conocimiento? ¿Cuál es el impacto que se obtiene?. En este caso la preocupación es familiarizarse con las necesidades de métodos y herramientas a fin de mejorar las estrategias metodológicas y satisfacer necesidades de información y capacitación para que las practicas de apreciación de política sean mejores.

B. Los contextos. En este caso hay que identificar o desarrollar métodos e instrumentos que permitan examinar las relaciones entre el proceso de reforma de la política y su contexto. Especialmente interesa establecer si son adecuados al contexto el diseño de la política, los mandatos institucionales y la forma de identificación de los intereses, las demandas y los recursos de las comunidades, las instituciones y los gobiernos locales. La idea es saber cómo y porqué el contexto afecta los resultados y el impacto de los procesos de reforma de las políticas sociales.

C. Los actores. Es necesario contar con métodos y herramientas para describir y explicar los intereses, fortaleza comparativa y debilidades de los diferentes interesados o concernidos con el proceso de la reforma: los políticos, los funcionarios públicos, los proveedores de los servicios, los líderes sindicales, las empresas comerciales envueltas en el proceso, los clientes, los beneficiarios y los donantes. Estos métodos deben permitir hacer el seguimiento a los cambios de posición que sufren los interesados a lo largo del proceso de la reforma así como conocer cómo surgen nuevos actores. Por ejemplo, la reforma de los sistemas de pensión creó a las administradoras de fondos de pensión como nuevos actores.

D. Marcos institucionales. Hay la necesidad de contar con métodos y herramientas que describan y midan los mutuos impactos entre los marcos institucionales que se crean y las modalidades de la reforma, y cómo ello afecta los resultados. Interesa en este caso poder examinar los marcos legales, las estructuras y los mecanismos administrativos, así como las herramientas de gestión. La idea en este caso es conocer cómo los marcos institucionales afectan y son afectados por los resultados de la reforma de las políticas sociales. Para ilustrar el caso, la reforma educativa es afectada en su proceso y resultados por las características del marco institucional del ministerio del sector y de la escuela pero, una vez aplicada, los resultados de la reforma afectan a su vez dichos marcos institucionales.

E. Capacidades. Aquí lo que interesa es tener métodos y herramientas que permitan establecer cómo las capacidades profesionales de los que aplican la reforma afectan las operaciones, resultados e impacto del proceso El propósito final es saber si dichos resultados e impacto pueden ser mejorados a través de mejorar las capacidades del personal.

F. Información. Se trata en este caso de tener métodos y herramientas que permitan conocer cómo y porqué la información que se utiliza afecta los resultados e impacto de la reforma. Ello significa poder examinar los sistemas de información, la forma en que los datos son recogidos, almacenados, procesados y devueltos, y su oportunidad temporal.  Es también necesario establecer si la información que se genera y proporciona satisface las necesidades de monitoreo de los interesados o concernidos. Y, además, si dicha información es útil para propósitos de evaluación y apreciación de política.

G. Resultados e impacto. Finalmente es necesario tener métodos e instrumentos que permitan establecer los resultados e impacto de la reforma de las políticas sociales. Esto quiere decir poder establecer qué produjo el proceso lo cual no es sencillo debido a la concurrencia de muchos otros procesos. La idea central en este caso es conocer los resultados esperados y no esperados y los impactos en otros aspectos claves del desarrollo. Por ejemplo, un caso es establecer el impacto de la reforma de las políticas sociales sobre la competitividad; otro caso es indicar el impacto sobre la equidad de la distribución de ingresos.

Las ciencias sociales, administrativas y de la información han desarrollado un repertorio de métodos y herramientas.  Por lo tanto, la tarea futura no es necesariamente recrearlos sino, primero, identificar y sistematizar aquellos que pueden servir para la apreciación de política y, segundo, hacer disponibles dichos métodos y herramientas. Sin embargo, en algunos casos será necesario desarrollar nuevos instrumentos.

Conclusiones

El desarrollo de métodos y herramientas para la apreciación de política es una tarea difícil. Primero por la complejidad metodológica de este tipo de ejercicio. Segundo porque no es posible hacerlo como un ejercicio de laboratorio. Por ello quizás sea más sencillo comenzar por examinar las practicas de apreciación de política y de allí extraer lecciones.

La apreciación de política es una tarea científica legítima pero es también una práctica social viva llevada a cabo por diversidad de actores sociales - independientemente de si es científicamente correcta o no. Es una actividad propia de una sociedad democrática en donde los ciudadanos que se interesan por su futuro tienen capacidad de tener una voz. Por esta razón, la apreciación de política va mas allá de las evaluaciones rutinarias de programas o proyectos sociales. Tiene que ver directamente con la discusión publica sobre las opciones de política - y por extensión de reforma de la política social.

Por lo anterior, apreciaciones de política confiables y válidas son deseables. Pero mucho más deseable es que sean relevantes. La relevancia no depende solamente de los méritos científicos. La relevancia depende de la oportunidad de los resultados, de su efectiva diseminación y de la capacidad de persuasión de los argumentos y conclusiones que se puedan sostener. Obtener relevancia para mejorar una política en términos de sus resultados intrínsecos y extrínsecos es el objetivo práctico más importante, pero también el más difícil de una apreciación de política. Por ello, el desarrollo de métodos y herramientas para dicho tipo de ejercicio es de importancia estratégica para el desarrollo.

Bibliografía

Boothroyd, Peter
1995 "Policy Assessment" en Frank Vanclay & Daniel A. Bronstein, Environmental and Social Impact Assessment. Chichester: John Wiley & Sons. Ch.4.

Hill, Michael & Glen Bramley
1986 Analysing Social Policy. Blackwell. May. Ch. 1.     

IADB - Inter-American Development Bank
1995 Evaluation: A Management Tool for Improving Project Performance.

Klein, Rudolf
1982 "Evaluation and Social Policy. Some reflections on ideas and institutions" en Evaluation and Program Planning, vol.5: 133-140.

MaCrae Jr, Duncan & James A. Wilde
1986 Policy Analysis for Public Decisions. Univ. P. Of America. Aug: Eurospan Chapter 1.

Sachs, Ignacy
1995 "The quantitative and qualitative measurement of development - its implications and limitations" en Measuring and Evaluating Development, March, 143: 1-10

Torres, Mario
1993 "Social Policies: Rethinking essential development" en Research on Social Policy: Proposals for a future agenda. Ottawa, IDRC: 19-37.

Webber, David J.
1991 "The distribution and use of policy knowledge in the policy process" en The International Journal of Knowledge Transfer and Utilization, vol.4, num. 4: 6-35.

(1) MaCrae & Wilde, 1986.
(2) Webber, 1991.
(3) Klein, 1982
(4) Torres, 1993.
(5) Boothroyd, 1995
(6) Webber, 1991.
(7) Sachs, 1995
(8) IADB, 1995.