jueves, 13 de marzo de 2008


REPÚBLICA BOLIVARIANA DE VENEZUELA
MINISTERIO DEL PODER POPULAR PARA LA EDUCACIÓN SUPERIOR
UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA DE LA FUERZA ARMADA NACIONAL













EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS














INTEGRANTES:
• Adriana Pérez
• Horacio Díaz


PROFESOR:
MSc. Abg. Alexander Blandín R.




Caracas, Marzo 2008.

INTRODUCCIÓN


El grado de intervencionismo de los poderes públicos en la sociedad venezolana es hoy mucho más elevado de lo que ha sido nunca en nuestra historia. Pero ello no significa que el protagonismo de lo público sea hoy una realidad incontestada y pacífica desde el punto de vista del debate intelectual y político. Se discute la legitimidad de la intervención pública, desde enfoques que ponen en duda la eficacia y la eficiencia de a labor de las instituciones públicas.

Hay quien afirma de nuevo que la sociedad dejada a su libre interacción resolvería de manera más idónea lo que en manos de los poderes públicos acaba generando más perjuicios que beneficios. Otros dicen que no pueden confundirse las imperfecciones del que hacer burocrático con la necesidad de garantizar derechos y deberes, o –como dice nuestra Constitución- la necesidad de que los poderes públicos actúen para lograr superar los obstáculos que impiden que la libertad y la igualdad sean efectivas.

Lo cierto es que cada vez resulta más difícil aludir a unos hipotéticos intereses generales, que son cada día más el resultado de procesos de negociación e interacción entre actores (de los que uno o varios son poderes públicos) más que el fruto racional de procesos de legitimación democrática incontestados.

En efecto, no hay una visión uniforme de los intereses públicos. Las decisiones de las administraciones no corresponden estrictamente a criterios de racionalidad, sino que suelen responder a criterios de compromiso. Ello se agrava aún más por el hecho que se ha acrecentado la pluralidad vertical y horizontal de las instituciones públicas, y que todas ellas tienen legitimidad directa.

Reconozcamos que los actores se movilizan según sus preferencias e intereses. Y que pretenden influir, condicionar, bloquear o activar las decisiones públicas utilizando todo tipo de recursos. En algunos casos usan medios económicos (campañas de publicidad, financiación más o menos oculta, “amenazas” de no invertir o de deslocalizar...), en otros casos recursos políticos (movilizaciones, campañas, manifestaciones, boicots...), y en otros, recursos cognitivos (informes, dictámenes, artículos de expertos...). Todos se pueden utilizar de forma aislada o simultáneamente. Los poderes o actores públicos usan también los mismos recursos, pero además disponen de un tipo de instrumentos que los distingue de los demás actores. En efecto, tienen la capacidad de obligar a los demás desde su posición soberana y representativa, ya que disponen de los recursos normativos. Sus decisiones son interpretadas como decisiones de todos, y se puede argumentar que responden a los intereses generales, aunque lo cierto es que son casi siempre fruto de la interacción y negociación entre actores, y de compromisos. Por tanto, son representativas de aquello que coyunturalmente se entiende como intereses generales.

En el debate público, lo más importante no es quién tiene razón, ni tan solo quién aporta el principal argumento técnico o pretendidamente científico: en política, lo más importante es la capacidad de persuasión. Las evidencias son sin duda importantes, porque de ellas es posible extraer argumentos. Pero lo que resulta definitivo en el debate público de ideas y alternativas sobre la mejor manera de resolver los asuntos o problemas colectivos, no es tanto quién aporta o esgrime los mejores argumentos técnicos, sino quién es capaz de convencer de sus posiciones a la mayor parte de la gente o de los actores. En democracia las decisiones son básicamente el resultado del consenso, y es ese consenso el que guía la actuación de los políticos. De ahí la gran importancia de los medios de comunicación en la conformación de esa opinión pública, de esa mayoría de consenso que busca el político para mantener su posición de hegemonía.

Desde el punto de vista del análisis de políticas públicas, la definición del problema que da lugar o desencadena la política es una fase crucial. No podemos confundir el definir un problema con la simple descripción de una situación que no nos gusta y que se desea cambiar. Si un determinado país tiene un número de accidentes mortales en carretera elevado cada año, no por ello tenemos que prejuzgar que desencadene una política. Puede considerarse como un no problema, algo derivado naturalmente del uso del automóvil, y que no obliga a la acción de los poderes públicos (de hecho hasta hace pocos años temas como las pensiones de los ancianos o la regulación de las adopciones de niños no se consideraban objeto de la intervención pública). Los poderes públicos tienen que actuar ante los accidentes mortales de tráfico, ya que normativamente se considera la vida como algo deseable y objeto de protección. Pero, la distinción entre lo que debería ser (cero muertos) y lo que es (miles de muertos) no nos ayuda a ver bien el camino a tomar. Una política necesita una definición de problema más operativa, que de alguna manera indique el camino a recorrer entre la situación de partida no deseada, y una situación que sin ser la óptima (el no problema) sea claramente mejor que la originaria.

La cosa se complica cuando nos damos cuenta que cada actor implicado en esa situación indeseada tiene definiciones del problema distintas y contradictorias. Unos opinan que el problema principal es el consumo de alcohol de los conductores, otros que es el estado de las carreteras, estos opinan que es la obsolescencia del parque automovilístico, mientras que aquellos ven en el incumplimento de la ley de transito terrestre la causa principal. El gestor de la política sabe con qué recursos cuenta, y por mucho que sepa que existen muchas causas y elementos que confluyen en el caso, acaba por definir el problema como incumplimiento de la ley. Así despliega radares, controles de alcoholemia, y multas de tráfico, mientras envía cartas a quién puede hacer algo sobre puntos negros, o hace campañas de publicidad para sensibilizar a la población. Mientras, se sigue expendiendo alcohol en las áreas de servicio de las carreteras y autopistas, o se sigue considerando un elemento opcional de los automóviles el ABS o los airbag. Lo que acabe haciéndose o decidiéndose no tiene que ser considerado por tanto como la solución racional u óptima, sino simplemente como la definición de problema que ha resultado triunfante en el debate público entre actores y sus definiciones de problema. Esta decisión tampoco indica un final del debate, ya que los actores “perdedores” tratarán de evitar que la decisión adoptada oficialmente se ejecute en la práctica, o harán campaña para demostrar que esa opción es errónea y conseguir que se revise.

Desde la perspectiva del análisis de políticas no se considera que la lista de problemas que la gente considera más urgentes, o que figuran en la agenda de los poderes públicos, sean necesariamente los más perentorios o graves. Se considera que cada actor trata de impulsar sus puntos de vista, y presiona para que un tema sea objeto de atención (o al contrario, trata de evitar que sea percibido como problema por la población). Muchas veces se utiliza o se genera lo que se llama en el argot del policy analysis como una “ventana de oportunidad”:

Con el propósito de optimizar la acción de gobierno, es observable en los últimos tiempos un creciente interés de la Administración Pública venezolana por los métodos de evaluación de los programas, reformas y políticas públicas puestas en vigor. Semejantes procesos de adaptación y mejora funcional han sido generados, en buena medida, por un acto reflejo de las instancias administrativas venezolanas al confrontar el proceso incierto -aunque irreversible- de modernización y racionalización de la gestión pública. Correlato de ello es la progresiva asunción de ciertos patrones de eficiencia y sistematización, característicos de las administraciones públicas de los países más desarrollados de nuestro entorno geográfico y cultural (Moreno & Ziglio, 1992).

El uso del concepto de evaluación varía según los diversos criterios que se emplean tanto para programas comprehensivos como políticas sectoriales. La evaluación asume, consiguientemente, formas diferentes según el abanico de posibilidades metodológicas. Cabe, no obstante, establecer un rasgo común a todos ellos cual es el modo sistemático de obtener información sobre las actividades, características y resultados de las políticas, programas o acciones puestos en vigor (Alkin, 1979; House,1980; Rutman, 1980; Weiss, 1977).


LA EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS

Los fenómenos políticos han sido, desde antaño, objeto de del estudio de lo que hoy día se conoce como Ciencia Política. Esta moderna y vigente denominación es el resultado final de un largo proceso que tiene su origen en la época en que estaban activos Platón y Aristóteles. Sus obras clásicas, politeia y política, trataban de los negocios propios de la Polis, entonces referida al Estado y a la ciudadanía. Ambos términos, politeia y política, permanecieron dentro de la civilización occidental como herencia de la cultura helénico-romana.

Entre los griegos la Política denotaba las cosas políticas, era lo inherente a la Polis, en tanto que Politeia significaba el régimen, la Constitución, la organización gubernamental específica instituida en la Polis. Como consecuencia, el conocimiento de la vida ciudadana y el modo de organización que asumía se denominaba Política Pragmateia.

La cultura románica asimiló a la Politeia y la transformó en politia, en tanto que la noción de Res Publica, República, se conservó como sinonimia de la de Polis, en tanto que el vocablo Política se restringió a un uso en forma de adjetivo y posteriormente fue abandonado (Prélot; 1965).

Posteriormente, dentro de la Jurisprudencia romana se añade técnicamente la voz status a la de Res Publica, para referirse al "estado de la República" cuando de derecho público se trataba, para más adelante seguir caminos separados y significar la misma cosa: el Estado.

Mejor suerte tocó a la voz Cibernética, del griego kibertikè (ciencia y arte de la conducción), que debiera referirse al comportamiento del Gobierno, pero que en nuestro tiempo derivó en la ciencia de los autómatas diseñada por Norbert Wiener y en su aplicación a los problemas políticos por parte de Karl Deutsch.

En la Baja Edad Media se recuperó el uso política y se conserva aun el de politia junto con la voz policien, que se refería al estadista y más en general al ciudadano. La palabra política adquiere un uso generalizado a partir del siglo XVI, tanto para narrar las cuestiones propias del Estado -cuyo empleo divulgativo introduce Maquiavelo-, como denotar a la ciencia que lo estudia.

A mediados del siglo XIX el francés A. Cournot propuso la voz estadística para representar a la recopilación de los hechos derivados de la convivencia en la sociedad política, pero su connotación se ceñía más a la idea de situación que a la Estado en sentido político. En los años 30 de nuestro siglo, un catedrático francés activo en El Cairo propuso la palabra Estatología como inherente al estudio del Estado, que no fue aceptada. En la misma época en Alemania se impuso el término Teoría del Estado (Staats- Lehre) para referirse a las cosas políticas que le son propias, a pesar que en 1776 Gaspar Blunstchli ya empleaba el de Política dentro de su tratado de Derecho Público General. Y esto a pesar que Blunstchli era un autor que gozaba de grandes créditos y quien, además, había titulado el segundo volumen de aquella obra como "La Política como Ciencia" (Politik als Wissenschaft).

En la cultura italiana se conservó el término Política y, de manera similar a Blunstchli, a fines del siglo pasado Gaetano Mosca tituló a su obra Elementos de Ciencia Política (Elementi di Scienza Politica). La versión de Ciencia Política, introducida por Mosca, es la usual y hoy día es cultivada de tal modo por los especialistas en la materia. También se utilizan las voces Politología y Politicología, como análogas a la anterior.

A pesar del predominio del significado singular de Ciencia Política, hay controversia sobre una mejor versión de un significado plural como Ciencias Políticas. La primera versión predomina en los Estados Unidos, la segunda en Europa. Esta última evoca la noción del Sistema Positivo de Ciencias Políticas formulado por Lorenz von Stein en la segunda mitad del siglo XIX y que congregaba el concurso de una variedad de Ciencias Políticas, tales como las ciencias del ejército, de las relaciones internacionales, de la administración de la justicia y de la administración pública.


DESCRIPCION DEL PROCESO DE EVALUACION

La Evaluación es un Proceso. Por ello se entiende una sucesión lógica de etapas, encaminadas a un Objetivo. Dicho proceso es orientador, y no necesariamente da un marco del tipo cronológico como una secuencia descrita en una carta Gantt.

1. Establecer los objetivos del proceso de evaluación.
2. Diseño metodológico.
3. Analizar la capacidad de implementación efectiva.
4. Definición del perfil del encargado de dirigir el comité de evaluación.
5. Financiamiento y constitución del equipo interdisciplinario (Externa o Interna).
6. Identificación de los indicadores de control de gestión propuestos en la planificación del programa.
7. Puesta en ejecución de los instrumentos de medición seleccionados.
8. Análisis, conclusiones y difusión de los resultados.

Tal vez el punto básico que precede el Proceso es para algunos autores, la determinación de si una Evaluación de Impacto, Costo-Efectividad o Integral es lo más aconsejado a lo que se persigue medir.

La elección del enfoque anterior esta indisolublemente ligado a un grado de avance de la puesta en ejecución del Plan de Inversión Publica Sectorial, única forma de disponer de datos reales logrados y no limitar los resultados del proceso.

1. Objetivos de la Evaluación.

Normalmente esta definición no esta contemplada en muchos de los Programas, por lo que su Evaluación se ve dificultada, ya que tardíamente los actores responsables de su puesta en Ejecución se enteran de los términos en que será evaluado el mismo y en consecuencia determina responsabilidades del equipo en cuestión.

Es claro que no puede separarse la Planificación del proceso de Control, el cual no se entiende uno sin el otro. La Planificación de un Proyecto carente de la definición de las variables que serán evaluadas es tan inconducente como el Control de una acción que no ha sido previamente Planificada. Es aquí donde además cae la responsabilidad por proponer un sentido del Control no punitivo, sino que de asesoría y apoyo para mejorar la Gestión Publica. Junto a esta consideración también es relevante admitir que el Control debe controlarse, esto es, los Organismos que tienen competencia jurídica sobre el tema deben cerciorarse que las Instituciones Publicas no omitan esta parte del proceso de Ejecución de un Plan de Inversión Sectorial.

Los Objetivos generalistas, carentes de sentido practico, como los muy específicos carentes de sentido, deben quedar preferentemente muy bien definidos en los inicios del Plan, limitando los Objetivos a los relevantes para evitar multiobjetivos que anulen los resultados entre ellos.

Sin embargo tampoco se trata de negar una realidad: la existencia de Objetivos básicos o imperativos, de los secundarios u opcionales. Además tampoco se puede desconocer que los Impactos pueden ser de corto como de largo plazo, y esto debe estar en concordancias con los Objetivos.

Esto es lo que podríamos denominar la Gestión de la Evaluación: identificar los Factores Críticos del plan de Inversión, sus Indicadores de Control propuestos o Indicadores de Resultados, en relación con los Objetivos que se tuvieron en cuenta al aprobar el Plan.

2. Diseño Metodológico

En esta etapa del proceso es necesario definir el enfoque que mejor pudiera recabar información para evaluar el desempeño del Programa de Inversión ejecutado. Cada Evaluación requerirá una adecuada mezcla de Metodologías.
En este sentido se distinguen dos grandes Metodologías, complementarias entre si:
A.-CUALITATIVAS
B.-CUANTITATIVAS

En las primeras, de carácter CUALITATIVAS, son aconsejables si se trata de medir las percepciones y perspectivas de los usuarios del Plan, aunque no puede desconocerse que simultáneamente hay sesgos de subjetividad al no poder contar con absoluta independencia del Investigador por una parte como además no cuentan muchas veces con una Situación Base o Sin Proyecto que mida estas percepciones. Sin embargo son poderosas de cara a lograr explicar algún proceso en particular.

Las CUANTITATIVAS, gozan de instrumental contrastado tales como:
B.1.-Diseños Experimentales o aleatorios
B.2.-Diseños No Experimentales
B.2.1.-Comparaciones entre Focus Group
B.2.2.-Control Estadístico
B.2.3.-Otros: Observaciones, Entrevistas, Cuestionarios.

3. Implementación

Al Implementar un proceso de Evaluación, podría ser útil iniciarlo con la Prueba Piloto, esto es probar los instrumentos en tamaño de la población a escalas, a un costo menor desde luego, como forma previa para depurar el instrumento y hacerlo mayor su alcance.

Aquí se puede tener distintas opciones, contempladas muchas de ellas en las legislaciones públicas, tales como Unidades dependientes de la propia Institución encargada del Plan, como Unidades externas llamadas por Licitación.

Es preciso advertir que la primera opción conlleva una falta de credibilidad si la misma Institución es la que autoevalúa por una parte, y por otras muchas veces se torna poco operativa la Evaluación por cuanto son las mismas las personas que están ejecutando el Plan y luego integran los equipos de Evaluación.

La importancia que tiene para la fe pública un proceso independiente, autónomo, se sugiere que la Contraloría asuma un papel activo como ejecutante del proceso o como demandante de un servicio externo especializado capaz de lograr el cometido contractual. Por ello adquiere relevancia la independencia de los Evaluadores, los Ejecutores y los Usuarios finales de dicha Evaluación, con lo que se garantiza y se resguarda la legitimidad o credibilidad del proceso.

4. Perfil del Equipo

La competencia Directiva es fundamental en quien dirija un equipo interdisciplinario encargado de la Evaluación. Entre ellas destacan la capacidad de trabajo en equipo, liderazgo personal y/o técnico, capacidad de comunicación y una clara orientación al logro.

Dado que se necesita integrar diversidad disciplinaria, el equipo debe tener una base de permanencia o continuidad, que con organización inteligente acumule la experticia necesaria para abordar tareas futuras.

La utilidad de la Información que allí se origine ira en constante crecimiento, lo que mejorara y apoyara el proceso de toma de decisiones en la Gerencia Pública, al momento de Planificar procesos de Inversión Pública Regional o Sectorial.

La constitución del equipo parte con la autoridad que coordinara al mismo en carácter de un facilitador, u orientador. Lejos debe quedar la visión de constituirse en un fiscalizador. Es un colaborador de la Gestión Publica, que con su asesoría permitirá afinar los factores críticos.

Desde luego deberán incorporarse expertos estadísticos, Ingenieros en software de apoyo, administradores públicos, economistas, sociólogos, entre otros. Ellos tendrán roles bien definidos en el equipo, los que desde luego se deberán convenir previamente, lo que es una tarea de la Gestión de la Evaluación.

5. Financiamiento.

Sin duda que el proceso de Evaluación debe estar enmarcado en cierta racionalidad económica, esto es que el costo de esta Investigación sea inferior a los Beneficios de los mismos.

Debe asegurarse por tanto que la etapa tenga asegurado el financiamiento mínimo, que de no estar debidamente considerado puede hipotecar el destino de la Evaluación.

Como en la actualidad no se tiene experiencia en estos procesos, no obstante la fuerte Inversión Pública (ya sea directa o vía concesiones en algunos casos), se tendrá que vencer la aprehensión que los Beneficios de ella derivada sean superiores al costo de la misma, y que desde luego aporte a mejorar el proceso de asignación de recursos en forma mas eficiente, al disponer de Información que antes no se tenia.

Tal vez, una iniciativa a razonar seria que todo Proyecto de Inversión Pública contemple en su planificación inicial, un monto para la Evaluación. Al crear dicha conciencia social, se asumirá desde sus inicios que la información que se tuvo a la vista para favorecer una Inversión Pública con fondos de todos los ciudadanos, no sea considerada posteriormente en la fase de ejecución.

6. Indicadores de Control.

Cada Región del país debe diseñar su propia Estrategia Regional de Desarrollo, que servirá de referente desde el punto de vista incluso legal, para que los Municipios desarrollen sus Planes de Desarrollo Comunal.

No obstante dicha acción no debe ser un mero ejercicio de respuesta a una exigencia legal, sino que darle sentido al orientar no solo la Planificación Estratégica como su Control, esto es reiterar que hoy la autoridad política debe darle sentido a una verdadera Dirección Estratégica a su mandato.

En este sentido tiene cabida plena el disponer un adecuado mecanismo de información relevante sobre la marcha de la planificación Regional, en particular para evaluar el desempeño de la Inversión Publica Regional. Esto es lo que queremos señalar con los Indicadores de Control, los cuales deben estar disponibles desde el comienzo para que se informen los aspectos porque se evaluará su ejecución posterior, y así los responsables asuman un rol más activo y eficiente.

Estos Indicadores de Impacto pueden ser también de Corto o Largo Plazo, y de ellos se tiene a nivel Sectorial disponible Indicadores que los respectivos Ministerios han venido definiendo.

Siguiendo a los autores que han publicado estos temas, los Indicadores exigen una definición precisa, su fuente de información que alimentara de datos para su cálculo, la Unidad responsable por su logro, los usuarios competentes para tomar conocimientos de ellos, y su frecuencia con que se medirán para conducir a una Evaluación.

FUNCIONES Y CRITERIOS DE LA EVALUACION DE LAS POLITICAS PUBLICAS

La evaluación se lleva a cabo con dos propósitos principales: para aprender de la experiencia, extrayendo lecciones que puedan aplicarse con el fin de mejorar el diseño y la implementación de políticas públicas y para la rendición de cuentas al público a quienes han aportado los recursos utilizados, y en algunos casos al Parlamento. El primer propósito se cumple con las llamadas evaluaciones formativas, cuya finalidad es el aprendizaje, en tanto que el segundo propósito caracteriza a las llamadas evaluaciones sumativas, que formulan un juicio sobre el valor de lo evaluado.

Por otra parte, y según el momento en que se realizan las evaluaciones, se puede distinguir entre evaluación, que corresponde al proceso de diseño de las políticas públicas y que consiste en una consideración de la relevancia o pertinencia de la intervención y de una estimación de sus posibles efectos.

Cabe destacar que no siempre se hacen este tipo de evaluaciones, sobre todo cuando hay prisa por aprobar políticas como señales o indicaciones de que se está haciendo algo en relación a un problema que la población percibe como importante (por ejemplo, una política de inmigración).

Cuando hay una fecha de terminación de una política pública, las evaluaciones que se realizan después de esta fecha se denominan evaluaciones terminales o ex post, en tanto que las que tienen lugar después del inicio de la implementación pero antes de su conclusión son evaluaciones intermedias, que suelen utilizarse para aportar elementos de juicio a la hora de decidir sobre la continuación de una política.

Es obvio que un modelo racional de toma de decisiones como el antes expuesto necesita operar de acuerdo a la provisión de información precisa y contrastada en todas las fases del proceso antes señalado. Sin embargo, la evaluación debe estar encaminada a medir eficiencia o eficacia utilizando diferentes métodos de investigación social para hacer acopio de información fiable.

Es precisamente ante la disyuntiva planteada cuando aflora un repertorio de preguntas que, de modo genérico, bien podrían formularse del modo siguiente:

-¿Qué funciones realiza la evaluación en el desarrollo de las políticas o Programas?.

-¿Qué diferencias puede aportar la evaluación en el proceso de toma de decisiones?.

-¿Con qué problemas metodológicos y organizativos se enfrenta la evaluación?.

-¿Se utilizan los resultados obtenidos por los programas de evaluación?.

-¿Cómo puede ser minimizada la infrautilización de los hallazgos aportados por la investigación?.

Común dilema subyacente a tales preguntas atañe directamente a la íntima relación existente entre la acción evaluadora y el binomio eficacia / eficiencia. Si bien lo que realmente interesa es el impacto de las políticas, programas o proyectos, y, por lo tanto, las evaluaciones de impacto, hay circunstancias en las cuales no es posible determinar de modo inequívoco cuál ha sido el efecto atribuible a determinadas intervenciones y, por ello, es importante complementar el análisis de impacto con un análisis de procesos.

Lo que vale la pena tener presente es que la evaluación puede y debe ayudar a evitar el riesgo que más acecha a quienes desean aprender de la experiencia: la falacia post hoc ergo propter hoc (que puede traducirse casi literalmente como «después de algo, por lo tanto debido a eso»), confundiendo las causas con lo que ha sucedido primero. Por ejemplo, si se implementó un proyecto de desarrollo rural en una región de un país y aumentaron los ingresos de la población rural en dicha región, esto no implica necesariamente que los ingresos aumentaron debido al proyecto ya que, por ejemplo, el efecto positivo pudo haberse debido a un fuerte incremento de los precios de los productos producidos en esa región por razones independientes al proyecto (debido a una devaluación o a una fuerte inmigración o a un fenómeno climático que destruya la producción en otras regiones). La evaluación debe tomar en cuenta los factores contextuales y realizar un análisis y síntesis que permita identificar las causas que han operado para alcanzar o no los resultados esperados, así como otros posibles efectos atribuibles a las intervenciones que tuvieron lugar. De este modo será posible extraer lecciones de la experiencia que puedan, en principio, aplicarse en contextos similares. El desafío, entonces, es cómo diseñar, implementar y utilizar evaluaciones de modo que permitan aprender de la experiencia, tema que será abordado en el resto de este trabajo (y en las referencias que se incluyen al final del mismo).



CRITERIOS DE EVALUACION

La evaluación lleva a considerar sistemáticamente varios factores, los cuales a veces se presentan como principios o criterios de la evaluación: la relevancia o pertinencia de lo que se evalúa, la eficacia o efectividad (el grado de logro de los objetivos) y la eficiencia (en el uso de los medios para alcanzar los objetivos).

A veces se incorporan también como criterios explícitos la sostenibilidad de los resultados, el desarrollo institucional y la coherencia de las políticas, programas o proyectos. Sin embargo, la sostenibilidad puede incluirse en la eficacia o efectividad (ya que si los resultados no son sostenibles la eficacia sería sólo de corto plazo), en tanto que el desarrollo institucional o es un objetivo o es un efecto no buscado; finalmente, la coherencia puede subsumirse en la relevancia o pertinencia de la intervención (política, programa o proyecto). Aplicando de esta forma la «navaja de Ockham», los criterios evaluativos se reducirían a los tres mencionados en el párrafo precedente. No obstante, dependiendo del contexto político, en algunos casos puede tener sentido incorporar criterios adicionales como la equidad, cuya introducción permitiría en la evaluación tomar en cuenta cuestiones que sean consideradas relevantes. La relevancia de una intervención se establece relacionando sus objetivos con la estrategia del país, sector, organización o institución que haya diseñado dicha intervención.

La evaluación no toma los objetivos como un dato (como hace la auditoría) sino que también los evalúa. Por ejemplo, puede suceder que el objetivo de un proyecto fuera construir un camino para unir dos ciudades y que ese objetivo se haya alcanzado y de un modo eficiente, pero que dicho camino no fuera prioritario ya que existía una ruta alternativa, en tanto que la estrategia de desarrollo humano del país daba especial importancia a la mejoría de la salud en zonas rurales a través de la construcción de centros de atención comunitaria.

En este caso, la relevancia de la intervención sería en principio muy reducida (nótese que este tipo de análisis puede hacerse aún antes de que se complete la intervención y que no es afectado por problemas de atribución, algo que será considerado más adelante).

La eficacia, o efectividad es el grado en que se alcanzan los objetivos de una intervención. Como se mencionó anteriormente, si los objetivos contemplan un horizonte temporal que no se limita al corto plazo, el juicio acerca de la eficacia incluye la sostenibilidad de los resultados de la intervención. Frecuentemente se confunde la sostenibilidad de una intervención con la sostenibilidad de sus resultados, y la experiencia y la literatura del desarrollo incluye abundantes referencias a la no sostenibilidad de unidades ejecutoras de proyectos, así como recomendaciones aparentemente lógicas como no incluir este tipo de unidades en el diseño de intervenciones.

En rigor, lo que debería importar es la sostenibilidad de los resultados y, en algunos contextos, como en el caso de las economías que carecen de estructuras sólidas (sea por catástrofes naturales o por encontrarse en una primera fase de transición desde otro tipo de sistema), dichas unidades ejecutoras pueden jugar el papel del andamio de una construcción. Y así como no tendría sentido que un andamio siguiera montado después de la construcción, lo mismo pasaría con las unidades ejecutoras una vez que se hayan alcanzado los resultados esperados (que pueden incluir el desarrollo de capacidades institucionales). En este marco, la desaparición de las unidades ejecutoras no sería un problema sino, por el contrario, una de las condiciones para la eficacia de la intervención. Pero ¿cómo hacer para saber si un determinado objetivo (por ejemplo, el incremento en los ingresos de los campesinos de una región) fue debido a un proyecto de microcrédito o a otros factores? ¿Cómo atribuir los cambios observados en las variables-objetivos a determinadas intervenciones?

La eficiencia es el tercer criterio evaluativo. Si un proyecto ha permitido alcanzar un resultado relevante pero a un costo muy alto, la evaluación deberá poner en evidencia esta deficiencia. Puede haber otros medios más eficientes para alcanzar los mismos resultados, u otros fines a los cuales pueden, o podrán, asignarse los recursos. Hay diferentes formas en que es posible medir la eficiencia, varias de las cuales son variantes del análisis costo-beneficio. También medidas de costos unitarios pueden ser útiles en algunos contextos.

Lo importante es relacionar los logros con los medios empleados para alcanzarlos, y elaborar medidas que puedan compararse con las que se verifican en otros usos reales o potenciales del mismo monto y tipo de recursos.

La relación entre relevancia, eficacia y eficiencia puede mostrarse de la siguiente manera: la relevancia examina los objetivos a la luz de la estrategia; la eficacia corresponde al grado de logro de los objetivos, y la eficiencia es la relación entre los niveles de logros alcanzados y los recursos utilizados.

EFICACIA, EFICIENCIA Y EL PROBLEMA DE LOS INDICADORES

De modo general puede afirmarse que la evaluación concentra su atención bien en los criterios de eficacia bien en los de eficiencia. El concepto de eficacia se refiere al grado de cumplimiento de los objetivos en el desarrollo de un programa o una política concreta. ¿Se han conseguido los objetivos previamente establecidos?, es la pregunta inevitable y fundamental que la evaluación de la eficacia suele plantear al analizar la aplicación del programa.

La evaluación de la eficiencia, por otra parte, trata de determinar los costes relativos inherentes al logro de los objetivos enunciados en el programa o política a desarrollar.

Aquí la cuestiones a afrontar son del tenor siguiente: ¿Con qué grado de economía han sido cumplidos los objetivos fijados en un principio?, ¿podrían establecerse programas alternativos que consiguieran los mismos resultados a un menor costo?, ¿se pueden introducir cambios en el desarrollo del programa o la política puesta en vigor que lo hagan más eficiente sin incurrir en gastos adicionales?, ¿pueden reducirse los recursos y, no obstante, obtenerse el mismo rendimiento?, ¿cabe lograr un mayor rendimiento sin incrementos de recursos?.

En general, los propósitos principales en la acumulación de datos destinados a la evaluación de programas son el de incidir en decisiones, clarificar opciones posibles, reducir el grado de incertidumbre y proporcionar información acerca de la eficiencia y efectividad deseadas. La evaluación de los programas se interesa, en suma, por la acción programática.

Si bien la evaluación de la eficacia pone el énfasis de su análisis en objetivos y resultados, la eficiencia concentra su atención en la relación generada entre recursos y resultados. En este contexto deben tenerse en cuenta dos importantes consideraciones:
(a) Determinación de necesidades. A la hora de enjuiciar de su eficacia o eficiencia, los responsables políticos, los gerentes y los administradores de programas deben especificar cuáles son los usuarios de sus políticas, sus necesidades y cuáles son los criterios utilizados para medir los efectos y posibles cambios introducidos en aquéllas políticas o programas. La índole de la estrategia de intervención propuesta, en conexión con la política o el programa seleccionado, debería ser igualmente enunciada de antemano. Sin embargo, puede comprobarse cómo a menudo en Venezuela los programas de políticas públicas se caracterizan por la simple enumeración de fines descritos muy genéricamente y hasta vagamente. A veces se denota, simple y llanamente, la ausencia de una expresa declaración de fines.
En estas circunstancias el ejercicio de la evaluación es ambiguo cuando no menos que imposible.
(b) Indicadores de rendimientos. La producción de indicadores medibles, válidos, sensibles y fiables es esencial para la evaluación orientada a valorar tanto la eficiencia como la eficacia del programa o política en vigor. De hecho, la medición de los resultados aparece, bien sea como denominador o como numerador, en ambos modos de evaluación. La necesidad de mejorar la identificación y cuantificación de los resultados producidos por la puesta en vigor de políticas o programas es de una importancia crucial para realizar tareas evaluativas que sean metodológicamente aprovechables. Constituye ello, sin embargo, uno de los aspectos metodológicos más espinosos a los que se enfrenta la evaluación.

En el establecimiento de indicadores de rendimiento debería proponerse la cuantificación, y su evolución en el tiempo, de las mejoras alcanzadas con su desarrollo e implantación.

Ahora bien, no debe olvidarse que al tratar de medir aspectos formativos, no siempre tangibles en sus dimensiones teóricas y actitudinal, la tarea se relativiza considerablemente.

Al margen del debate suscitado por la relativización de los indicadores normativos o valorativos, destinados a interpretar los logros ‘cualitativos’ alcanzados con el programa de actuación, el establecimiento de indicadores ‘descriptivos’ e ‘indirectos’ es en sí mismo un avance deseable. Estos últimos eliminan consideraciones de tipo teórico o interpretativo y ofrecen la posibilidad de contrastar la información relativa a las actividades desarrolladas: parámetros de costes y de adecuación de la actividad formativa a lo presupuestado, número de asistentes y de horas lectivas como indicios ‘indirectos’ de la calidad e interés del curso, pruebas prácticas a los profesores de las nuevas técnicas aprendidas y usos en el aula de los nuevos útiles y metodologías impartidas, por citar algunos ejemplos.

Del somero repaso de los ejemplos analizados anteriormente se deduce la conveniencia de proseguir las tareas de investigación con el objeto de una mejor conceptualización y confección de indicadores de resultados. El reto no se circunscribe solamente a la necesidad de desarrollar indicadores sensibles de medición. La validación y fiabilidad comportan criterios difíciles de confrontar a la hora de establecer un sistema de indicadores más apropiados. No es ajeno a ello la dificultad que entraña la medición del nivel de sabiduría y su relación con la acumulación de conocimientos.

A menudo se ‘fuerza’ a los investigadores a utilizar instrumentos inadecuados para proveer la información requerida, aún a sabiendas ellos mismos del carácter poco fiable de aquéllos (Sheldon & Freeman, 1970). Más aún, la mayoría de las organizaciones relacionadas con el desarrollo de políticas públicas raramente tienen los recursos, los conocimientos técnicos y la intuición para destinar tiempo y dinero con el fin de conseguir un desarrollo instrumental en relación a la evaluación. Pueden citarse un buen número de ejemplos a este respecto.

Sin embargo, debe alertarse sobre el peligro aún mayor que supone la relativización ‘absoluta’ de indicadores e instrumentos metodológicos para medir la implantación de las políticas públicas. Detrás este discurso, de muy buena acogida en países como Venezuela donde valores como el voluntarismo, la inconsistencia metodológica y la improvisación constituyen una pauta muy extendida, se esconde a menudo un enfoque ‘conservador’ ajeno al cambio, a la modernización y a la responsabilidad democrática de los ejecutivos y decisores públicos.

Sea como fuere, supongamos que la evaluación de la eficacia de un programa concreto disponga de instrumentos de medición apropiados. Supongamos, asimismo, que la evaluación haya señalado la poca eficacia de un determinado programa en el logro de sus objetivos preestablecidos. Llegados a este punto, no puede concluirse que los aspectos metodológicos hayan concluido sin más. El problema aquí concierne a la labor que los evaluadores deberían asumir con la provisión de evidencia a los responsables del programa. Tales pruebas dilucidarían la cuestión de si los resultados insatisfactorios deberían ser atribuidos o no a errores en el programa (por ejemplo, en el modo en el cual el programa se implantó) o errores teóricos, o sea aquéllos que conciernen a posibles equivocaciones sobre las supuestos teóricos y no relacionadas con la puesta en marcha del programa.

El esclarecimiento de objetivos y su relación nominal, antes del comienzo de la puesta en vigor del programa, no debe minusvalorarse y cumplimentar como si fuera un mero trámite formal. Más bien debería ser fruto de un esfuerzo clarificador que, en cualquier caso, condicionará de manera irreversible la calidad y utilidad de la evaluación posterior.

En el inicio programático, el esclarecimiento de objetivos constituye una herramienta de crucial importancia para la tarea evaluativa posterior.

No todo empeño comparativo de resultados debe tener como marco de contraste el listado de objetivos originales, explicitados al comienzo de la puesta en vigor del plan o programa. En segundo término, es aconsejable ampliar dicho marco incluyendo en el mismo un cotejo de los resultados alcanzados por el programa al final de su implantación con un conjunto más amplio de referentes reales e intencionales del cual destacamos los siguientes:

(a) Resultados conseguidos por programas ‘similares’ y conmensurables.
(b) Resultados alcanzados por el mismo programa el año anterior.
(c) Resultados de programa ‘ideales’ en el mismo campo de aplicación.
(d) Objetivos prefijados por el programa.
(e) Estándares externos de maximización e internos de aceptabilidad.
(f) Suposiciones y conjeturas de los directivos y decisores del programa sobre lo que deberían ser los resultados del programa.

Naturaleza de los Métodos de Evaluación: Estos deben incorporar un diseño de los mecanismos para la posterior utilización evaluativa, así como del impacto de las prácticas políticas implicadas en el desarrollo de la evaluación.

Adaptabilidad: Traslación de un predominio de los métodos puramente cuantitativos y experimentales hacia opciones de carácter múltiple, de acuerdo a la especificidad del contexto en el que se desarrolla la evaluación.

Explotación de Datos: Ampliación del ámbito de la evaluación desde el interés concreto de saber si un programa / política / acción ha conseguido sus objetivos hasta la atención de un creciente número de cuestiones, propósitos, enfoques, modelos y usos, a veces interrelacionados entre si.

Presentación: Progresivo rechazo -implícito o explícito- de los usuarios de la evaluación hacia informes de corte académico y que no se ajustan a sus expectativas concretas.

Profesionalización: Mayor nivel de requisitos profesionales a los evaluadores que, en los últimos tiempos, deben también focalizar su interés en el análisis de los valores corporativos en concurrencia, así como en los conflictos específicos presentes en cada ámbito de evaluación. Todo ello desde una perspectiva superadora de la mera interpretación instrumental -‘lógica’ y ‘racional’- de datos e informaciones pulcramente recopilados.

En los últimos tiempos, las transformaciones de los paradigmas en los países más desarrollados y con mayor tradición evaluativa apuntan, en su gran mayoría, hacia un énfasis en la creatividad de los enfoques que puedan aportar un mayor grado de concordancia con las situaciones a analizar. Se persigue, pues, a una mayor interdependencia entre el enfoque ‘tecnocrático’ de los evaluadores con los intereses específicos de los responsables de los políticas implantadas. Entre estos últimos destacan los imponderables de la acción política cotidiana, así como las limitaciones presupuestarias a la hora de diseñar evaluaciones de alto alcance.

La evaluación debe ser utilizable. Debe ayudar al desarrollo del programa sin impedir su acción. Por eso, además de una metodología consistente, la correcta utilización de la evaluación depende en buena medida en comprender qué se espera de ella y en definir los límites dentro de los cuales la información por ella generada debe aplicarse.

Con este fin es decisiva la articulación de procesos participativos que integren tanto a evaluadores como a usuarios de la evaluación y que sirva de flujos de información permanente que permeen toda la estructura organizativa institucional.



USOS EXPLICITOS E ILICITOS DE LA EVALUACION

Por lo general, los estudios de evaluación suelen hacer hincapié en el problema de la ‘no-utilización’ o desaprovechamiento de los resultados (Coleman, 1972; Andersen, 1975; Coplan et al., 1975; Guttentag et al., 1975; Weiss, 1977; Weiss & Bucuvalas, 1980 a/b; Braskamp & Lindblom, 1980, Patton, 1987). En particular, los expertos de la evaluación acostumbran a culpar a los responsables ejecutivos de la puesta en marcha de políticas públicas erróneas por no haber especificado claramente qué clase de evaluación persiguen, así como por la frecuente formulación de objetivos confusos y hasta equívocos. Los responsables de los programas (políticos y técnicos) contraatacan con argumentos tales como, "no recibimos a tiempo la información que precisábamos y cuando la obtuvimos no era la que esperábamos". La relación entre el productor de información y su usuario puede llegar a ser motivo de frustración, contrariedad, actitudes defensivas o incluso cinismo (Patton, 1987). Leviton & Hugues (1981) consideran que existen cinco condiciones que afectan prioritariamente al sistematismo y consistencia de la utilización de la evaluación: (a) relevancia; (b) comunicación entre evaluadores y usuarios de la evaluación; (c) proceso de generar la información por parte de los usuarios; (d) excelencia de los resultados de la evaluación; y (e) participación y apoyo de los usuarios. De los trabajos de Leviton & Hugues (1981), Weiss & Buculavas (1980 a/b), Solomon & Shortell (1981) y Rossi & Freeman (1987) pueden extraerse un número de provechosas consideraciones generales respecto la utilización y subutilización de la evaluación que a continuación se expresan:

(1) Valores y estilos de los decisores: Dado que las evaluaciones se realizan en el seno de grupos específicos de individuos e instituciones, los evaluadores deben estar familiarizados con los valores, estilos cognitivos e intereses de los ejecutivos o decisores (decision-makers) y de los compromisos en juego de los responsables en la implementación factual de los programas.

(2) Disponibilidad y accesibilidad de resultados: Los resultados de la evaluación deben acompasarse temporalmente con el desarrollo de políticas puestas en vigor, así como de su disponibilidad en el momento oportuno. Objetivo, pues, de los evaluadores es el de encontrar un balance apropiado entre el ritmo temporal y la accesibilidad a las conclusiones evaluativas mediante la realización de análisis meticulosos y comprehensivos. A veces, sin embargo, las características de la audiencia a los que se dirige el evaluador hace más apropiado la presentación ‘informal’ -incluso verbal- de los informes que la publicación de sus hallazgos en una reputada revista académica o mediante un sesudo dossier.

(3) Utilización y difusión de la información generada: Los apartados de utilización y difusión deberían ser parte integral del diseño evaluativo. De esta manera los resultados evaluativos también se tendrían en cuenta y serían maximizados al incorporar el aspecto formativo de los usuarios de los mismos. Ello comporta el examen de los puntos fuertes y débiles de los análisis realizados, así como al articulación del modo en que la información generada por la evaluación puede ser transmitida por los ejecutivos y responsables de los programas / políticas / acciones a las instancias a las que tienen que rendir cuentas. Para ello una anticipación en la determinación de las posibles críticas es muy aconsejable.

(4) Autovaloración del uso evaluativo: La evaluación debe incluir una valoración de su propio uso. Los evaluadores y ejecutivos (decision-makers) compartirían, de tal manera, un acuerdo común respecto a los propósitos por los cuales se lleva cabo el estudio evaluativo, así como respecto a los criterios bajo los cuales su utilización posterior se considerará como fructífera.

Weiss (1972), Wildavsky (1972), Gustafssen (1986) y Frank (1986) exponen que las causas de la infrautilización de la evaluación son numerosas y de carácter vario: desde la propia personalidad del investigador y del responsable ejecutivo (policy-maker) a problemas metodológicos de cuantificación, así como a condicionamientos financieros.

Todo ello limita el alcance de las recomendaciones fruto de la evaluación. Otra razones se basan en la falta de ajuste temporal para hacer disponible la información a los responsables de la puesta en marcha del programa (policy-makers).

Hasta tiempos recientes, no pocos investigadores sociales consideraban que su responsabilidad se circunscribía meramente a diseñar estudios de evaluación, recoger información y publicar los resultados. Lo que hiciesen o dejaran de hacer los responsables o directivos (policy-makers) no era asunto suyo. El rigor metodológico y la calidad técnica eran las principales preocupaciones de los investigadores. El uso de la evaluación no era un asunto de su incumbencia. El rigor metodológico presuponía generalmente un diseño experimental, información de carácter cuantitativo y un detallado análisis estadístico. El problema de los investigadores no era si los responsables en la toma de decisiones entendían o no los análisis complejos que frecuentemente se llevaban a cabo.

USOS Y FINALIDADES DE LAS EVALUACIONES

¿Por qué la evaluación?
(1) Para demostrar a los demás que la política o el programa ha sido acertado.
(2) Para determinar si un programa va por el buen camino.
(3) Para determinar la eficacia del programa en la satisfacción de las necesidades por las cuales se creó.
(4) Para justificar gastos presupuestados o proyectados.
(5) Para determinar los valores de un programa relativos a los recursos humanos o financieros.
(6) Para apoyar la expansión de un programa.
(7) Para comparar diversos tipos de programas en términos de eficacia y eficiencia.
(8) Para satisfacer las demandas de los funcionarios responsables de los servicios, que exigen pruebas de los efectos perseguidos por los programas.
(9) Para retrasar la decisión de poner en marcha una nueva política o programa
mediante la petición de evaluaciones y pruebas que justifiquen la efectividad de dicha política o programa.

En la actualidad se patentiza que un mayor rigor metodológico no soluciona por si sólo el problema de la utilización a menudo, subutilización de la evaluación. Producir evaluación es una cosa y otra bien diferente es utilizarla apropiadamente.

Una jerarquía de responsabilidades evaluativas se corresponde a diferentes niveles en la toma de decisiones sobre el uso de la evaluación (Patton, 1987, Ziglio, 1990). Cada eslabón puede ser evaluado según el uso realizado de la evaluación. El personal integrado en el programa puede estar interesado en cuestiones evaluativas muy diferentes de las que conciernen a investigadores de la evaluación o a funcionarios del organismo financiador, pongamos por caso. Por ello, se hace conveniente que las expectativas de los diversos usuarios de la evaluación sean claramente establecidas antes de realizar la evaluación de un programa o una política concreta.

Para una utilización más efectiva de la evaluación, los investigadores y técnicos evaluadores deberían preocuparse particularmente de los métodos óptimos de exponer los resultados de la evaluación. El voluminoso informe que estamos acostumbrados a leer es, en muy raras ocasiones, el medio más adecuado para presentar evidencia evaluativa.

Los esfuerzos, en suma, deben encaminarse a contrastar diferentes formas de presentar la información de la investigación realizada. Se necesita realizar un trabajo más imaginativo con el fin de enjuiciar la actitud de los patrocinadores que buscan información y de aquéllas otras personas en situación de aplicar posteriormente los resultados de la investigación.

Hoy en día y con las oportunidades que nos ofrece la última tecnología de la información (informatización de la recogida y almacenamiento de datos, así como de su recuperación y procesamiento), la presentación de los resultados puede hacerse de modos diferentes para maximizar las expectativas tanto de los profesionales técnicos de los servicios sociales, como de los políticos o ejecutivos integrados en los diversos niveles del proceso de toma de decisiones.

El béisbol implicaría un modelo para el desarrollo de políticas públicas en el que “cualquiera” de sus instancias territoriales de actuación administrativa (nacional, estadal o municipal) serían ‘capaces’, en un momento dado, de llevar a buen puerto el desarrollo programático y lograría el objetivo de marcar “puntos” para el equipo. Una acción individualizada y aislada conseguiría, de tal manera, la realización de alguno de los objetivos enunciados al comienzo del plan de actuación. Según este modelo, las unidades / jugadores que integran la estructura de planificación e implantación dependen de sus ‘propias fuerzas y determinación’ para maniobrar autónomamente cuando les llega el turno de encarar al ‘lanzador’ o problema programático a resolver.

De un jugador de béisbol se espera aptitud resolutiva y carácter pero, ante todo, inspiración coyuntural. Una acción suya puede cambiar la suerte del partido. Semejantes calidades competitivas caben ser homologadas a ciertos valores idiosincrásicos muy característicos de cierta cultura. En particular, dicho conjunto axiológico genera una competencia entre los propios integrantes del equipos, los cuales poseen como objetivo principal y condicionado por la naturaleza del juego el de llegar a ser ‘estrellas’ y protagonistas autosuficientes.

ENFOQUES PARA LA EVALUACION DE POLITICAS PÚBLICAS

En la práctica de la evaluación hay una distinción central en la forma en que las políticas públicas son concebidas: por un lado, como tratamientos, cuya unidad de referencia son programas o proyectos; por otro lado, las políticas son conceptualizadas como intervenciones que plantean un marco normativo, que no siempre puede reducirse a programas o proyectos. Los métodos que se emplean o pueden emplearse para la evaluación en ambos casos no son necesariamente los mismos, tal como se expondrá en el resto de este apartado.


Políticas Como «Tratamientos»

El enfoque de las políticas como tratamientos, que aborda el problema de la evaluación de políticas del mismo modo que se encara la evaluación de fármacos, fue considerado en textos clásicos de evaluación, como en Campbell y Stanley (1963), y ha resurgido entre los economistas, incluyendo un premio Nobel, James Heckman, cuyo discurso de aceptación del premio fue precisamente sobre la evaluación de políticas públicas. La literatura sobre los efectos de tratamientos investiga una clase de intervenciones con cobertura parcial (que no incluyen a toda la población, o sea, que no son universales), de modo tal que hay un grupo de tratamiento y otro de control, y se reconoce que no es útil para evaluar intervenciones aplicadas universalmente en una economía (o sociedad); supone que los efectos en los miembros del grupo de control son los que resultarían en ausencia de una intervención.

Por ejemplo, la evaluación de políticas activas en el mercado de trabajo utilizando este enfoque ha mostrado que a lo largo del tiempo, y en varios países, este tipo de políticas han sido ineficaces en promover el crecimiento de largo plazo del empleo y los salarios. Se ha encontrado que las comparaciones de los resultados postprogramas de personas que participan en programas de formación con las medidas preprogramas para dichas personas (procedimiento utilizado frecuentemente) sobreestiman sustancialmente las ganancias derivadas de la participación en la formación ya que buena parte de la mejora post-programa hubiera ocurrido en ausencia de los programas de capacitación.

Si bien este enfoque ha producido resultados importantes, su campo de aplicación es limitado a intervenciones que se apliquen de modo estandarizado, sin variaciones durante el período de implementación. Además, en el marco de las reformas del sector público, los hacedores de política (los policy-makers) hacen preguntas sobre políticas y estrategias más que sobre programas o proyectos. Como señala Elliot Stern, muchos programas buenos no son equivalentes a una buena política.


Políticas Públicas Como Intervenciones No Reducibles A Programas O Proyectos

Si bien las políticas públicas frecuentemente se traducen en programas y proyectos, es importante observar que la evaluación de un conjunto de programas y proyectos vinculados a una política pública no equivale a una evaluación de dicha política.

En efecto, sucede a veces que los programas y proyectos alcanzan sus objetivos de modo eficiente, y dichos objetivos son relevantes, pero algunos de los aspectos del marco normativo que constituye la política en cuestión pueden no haberse concretado en absoluto.

Por ejemplo, en el caso de una política educativa que plantee el acceso universal a la educación primaria y que cuente con un conjunto de programas y proyectos innovativos que prueban nuevas técnicas pedagógicas de bajo costo y alta calidad utilizando nuevas tecnologías de comunicación, aun si dichos programas alcanzan plenamente su objetivo de mostrar que dichas técnicas funcionan conforme a las expectativas, la política educativa puede sin embargo fracasar si no hay una adecuada replicación (o masificación) de esas técnicas. O sea, que la política podría fracasar aun si los programas y proyectos con ella relacionados hubieran sido exitosos.

Para evaluar las políticas públicas es importante primero aclarar su marco orientativo o normativo, tratando de identificar los objetivos planteados explícitamente. Cuando no se encuentren dichos objetivos se deberá realizar una reconstrucción (o interpretación) de los mismos ya que, de lo contrario, no sería posible evaluar la política. Una vez que se clarifiquen los objetivos de la política pública, pueden aplicarse los criterios de evaluación tal como fueron formulados más arriba, eventualmente expandiéndolos para incorporar algún(os) criterio(s) que resulte relevante (como el ya mencionado de equidad).

Además de aplicar los criterios de evaluación típicos (relevancia, eficacia y eficiencia), también es útil, cuando se evalúan políticas públicas, considerar su efecto sobre los incentivos que generan (y hasta qué punto los mismos son necesarios o suficientes para que se alcancen los objetivos), las capacidades necesarias para implementar las políticas así como el efecto de dichas políticas sobre las capacidades, la adopción de nuevos comportamientos o prácticas o tecnologías promovidas por la política pública, los riesgos asociados a la implementación de la política (particularmente la posibilidad de que se generen efectos no buscados) y, finalmente, las oportunidades creadas por la política pública (la equidad puede en este contexto ser un criterio importante ya que llevaría a considerar el grado en que la política pública ha promovido o no la igualdad de oportunidades).

TIPOS DE EVALUACION DE LAS POLITICAS DE PÚBLICAS

Según Moreno, L (2003) la evaluación de los programas o políticas públicas varia de acuerdo a diversos criterios que se emplean tanto para programas comprehensivos como políticas sectoriales. La evaluación asume, consiguientemente, formas diferentes según el abanico de posibilidades metodológicas. Cabe establecer un rasgo común a todos ellos cual es el modo sistemático de obtener información sobre las actividades, características y resultados de las políticas, programas o acciones puestos en vigor. Para lo antes indicado a continuación se definen esquemáticamente distintos tipos de evaluación:

Análisis Coste-Beneficio: ¿Cuál es la relación entre los costes del programa a realizar y los resultados del mismo (‘beneficios’), expresados en términos monetarios?

Análisis Coste-Efectividad: ¿Cuál es la relación entre los costes del programa y los resultados (cuando los resultados no se pueden traducir en términos monetarios)?

Evaluación de la Eficacia: ¿Hasta qué punto es efectivo el programa desarrollado en la consecución de sus fines?.

Evaluación de la Eficiencia: ¿Cuáles son los recursos (inputs) aportados al programa en relación al ratio personal / usuarios y a otros aspectos relativos a los niveles de actividad del programa puesto en marcha?

Evaluación Externa: La evaluación se lleva a cabo por personas no integradas directamente en el equipo que desarrolla el programa, con el fin de conseguir una mayor objetividad evaluativa.

Evaluación Interna: Realizado por miembros del equipo que lleva a cabo el programa o política puesta en marcha.

Evaluación Formativa: ¿Cómo puede mejorarse el programa que se está llevando a cabo?. ¿Cuáles son los aspectos más débiles y más consistentes en las actividades del día a día?. ¿Puede mejorarse tal proceso de actividades?

Evaluación del Impacto: ¿Cuáles son los efectos directos e indirectos producidos con la aplicación del programa?

Evaluación Conclusiva: ¿Hasta qué punto los resultados que se esperaban obtener han sido cumplidos satisfactoriamente?. ¿Cuáles son los efectos producidos por el programa en la conducta de los usuarios?. ¿Debería continuarse el programa en el futuro?. Si es así, ¿con qué alcance?

En general cabe distinguir dos enfoques específicos en el desarrollo de los estudios de evaluación. Dichos enfoques se relacionan con las dimensiones formativa y conclusiva de la evaluación.

La evaluación conclusiva: se ocupa del acopio y presentación de información para resúmenes y juicios valorativos del programa o políticas concretas llevadas a cabo. Se orienta prioritariamente, pues, a los resultados finales. La evaluación conclusiva busca contrastar los efectos y los costes del programa puesto en vigor con aquéllos otros de programas alternativos que persiguen las mismas metas. Ayuda, en suma, a decidir si un programa debe continuarse o no y, en caso afirmativo, en qué medida.

La evaluación formativa: persigue generar un flujo de información relativa al grado de cumplimiento de un programa o política respecto de sus fines. Se ocupa, pues, del proceso en sí. La evaluación formativa requiere un alto grado de conocimiento de los múltiples aspectos presentes en los programas o políticas a desarrollar. En general, la evaluación formativa ayuda a observar con mayor claridad las metas propuestas, así como a identificar los cambios factibles que se requieren para mejorar la eficacia en las actividades del programa en marcha.


EVALUACION FORMATIVA Y CONCLUSIVA

En general cabe distinguir dos enfoques específicos en el desarrollo de los estudios de evaluación. Dichos enfoques se relacionan con las dimensiones formativa y conclusiva de la evaluación.

La evaluación conclusiva se ocupa del acopio y presentación de información para resúmenes y juicios valorativos del programa o políticas concretas llevadas a cabo. Se orienta prioritariamente, pues, a los resultados finales. La evaluación conclusiva busca contrastar los efectos y los costes del programa puesto en vigor con aquéllos otros de programas alternativos que persiguen las mismas metas. Ayuda, en suma, a decidir si un programa debe continuarse o no y, en caso afirmativo, en qué medida.

La evaluación formativa persigue generar un flujo de información relativa al grado de cumplimiento de un programa o política respecto de sus fines. Se ocupa, pues, del proceso en sí. La evaluación formativa requiere un alto grado de conocimiento de los múltiples aspectos presentes en los programas o políticas a desarrollar. En general, la evaluación formativa ayuda a observar con mayor claridad las metas propuestas, así como a identificar los cambios factibles que se requieren para mejorar la eficacia en las actividades del programa en marcha.

Como correlato a nuestra exposición anterior cabe aseverar que no existe un único método de evaluación que sea adecuado a todas las situaciones. Un programa puede ser evaluado una vez producido el resultado final o en fases específicas de su desarrollo. La evaluación puede centrar su atención en el proceso o en el resultado y, asimismo, puede tener características de tono formativo o conclusivo. Sin embargo, la considerable variedad de técnicas disponibles según los propósitos perseguidos, pueden ser agrupadas en tres grandes categorías:

(a) Técnicas de supervisión. Persiguen registrar lo sucedido durante el desarrollo del proyecto. Este tipo de técnicas basa su actuación en procesos de seguimiento para la revisión de las operaciones del programa, tales como estudios del cumplimiento de cronogramas y auditorias de tipo administrativo y de responsabilidad ejecutiva.

(b) Técnicas de coste analítico. Su finalidad es la de tasar el valor relativo de un
proyecto en relación a sus costes. Estas técnicas incluyen: contabilidad de costes y análisis de coste-beneficio y coste-eficacia.

(c) Técnicas de investigación social. Tratan de descubrir relaciones de causalidad entre acciones del programa y resultados cuantificables. Las técnicas de investigación social más frecuentemente usadas para evaluar medidas de política social incluyen, entre otros, encuestas, grupos de discusión, métodos experimentales y estudios de casos concretos.

Existen diversas razones y diversos momentos por la utilización de un enfoque
formativo o conclusivo, dependiendo de los objetivos y necesidades del programa, política o acción a desarrollar. En general, y en relación a la evaluación de programas o políticas concretos, cabe generalizar que los funcionarios, responsables y ejecutivos a nivel de la administración central, así como los patrocinadores institucionales de los programas, suelen mostrarse más interesadas en la obtención de un tipo de información ‘conclusiva’. Pretenden conocer, ante todo, si el programa funcionó adecuadamente y si los efectos fueron los deseados, así como si se produjeron efectos secundarios inesperados y negativos y cual fue el calibre de los mismos. De acuerdo al tipo de información ‘conclusiva’, los responsables del programa necesitan determinar si el programa debería proseguirse, ser ampliado, reducido o , simplemente, abandonado.

Por su parte, el personal directamente implicado en la provisión a los usuarios de un determinado programa, política o acción, así como los responsables en la coordinación y seguimiento del programa, política o acción puesto en marcha, estarán generalmente más proclives a obtener un tipo de evaluación ‘formativa’.

Debe considerarse, en primer lugar, que el grado de sofisticación y racionalización introducidos en el desarrollo del plan son considerables. Se trata, entre otros cometidos, de acomodar la interacción entre los distintos niveles de planificación e implantación programática en un marco de descentralización generalizada.

En segundo lugar, convendría destacar que los inevitables encajes programáticos asociados al desarrollo de un programa cuya puesta en marcha es reciente, deben estar acompasados a reformas puntuales. Estas requieren de un flujo de información constante que la evaluación formativa está en condiciones inmejorables de llevar a cabo.

En tercer lugar, el nivel de flexibilidad programática quedaría seriamente quebrantado de recurrir sólo a métodos conclusivos y finalistas que necesitan de un período de valoración necesariamente más dilatado en el tiempo. Las expectativas de cambio generadas en los instancias decisoras a nivel central, provincial y de base del programa de formación podrían verse frustradas irremisiblemente de no detectarse a tiempo -y no actuar, subsiguientemente- con la celeridad que sugeriría las valoraciones aportadas por el trabajo evaluativo permanente.


METODOLOGIA Y TECNICAS UTILIZADAS EN LA EVALUACION DE POLITICAS PUBLICAS

La metodología que usamos debe estar relacionada a la intención del investigador (¿Qué queremos investigar?: el tema, asunto o problema), a los recursos, a la profundidad requerida, y al tipo de investigación que se desea desarrollar. El enfoque metodológico es por donde hay que empezar. Existen tres enfoques metodológicos, y estos son: el cualitativo, el cuantitativo, y el mixto o integral.

El enfoque cualitativo es esencial para el desarrollo de teorías y para la conceptualización de los fenómenos, asuntos o cosas que se desean investigar minuciosamente. Su prioridad es la descripción, análisis y explicación de lo interesado de forma “holística” y lo más natural posible. La descripción y explicación debe ser detallada y profunda, por eso es imperativo el uso de cuestionarios que contengan preguntas “abiertas”, que recojan el profundo sentir de los entrevistados. El análisis de los datos recogidos por la observación o por cuestionarios debe ser uno subjetivo, donde el investigador usa su preparación y su modo de ver las cosas para analizarlas. Esa subjetividad es necesaria y promulgada por los que aplican el enfoque cualitativo a sus investigaciones formales.

La investigación cualitativa se ha venido consolidando, en estos últimos años, como una metodología válida para la construcción de conocimiento en las ciencias sociales. Dicho enfoque propende por la subjetividad y más exactamente por la inter subjetividad, los contextos, la cotidianidad y la dinámica de interacción entre éstos como elementos constitutivos del quehacer investigativo (McNabb, 2002). El análisis de los procesos históricos, el análisis de documentos, rècords y archivos, el análisis de contenido (cartas, informes, discursos, artículos y/o libros), el estudio de casos, el uso de grupos focales, la observación participativa, la etnografía, el muestreo no probabilística-exploratorio y otras tantas técnicas de investigación son usadas diariamente por investigadores del enfoque cualitativo. La investigación cualitativa, epistemológicamente se preocupa por la construcción de conocimiento sobre la realidad social y cultural desde el punto de vista de quienes la producen y la viven. Metodológicamente tal postura implica asumir un carácter dialógico en las creencias, las mentalidades, los mitos, los prejuicios y los sentimientos, los cuales son aceptados como elementos de análisis para producir conocimiento sobre la realidad humana. En efecto, problemas como descubrir el sentido, la lógica y la dinámica de las acciones humanas concretas, se convierten en una constante de las diversas perspectivas cualitativas. Asumir una perspectiva de tipo cualitativo comporta un esfuerzo de comprensión, entendido éste como la captación a través de la interpretación y el diálogo, del sentido de lo que el otro o los otros quieren decir con sus palabras o sus silencios, con sus acciones o con sus inmovilidades (Berg, 2006).

En consecuencia, no nos detendremos a hacer una comprensión exhaustiva de estas técnicas de investigación, por cuanto sólo interesa tenerlos como referentes que nos orienten en la tesis que se propone aquí: la necesidad de integrar los enfoques metodológicos, concretamente, como herramientas y como ambientes para la investigación en la disciplina de la administración pública.

El segundo enfoque metodológico es el cuantitativo. Este enfoque pretende medir los conceptos estudiados a través de las escalas de medición y de esta manera “operacionalizarlos”. Esta operacionalización requiere de la transformación de los conceptos en variables, estableciendo dos o más valores (categorías). La escala nominal transforma el concepto en una variable que clasifica usando categorías y el orden de estas no es importante. Ejemplo: gènero tiene dos categorías, masculino y femenino. El orden de esas categorías no afecta la variable. La segunda escala de medición es la ordinal y tiene dos propiedades, clasifica y tiene orden de mayor a menor o viceversa. En las ciencias de la conducta se utiliza mucho para la medición de actitudes como: autoestima, depresión, ansiedad, dependencia, nacionalismo, ideología y muchas otras. La tercera escala de medición es la de intervalos iguales y tiene tres propiedades, clasifica, ordena, y tiene unas unidades iguales y perfectas que miden lo mismo siempre. Ejemplo: el presupuesto, la temperatura, el coeficiente de inteligencia, etc. Y la cuarta escala de medición lo es la de razón y tiene cuatro propiedades, clasifica, ordena, tiene intervalos iguales y un cero absoluto. Ejemplo: el promedio académico, la estatura, el peso, el tiempo y otros (Macfie & Nufrio, 2005).

La investigación cuantitativa es excelente para probar las teorías, las hipótesis y la medición de rendimiento y el desempeño de los programas de gobierno. Este enfoque trata de ser objetivo y de basarse en las probabilidades, estas últimas calculadas por las estadísticas. La investigación cuantitativa busca obtener muestras representativas de la población a estudiarse a través de fórmulas estadísticas y sistemas de selección de sujetos donde todos tengan la misma oportunidad o probabilidad de ser seleccionados. Las mediciones de la población se conocen como parámetros y las de las muestras como estadísticas. Un ejemplo sería el censo, los cálculos de un censo se conocen como parámetros y los de las muestras de esa población como estadísticas (McCall, 2002).

Los métodos probabilísticas o cuantitativos se originaron para responder a las necesidades concretas del investigador social. Se les conoce también como “métodos estadísticos”. Por ejemplo, usan una fórmula para calcular el tamaño real de la muestra. En ellos, la selección de los sujetos debe ser al azar. En este método los resultados son más precisos y no dejan dudas como las dejaría en ciertos casos un método más simple. La estadística se compone de dos ramas principales, la descriptiva y la inferencial. La descriptiva nos ayuda a organizar y resumir datos de las agencias y presentarlas en gráficas y tablas. La inferencial se utiliza para hacer estimaciones y comprobar hipótesis en un determinado campo del saber. El uso de estadística permite hacer un gobierno más efectivo y es por eso que los que son aliados del gigantismo gubernamental, rechazan el uso de estadística que es excelente en la medición y prueba de indicadores (Blanco Peck, 2006). La estadística es una ciencia de toma de decisiones que se refiere a las características de un grupo de personas u objetos basándose en la información numérica obtenida de una muestra aleatoria seleccionada de un grupo (o población). Los estadísticos se refieren a estas observaciones numéricas como la obtención de una muestra escogida al azar. Sin embargo, uno no puede ver una muestra escogida al azar.

Una muestra aleatoria es solamente una muestra de los resultados finitos de un proceso de selección al azar (Babbie, E., 2003). En la etapa de planeamiento de la investigación estadística, el cuestionamiento del tamaño de muestra (n) es crucial. Por ejemplo, el tamaño de una muestra para seleccionar de una población finita de tamaño N, se fija en: N½+1, redondeado al número entero más cercano. Obviamente, mientras más grande sea la muestra, mayor será la información relevante que proporciona, y en consecuencia la estimación será más exacta y habrá un mejor criterio estadístico para realizar la prueba de hipótesis. El muestreo aleatorio es probablemente el método de muestreo más usado en la toma de decisiones de los gobiernos de hoy. Muchas decisiones y políticas públicas, por lo tanto, son realizadas escogiendo un número dentro de un sombrero o un grano de un barril, estos dos métodos son intentos para alcanzar una selección aleatoria de un conjunto de elementos. Pero, un verdadero muestreo aleatorio debe ser alcanzado con la ayuda de una computadora o de una tabla de números aleatorios de los cuales sus valores son generados por generadores de números aleatorios (L. Ruiz Maya, 2004).

Afortunadamente, los métodos probabilísticos y estadísticos para el análisis de toma de decisiones bajo incertidumbre son más numerosos y mucho más poderosos que nunca. Las computadoras y los programas estadísticos hacen de los métodos cuantitativos mucho más fácil de realizar y aplicar. El Internet provee de programas y páginas de universidades claramente establecidas para el cálculo, presentación y análisis de las estadísticas ( O'Sullivan, Rassel, Berner, 2002).

La metodología cuantitativa es una herramienta fundamental en la Teoría de la Calidad Total. La Calidad Total fue utilizada en primera instancia por el sector del Departamento de Defensa de los Estados Unidos en la Segunda Guerra Mundial. Mas adelante Japón lo utilizó para su sector empresarial y sus industrias, poniendo a la Calidad Total en su máxima expresión. Alrededor de cuarenta años después, Estados Unidos reencontró a la Calidad Total para aplicarla en su sector empresarial y gubernamental (Laboucheiz, 2001). Es evidente entonces, que su utilización en los Estados Unidos es relativamente reciente. La Calidad Total busca la retroalimentación externa y su medición para saber la opinión del cliente y así darle participación genuina. De este modo se mejora la producción y servicios de manera continua y se anticipan los errores.

Hace algunos años el número de personas que se interesaba en por el uso de la estadística en las Ciencias Sociales era menor. Sin embargo hemos visto un crecimiento en la utilización de la estadística en diferentes disciplinas que estudian al comportamiento humano. La estadística es indispensable a la hora de estudiar fenómenos complejos, en los cuales se tiene que definir un objeto de estudio y las variables. Su estudio fomenta el razonamiento crítico, el cual se basa en la valoración de evidencia objetiva. El estudio de la estadística ayuda al desarrollo gerencial cuando los datos que se obtienen a través de la metodología cuantitativa se transforman para resolver los grandes problemas existentes en las agencias de gobierno. Estas ayudan a dar soluciones y a predecir futuros problemas en el gobierno.

Para estar en el camino de la Calidad Total se debe hacer de la estadística, la herramienta fundamental que sirva de guía para analizar las realidades de un campo determinado, trazar mejor los resultados y llegar a conclusiones confiables.
Diversos son los diseños del enfoque cuantitativo, y se dividen en diferentes “áreas”:
a.) diseños experimentales,
b.) diseños casi experimentales y no experimentales,
c.) diseños de encuesta (Hernández, Fernández y Baptista, 2006).


Modelos De Dinámica De Sistemas (SD):

Este mismo autor establece que dentro de los modelos causales existen los modelos de Dinámica de Sistemas (SD), los cuales originalmente nacieron para orientar los procesos de panificación y por su desarrollo y aplicación exitosa lo han podido llevar a utilizar en el Control ex-post de los Planes de Inversión.

Características del Modelo SD:

 Las exigencias para su aplicación no son muy estrictas.

 Otorga flexibilidad en problemáticas variadas, que es la naturaleza diversa de las Inversiones Publicas.

Modelo Racional

Moreno, L (2003) nos describe otro modelo para la evaluación de programas o políticas públicas, el cual lo denomina el Modelo Racional. Este autor nos indica que Jubirats J., comenta que “la evaluación de los programas no debe restringirse al examen de los resultados, sino que tiene como sujeto de su observación al proceso mismo de implantación. En realidad, preguntarse sobre el grado de cumplimiento de un programa o política requiere, en buena medida, de una explicación sobre el proceso mismo de puesta en práctica. Por todo ello, la asunción de un modelo racional en el proceso de toma de decisiones, así como en la posterior implantación del programa o política de actuación, constituye un presupuesto deseable para la maximización de las tareas evaluativas. En particular, ello es relevante respecto a los siguientes aspectos”:

 Grado de predictibilidad de la actuación del personal implicado.

 Directrices de la dirección.

 Delimitación de los niveles de responsabilidad en la implantación
programática.

 Identificación y gradación de las reacciones institucionales dentro de la
propia organización.

 Adecuación entre recursos programáticos y objetivos prefijados.
Semejante pauta racionalizadora en el diseño programático se erigirá en un factor determinante para analizar, cuantificar e interpretar el grado de satisfacción obtenido y los niveles de eficacia y eficiencia conseguidos. En línea con lo anterior, un modelo racionalizador de planificación incorporaría los siguientes estadios:

 Decisiones a decidir (constitución del órgano de decisor, fijación de un
programa de actividades y del orden del día).

 Decidir cómo se decide (metodología).

 Definición de los problemas a tratar.

 Previsión de futuros desarrollos de los problemas a abordar.

 Fijación de prioridades y objetivos.

 Análisis de opciones.

 Puesta en vigor del programa, supervisión y control.

 Evaluación.

 Mantenimiento, continuación o conclusión del programa puesto en vigor.


LA EVALUACION COMO ETAPA FRUCTIFERA EN EL CICLO DE LAS POLITICAS PÚBLICAS.

1.- La Evaluación debería ser incorporada como una parte integral de la Política desde su diseño inicial.

Cuando al momento de formular una nueva Política Pública, se sabe que habrá una Evaluación – Periódica, continua o final – se hace obvio que dicha Evaluación tendrá que hacerse con base en algún objetivo explícito y mensurable. De esta manera, la exigencia de la Evaluación a que las políticas sean claras en cuanto a sus metas concretas.

Por Ejemplo: No vasta con iniciar un programa de reducción de la delincuencia juvenil, mediante actividades deportivas y de capacitación laboral en zona de alta peligrosidad, con la evaluación posterior contemplada desde el comienzo, será necesario pensar en como medir los resultados. Así el diseñador de la política incluirá como parte del programa el registro de los participantes, los detalles de sus antecedentes penales, su comportamiento posterior y la tasa de delito en la zona afectada. También fijará plazos para hacer las evaluaciones correspondientes.

2.- Se sugiere que evaluador debiera ser un ente independiente de la unidad ejecutora.

Si bien es algo desagradable admitir que una oficina gubernamental podría ser del todo honesta para evaluar sus propios programas, también tenemos que recordar el principio de los incentivos. La persona que evalúa su propio trabajo tiene fuertes incentivos para que el juicio sea positivo. A los maestros no se le ocurriría que los alumnos se pusieran sus propias notas, tampoco debe hacerse esto en las políticas Públicas. Siempre será más conveniente la avaluación externa que la interna.

Los gobiernos modernos desarrollan grupos con capacitación especial en evaluación, campo especializado en el análisis de las Políticas Públicas.
No es suficiente depender solo de las Contralorías, porque estas tienden a limitarse a los aspectos meramente administrativos de los programas – si las ordenes de pago van acompañadas de sus soportes correspondientes, si lo que se gastó es igual a lo que reflejan los informes, etc. – mientras que una oficina profesional de evaluación esta preparada para comparar los objetivos explícitos con los resultados reales.

3.- Transparencia.

No hay mejor evaluador que el ciudadano y el contribuyente.

El acceso a la información acerca de los programas públicos es fundamental en el proceso democrático.

Hace muy pocos años era costoso para los gobernantes poner a disposición al ciudadano la gran cantidad de información que posee el sector público. Aún con las publicaciones e las leyes en gacetas, la impresión de información y su entrega en las contralorías era difícil que el ciudadano consiguiera la información, especialmente si vivía lejos de la capital o de la sede de una Alcaldía.

Con la proliferación de las computadoras personales y la existencia de la Internet, todo ha cambiado. Ahora cualquier ciudadano puede acceder a las oficinas más lejanas. Lamentablemente falta mucho para que los gobiernos latinoamericanos cumplan con su deber de poner toda información a disposición de los ciudadanos y los grupos de veedores que observan y hacen seguimiento a los asuntos que les interesan.

Algunos gobiernos están trabajando en este sentido. En Venezuela por ejemplo, se dictó un decreto presidencial que obliga a todos los Organismos Públicos a incorporar servicios vía la “Web” en todas las actividades posibles. En casi la misma fecha en Chile, el Presidente Lagos dictó un instructivo párale desarrollo del “gobierno electrónico” y, con el impulso de organismos regionales como la OEA y el BID, existe un movimiento para que dicho gobierno se difunda ampliamente, tanto para profundizar la democracia como para promover “el buen gobierno”.

Ciertamente el movimiento hacia el “gobierno electrónico” o “gobierno-e” es requerimiento urgente en las reformas del Estado en la región. Por supuesto, no solo sirve para asegurar el control y evaluación ciudadana sobre las políticas públicas, sino que contribuye a mejorar las comunicaciones internas del sector público y sus servicios en cuanto a costo y disponibilidad.

A continuación presentamos la transcripción parcial de la Gaceta Oficial con sus artículos seleccionados, en donde el Gobierno Venezolano promueve el “gobierno electrónico”:

Gaceta Oficial Nº 36.955 de fecha 22 de Mayo de 2000
Decreto: Nº 825
(Artículos seleccionados)

Articulo 1°: Se declara el acceso y el uso de Internet como política prioritaria para el desarrollo cultural, económico, social y político de la República Bolivariana de Venezuela.

Articulo 2°: Los Órganos de la Administración Pública Nacional deberán incluir en los planes sectoriales que realicen, así como en el desarrollo de sus actividades, metas relacionadas con el uso de Internet para facilitar la tramitación de los asuntos de sus respectivas competencias.

Articulo 3°: Los Organismos Públicos deberán utilizar preferentemente Internet para el intercambio de información con los particulares, prestando servicios comunitarios a través del Internet, tales como bolsas de trabajo, buzón de denuncias, trámites comunitarios con los centros de salud, educación, información y otros, así como cualquier otro servicio que ofrezca facilidades y soluciones a las necesidades de la población. La utilización del Internet también deberá suscribirse a los fines del funcionamiento operativo de los organismos públicos tanto interna como externamente.



CONCLUSIÓN


La evaluación pragmática de políticas públicas no se limita a preconizar la utilización de un solo método o enfoque; rechaza el fundamentalismo metodológico buscando, en cambio, el método adecuado a las circunstancias, alineándose con el principio del rigor apropiado. También es pragmática porque enfatiza el uso de la evaluación, sin darlo por descontado y adoptando un papel activo para promover la difusión y aplicación de las evaluaciones de políticas públicas.

La discusión precedente puede sintetizarse en el siguiente conjunto de diez conclusiones:

1.- La evaluación bien realizada y adecuadamente utilizada permite aprender de la experiencia extrayendo lecciones sobre las políticas que han funcionado bien y las que han fallado, y las razones de éxitos y fracasos, propios y ajenos.

2.- Los criterios de evaluación (relevancia, efectividad y eficiencia, y algunos otros como equidad, que pueden incluirse en función de las demandas de los políticos) permiten considerar sistemáticamente (y extraer lecciones de) diversos tipos de políticas públicas.

3.- Dado que las políticas públicas que se evalúan se implementan en un contexto complejo en el que operan múltiples factores, es importante evitar un enfoque ingenuo de la atribución que no reconoce la existencia de otros factores que no sea la propia política pública que se evalúa.

4.- Para políticas públicas en las que los grupos de control o de comparación sean factibles, particularmente aquéllas que consisten o se componen de intervenciones muy específicas (programas o proyectos) que no varían durante el período de implementación y que se aplican a un subconjunto de la población, es recomendable realizar la evaluación utilizando dichos grupos de control.

5.- Cuando no sea factible utilizar grupos de control, es importante considerar hipótesis rivales plausibles, y utilizar evidencias para determinar cuál es la hipótesis más sólida. Además, sobre todo en estos casos en que la atribución es más conjetural, es importante complementar las evaluaciones de resultados con evaluaciones de procesos.

6.- Con el propósito de hacer frente a la falta de fondos para las evaluaciones, es útil considerar la creación de un fondo para evaluaciones, que puede constituirse con un pequeño porcentaje del total de fondos dedicados a políticas y programas públicos (por ejemplo, aproximadamente un 2 por 100). Parte de estos fondos podrían utilizarse para autoevaluaciones y parte para evaluaciones independientes que pueden centralizarse en una unidad o agencia de evaluación, la cual podría reducir los costos de las evaluaciones (por economías que resultan de realizar tareas similares en diferentes contextos, economies of scope, y por economías de escala) y facilitaría el diseño de evaluaciones que permitan análisis comparativos y metaanálisis así como metaevaluaciones.

7.- La formación en evaluación puede complementarse mediante la creación de oportunidades para «aprender haciendo», viabilizadas por un programa de becas para tesis y tesinas sobre evaluación, financiado, por ejemplo, por fundaciones vinculadas a bancos u otras organizaciones privadas o estatales.

8.- Es importante desarrollar un enfoque metodológico pragmático, utilizando diferentes métodos para realizar las evaluaciones en función de los tipos de políticas públicas y de la información disponible.

9.- Los evaluadores y los gestores de evaluaciones deben ocuparse no solamente de la producción sino también de la postproducción de evaluaciones, asumiendo una responsabilidad por facilitar su utilización. La división de trabajo que involucre a expertos en comunicación puede ser útil para que las evaluaciones no se limiten a ser solamente informes, sino que se conviertan en instrumentos valiosos para el aprendizaje.

10.- La instauración de premios para las mejores evaluaciones o para las evaluaciones más influyentes pueden ser incentivos para mejorar su calidad. Pero los incentivos principales para que las evaluaciones sirvan como instrumento de aprendizaje están dados por la demanda de evaluación que hagan los políticos y la población.


RECOMENDACIONES


La preocupación por el uso y destino de la evaluación es parte esencial del problema concerniente a la producción e intercambio de información en nuestra sociedad industrial avanzada. Vivimos en un mundo donde la capacidad de generar, almacenar, recuperar, transmitir y comunicar información de forma instantánea es cada vez mayor.

Ello tiene implicaciones profundas en los principales procesos y marcos de socialización: familia, escuela y medios de comunicación. La transmisión de conocimientos y aptitudes por parte del profesorado al alumnado requiere de un permanente aggiornamento, o puesta al día, mediante una política de formación permanente. La evaluación de este proceso en constante mutación es el instrumento más apropiado para comprobar el grado de cumplimiento de aquel objetivo general, así como de retroalimentar con nuevos datos la introducción de cambios que se adapten al programa permanente de formación en el marco de descentralización del Estado de las Autonomías.
Para que un gobierno pueda obtener excelentes resultados en las evaluaciones de las Políticas Públicas que implementa para solventar las problemáticas y necesidades de las comunidades, es necesario tomar en cuenta las siguientes recomendaciones:

 El gobierno debe de considerar las tres reglas fundamentales para obtener resultados fructíferos en una evaluación de las políticas:

1. La evaluación debe ser incorporada como una parte integral del programa o política, desde su diseño inicial.

2. Se debe crear un ente o grupo con capacidad especial en evaluación y conocimientos amplios en el campo del análisis de políticas públicas, independiente de la Unidad Ejecutora.

3. El gobierno debe de garantizar en todo el desarrollo de las implementaciones de las políticas la TRANSPARENCIA.

 En este sentido, el ente o grupo especializado en evaluación, creado por el gobierno debe tomar en cuenta lo siguiente:

El ente evaluador de las políticas públicas, debe orientar la evaluación hacia los enfoques Formativos y conclusivos, lo cual va permitir por una parte, evaluar las políticas ya implementadas (concluidas), y por otra parte evaluar las políticas durante el ciclo de implementación (en ejecución).
Asimismo el ente podrá en un momento dado identificar los cambios factibles para mejorar la eficacia de las actividades del programa y también podrá decidir si un programa debe continuar o no, en caso afirmativo, en que medida.

Diseñar una adecuada metodología que permita que las evaluaciones de las políticas, garanticen la adaptación de los objetivos y metas que se desean lograr, desde el acercamiento a la realidad socio-económica de los beneficiarios del programa, incentivando en todo momento la participación de todos los agentes implicados en la ejecución y gestión (incluyendo los beneficiarios), dando así a las evaluaciones una visión integral y pormenorizada del objeto de análisis.

La evaluación a parte de tener características de tono Formativos y Conclusivos, la deben de orientar también hacia la utilización de las técnicas de supervisión y las técnicas de investigación social, lo que garantizará lo siguiente: Primero, Registrar lo sucedido durante el desarrollo del programa a nivel operativo (cumplimiento del cronograma y auditorias de tipos administrativos y de responsabilidad ejecutiva), y segundo, permitirá descubrir la relaciones de causas entre acciones del programa los resultados cuantificables.


REFERENCIAS BIBLIOGRÁFICAS


ÁLVAREZ, O. (2005), “La Evaluación como Garante de la Eficacia de la Intervención Pública” X CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA, [on-line], consultado el 25 de febrero 2008 en http://www.uh.cu/centros/ciei/biblioteca/biblioteca_virtual/investigaciones%20ciei/oneida%20alvarez%20figueroa/la%20evaluacion.pdf – Santiago, Chile.

ÁLVAREZ, C. (2003)”Modelo para evaluar el impacto de la gestión pública: una demanda cada vez más urgente” VIII CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA, [on-line], consultado el 25 de febrero 2008 en http://www.iij.derecho.ucr.ac.cr/archivos/documentacion/inv%20otras%20entidades/CLAD/CLAD%20VIII/documentos/alvarezu.pdf - Panamá.

BRESSER PEREIRA, Luiz Carlos (1998) La reforma del Estado de los años noventa. Lógica y mecanismos de control, en Revista Desarrollo Económico Nº 150, Vol 38.

DROR, Yehezkel. Public Policy-Making Reexamined. Scranton, Pennsylvania. Chandler Publishing Company. 1868.

DUNN, William. Public Policy Analysis: an Introduction. Prentice-
Hall, Englewood Cliffs, N.J. 1981.

DYE, Thomas. Understanding Public Policy. Prentice-Hall, Inc.
Englewood Cliffs. 1984.

KELLY, J. (2003)”Políticas Públicas en América latina teoría y practica” INSTITUTO DE ESTUDIOS SUPERIORES DE ADMINISTRACIÓN, Ediciones IESA, paginas 78,79. Caracas, Venezuela.

FLORKOWSKY, Gary y LIFTON, Donald (1998) Evaluación de los incentivos de productividad para el sector público: una revisión, en “El mejoramiento de la productividad en el sector público”, CLAD, Caracas.

GIL, José Ramón, y otros (2000) Nueva gerencia pública en acción: procesos de modernización presupuestal. Un análisis inicial en términos organizativos (Nueva Zelanda, Reino Unido, Australia y México), Revista Reforma y Democracia, CLAD, Nº 17.

GARCÍA-PELAYO, Manuel. Las Transformaciones del Estado Moderno.
Madrid, Alianza Universidad. 1987.

JENKINS, Bill y Gray, Andrew (1994) Evaluación y el usuario: la experiencia del Reino Unido, en Gestión y análisis de Políticas Públicas, Nº 1, sep-dic 1994, Madrid.

LINDBLOM, C.E. (1959), "The Science of Muddling Through", Public Administration Review, 19, pp. 79-88

LE DUFf, Robert y PAPILLON, Jean-Claude (1998) La productividad de los servicios públicos, en “El mejoramiento de la productividad en el sector público”, CLAD, Caracas.

MINTZBERG, Henry (1994) The rise an fall os strategic plannig, Prentice Hall International, Hemel Hemstead.

MORLEY, Elaine (1991) Establecimiento y uso de un sistema de medición de la productividad, en “El mejoramiento de la productividad en el sector público”, CLAD, Caracas.

MORENO, L. (2003)”Evaluación y Optimización de Políticas Publicas” INSTITUTO DE ESTUDIOS SOCIALES AVANZADOS, [on-line], consultado el 25 de febrero 2008 en http://www.iesam.csic.es/doctrab1/dt-9103.pdf - Madrid, España.

PRZEWORSKI, Adam (1998) Acerca del diseño del Estado. Una perspectiva principal agente, en “A reforma do estado na América Latina e no Caribe”, Seminario internacional Ministerio de Administración Federal y Reforma del Estado, BID-ONU, Brasilia, 16-17 de mayo.

SANIN, Miguel Angel (1999) Control de gestión y evaluación de resultados en la gerencia pública, Instituto Latinoamericano y del Caribe de Planificación Económica y Social ILPES, Santiago.

SUBIRATS J. Análisis de políticas públicas y eficacia de la administración. Madrid: Instituto Nacional de Administración Pública, 1989.

SUBIRATS J, GOMÀ R. Políticas públicas en España. Redes de actores y niveles de gobierno. Barcelona: Ariel, 1998.

---------- "Análisis de Políticas para Gobernantes". Revista Venezolana de Desarrollo Administrativo número 1. Enero, 1982. P.33.

---------- Enfrentando al Futuro. México, Fondo de Cultura
Económica. 1990. Prólogo, Selección y Notas de Samuel Schmitt.

Enciclopedia Internacional de Ciencias Sociales. Madrid, Ediciones Aguilar. 1976. Tomos 2 y 8.


1 comentario:

Ingrid Villamizar dijo...

Uno de los aspectos más importantes a desarrollar de las Políticas Públicas es el seguimiento y evaluación de estas, puesto que de ello depende la reformulación correspondiente (en caso de que se requiera)a fin de fortalecer y alcanzar resultados óptimos en la implementación de las mismas.

Si bien es cierto que existen muchas teorías de cómo realizar dicho seguimiento y evaluación, también es cierto que se han señalado muchos procedimientos que permiten realizar estas actividades sistemáticamente, sin embargo, estos solamente serán coherentes cuando los funcionarios que las ejecutan tengan claros los lineamientos generales dados por el Gobierno, y actúen cónsonamente con estos.