sábado, 22 de marzo de 2008

Ensayo Tema Nº 4: Evaluación de Políticas Públicas (María Alejandra Salazar)

REPUBLICA BOLIVARIANA DE VENEZUELA
MINISTERIO DEL PODER POPULAR PARA LA EDUCACION SUPERIOR
UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA DE LA FUERZA ARMADA NACIONAL
CENTRO DE INVESTIGACIONES Y POSTGRADO (UNEFA-CIP)
ESPECIALIZACIÓN EN GERENCIA PÚBLICA
CONVENIO: UNEFA-FONTUR

ENSAYO TEMA IV
EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS

PROFESOR:
Prof. Alexander Blandín
Análisis de Políticas Públicas


PARTICIPANTE:

Maria Alejandra Salazar N. C. I. V- 11.737.547


Caracas, Marzo 2008


EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS

Se considera que un programa o política pública es una intervención, o un conjunto de ellas, desarrollada con el propósito de alcanzar algún objetivo externo, bien sea éste solventar un problema claramente identificado o paliar una necesidad social ampliamente reconocida. Puede concluirse, en este sentido, que los programas comportan una materialización de las ideas respecto a las formas de conseguir los objetivos perseguidos.

En el ámbito del análisis de políticas públicas, la fase de la evaluación ha sido la menos tratada y estudiada. Sin embargo, la evaluación de programas y políticas públicas es una realidad que, aunque tímidamente, ha ido creciendo de forma estable y positiva en las administraciones públicas y, en este momento, reclama la atención tanto de profesionales como de académicos.

La evaluación de programas y políticas públicas constituye un instrumento esencial para la provisión de información a los decisores y responsables políticos, los cuales recurren a su uso con el fin de potenciar y maximizar la acción de gobierno en los diferentes ámbitos administrativos.

A los fines de evaluar una política pública, es imprescindible evaluar las acciones públicas que se realizan en el marco de dicha política, aunque la evaluación de la política vaya más allá de la simple evaluación de las acciones concretas.

En consecuencia, la evaluación de políticas públicas se puede definir como la valoración de la acción emprendida por los poderes públicos para abordar un problema. Las evaluaciones implican valorar la acción de los poderes públicos durante un período determinado.

El análisis de políticas públicas se ocupa, en general, de los problemas públicos y de cómo los poderes públicos los abordan. La evaluación de las políticas públicas es una parte de ese análisis general que se ocupa de valorar la actuación de los poderes públicos en su intento de solucionar problemas.

Bajo la perspectiva del ciclo de vida de una política pública, la evaluación se convierte en una de las fases de desarrollo. La evaluación ha ido ampliando su objeto de estudio y puede resultar un instrumento para el análisis de las otras fases (es decir, se puede hacer evaluación del diseño o formulación de una política, de su implementación o ejecución, etc.); no obstante, si se estudian y analizan todas las fases, la evaluación tiende a ser concebida como una de las fases “finales”, siendo la que menos atención ha captado por parte de los analistas de políticas públicas, aunque la mayoría de los autores han reconocido la “circularidad” de las políticas públicas.

Sin embargo, el campo de la evaluación de programas y políticas se ha ido desarrollando en los últimos años hacia una clara expansión del ámbito que abarca, tanto en lo que se refiere a la metodología como a las preguntas que responde. Inicialmente, la evaluación se concebía exclusivamente como un medio para medir los resultados y los efectos de una política o programa. En la actualidad, nadie discute que la evaluación puede abarcar las diferentes fases de la política o programa, desde su diseño o concepción hasta su impacto.


FUNCIONES Y CRITERIOS DE EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS

Funciones de Evaluación de las Políticas Públicas

Las funciones de la evaluación de las políticas públicas tienen que ver, lógicamente, con los usos que se pretende dar a la evaluación, de manera que la definición de las mismas se encuentra en el mismo corazón del concepto.

Según el Diccionario Enciclopédico Ilustrado Sopena, la función está definida como: "capacidad de acción o acción de un ser apropiada a su condición natural (para lo que existe) o al destino dado por el hombre (para lo que se usa)"[1].

Claramente, las funciones de la evaluación han sido definidas por el destino que se le ha dado a tal actividad (para lo que se usa) en términos genéricos, de forma que pueden quedar definidas como su condición natural (para lo que existe). En este ensayo he querido recalcar este factor de condición natural, es decir, la evaluación existe para mejorar, rendir cuentas y/o iluminar acciones futuras, ya que, si cumple una función distinta, no es evaluación.

Mejora del programa o política evaluada: La evaluación se concibe como un artefacto metodológico que permite la retroalimentación y el aprendizaje sobre la propia práctica. En este sentido, la evaluación resulta imprescindible como instrumento de mejora y perfeccionamiento y como garante de la calidad de un servicio o programa.

Rendimiento de cuentas o responsabilidad: La evaluación debe servir como instrumento que permita, en los diferentes niveles de responsabilidad, rendir cuentas sobre la gestión y los resultados de un programa. Esto adquiere un mayor sentido cuando se refiere a programas y políticas públicas, ya que el rendimiento de cuentas debe formar parte indiscutible del sistema democrático. Este rendimiento de cuentas debe darse a varios niveles, incluyendo de forma especial a la ciudadanía: el ciudadano/a tiene derecho a saber no sólo en qué se están empleando los fondos públicos sino también con qué grado de idoneidad, eficacia y eficiencia se están asignando, gestionando y empleando dichos fondos.

Iluminar acciones futuras: Aunque el sentido último de la evaluación tiene que ver, esencialmente, con el programa concreto evaluado en un contexto, situación y momento determinado de forma que se contribuya a su mejora y se rindan cuentas sobre el mismo, las evaluaciones arrojan una información sistemática que contribuye al "acervo científico" no sólo de ese programa, servicio o política concreta sino también del abordaje general de determinados problemas públicos.

Criterio de Evaluación de las Políticas Públicas

En los primeros años de desarrollo de la disciplina de la evaluación, en los que dominaba además una concepción epistemológica netamente positivista y se concebía que la ciencia podía y debía estar libre de valores, había algunos autores que creían que esta orientación valorativa conducía a interpretaciones radicales y subjetivas y otorgaba un poder inmerecido a los evaluadores.

Sin embargo, la mayoría de los autores clave en evaluación dan a este elemento valorativo una importancia central en el desarrollo y articulación de las teorías de evaluación. Ya en los años 80, este elemento valorativo es plenamente reconocido e incluso utilizado como elemento central en la definición de la evaluación.

Stufflebeam y Shinkfield insisten en que la meta esencial de la evaluación “es determinar el valor de algo que se está enjuiciando. De acuerdo con esta definición, si un estudio no informa de cuán buena o mala es una cosa, no se trata de una evaluación”[2].

Asimismo, el autor Carlos Weiss, explica un criterio de evaluación de las políticas públicas, que me pareció importante destacar, ya que, el mismo se basa en la aplicación de moral y ética, según lo siguiente:

1. Conocer el programa o política que se va a evaluar y su contexto

2. Mantener la alta calidad técnica y la relevancia del estudio de evaluación: La calidad en investigación se define en términos metodológicos. En evaluación, además, se debe asegurar que el estudio es relevante para la situación y el contexto concreto.

3. Utilizar el equilibrio y el juicio: Los evaluadores trabajan en un contexto en el que el programa es prioritario y las condiciones no siempre son buenas para el estudio sistemático. Los puntos que el evaluador deben tener en cuenta al momento de evaluar son: el tipo de información que quiere el beneficiado por la política pública, los deseos y puntos de vista de otros agentes críticos, la naturaleza de las premisas del programa, las posibilidades de la materialización de estas premisas y las oportunidades de que se incorporen los resultados al conocimiento profesional y a la opinión pública. También tiene que ser sensible a los cambios que se produzcan en el contexto a lo largo del proceso de evaluación.

4. Considerar el uso desde el principio: Las conclusiones deben ser escuchadas, respetadas y aceptadas, ya que serán la base para la acción.

5. Comportarse éticamente a lo largo del estudio: A veces las obligaciones éticas pueden llegar a ser contradictorias o entrar en conflicto. Hay que procurar, sobre todo, no distorsionar y no dañar sensibilidades.

6. Sobrevivir y cosechar recompensas: A pesar de todas las demandas que se requieren del evaluador, la evaluación merece la pena ya que es un trabajo que nunca es aburrido y que, sobre todo, genera comprensión y mayor calidad de vida, ya que pretende mejorar la forma de abordar problemas públicos.


TIPOS DE EVALUACIÓN

Según el papel que cumple la evaluación
Esta distinción se realiza según el papel que cumple la evaluación, es decir, de qué manera se quiere utilizar la evaluación, sea para formar el programa, servicio o política evaluada (Evaluación Formativa), o sea para hacer recapitulación del evaluado y realizar una valoración global del mismo (Evaluación Sumativa).

Según el contenido o aspecto de la política que se evalúa
Se refiere al aspecto o contenido del programa o política que se evalúa. Así, podemos distinguir entre: a) La evaluación del diseño o conceptualización del programa o política; b) La evaluación del proceso de puesta en práctica de dicho programa o política y; c) La evaluación de resultados.

a) La evaluación del diseño o conceptualización del programa: Estudia y valora cómo está diseñado o formulado un programa o política. Los aspectos que trata este tipo de evaluación tienen que ver con el fundamento del programa, tomando en consideración si está basado en un buen análisis de la realidad, si las metas y objetivos están bien formulados, definidos, jerarquizados, especificados, si las acciones que se proponen responden de forma lógica a los objetivos, si se prevén los recursos necesarios (incluidos los humanos y su organización), si está explicitada una metodología de intervención, si se han diseñado y adecuados los mecanismos de información, seguimiento y evaluación, si es coherente el programa con la filosofía y objetivos de la institución o instituciones que lo formulan, ejecutan y evalúan, etc.

b) La evaluación del proceso de puesta en práctica o implementación: Se refiere a todos los aspectos relacionados con el funcionamiento y ejecución de una determinada política o programa.

Este tipo de evaluación se centra en dicho espacio, es decir, en cómo una política o programa se pone en práctica, cómo funciona en el terreno, cuáles son las dificultades que encuentra en dicha ejecución y si se está llevando a cabo tal y como se tenía previsto (incluido el grado de cumplimiento de las acciones previstas) y cuál es el grado de desviación. Esto incluye lógicamente la valoración de los recursos que se utilizan para esta puesta en práctica, incluyendo los recursos humanos.

En esta categoría debe incluirse, pues, todo lo relacionado con el funcionamiento del equipo que lleva a cabo el programa, las relaciones intergubernamentales e interinstitucionales que se establecen para ello y los actores críticos y participantes que intervienen para la puesta en práctica (facilitando o dificultando la misma). También se tiene en cuenta si se está llegando al grupo de destinatarios previsto y, en general los flujos de entrada, estancia y salida de dichos destinatarios en el programa, así como si se cumple el calendario previsto y, en general, todo lo que tiene que ver con la dimensión temporal de la ejecución de un programa o política.

c) La evaluación de los resultados de un programa o política pública: Resulta interesante distinguir entre productos (lo que produce un programa o política, que correspondería al término de outputs) y los efectos (los efectos de dichos productos, tanto esperados como no esperados, lo que equivaldría al término outcomes).

Entre los efectos, se podría distinguir entre efectos directos (los efectos sobre el grupo de destinatarios previstos) y efectos indirectos (los efectos que se producen en grupos más amplios o en la sociedad en general).

La evaluación de estos efectos indirectos es a veces denominada evaluación del impacto de un programa o política. La distinción entre productos y efectos es una distinción interesante para la evaluación de políticas. Es lógicamente más fácil identificar y evaluar los productos de un programa que sus efectos, que suele ser más costoso. Sin embargo es imprescindible valorar la calidad de los productos para poder tener una referencia sobre los efectos que se han o no producido. Por otro lado, el hecho de evaluar los productos no exime necesariamente del intento de medición y valoración de los efectos.


Según el agente que evalúa
Según el agente que evalúa, se puede distinguir entre evaluación interna y evaluación externa.

a) La evaluación externa es la que se realiza por parte de quien no tiene que ver con la financiación, formulación ni ejecución del programa o política que se evalúa.

Por el contrario, los procesos de evaluación externa gozan normalmente de una mayor credibilidad externa y de una mayor probabilidad de ser objetivos (en el sentido de ausencia de sesgos, por el hecho de que el agente evaluador se sitúa externamente y puede situarse desde todas las diferentes perspectivas de los distintos grupos y personas implicadas en el programa evaluado), una mayor probabilidad de cumplimiento del calendario (las evaluaciones externas siempre se terminan, las internas tienen mayor probabilidad de retraso y de no conclusión) y una mayor posibilidad de realizar procesos de evaluación técnicamente sofisticados y que requieran de una especialización concreta.

b) La evaluación interna es la que se hace por parte de una institución, unidad de evaluación, equipo o agente que ha participado o participa en el programa o política, en alguno o más de los aspectos antes mencionados (financiación, formulación y ejecución).

Entre las ventajas de la evaluación interna se encuentran un mejor conocimiento del programa o política a evaluar y su contexto, un menor costo (al menos en costos directos), una mayor probabilidad de implicación de la comunidad en los procesos de evaluación y una mayor probabilidad de utilización de la evaluación por parte de profesionales y agentes críticos por haber sido protagonistas de la misma.

c) La evaluación mixta que consisten en dividir el proceso de evaluación y realizar alguna parte de forma interna y otra externa (por ejemplo, diseñar la evaluación internamente y ejecutarla externamente o, por el contrario, contar con asesores externos para el diseño del estudio de evaluación y posteriormente ejecutarlo internamente).


Según el momento en el que se evalúa
La última clasificación se refiere al momento que se realiza la evaluación y, en su versión más simple, consta de dos grandes categorías:
a) La evaluación ex ante que se realiza antes de que el programa o política evaluada se ponga en marcha.

Se considera evaluación ex ante, a la evaluación que se pueda realizar antes de que un programa se ponga en marcha en sentido estricto, en este caso, se trataría lógicamente de una evaluación del diseño y conceptualización del programa, “sobre el papel”, así como la evaluación de las experiencias piloto.
Este es un tipo de evaluación que se ha practicado en algunos organismos internacionales, que consiste en que antes de generalizar un programa nuevo de grandes dimensiones, se hace una experiencia piloto en uno o varios lugares determinados, a la que, además, se le dedica una gran cantidad de esfuerzo y recursos.

b) La evaluación ex post facto que se realiza durante o después de que el programa o política evaluada se haya puesto en marcha). La evaluación ex post facto es cualquier evaluación que se realiza durante o una vez el programa se ha ejecutado, a veces, se distingue entre estas dos posibilidades: in via o evaluación “durante” y ex post facto o evaluación “después”.

En los países en los que existe poca cultura y poca práctica de evaluación, como el nuestro, en la práctica la totalidad de evaluaciones que se realizan suelen ser ex post facto.

Por otra parte, otra forma de evaluar las políticas públicas es considerando factores como la efectividad y la eficacia de ésta, respondiendo a las siguientes preguntas:
a) Análisis Coste-Beneficio: ¿Cuál es la relación entre los costes del programa a realizar y los resultados del mismo (‘beneficios’), expresados en términos monetarios?.
b) Análisis Coste-Efectividad: ¿Cuál es la relación entre los costes del programa y los resultados (cuando los resultados no se pueden traducir en términos monetarios)?.
c) Evaluación de la Eficacia ¿Hasta qué punto es efectivo el programa desarrollado en la consecución de sus fines?. ¿Se ha conseguido los resultados?
d) Evaluación de la Eficiencia: ¿Cuáles son los recursos (inputs) aportados al programa en relación al ratio persona l/ usuarios y a otros aspectos relativos a los niveles de actividad del programa puesto en marcha?. ¿Cuánto esfuerzo se ha requerido para conseguir dichos resultados?

Eficacia, eficiencia y los indicadores de la evaluación de las políticas públicas.
De modo general puede afirmarse que la evaluación concentra su atención tanto en los criterios de eficacia como en los de eficiencia.

El concepto de eficacia se refiere al grado de cumplimiento de los objetivos en el desarrollo de un programa o una política concreta. ¿Se han conseguido los objetivos previamente establecidos?

La evaluación de la eficiencia, por otra parte, trata de determinar los costes relativos inherentes al logro de los objetivos enunciados en el programa o política a desarrollar.

En este sentido, las cuestiones a afrontar son del tenor siguiente: ¿Con qué grado de economía han sido cumplidos los objetivos fijados en un principio?, ¿podrían establecerse programas alternativos que consiguieran los mismos resultados a un menor costo?, ¿se pueden introducir cambios en el desarrollo del programa o la política puesta en vigor que lo hagan más eficiente sin incurrir en gastos adicionales?, ¿pueden reducirse los recursos (inputs) y, no obstante, obtenerse el mismo rendimiento?, ¿cabe lograr un mayor rendimiento sin incrementos de recursos (inputs)?.

Además, las bases de valoración pueden ser relativamente diferentes, y tener sus matices específicas, dependiendo del ámbito al que pertenezca la política o programa evaluado.

Así, por ejemplo, en la evaluación de las políticas de cooperación al desarrollo existe un consenso generalizado sobre la importancia de valorar a través de los criterios generales de eficiencia (hasta qué punto los resultados alcanzados derivan de una utilización eficiente de los recursos financieros, técnicos y humanos), eficacia (hasta qué punto se han alcanzado los objetivos propuestos), impacto (consecuencias previstas y no previstas para la sociedad, tanto negativas como positivas), pertinencia (hasta qué punto el programa evaluado se ajusta, en este caso, a los objetivos globales de desarrollo, a la política del donante y del receptor y a las necesidades y prioridades locales) y viabilidad (definida en este ámbito como hasta qué punto los cambios positivos logrados como consecuencia del programa se mantienen después de que éste haya finalizado)

Si bien la evaluación de la eficacia pone el énfasis de su análisis en objetivos y
resultados (objective-output), la eficiencia concentra su atención en la relación
generada entre recursos y resultados (input-output).

En este contexto deben tenerse en cuenta dos importantes consideraciones:

(a) Determinación de necesidades. A la hora de enjuiciar la eficacia o eficiencia, los responsables políticos, los gerentes y los administradores de programas deben especificar cuáles son los destinatarios (usuarios) de sus políticas, sus necesidades y cuáles son los criterios utilizados para medir los efectos y posibles cambios introducidos en aquéllas políticas o programas.

(b) Indicadores de rendimientos. La producción de indicadores medibles, válidos, sensibles y fiables es esencial para la evaluación orientada a valorar tanto la eficiencia como la eficacia del programa o política en vigor. De hecho, la medición de los resultados aparece, bien sea como denominador o como numerador, en ambos modos de evaluación. La necesidad de mejorar la identificación y cuantificación de los resultados producidos por la puesta en vigor de políticas o programas es de una importancia crucial para realizar tareas evaluativas que sean metodológicamente aprovechables. Constituye ello, sin embargo, uno de los aspectos metodológicos más espinosos a los que se enfrenta la evaluación.

Por la propia naturaleza de la evaluación, ésta debe contar con un último nivel de análisis y exposición de los resultados que consiste en la traducción de los resultados de la evaluación en recomendaciones. Estas recomendaciones son sugerencias sobre posibles líneas de acción a seguir respecto al programa o política evaluada, cambios propuestos en el programa o cosas a mantener en el mismo o consejos para la mejora dirigidos a los patrocinadores, responsables y/o profesionales del programa.

Evidentemente, estas recomendaciones deben seguir la secuencia lógica y sistemática de los niveles de análisis anteriores. Es decir, las recomendaciones de una evaluación deben estar basadas en las valoraciones realizadas que, a su vez, habrán estado basadas en la recopilación y análisis sistemático de la información.







METODOLOGÍA UTILIZADAS EN LA EVALUACIÓN DE LAS POLÍTICAS PÚBLICAS

Las diversas metodologías utilizadas para evaluar las políticas públicas coinciden en establecer las funciones y utilidades de las técnicas de evaluación de políticas públicas.

En general, la evaluación se realiza para que sus resultados sean utilizados en la toma de decisiones, por lo tanto, debe estar destinada a proporcionar información útil para todos los agentes que participen en el programa público y, principalmente, para sus destinatarios finales. Así, además de aspectos como la generación de información y la racionalización de la toma de decisiones, la evaluación ayuda a la reforma práctica de la propia Administración y a la formación de los agentes implicados en el programa, además del control administrativo, legal y financiero que se debe llevar a cabo en cualquier gasto público.

La diversidad de las metodologías disponibles para realizar la evaluación es una señal de las múltiples dimensiones en las que pueden manifestarse los impactos de las políticas. Por esta razón, no existe una metodología que sea superior a las otras. Cada metodología será diseñada para analizar las dimensiones de los impactos, pero el mejor enfoque de evaluación requeriría una combinación de las diferentes metodologías de evaluación, posiblemente aplicada a diversos niveles de agregación de los datos disponibles.

No obstante, se puede desatacar la metodología establecida por el autor Stufflebeam utilizada para la evaluación de las políticas públicas, que se expone a continuación:

Evaluación del Contexto: Pretende identificar el contexto institucional, los destinatarios de un programa o política y evaluar sus necesidades y problemas.
Ayuda a desarrollar objetivos que sean coherentes con las necesidades y, en general, ayuda a tomar decisiones sobre metas y objetivos y a ofrecer una base para juzgar los resultados.

Evaluación Input: Su objetivo es valorar la capacidad del sistema para llevar a cabo las estrategias planteadas con los recursos dados. Identifica y valora el mérito de proyectos alternativos y ayuda a diseñar los programas y a dar forma a las propuestas y proyectos. Sirve para tomar decisiones sobre la estructuración del programa: identificación de fuentes de apoyo y diseño de estrategias y procedimientos. Ofrece una base para juzgar la ejecución o implementación del programa.

Evaluación del Proceso: Pretende identificar y pronosticar, durante el proceso los fallos de la planificación y describir y juzgar los aspectos del procedimiento con el que se está llevando a cabo el programa. Ayuda a guiar la realización del programa y sirve para tomar decisiones sobre la ejecución del mismo. Ofrece una base lógica sobre el proceso real y que servirá posteriormente para interpretar los resultados.

Evaluación del Producto: Su principal objetivo es evaluar los resultados y relacionarlos con los objetivos y las informaciones sobre el contexto, el input y el proceso, para interpretar su valor y su mérito. Ayuda a tomar decisiones sobre continuación, terminación o modificación de los programas y a presentar información sobre los efectos de los mismos (intencionados o no, positivos y negativos).














CONCLUSIÓN

En las políticas que nos ocupan, es evidente que nos debería interesar si los planes en sí mismos se han cumplido, y si responden a las siguientes interrogantes: ¿Son el instrumento adecuado?, ¿Están relativamente equilibrados respecto a los objetivos de la política?, ¿Satisface las necesidades de la población a la cual esta dirigida la política?, entre otras. Una reflexión profunda sobre estos extremos, hará a los poderes públicos más conscientes de lo que están haciendo, hacia dónde van y hacia dónde deben ir.

Asimismo, se debe aumentar la práctica de la evaluación a muchos niveles, realizando un esfuerzo por aumentar la consolidación e institucionalización del campo de la evaluación de programas y políticas públicas, en el sentido que, al experimentar una acentuación de esta práctica, se produciría un aumento de la cultura de evaluación, mejorando cada día los métodos para su aplicación.

Por otra parte, se deben evaluar políticas públicas conjuntamente con los programas que la conforman, con el fin de determinar las fallas de las cuales adolece aquella, en búsqueda de su continuación, redefinición o terminación.

Por último, se debe identificar el tipo de método a utilizar para la evaluación de las políticas públicas, sobre todo en lo que se refiere al agente que la efectúa, ya que en muchas ocasiones, esta etapa se ve menospreciada por la inexistencia de un órgano encargado de llevarla a cabo.










BIBLIOGRAFÍA

Bustelo, M. (2001). La Evaluación de las Políticas Públicas de Igualdad de Género de los Gobiernos Central y Autonómicos en España: 1995 – 1999. Memoria para optar al grado de doctor. Universidad Complutense de Madrid: Madrid.{Tesis en Línea}. Consultado el 19 de marzo de 2008 en: http://www.ucm.es/eprints/4513/


Moreno, L. (1991). Evaluación y Optimización de Políticas Públicas: El Caso de la Formación del Profesorado. {Documento en línea}. Disponible en: www.iesam.csic.es/doctrab1/dt-9103.pd

Sopena, R. (1982). Diccionario Enciclopédico Ilustrado Sopena. T. VIII. Barcelona: Autor.

Stufflebeam, D. y Shinkfield, A. (1987) Evaluación Sistemática. (Trad. C. Locilla). Buenos Aires: Paidós. (Original Alemán, 1985)


[1] Sopena, R. (1982). Diccionario Enciclopédico Ilustrado Sopena, T. VIII. Barcelona: Autor.


[2] Stufflebeam, D. y Shinkfield, A. (1987) Evaluación Sistemática. (Trad. C. Locilla). Buenos Aires: Paidós. (Original Alemán, 1985) P.20

No hay comentarios: