Procedimientos para la realización de evaluaciones de programas educativos y sociales

Resumen

La evaluación de programas se ha constituido en un elemento esencial para la mejora continua en los entornos educativos y de servicios públicos. En el artículo se analizan los elementos claves para la evaluación de programas en alguno de los más relevantes enfoques de evaluación de programas educativos y sociales. Revisamos el modelo lógico y el modelo CIPP, además de las normas del Joint Committee on Standards for Educational Evaluation. El artículo ayudará a diseñar programas y planificar estrategias para conseguir los resultados y metas que los programas persiguen, junto con planificar y realizar evaluaciones de programas reales.

Palabras clave: Práctica de la evaluación, teoría de la evaluación, modelo lógico, modelo CIPP, Normas del Joint Committee on Standards for Educational Evaluation.

Abstract

Program evaluation has become one essential element in continuous improvement efforts in Education and Public Services environments. The article reviewed the key elements in some of the most relevant approach to conduct evaluations of educational and social programs. We review the logic model and

the CIPP model. The Joint Committee Standards are also reviewed. The article will help to design programs and to plan the strategies to achieve the outputs and outcomes that the programs want to address, beside to plan and conduct real program evaluation.

Key words: Evaluation practice, evaluation theory, logic model, CIPP model, Joint Committee on Standards for Educational Evaluation.

Introducción

El presente artículo tiene como finalidad profundizar en las cuestiones a tener en cuenta para la realización de evaluaciones de programas educativos y sociales.

La evaluación de programas se caracteriza por centrarse en conocer cómo se aplican los programas para mejorarlos, así como las estrategias para su aplicación y los resultados que consigue. Utiliza múltiples técnicas y enfoques metodológicos para la valoración del propio programa en respuesta a las necesidades que pretende atender, realizar el seguimiento de los procesos, con medidas de las actitudes y del rendimiento, realizar estudios sobre los efectos de los programas en los resultados, en el corto, medio y largo plazo.

Los resultados de la evaluación deben utilizarse para rediseñar los programas y sus estrategias de aplicación, contribuyendo, de este modo, a la mejora del programa y de las personas implicadas en él y al desarrollo de la comunidad. Estas cuestiones ya fueron mencionadas por Lee J. Cronbach en su artículo „Course improvement trough evaluation?, publicado en 19631.

La teoría de programas, junto con la teoría de la evaluación de programas, además de las estrategias de metodología de investigación, son los elementos fundamentales para el desarrollo de las competencias del evaluador de programas. Estas competencias deben centrarse en el logro de los dominios relacionados con el diseño, planificación, implementación y análisis de los programas, la evaluación de su efectividad, eficacia, eficiencia y satisfacción que consiguen los programas comprometidos con la solución de necesidades y problemas, así como en la evaluación del impacto de dichos programa en el medio y largo plazo.

La evaluación de programas supone la recogida de información sistemática acerca de un programa, elaborado para atender a unas necesidades, centrada en la calidad del propio programa, en sus fundamentos, estructura y coherencia, la planificación de su puesta en acción, considerando los recursos personales, materiales y organizativos, el programa en su desarrollo, en los contextos en los que se aplica, y los resultados que consigue, en el inmediato, medio y largo plazo, con el objetivo de comprobar y valorar el grado y calidad con que ha conseguido atender las necesidades y resolver los problemas que

eran la razón del ser del programa2.

La información recogida, mediante indicadores de comprobación del programa, basada en hechos y datos reales, será útil para comunicar a todos los que tienen derecho a saber acerca de cómo ha trabajado el programa y los resultados que ha conseguido y, así mismo, proporcionará indicaciones precisas sobre la conveniencia de la continuidad de su aplicación y la recomendación de su expansión, junto con los cambios y mejoras en aquéllos aspectos que lo necesite.

Las evaluaciones deben concluir en un informe detallado en el que se expliquen las causas por las que los programas consiguen los objetivos que se habían propuesto, que otros no pretendidos ha conseguido, facilitando la transferencia de los resultados a poblaciones similares bien definidas.

La evaluación de programas, aplicada en todo su alcance, se constituye en una estrategia de aprendizaje continuo para la mejora de los programas, las personas, las organizaciones y la sociedad en la que se desarrollan.

Características de los programas

Un programa de intervención educativa y social consiste en un plan sistemático de acción específica y expresamente desarrollado, para servir a un grupo de objetivos de calidad, tendentes a resolver una situación problemática o a mejorar una necesidad.

Los programas elaborados para la acción, orientados a conseguir unos objetivos, basados en unas determinadas concepciones y principios teóricos, pueden definirse como un marco organizativo para la realización de una acción o serie de acciones a lo largo de un proceso, con el propósito de conseguir los objetivos propuestos.

Todo programa se basa en una teoría para conseguir unos cambios y su evaluación es la prueba de cómo lo consigue. Para organizar una evaluación que proporcione pruebas fidedignas, rigurosas, válidas y fiables, el evaluador, o evaluadores, necesitan comprender las premisas teóricas que subyacen en los programas.

El conocimiento de las teorías y principios que deben subyacer en el diseño y desarrollo de los programas, forma parte de la formación competente en la evaluación de programas, dado que conocer el programa, sus objetivos y el plan para conseguir dichos objetivos, son el primer paso para su evaluación, siendo fundamental que después haber sido evaluado y, habiendo conseguido las metas y objetivos que pretendía, se realice la diseminación de los resultados y la recomendación de que dicho programa sea aplicado en otros contextos y grupos o poblaciones con similares necesidades y problemáticas.

A lo largo de los contenidos de este tema tendremos más oportunidades para profundizar en los elementos esenciales de los programas y sus relaciones con la evaluación.

El modelo lógico para el diseño y evaluación de programas

El modelo lógico para la elaboración y la evaluación de los programas, desarrollado por Scriven3 quien ofrece un marco teórico y de organización para el desarrollo y comprensión de los programas y de sus objetivos, de su planificación y de su realización, junto con su evaluación para la comprobación de sus resultados y logros. La elaboración, planificación y desarrollo de los

programas conducen a la consecución de unos resultados, dependientes de la gestión del programa y de los recursos para su adecuada aplicación, y todo ello debe ser considerado como elementos de interés en el proceso de evaluación de un programa, debiendo quedar reflejado en el informe de la evaluación.

El enfoque lógico de programas pretende facilitar el diseño de un mapa del programa y las acciones que debe realizar para conseguir sus metas, para ayudar a su comprensión y evaluación (figura 1).

La descripción de la secuencia temporal desde la concepción del programa, elaborado para atender a unas necesidades, los recursos y los medios necesarios para su aplicación, incluidas las personas, junto con los procesos, con la especificación de las actividades a realizar para su desarrollo y su vinculación con los resultados que se espera que consiga el programa en coherencia con las metas pretendidas y el impacto que de ello se deriva, pretende resaltar la importancia relacional existente entre todos los elementos desde el diseño hasta la valoración de su impacto.

En el lado de lo planeado se debe incluir una descripción de todo lo necesario para conseguir los resultados pretendidos, es decir:

• 1) El propio programa, diseñado para alcanzar la necesidad, o resolver el problema, e identificar los resultados en términos de realización que debe conseguir.

• 2) Los recursos o inputs, se refieren a todos los recursos que incluye el sistema, o la organización, de personal, de gestión, de financiación y los recursos de los que dispone la comunidad en la que se va a aplicar el programa.

• 3) Los procesos, como conjunto de estrategias planificadas para la acción, incluidas las actividades que deben realizarse para conseguir los objetivos pretendidos, esperados, con el programa.

En el lado de los resultados el modelo diferencia entre los resultados inmediatos y los logros de las metas como consecuencias de los resultados. Debe especificar todo lo que el programa pretende conseguir; nos referimos a:

• 4) Los resultados directos de las actividades del programa, en términos de conocimientos, habilidades, actitudes, dependiendo de cómo se hayan desarrollado las actividades.

• 5) Las metas específicas, a partir de los resultados conseguidos, se expanden en el corto plazo, y su grado de consecución consigue una perdurabilidad, en torno a 2-4 años, siempre dependiendo de las características del programa de que se trate.

• 6) El impacto o metas a medio y largo plazo, a través de los cambios conseguidos que benefician a los participantes, a la organización y a la comunidad, con una duración en torno a 3-5 años, dependiendo del programa de que se trate, que es analizado mediante estudios de satisfacción del cliente y estudios de eficiencia y efectividad.

El modelo lógico ayuda a los responsables de los programas a diferenciar el mérito? en relación con la efectividad del programa en conseguir los resultados de su „valor? en el sentido amplio y largo de su impacto4.

Si se tiene un programa pobremente desarrollado, con recursos escasos e inadecuada planificación de las acciones que deben realizarse para conseguir las metas, poco se puede conseguir con la evaluación, mas que la recomendación de mejorar la propia concepción y elaboración del programa, la organización para su aplicación y desarrollo de los procesos, junto con la búsqueda de recursos para que todos estos elementos puedan contribuir a conseguir las metas pretendidas por el programa.

El enfoque lógico para el diseño y evaluación de un programa se guía por una hipótesis, enunciada habitualmente de la siguiente forma: „Si los objetivos del programa son realistas y plausibles de conseguir, entonces se conseguirán?; „Si se cuentan con los recursos necesarios para la aplicación de programa, entonces será más factible que se aplique del modo adecuado para que contribuya a la consecución de los objetivos pretendidos?; „si los procesos se realizan de modo que alcance los objetivos que se pretenden desarrollar en toda su extensión, entonces dichos objetivos se conseguirán?.

Compartir el conocimiento y participar en el desarrollo del programa, supone una implicación más significativa en el compromiso con la aplicación del programa y sin duda, contribuirá a mejorar sus resultados y su impacto.

El modelo lógico incrementa la capacidad para mejorar la recogida de datos y estrecha las relaciones entre los recursos del programa, las actividades, los resultados, los beneficiarios y las metas que alcanza y su impacto.

Veamos un ejemplo del enfoque lógico para la presentación de un programa y de sus resultados pretendidos.

El enfoque lógico para el diseño, implementación y evaluación de los programas sugiere tener en cuenta estas tres ideas:

– Describir los programas con un lenguaje claro y específico, para que puedan ser entendidos y evaluados. Para evaluar un programa, el evaluador debe conocer los principios que subyacen en dicho programa, su planificación poder realizar el seguimiento de su aplicación y de sus resultados, conocer lo que el programa quiere conseguir, sus metas y objetivos y cómo quiere conseguirlo.

• Centrarse, para su aplicación, en los recursos y actividades prioritarias del programa y en los resultados claves, con propósitos de aprendizaje sobre el programa y su mejora.

• Elaboración de informes y desarrollo de comunicaciones para los distintos grupos de audiencias, utilizando las estrategias de marketing necesarias para la mejor difusión de los resultados del programa. La argumentación sobre los „qués?, los „cómos? y los „por qués? del éxito de un programa deben basarse en evidencias, y el informe de la evaluación debe reflejar, de modo específico, los pasos mediante los cuales se han conseguido las metas del programa y el impacto pretendido.

A continuación mostramos, en la tabla 2, las relaciones entre los elementos fundamentales de un programa, los criterios que garanticen su aplicación exitosa, siguiendo el enfoque del modelo lógico para el diseño, implementación y evaluación de los programas5.

El diseño del programa debe hacerse teniendo en cuenta las metas y los objetivos que pretende atender en el programa, por lo que se recomienda realizar el análisis de programas similares que han funcionado bien, para identificar las mejores prácticas, así como las investigaciones sobre los mismos con el fin de identificar las mejores estrategias para conseguir los resultados pretendidos.

La presentación del programa, siguiendo el enfoque lógico, ofrece oportunidades para la descripción sistemática de lo que se pretende lograr, lo cual ayuda a su comprensión y facilita su aplicación, además de enfocarse en las metas y en las estrategias y actividades para su logro, contribuyendo a detectar y corregir posibles lagunas y deficiencias a tiempo.

La planificación de la implementación del programa debe centrarse en su aplicación siguiendo el plan previsto, anticipando los indicadores para la identificación de la información clave, junto con los procedimientos para su recogida, de modo que ayude a priorizar los elementos críticos para orientar la mejora y ajustes del programa.

La evaluación continua del programa durante su aplicación, en su función de evaluación formativa, facilita la mejora del diseño del programa, la adecuación de los recursos necesarios además de la planificación y realización de los procesos, así como la información acerca de las metas conseguidas tras su aplicación.

La evaluación del éxito del programa, de sus logros, o evaluación sumativa, descansa sobre el diseño claro del propio programa y de la afirmación de las metas que pretende conseguir para la resolución de las necesidades o problemas, además de la recogida de información clave, a través de la evaluación continua durante todas las fases anteriores, integrándolas con los resultados finales obtenidos por el programa.

El informe para la comunicación de los resultados del programa es clave para la comprensión y funcionamiento del mismo, para el aprovechamiento de sus resultados y para la consecución de apoyos de las autoridades para su continuidad, en su función de evaluación como rendimiento de cuentas.

Cuestiones para la realización de una evaluación de programas

Para la realización de la evaluación de un programa hay que tener en cuenta los siguientes pasos y funciones que nos ayudará a planificar la evaluación del programa:

• La evaluabilidad del programa

El primer paso para saber si procede iniciar la evaluación de un programa consiste en valorar la evaluabilidad del propio programa. Para ello es necesario:

• Disponer del propio documento del programa, o poder elaborar una descripción clara del mismo, con sus características, sus objetivos, el grupo al que va destinado, su adecuación a las necesidades o problemas que trata de resolver.

• Entrevistar al personal implicado en el programa para conocer su disponibilidad para colaborar en la evaluación del programa.

• Explorar cómo se está aplicando el programa, analizando informes previos, memorias de resultados anteriores, y a través del uso de informantes claves, representativos de las distintas sensibilidades en relación con el programa.

• Desarrollar un diseño de evaluación del programa, incluyendo un plan para la evaluación, especificando las técnicas y los instrumentos de recogida de datos y los momentos de su aplicación a lo largo del periodo de vida del programa.

• Identificar a los usuarios de los resultados de la evaluación y a sus beneficiarios, para realizar un seguimiento de los resultados en el inmediato y medio y largo plazo, mediante estudios de resultados y de impacto.

• Lograr acuerdos de procedimiento con los responsables, implicados y beneficiarios del programa.

Para poder disponer de estos seis elementos claves para la evaluación del programa, tendremos que explicar a los responsables del mismo, e interesados, su importancia, y tratar de que estas condiciones se den para realizar la evaluación. Una vez que se dispone del estudio de evaluabilidad, se puede proceder a la evaluación del programa.

• El objeto de la evaluación: el programa y sus componentes principales

En segundo lugar habrá que profundizar en el estudio del programa y describir, de una manera ordenada y organizada, los componentes fundamentales del mismo. Tendremos que comprobar cómo están definidos sus objetivos, como está elaborado, y comprobar si existe coherencia con los principios y teorías que lo sustentan, como se debe implicar la organización a través de las personas y recursos, como se debe aplicar y qué debe conseguir para que pueda ser valorado como un buen programa.

El programa debe especificar sus metas y objetivos concretos, en respuesta a las necesidades y problemas que pretende contribuir a solucionar y a la población a la que se dirige. Después deberá desarrollar indicadores para comprobar cómo se percibe, por parte de las audiencias, internas y externas, lo que pretende conseguir, como se está desarrollando, si cumple con las expectativas que había creado, y si satisface las necesidades que decía cubrir.

La siguiente plantilla, basada en Wholey, Hatry, y Newcomer6, orienta para planificar la aplicación del programa y clarificar la teoría del programa:

• Las audiencias a quienes se debe informar sobre la evaluación del programa

En tercer lugar habrá que identificar a los diferentes grupos de audiencias, o interesados en la evaluación, y la información que interesa a cada grupo en relación con los elementos fundamentales del programa.

En la evaluación de programas, en la fase de su planificación, se debe identificar a los diferentes grupos implicados en el programa y sus necesidades de información. La evaluación debe ser útil a grupos específicos, por lo que los evaluadores deben atender no sólo las demandas de quien encarga la evaluación, sino que, por cuestiones éticas y prácticas, también a las personas más directamente implicadas en el programa que se evalúa, recoger sus necesidades y darle respuesta informándoles de los resultados de la evaluación, a la vez que orientándoles para ayudarles a realizar los cambios necesarios de mejora del programa, ya sean referidos al propio programa, como a sus recursos y personas implicadas en la aplicación y seguimiento del programa.

Son varios los grupos que pueden promover una evaluación y que se beneficiarían de ella:

• Los responsables del programa.

• Los que lo ponen en práctica.

• Aquellos a quienes va dirigido el programa: sus beneficiarios directos, por ejemplo, en educación serían los alumnos, lo padres y los profesores.

• Los siguientes niveles educativos que acogerán a los alumnos del anterior nivel, las empresas que acogerán a los egresados formados en ese programa.

• Las autoridades educativas y los patrocinadores y promotores de los programas.

• La comunidad y la sociedad.

Los evaluadores deben informar a todos los implicados de por qué y para qué se hace la evaluación, sin ocultar información relevante, dado que dificultaría la propia evaluación y las posibilidades de que se asumieran sus resultados, es decir, la utilidad de los resultados, para tenerlos en cuenta en futuros planes de mejora. A cada grupo de audiencias se le debe informar de aquellos elementos del programa con los que esté más relacionado. Por cada audiencia y pregunta, se deben identificar los modos en que utilizará la información de la evaluación.

• Los criterios de calidad del programa

En cuarto lugar habrá que concretar los criterios de calidad del programa, su mérito intrínseco y de cada uno de sus componentes, de acuerdo con las teorías psicopedagógicas en las que se fundamenta.

En esta fase se deben seleccionar y definir los criterios de calidad, tanto referidos al propio programa como a los principios y contenidos que orientan la acción. Los criterios fundamentales a tener en cuenta para evaluar los programas son las metas y los objetivos concretos que persiguen, junto con las teorías psicopedagógicas en las que se fundamentan y que ayudarán a operativizar los objetivos para su realización práctica, con el fin de conseguir los resultados, que es la razón de ser del programa. Todo ello orientará el proceso de evaluación del programa.

Otros criterios a tener en cuenta en la evaluación de programas son las exigencias legales, las exigencias de la administración educativa, las exigencias de los promotores y patrocinadores de los programas y las exigencias de la sociedad, que tienen derecho a saber cómo está trabajando el programa y qué resultados consigue. Porque hay programas que se crean por un mandato legal, con fondos públicos o con subvenciones privadas, con una finalidad determinada, para solucionar una necesidad, y que incluye la obligación de su evaluación e información de sus resultados. Tiene que rendir cuentas.

En relación con los criterios de la evaluación, los evaluadores deben lograr acuerdos con los patrocinadores o los promotores y responsables de los programas. Clarificar los criterios de calidad con los que debe trabajar el programa para conseguir sus objetivos es clave para la evaluación.

• Las normas de actuación para la aplicación del programa

En quinto lugar se deben especificar las normas de actuación, para que se puedan aplicar al programa, al servicio de los criterios de calidad previamente definidos, en cantidad y calidad suficiente.

La elaboración de las normas de actuación de los programas guarda relación con la concreción de cómo se debe aplicar el programa para conseguir los objetivos pretendidos para resolver las necesidades, en coherencia con los criterios de calidad previamente determinados. También tiene que ver con la concreción de las condiciones y los recursos necesarios para la aplicación del programa, las personas que lo van a aplicar y quiénes serán sus beneficiarios.

De igual manera, las normas tienen que ver con los niveles a los que aspira lograr el programa y cuáles deben ser los niveles mínimos de logro exigibles, para que garanticen que el programa ha funcionado bien. El programa debe ser aplicado de acuerdo con el plan previsto, especialmente en lo que se refiere a los elementos fundamentales del mismo. Los resultados, las metas y el impacto esperados tras la aplicación del programa deben ser específicos, medibles, realistas y conseguibles en un plazo de tiempo fijado.

La guía para la aplicación del modelo lógico para la planificación de la implementación del programa y los elementos para comprobar el progreso del mismo, partiendo de los resultados inmediatos pretendidos puede representarse en la tabla 3.

• Cuestiones que deben guiar la comprobación de la realización del programa

En sexto lugar, deberemos recoger información, para lo cual habrá que seleccionar indicadores que serán incluidos en los instrumentos de recogida de información y datos, para poder comprobar la aplicación de todo el programa así como cada uno de los componentes fundamentales del mismo.

La recogida de información del programa debe realizarse durante todo el proceso de vida del programa, comenzando por la propia conceptualización del programa, seguido de los procedimientos para su puesta en práctica, continuando por el seguimiento de su aplicación, y terminando por los resultados inmediatos y su impacto, en el medio y largo alcance.

Para ayudar a evitar conflictos desde el inicio de la evaluación se recomienda aclarar y comentar con las personas implicadas en el programa, nuestra concepción de la evaluación, las funciones que cumplirá y el cómo vamos a evaluar (incluidos tanto los métodos de investigación como los instrumentos para la recogida de información y su posterior análisis).

La recogida de información, en el ámbito de la educación, supone evaluar los principios psicopedagógicos, las teorías de aprendizaje subyacentes, conocer el plan para su aplicación en el aula, por ejemplo, mediante una programación escolar, después evaluar las metodologías de enseñanza y aprendizaje que se utilizan, los métodos de enseñanza de los profesores, así como sus estilos comunicativos en la interacción con los alumnos. También las actividades para el desarrollo del programa, el clima que predomina en el aula y en el centro, más las características del contexto en el que se desarrolla la actividad de enseñanza y aprendizaje.

De igual forma se deben evaluar los principios que orientan la evaluación del aprendizaje de los alumnos, y el modo como son evaluados junto con los rendimientos conseguidos en relación con los objetivos del programa de estudio. Finalmente, se valorará la satisfacción de los usuarios: profesores, alumnos, padres y la comunidad del entorno próximo.

Para la recogida de información deben elaborarse instrumentos que tengan en cuenta las características del programa y de su aplicación, la información a recoger en relación a dichas características, así como las necesidades de información de las distintas audiencias. Instrumentos similares a los que se muestra a continuación, y otros que serán estudiados con más detenimiento en el siguiente tema de este libro, nos aportará información sobre la adecuación entre la teoría del programa y las estrategias para la acción.

Para Rossi y Freeman7, unos de los autores que más han escrito sobre evaluación, para realizar el análisis y valoración de los programas, la evaluación debe centrarse en recoger información sobre los siguientes elementos:

• 1. La conceptualización y el diseño del programa, en coherencia con los objetivos para los que se ha elaborado, para afrontar los problemas y necesidades que trata de resolver.

Los objetivos deben estar suficientemente bien articulados para hacer posible su identificación y medición mediante indicadores. Si un programa no tiene sus objetivos bien definidos, el evaluador deberá ser capaz de identificarlos, en colaboración con los responsables del programa y de quienes lo aplican.

• 2. La implementación del programa, mediante el seguimiento y análisis de su aplicación, de su interacción en el medio, con el fin de recoger evidencias sobre los procedimientos de su puesta en práctica.

El programa ha debido ser implementado durante el tiempo suficiente para que haya podido logar los efectos pretendidos, y no se den dudas de que los elementos críticos en relación con los objetivos han sido realizados. De otro modo, si la aplicación del programa tiene poco que ver con lo que pretende conseguir, estaremos evaluando otra cosa, pero no el programa.

• 3. La utilidad del programa, que incluye los efectos del programa inmediatos de su impacto, en el medio y largo plazo, en términos de eficacia, eficiencia y satisfacción, entendido como la relación entre lo pretendido y lo conseguido, los costos para lograrlo y el grado de cumplimiento de las necesidades para las que se había elaborado el programa.

Por ello, además de la comprobación de la adecuación del programa en sí, para abordar los problemas que pretende resolver, es importante realizar la función de seguimiento de la aplicación del programa, o monitoreo, teniendo por objeto resolver dos interrogantes principales, primero, si el programa alcanza o no a la población objeto adecuadamente y, segundo, si la realización de los procesos es congruente o no con las especificaciones de los objetivos y del diseño del programa. La monitorización en las evaluaciones es una ayuda necesaria para valorar su repercusión, pues los errores en el programa a menudo se deben a las ejecuciones incompletas o defectuosas de las intervenciones, más que a la ineficacia del propio programa.

La valoración del programa, en su conceptualización y en su puesta en acción, debe preceder a la evaluación de sus resultados y de su impacto, o concurrir con ella. La monitorización de las realizaciones, para la recogida de información, debe ser la base para la valoración de la utilidad de los programas, dado que aporta información de primera magnitud en la decisión de continuar, ampliar o terminar los programas en curso7.

Otros autores, como Scriven3, utilizan la evaluación formativa, como recogida de información para ayudar a la mejora del programa y aportar información para la evaluación sumativa, para probar si el programa ha funcionado del modo en que se había planeado y si consigue los resultados pretendidos. Ambos tipos de evaluaciones aportan información sobre el grado en que el programa ha logrado los resultados esperados y proporciona una información valiosa para compartir con los implicados en el programa.

Veamos las aportaciones de estos dos tipos de evaluación formativa y sumativa.

Las evaluaciones del desarrollo de un programa en la acción informan a quienes tienen que tomar decisiones sobre cómo ha sido desarrollado el programa y cómo y por qué, si fuera el caso, se ha desviado de los planes iniciales y de sus expectativas. Tales desviaciones son bastante comunes y naturales, así como esenciales de conocer para considerar el grado en que su incidencia repercute en los resultados.

Y el modelo CIPP de Stufflebeam y Shinkfield8 contempla cuatro tipos de evaluación, recogidos en las siglas del CIPP.

• La evaluación del contexto en el que se desarrolla el programa, para valorar las fortalezas o debilidades, y con ello aconsejar los cambios que deben ser realizados para lograr mejores resultados.

• La evaluación de entrada, para valorar los diferentes modos de proporcionar los servicios que pretende ofrecer el programa, atendiendo a las necesidades de las personas, asegurando los recursos financieros para conseguir las metas pretendidas.

• La evaluación de proceso, para valorar cómo está funcionando el programa, proporcionando apoyo y formación al personal, para llevar a cabo las actividades planeadas necesarias.

• La evaluación del producto, o de resultados, para valorar e informar de los resultados conseguidos por el programa.

A lo largo del proceso evolutivo, el modelo CIPP se guía por valores de equidad y justicia, lo que facilita la participación de las personas que reciben los servicios el programa, y de todos a los que les afectan los cambios del programa.

Una de las fortalezas añadidas del modelo CIPP es que se guía por principios éticos y profesionales, tal como quedan establecidos en las Normas del Joint Committee on Standards for Educational Evaluation9. Este modelo, además, potencia la comunicación de los resultados, el feedback para todos los afectados o implicados en el programa durante los procesos de evaluación, contribuyendo a su empoderamiento, lo que lleva a un incremento de la motivación y, a su vez, a la mejora del compromiso y de los resultados10.

• Metodologías de investigación en la evaluación e programas

Si la puesta en marcha de un programa se caracteriza por un proceso de adaptación a las condiciones reales, necesidades e intereses, los métodos utilizados para estudiar esa aplicación deben estar orientados al descubrimiento, tratando de comprender los procesos desarrollados y los cambios producidos por el programa. Y es que la elección de los métodos en la investigación científica debe estar guiada por las cuestiones y propósitos que pretende resolver la investigación.

La utilización de diseños de grupo para la evaluación de los resultados y del impacto, con fines de inferencia causal generalizada, es uno de los muchos modelos que han mostrado su utilidad para estudiar problemas educativos y sociales. Los diseños de grupo es una modalidad de investigación recomendable especialmente para la evaluación de programas innovadores, pero hay que tener en mente que se debe contar con múltiples medidas previas y posteriores, que permitan la utilización de muestras suficientes para garantizar la validez interna y externa.

Otros modelos son aquellos que utilizan metodologías mixtas, a lo largo de la vida de los programas en los entornos concretos en los que se desarrollan, utilizando métodos descriptivos adecuados en sus primeros estadios de la adopción e implementación del programa, seguidos de diseños experimentales, o cuasi-experimentales, en subsiguientes estadios. Lo que predomina en la evaluación de programas, son diseños contextualizados y sistematizados, adaptados a los diferentes estadios del programa y a su duración en el tiempo, utilizando múltiples métodos de investigación guiados por el propósito y evolución del estadio del programa11.

Para Patton12 el propósito de la investigación evaluativa es informar a la acción, apoyar la toma de decisiones y aplicar el conocimiento para resolver problemas humanos y sociales, cuando este examen es realizado de manera sistemática-empírica mediante una cuidadosa recogida de datos y análisis rigurosos, se está realizando investigación evaluativa.

La investigación evaluativa es directamente pertinente para comprobar los programas educativos o sociales en la acción, caracterizadas por su complejidad y duración, así como las situaciones del medio que los rodea, orientada a la toma de decisiones de cambio y mejora, con propósitos, audiencias y condiciones de trabajo diferentes de los que utiliza la investigación orientada a las conclusiones.

Por definición y consenso en la profesión, la investigación evaluativa no sólo debe ser realizada con rigor y métodos de investigación adecuados, ya sean cualitativos o cuantitativos, sino que también con sentido de la responsabilidad y servicio hacia los futuros usuarios de la información (véanse las normas de utilidad, y las de propiedad del Joint Conmmittee Standards9).

Identificar las necesidades de información de los responsables de los programas, documentar y analizar los contextos en los que se desarrollan, revelar la teoría subyacente del programa para iluminar las variables claves y sus relaciones, examinar la consistencia y autenticidad de los procesos de realización de los programas frente a la teoría del programa, proporcionar a los responsables información a tiempo para modelar y mejorar el programa en sus incipientes estadios, realizar estudios de resultados y de impacto, y realizar estudios controlados de análisis de impacto, son algunas de las características de evaluaciones bien realizadas.

En la tabla 7 que se muestra a continuación, se recogen los posibles métodos y técnicas para la recogida de información en la realización de la evaluación de programas.

En relación con los resultados, la evaluación de programas utiliza cuatro criterios fundamentales para valorarlos: el de funcionalidad o efectividad, el de eficiencia, el de eficacia y el de satisfacción. Un programa se considera que es funcional, o efectivo, si responde a las necesidades, o demandas políticas y sociales, para las que se ha elaborado. Es eficaz en la medida en que consigue los objetivos que afirma pretender conseguir. Y es eficiente, en la media en que consigue los objetivos pretendidos en una relación coste-beneficio adecuado. Y es satisfactorio si alcanza las expectativas creadas para sus beneficiarios.

Además de los resultados inmediatos conseguidos por el programa, debemos considerar su impacto en el medio y largo plazo.

La evaluación del impacto de un programa, efectivamente, tiene que ver con los resultados alcanzados por dicho programa, estos dependerán, a su vez, de todo lo que le precede: las necesidades o problema a resolver, el programa diseñado para tal fin, su calidad, su aplicación, y sus resultados.

Los resultados obtenidos deben compararse con la situación de partida y los cambios producidos como efecto de la intervención del programa. Finalmente, el impacto tiene que ver con la situación inicial o de partida, con los resultados inmediatos conseguidos por el programa, y con los resultados mantenidos, extendidos, transferidos más allá del momento temporal en el que acaba el programa, y más allá de la situación en la que pretendía incidir el programa, en el entendido de que todos los cambios pretendidos, que pueden considerarse como los cambios directos como resultado de la intervención del programa, a su vez contribuyen o generan otros cambios indirectos, o de segundo orden, deseados o pretendidos, pero también no deseados, sean estos positivos o negativos, y son estos últimos resultados de segundo orden, el objeto de la evaluación de impacto.

• Elaboración de los informes de la evaluación de programas

La finalidad de los informes es comunicar los resultados de la evaluación del programa atendiendo a las diferentes necesidades de información de los diversos grupos de audiencias. El informe detallado debe integrar la valoración de la totalidad del programa, de modo que sirva como documento para la retroalimentación, para la mejora del programa en aquéllos componentes y elementos que más lo necesite, además de las personas implicadas en él.

Tras el proceso de comparación entre los criterios, las normas y el funcionamiento real del programa, se deben integrar los resultados en un juicio de valor final, que sirva de retroalimentación para la mejora del programa, de su funcionamiento y de las personas implicadas en él.

Dado que los evaluadores deben informar a todos los grupos interesados en saber, el informe no debe limitarse a un único estilo de comunicación. La información evaluativa debe aportar conocimiento, enseñanza sobre las concepciones de los problemas sociales y sobre la teoría implícita de los programas. Por eso, los informes de evaluación deben mostrar:

• Las cuestiones que han aconsejado la evaluación,

• Los procesos seguidos para realizar la evaluación,

• Las fuentes de donde toman sus datos en los diferentes momentos de la evaluación,

• Los métodos, técnicas e instrumentos utilizados, de acuerdo con el objetivo y la dimensión a evaluar,

• Los criterios con los que se comparan los programas, su funcionamiento y sus resultados,

• Los criterios en los que se basa que le llevan a emitir los juicios valorativos sobre el programa, su implementación y sus logros,

• Las recomendaciones que se derivan de la evaluación,

• El plan para incorporar las recomendaciones al programa, e indicaciones para el seguimiento de su puesta en práctica.

• La utilización de los resultados de la evaluación

Orientaciones para la utilización de la información resultante de la evaluación, en relación con cada uno de los elementos que integran el programa, y con su totalidad.

La evaluación no es sólo una actividad técnica sino que es también, una investigación diseñada para dirigir el proceso de formación de la comunidad en la que se enmarca. Por ello, el evaluador debe ser consciente de que los resultados de la evaluación deben ser comunicados a todos los que tienen derecho a conocerlos, y debe llegar allí adónde se toman las decisiones, de un modo adecuado y a tiempo.

Los resultados de las evaluaciones tienen como finalidad contribuir a la toma de decisiones de cambio y mejora de los programas, de la organización en la que se desarrolla, del personal que los aplica y de los que se benefician de ellos. Pero sólo repercutirá en el proceso de toma de decisiones si resulta una información convincente, coherente, adecuada y oportuna tanto al programa como al contexto, teniendo en cuenta los recursos necesarios para poder llevar a cabo las reformas del programa así como los cambios organizativos y formativos que de la evaluación se deriven.

La información evaluativa debe aportar nuevas luces sobre las concepciones y la propia teoría implícita de las actividades de los programas.

Debe informar a los que le han encargado la evaluación, y a todos los que intervienen en el programa, cómo trabaja el programa y cómo mejorarlo, en función de los cometidos para los que se creó y las necesidades actuales y futuras detectadas.