Procedimientos para la realización de evaluaciones de programas educativos y sociales (página 2)

Entre las variables que afectan a la utilización de los resultados de las evaluaciones, Leviton y Hughes14 mencionan las siguientes:

• La pertinencia,

• La comunicación entre los evaluadores y los implicados en el programa,

• El proceso de información de los implicados en el programa,

• La factibilidad de los resultados de la evaluación,

• La participación de los implicados en el programa.

Los resultados de las investigaciones evaluativas –evaluaciones hechas con rigor fundamentadas en la teoría y en la metodología-, tienen repercusiones de tipo conceptual, persuasiva e instrumental.

La repercusión conceptual hace referencia al poder de las evaluaciones para influir en el pensamiento de los que deben utilizar sus conclusiones, de modo que contribuya a la mejora del desarrollo los programas y de la política y estrategias para implementarlos, debiendo repercutir de una manera directa y positiva en sus beneficiarios, tanto internos como externos y con impacto importante sobre la comunidad.

La utilidad persuasiva de los hallazgos de la evaluación tiene que ver con los argumentos utilizados en la exposición de los resultados, con un claro esfuerzo por defender su utilidad, y las ventajas que ello supone para la comunidad.

Para incrementar la utilidad instrumental de los resultados de una evaluación, se requiere tener en cuenta las siguientes normas:

1ª. El evaluador debe comprender los estilos cognitivos de los que toman las decisiones para presentar el informe de los resultados acorde con dichos estilos.

2ª. Las evaluaciones deben respetar las obligaciones y los compromisos de los patrocinadores permitiéndoles un margen de participación en el proceso del diseño de la evaluación, recogiendo sus intereses y sensibilidades.

3ª. Los resultados de la evaluación deben estar disponibles cuando se necesitan. Por ejemplo, en un centro educativo, los resultados deberían estar disponibles antes de finalizar el curso, para poder informar al consejo escolar y poder tomar decisiones antes del comienzo del nuevo curso, tanto por parte de la organización del centro como por parte de los equipos docentes.

4ª. Las recomendaciones para la utilización y la diseminación de los resultados de las evaluaciones deben estar incluidas en los diseños de la evaluación, de modo que facilite su aplicación a los usuarios de los programas.

Dado que la utilización de los resultados de la evaluación requieren difusión, esta es una responsabilidad de los investigadores evaluativos. A los que encargan de la evaluación, que son los clientes principales, se les debe proporcionar el informe de los resultados, junto con las propuestas de cambio y mejora, teniendo en cuenta quiénes van a llevarlas a cabo, así como los recursos formativos y de otro tipo que se requieren para que las propuestas tengan éxito.

No obstante, el evaluador también debe ser un diseminador de la información, de varios modos: mediante la publicación de informes técnicos especiales para evaluadores y para la presentación en foros de interés para la evaluación.

• Las normas de la evaluación y la meta-evaluación

Las normas del Joint Committee on Standards for Evaluations of Educational Programs, publicadas en Estados Unidos en 198115, bajo la

coordinación de Sttufflebeam, nacieron con la finalidad de servir de ayuda a los profesionales de la evaluación, con la idea de que mediante su utilización mejorarán la calidad y claridad de su práctica profesional.

El total de las normas o estándares es 30, y se agrupan en torno a las siguientes cuatro categorías:

• Normas de utilidad: dirigidas a asegurar que una evaluación servirá a las necesidades de información práctica de las audiencias y posibles usuarios. Estas normas tienen que ver con la identificación y formulación de las cuestiones para la evaluación centrada en cuestiones relevantes atendiendo las necesidades de información de los promotores de la evaluación y los usuarios y beneficiarios. Los estándares de utilidad guiarán la evaluación de tal forma que ésta sea utilizable, clara, y los informes lleguen a tiempo para los promotores y audiencias, oportuna y de influencia. La evaluación de impacto también está contemplado bajo los estándares de utilidad.

• Normas de viabilidad: dirigidas a asegurar que una evaluación esté diseñada y conducida de tal modo que sea realista, prudente, diplomática, y ajustada frugal en relación con el coste-beneficio. Una evaluación debe ser viable, factible, y asegurar que es realista y eficiente. Debe utilizar procedimientos eficientes que no ocasionen demasiados problemas. Los estándares de viabilidad reconocen que las evaluaciones se realizan en contextos naturales, sus diseños deben ser operativos y sus gastos, en material, personal o tiempo, no deben exceder al requerido por las cuestiones de la evaluación.

• Normas de adecuación: Para asegurar que es conducida de un modo legal y éticamente, basada en compromisos explícitos, que aseguren la necesaria cooperación, la protección de los grupos implicados, y la honestidad de los resultados. Se espera que las normas de honradez, o adecuación, aseguren que una evaluación se dirigirá legal y éticamente, y beneficie al bienestar de aquéllos involucrados en la evaluación, así como la de los afectados por sus resultados. Esta son las normas de adecuación u honradez.

• Normas de exactitud: Para asegurar que revela y comunica la información encontrada, describe con claridad el objeto evaluado en su evolución y en su contexto, revela las virtudes y defectos del plan de evaluación, de los procedimientos y de las conclusiones (meta- evaluación) y proporciona conclusiones válidas y fidedignas. Las conclusiones y los juicios deben ser coherentes con los datos. Se espera que las normas de exactitud aseguren que la evaluación revelará y aportará la información técnicamente adecuada sobre los rasgos que determinan el valor o mérito del programa evaluado.

La propia evaluación debe ser evaluada (metaevaluación) formativa y sumativamente mediante su comparación contraste con estas y otras normas pertinentes, para que su realización sea apropiadamente guiada y los interesados pueden examinar sus fortalezas y debilidades estrechamente. "El objetivo de la metaevaluación es asegurar la calidad de los servicios evaluativos, evitar enfrentarse a prácticas ilegales o a servicios que no son de interés público, señalar el camino para el perfeccionamiento de la profesión y promover una mayor comprensión de la empresa evaluativa"16.

La utilización de las normas del „Joint Committee on standards for evaluation"9, cumple la función de meta-evaluación para asegurar que la evaluación ha sido viable, útil y realizada de manera honrada y precisa.

Referencias bibliográficas

• 1. Cronbach LJ. "Course improvement trough evaluation". Teachers College Record. 1963; 64: 672-83.

• 2. Martínez Mediano C. Evaluación de programas educativos. Modelos y procedimientos. Madrid: UNED; 2007.

• 3. Scriven M. The logic of evaluation. Inverness, California: Edgepress; 1980.

• 4. Mclaughlin JA & Jordan GB. Using Logic models. In JS Wholey, HP Hatry, & KE Newcomber (Eds.), Handbook on practical program evaluation. (2nd. Ed., pp. 7-32). Hoboken, New Jersey: John Wiley & Sons; 2004

• 5. W.H. Kellogg Foundation. Using logic models to bring together planning, evaluation, and action: Logic model development guide. Battel Creek, Michigan; 2004.

• 6. Wholey JS, Hatry HP & Newcomber KE. (Eds.). Handbook of practical program evaluation. San Francisco: Jossey-Bass Publishers; 1994.

• 7. Rossi PH y Freeman HE. Evaluación. Un enfoque sistemático para programas sociales. México: Trillas; 1989.

• 8. Stufflebeam DL y Shinkfield AJ. CIPP model for evaluation: An improvement/accountability approach. In D Stufflebeam (Ed.), Evaluation, theory, and applications (pp. 325-365). San Francisco: Jossey-Bass; 2007.

• 9. Joint Committee on Standars for Educational Evaluation Normas de evaluación para programas, proyectos y material educativo. México: Trillas; 1994.

• 10. Leahy MJ, Thielsen VA, Millington MJ, Austin B & Fleming A. Quality assurance and program evaluation: Terms, models, and applications. Journal of Rehabilitation Administration. 2009; 33(2): 69-82.

• 11. Chatterji M. Evidence on "what works": An argument for extended-term mixed-method (ETMM) evaluation designs. Educational Researcher. 2004; 33(9): 3-13.

• 12. Patton MQ. Qualitative evaluation and research methods. Newbury Park, California: Sage; 1990.

• 13. Martínez Mediano C. Evaluación de programas educativos. Modelos y procedimientos. Madrid: UNED; 2007.

• 14. Leviton LC Y Hughes EFX. "Research on the utilization of evaluations: A review and synthesis". Evaluation Review. 1981; 5: 525-548.

• 15. Joint Committee on Standards for Educational Evaluation Standards for evaluation of educational programs, projects and materials. New York: McGraw-Hill; 1981.

• 16. Stufflebeam DL y Shinkfield AJ. Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós, MEC; 1987.

Forma sugerida de citar: Martínez Mediano C. Procedimientos para la realización de evaluaciones de programas educativos y sociales. Revista Electrónica Medicina, Salud y Sociedad. [Serie en internet] 2013 enero [citado enero 2013];3(2); [aprox. 33 p.]. Disponible en: http://www.medicinasaludysociedad.com.

REVISTA ELECTRÓNICA MEDICINA, SALUD Y SOCIEDAD

Universidad Veracruzana, Veracruz, México.

Fecha de recepción: 14 de noviembre de 2012; Fecha de aceptación: 27 de noviembre de 2012.

Autor:

Catalina Martínez Mediano.

Profesora Titular del departamento de Métodos de Investigación y Diagnóstico en EducaciónFacultad de Educación. Universidad Nacional de Educación a Distancia. Madrid. España.