Tipos teóricos e indicadores de evaluación educativa

En este artículo se analizan los fundamentos teóricos en los que se sustenta el desarrollo de sistemas de monitoreo y evaluación de la calidad de la educación y se describen los modelos de evaluación más representativos del ámbito educativo. Por consiguiente, el artículo se propuso dar respuesta a las siguientes interrogantes: ¿qué implica monitorear y evaluar los sistemas educativos?, ¿qué papel desempeñan los modelos de evaluación, los indicadores y los estándares en estos procesos?, ¿cuáles son las fuentes de las que se derivan los indicadores educativos?, y

¿cómo se seleccionan los indicadores que pueden dar cuenta de la calidad de un sistema educativo?

Palabras clave: indicadores educativos, modelos de evaluación, estándares educativos, sistemas de monitoreo.

Abstract

This article discusses the theoretical foundations that underpin the development of systems for monitoring and evaluating the quality of education and describes the most representative assessment models in education. The article pretends to answer the following questions: what does monitor and evaluate education systems imply? What role play assessment models, indicators and standards in these processes? What are the sources from which educational indicators are derived? How can the indicators that account for the quality of an educational system be selected?

Keywords: educational indicators, evaluation models, educational standards, monitoring systems.

Introducción

El conocimiento y la información constituyen, de acuerdo con diversos especialistas, los elementos centrales de las diferencias entre las personas, las instituciones y los países en la época actual (Castells, 2002). Conforme a lo planteado por Mateo (2006), las sociedades postindustriales actuales se orientan, fundamentalmente, hacia la generación y gestión democrática del conocimiento. En estas sociedades, la informatización, la robotización y, en términos generales, la tecnologización, tanto de la industria como de la vida cotidiana, están propiciando el surgimiento de nuevas élites. El dominio de la tecnología para el manejo de la información y del conocimiento, así como su puesta en práctica, generan una distancia entre los grupos sociales que no tienen acceso a estos servicios y aquellos que los diseñan, utilizan o comercializan, con lo que producen situaciones de injusticia y marginación que atentan contra el bienestar y la cohesión social.

Ante este panorama, Mateo señala que la articulación de mecanismos socioeducativos que permitan que toda persona, en cualquier etapa de su vida, pueda tener acceso a desarrollar instrumentos y competencias cognitivas que le ayuden a desempeñarse como un ciudadano activo y participativo que ejerce plenamente sus derechos, "…constituye un elemental ejercicio de justicia distributiva y de cohesión social y un objetivo político imprescindible" (2006, p. 243).

Frente a los enormes retos que plantea la sociedad postindustrial, la educación debe sistematizar sus esfuerzos y organizar sus recursos, de tal manera que pueda rendir cuentas en materia educativa sobre el cumplimiento de las metas que la sociedad le demanda. Como parte sustancial del proceso de rendición de cuentas, la educación debe instituir mecanismos que permitan evaluar sus recursos, procesos, agentes y resultados, y considerar, en la medida de lo posible, el conjunto del sistema educativo.

Para responder a las necesidades y demandas actuales en materia educativa, así como a los requerimientos de la globalización y la sociedad del conocimiento, el Programa Sectorial de Educación 2007–2012 propuso impulsar una profunda reforma educativa que se encuentra en marcha. Como parte de ella, se ha planteado promover la evaluación de todos los actores y procesos involucrados en el sistema educativo. Para ello, es conveniente supervisar el sistema; es decir, dar cuenta del progreso en el logro de las metas propuestas en el programa sectorial, así como del grado de aplicación de los mecanismos diseñados para alcanzarlas. Asimismo, definir y poner en operación sistemas de indicadores sobre la base del modelo explícito o implícito del funcionamiento del sistema educativo, para realizar evaluaciones diversas de componentes del sistema, o de éste en su conjunto.

Planteamiento del problema

Dada la necesidad que se presenta en el entorno educativo y ante la exigencia de superar sus dificultades, se requiere la aplicación de Planes y Proyectos Educativos. En este estudio se describe un modelo de seguimiento para proyectos educativos, incorporando el enfoque estratégico y considerando las bases filosóficas, pedagógicas y legales que sustentan dichos proyectos, con el propósito de hacer seguimiento, controlar y evaluar la trayectoria, el impacto y el resultado de acciones, estrategias y retroalimentaciones ejecutadas en la planificación de los proyectos de manera que se pueda enfrentar la complejidad, la turbulencia, la incertidumbre y el conflicto para crear un futuro posible y lograr instituciones educativas eficientes.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Considerando que la evaluación de proyectos educativos compara los beneficios y costos que una determinada inversión pueda tener para la comunidad de un país en su conjunto. Por ello en el caso de los proyectos educativos, la evaluación de dichos proyectos debe realizarse en función del efecto que producirá tanto dentro de la escuela, en el personal y los alumnos, como fuera de ella, en el ámbito comunitario; se deben valorar las metas, si son alcanzables o demasiado ambiciosas, si se cuenta con los medios para lograrlo y las variables que pueden obstaculizar el desarrollo de dichos proyectos. Entonces La evaluación del Proyectos Educativos, sobre todo si es concebida y practicada por la comunidad escolar como un proceso de análisis, reflexión y apoyo a la mejora de los centros y de la educación, puede ser de enorme interés. Se trata, sin embargo, de una tarea que plantea muchos problemas, tensiones y dificultades de diversa naturaleza.

En los supuestos de que las necesidades, demandas, carencias o expectativas sean muy amplias y complejas, y no se disponga de posibilidades de abordar todas ellas, las metas y objetivos del programa representan las prioridades establecidas por los responsables, previa la aplicación a las mismas de criterios como los de relevancia o gravedad, rentabilidad, inmediatez, eficacia presumible o responsabilidad de quienes han de tomar las decisiones más eficaces para beneficiar al logro del objetivo trazado, pero por ello previa evaluación respectiva.

Marco teórico

• MONITOREAR Y EVALUAR LOS SISTEMAS EDUCATIVOS

En el contexto de la definición de marcos de referencia para la evaluación de programas y proyectos, Dale (1998) establece una distinción entre dos conceptos: Primero: monitoreo6 o seguimiento y Segundo: evaluación. Esto puede hacerse a través de reuniones periódicas y presentación de informes o de investigaciones y estudios especiales. La información derivada de estos procedimientos debe ser vertida para realimentar el programa o proyecto, de preferencia para ajustar la etapa de planificación del ciclo y proponer acciones correctivas.

Scheerens, Glass y Thomas (2005) sugieren la utilización del término "monitoreo" en relación con la recopilación de información que se produce en el día a día, en el curso mismo de los acontecimientos educativos, y que sirve como base de las decisiones sobre la gestión. El monitoreo se apoya de manera fundamental en datos administrativos; en la realización de esta actividad existe una mayor preocupación por la descripción de la información recopilada que por la "valoración" propiamente tal (Scheerens, Glass y Thomas, 2005).

El monitoreo de un sistema o programa educativo puede referirse tanto al del proceso como al de los resultados (Chen, 2005; Rossi, Lipsey y Freeman, 2004). Joo (2009) señala que el monitoreo del proceso es de gran ayuda para verificar que la implementación del programa sea conforme a lo planeado.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

El monitoreo de los resultados se puede realizar a través de diferentes medios, en particular mediante la aplicación de exámenes que pueden funcionar como instrumentos para certificar estudiantes individuales, escuelas, zonas escolares, modalidades o tipos educativos, estados o países, y para regular lo que la sociedad puede esperar de éstos, con lo cual se facilita la rendición de cuentas. El monitoreo de las características del sistema educativo puede realizarse considerando diversos niveles de agregación: el sistema educativo, un programa específico, una escuela, un salón de clases o una cohorte determinada de alumnos.

La literatura actual sobre el tema de la evaluación7 señala que las diversas aproximaciones desarrolladas hasta el presente coinciden en que su propósito es reunir información sistemática y hacer algún tipo de juicio sobre un cierto objeto de evaluación. En el ámbito educativo, estos objetos de evaluación pueden ser: los alumnos, las escuelas, el tipo de servicio educativo y el propio sistema educativo.

(Hansen, 2005; Stufflebeam, 2000). Scheerens, Glass y Thomas (2005) apuntan que una expectativa mayor respecto de los fines de la evaluación es que esta información ya "valorada" o "evaluada" pueda ser utilizada en condiciones ideales para tomar decisiones sobre el funcionamiento de los sistemas de educación, las escuelas, u otros agentes involucrados en el ámbito educativo; o de manera más amplia, en situaciones que impliquen la revisión o, incluso, el cambio del sistema que está siendo evaluado.

6Monitoreo. El autor define el monitoreo como la recolección y el análisis de información de modo rutinario y frecuente, acerca del desempeño o funcionamiento de un programa o proyecto.

La evaluación del sistema educativo se apoya en la obtención de datos de diferentes fuentes; por ejemplo, los que se basan en medidas del rendimiento educativo; los que están disponibles en registros administrativos (incluyendo estadísticas educativas); y los que provienen de la revisión de expertos y la investigación educativa. De acuerdo con Scheerens, Glass y Thomas (2005), el propósito fundamental de la evaluación del sistema educativo es la determinación empírica de la calidad de éste. Las funciones principales de la evaluación son: Primero: la certificación y acreditación; Segundo: la rendición de cuentas; y Tercero el aprendizaje de la organización. La certificación y acreditación se dirigen, fundamentalmente, a precisar si las características del objeto evaluado se ajustan de modo formal a las normas y estándares establecidos.

La rendición de cuentas, por su parte, permite que la calidad del objeto pueda ser inspeccionada por otras instancias de la sociedad. Finalmente, el aprendizaje de la organización como estrategia de evaluación está dirigido a determinar si la evaluación de la calidad se utiliza como base de la mejora del objeto evaluado.

7evaluación, por su parte, se define como un examen más profundo, que se efectúa en determinados momentos de la operación de los programas o proyectos o de partes de ellos, por lo general con hincapié en el impacto, la eficiencia, eficacia, pertinencia, replicabilidad y sostenibilidad de dichos programas o proyectos (Dale, 1998).

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Estas tres formas de evaluación difieren en el grado de formalidad de los criterios y estándares que utilizan, en la naturaleza externa frente a la interna de los procedimientos de evaluación y en la orientación sumativa frente a la formativa que emplean. En el caso de la certificación y acreditación, la evaluación tiene un alto grado de formalidad; es sumativa y para desarrollarla se requieren estándares especificados para certificar estudiantes o profesionales y para la acreditación de programas.

El desarrollo de planes sistemáticos de evaluación e indicadores nacionales de la educación es una de las actividades establecidas en países como el Reino Unido, Holanda, Francia, Argentina, Chile, República Dominicana y México para la mejora de sus respectivos sistemas educativos. Asimismo, diversos organismos internacionales, entre los que destacan la OCDE, la UNESCO, la Unión Europea y la OEI, han puesto en marcha programas y proyectos vinculados al desarrollo de las políticas de evaluación educativa.

La evolución y expansión de los sistemas de evaluación han implicado transformaciones en la concepción y práctica de la evaluación, particularmente cambios conceptuales en las nociones monolíticas de evaluación, y su sustitución por otras de carácter pluralista, así como el abandono de la idea de que la evaluación puede estar libre de valores. Se han introducido, también, cambios en las metodologías utilizadas, y ha surgido una creciente tendencia a la integración de métodos cuantitativos y cualitativos. Por su parte, los usos de la evaluación se han modificado y se han destacado su carácter político y su capacidad como herramienta para seleccionar lo que se pretende evaluar y, por tanto, la posibilidad de influir en la orientación de los sistemas educativos.

Se han introducido, de igual modo, cambios estructurales en la evaluación, que se caracterizan por su creciente inclusión en los mecanismos de gestión de los sistemas educativos, así como por una ampliación de los ámbitos de cobertura y una mayor interdisciplinariedad de la misma evaluación (House, 1993). Lo anterior pone de manifiesto la existencia de un nuevo fenómeno, que puede entenderse como la expansión del interés por la evaluación de los sistemas educativos, lo que ha tenido como efecto un rápido adelanto de la evaluación, concebida como disciplina científica y práctica profesional (Tiana, 2008).

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Estándares educativos

Como resultado del interés creciente por la evaluación, numerosos países, en particular los más avanzados, han adoptado estrategias del establecimiento de estándares para monitorear los resultados del sistema educativo a lo largo del tiempo (Tognolini y Stanley, 2007). Esta forma de monitoreo se basa en la determinación del crecimiento o avance de los estudiantes, en relación con resultados predeterminados para las diferentes asignaturas del currículo.

Los estándares8 pueden ser definidos como criterios claros y públicos que establecen los parámetros de lo que los alumnos pueden y deben saber y saber hacer en cada una de las asignaturas de los planes de estudio correspondientes a los diferentes niveles educativos. Asimismo, los estándares sirven como marco de referencia para la actuación de profesores y directivos y para que los padres de familia y la sociedad puedan solicitar a las escuelas y al sistema educativo la rendición de cuentas sobre los resultados alcanzados.

Los estándares son afirmaciones explícitas del desempeño de los estudiantes que describen niveles de logro dentro de un área particular de aprendizaje. El documento "Standards, Assessment and Accountability" (Shepard, Hannaway y Baker, 2009) de la Academia Nacional de Educación de los Estados Unidos de Norteamérica señala que es necesario distinguir entre estándares de contenido y estándares de desempeño. Mientras que los primeros se refieren al conocimiento y las habilidades que los estudiantes deben adquirir en una asignatura particular, los segundos constituyen ejemplos concretos y definiciones explícitas de lo que los estudiantes tienen que saber y ser capaces de hacer para demostrar su pericia en las habilidades y el conocimiento que están delineados en los estándares de contenido. Los estándares de desempeño se representan de mejor manera a través de muestras del trabajo de los estudiantes, que demuestran, por ejemplo, qué es lo que constituye calidad en un ensayo o plantean cómo se puede demostrar el dominio que se espera.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

La mayoría de las veces, los estándares de ejecución se expresan simplemente como puntos de corte en una prueba (por ejemplo, 85% de respuestas correctas). Para determinar si los estudiantes logran los estándares, es necesario diseñar tareas de evaluación o exámenes acordes con dichos estándares. Éstos no están referidos a una norma y los reportes acerca del avance de los estudiantes no aluden a desempeños bajos, medios o altos, sino al porcentaje de estándares cubiertos por los estudiantes y al nivel de excelencia o calidad alcanzado, o bien, como plantea Strater (2006), a la profundidad y amplitud con que los lograron. Una ventaja de los sistemas de evaluación basados en estándares es su transparencia y la posibilidad de mejora continua que se deriva de su utilización.Los términos "criterio de evaluación" y "estándar de evaluación" a menudo son confundidos (Scheerens, Glass y Thomas, 2005).

8Los estándares constituyen una guía para que todas las instituciones escolares del sistema educativo cuenten con un referente sobre la calidad de la educación que se espera que ofrezcan a

El criterio es la dimensión en la que las interpretaciones evaluativas son realizadas; por ejemplo, un examen de matemáticas puede utilizarse como criterio en una evaluación educativa. El estándar se refiere, por una parte, al criterio (en el sentido que acabamos de definir) y, por otra, a una norma sobre cuya base puede decidirse si ha habido "éxito" o "fracaso". Puntuaciones de corte definidas en una prueba de aprovechamiento particular son un ejemplo de estándares; en el caso del punto de corte, el estándar es absoluto.

En nuestro país se han establecido programas por competencias para los niveles de educación preescolar, primaria y secundaria y para algunas modalidades y sistemas de educación media y superior. Sin embargo, no se han establecido los criterios o estándares a alcanzar en relación con las competencias propuestas. En algunas asignaturas se han definido aprendizajes esperados, los cuales no alcanzan el estatus de estándar en vista de que no se han establecido los criterios de logro de dichos aprendizajes; por ejemplo, en la asignatura de Español de quinto grado se establece que los niños aprendan a redactar informes. Sin embargo, no basta con señalar que sean capaces de hacerlo, sino que se requiere mencionar, por ejemplo, el tipo de informes o las características mínimas que deben presentar.

los alumnos y los resultados que deben alcanzar para lograr dicha calidad.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Indicadores educativos

Los indicadores9 proporcionan un panorama de las condiciones actuales del sistema educativo, sin describirlo a fondo y se espera que a través de ellos sea posible establecer inferencias acerca de la calidad de la enseñanza. Debido a lo anterior, los indicadores educativos tienen, en general, como punto de referencia un estándar contra el cual pueden efectuarse los juicios de valor correspondientes.

9De acuerdo con Scheerens, Glass y Thomas (2005), Los indicadores educativos son estadísticos que permiten realizar juicios de valor sobre la pertinencia de los aspectos clave del funcionamiento de los sistemas educativos; constituyen características mensurables de éstos y aspiran a medir sus aspectos fundamentales.

Los indicadores educativos deben ser susceptibles de comparación a través del tiempo, esto es, deben dar cuenta del progreso y los cambios en el desempeño de cierta variable; en otras palabras, el indicador no sólo cumple una función informativa, sino también evaluativa, pues se espera que, mediante ellos, sea posible determinar si existen mejoras o deterioros en algunas variables del sistema educativo (Morduchowicz, 2006). A este respecto, Kanaev y Tuijnman (2001), citados en Morduchowicz (2006), señalan que, además de su función informativa, los indicadores permiten construir nuevos enfoques y expectativas. Cabe destacar que los indicadores no sólo proporcionan información considerando el contexto del sistema, sino que facilitan el análisis de tendencias y la proyección de situaciones futuras del mismo sistema.

Según Morduchowicz (2006), desde la perspectiva de las políticas públicas, la selección y el uso de indicadores no es una tarea neutra; tiene dos dimensiones que permiten su análisis: la dimensión técnica y la dimensión política. Los indicadores pueden, entonces, referirse no sólo a las políticas, sino a las características generales del sistema educativo.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Los indicadores, en cuanto que constituyen propuestas de interpretación de la realidad, no pueden ser entendidos como herramientas capaces de proporcionar una visión acabada de la realidad tal cual es. En otras palabras, difícilmente permiten la comprensión de un fenómeno en toda su magnitud y complejidad, pues sólo aportan un marco de referencia cuantitativo que no incorpora los elementos cualitativos del fenómeno (Morduchowicz, 2006). Es comprensible, por tanto, que utilizar un solo indicador para obtener información acerca de un fenómeno sea inadecuado. Los indicadores no son cifras aisladas; se encuentran interrelacionados unos con otros, y para obtener una clara comprensión de la información que proporcionan deben agruparse y constituirse en lo que se conoce como sistema de indicadores.

Los sistemas de indicadores facilitan la descripción de situaciones que no pueden medirse de manera directa; por ejemplo, medir constructos tales como la calidad de la docencia o la de la educación puede resultar sumamente difícil, pues no existe un solo indicador que por sí mismo refleje este constructo. En cambio, si miden los mismos constructos considerando una serie de indicadores tales como formación académica, experiencia laboral, o resultados de aprendizaje y eficiencia terminal, sería posible configurar un panorama más claro en relación con estos constructos.De acuerdo con Ogawa y Collom (1998), "los sistemas de indicadores pueden adoptar dos características principales que hacen referencia al número de indicadores que conforman un sistema: indicadores parsimoniosos y extensos".

Estos últimos incluyen un gran número de indicadores en su conjunto, y han sido criticados por resultar inmanejables y complejos; por su parte, los parsimoniosos contienen un reducido número de indicadores y las críticas que han recibido se relacionan, principalmente, con su poca capacidad para dar cuenta con eficacia de la complejidad de fenómenos que configuran al sistema educativo (Ogawa y Collom, 1998).

El sistema de indicadores educativos que publica la OCDE desde 1998 con el título de Education at a Glance, constituye un ejemplo de un sistema de monitoreo que pretende establecer comparaciones entre diferentes países respecto a la situación del sistema educativo. Education at a Glance incluye las visiones más actuales sobre la construcción y el cálculo de indicadores en diversos dominios educativos. Su publicación ha generado una amplia red de especialistas y un conjunto relevante de conocimientos (CERI, 1994), que ha impactado el desarrollo y la evolución de los sistemas de evaluación y monitoreo en diversos países a escala mundial. En el contexto nacional se ha iniciado un proceso semejante a partir de la publicación anual del Instituto Nacional para la Evaluación de la Educación (INEE) denominada Panorama educativo: indicadores del Sistema Educativo Nacional, que se edita desde 2003 para presentar los resultados del diseño y la aplicación de un sistema de indicadores de contexto, insumo, proceso y producto.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Un marco de referencia conceptual para desarrollar sistemas de monitoreo y evaluación

Aun cuando existe un acuerdo generalizado entre los evaluadores de que el propósito de su práctica es determinar el valor de un objeto (Joint Committee on Standards for Educational Evaluation, 1994), existe un considerable desacuerdo respecto de qué significa valorar algo y cómo debe llevarse a cabo esta valoración. De aquí se desprende la multiplicidad de propósitos, perspectivas y metas, así como de los modelos utilizados para efectuar la evaluación (Donaldson y Scriven, 2003).

Este supuesto consenso respecto del propósito de la evaluación ha sido discutido por algunos evaluadores, que señalan que su responsabilidad fundamental es la descripción y explicación científica de las relaciones entre indicadores, y que el juicio de valor no es responsabilidad de los evaluadores, sino de los interesados. Esta perspectiva, denominada subjetivista o interpretativa, argumenta que los juicios de valor no son más que expresiones de preferencias personales o políticas, así como emociones o actitudes de individuos o grupos. Dichas expresiones deben distinguirse de aquellas basadas en los hechos que describen y explican alguna situación. "Los hechos pueden ser debatidos y sus descripciones y explicaciones, juzgadas como verdaderas o falsa" (Schwandt, 2005), pero no puede establecerse qué valor tienen.

Por tanto, determinar la utilidad (efectividad–resultados) de un programa en función del logro de los objetivos que se propone, es el único "juicio" que puede ser "objetivo", porque la valoración descansa únicamente en los hechos.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Los defensores de la postura objetivista no están de acuerdo con la argumentación anterior y plantean que un juicio de valor (tal programa es bueno, pobre, etcétera) puede defenderse racionalmente. Dentro de la corriente objetivista existe un grupo que sostiene que sí es responsabilidad del evaluador emitir un juicio de valor, una vez que haya tomado en cuenta todos los aspectos que establecen el mérito, valía o significatividad del objeto evaluado, mediante una identificación de necesidades, la determinación del logro de estándares u objetivos del programa, o de comparaciones con programas alternativos, entre otros (Wholey, 2004).

Modelos teóricos de evaluación

Resulta de gran utilidad formalizar un proceso complejo como es la evaluación de los sistemas educativos, dentro de un modelo, que con frecuencia adopta la forma de un paradigma conceptual, un diagrama de flujo u otro tipo de representación esquemática (García–Cabrero, 1995, 1986). "En la literatura sobre evaluación educativa existen diversos modelos formales de evaluación cuyas representaciones ayudan a examinar las relaciones entre diferentes componentes y procesos que ocurren dentro de dichos sistemas" (Stake, 1967; Stufflebeam, 1968).

Madaus y Kellaghan (2000) mencionan que algunos autores han criticado la utilización del término modelo para referirse a las alternativas o perspectivas de evaluación. La crítica se fundamenta en el hecho de que estas perspectivas no cuentan con el nivel de formalización que tienen algunos modelos en ciencia, como es el caso de los modelos matemáticos. En respuesta y como defensa de la utilización del término modelo, los autores argumentan que las definiciones comunes de los diccionarios plantean que un modelo es una síntesis o abstracción de un fenómeno o proceso. Si se considera la evaluación como un proceso, entonces los modelos de evaluación constituyen la forma como un autor resume o conceptualiza la manera como debe efectuarse el proceso de evaluación. Un modelo puede definirse también como una metáfora10, y en ese sentido, un modelo de evaluación puede concebirse como la metáfora o forma de pensar la evaluación que tiene el autor del modelo. Cada modelo se orienta a responder ciertas preguntas y, por tanto, para la elección de un modelo particular deben considerarse las preguntas que se pueden responder a partir de su utilización y los recursos que se tienen para responderlas. En situaciones de restricción presupuestaria es recomendable elegir varios modelos que permitan recolectar las mejores evidencias para responder las preguntas planteadas.

La gran cantidad de modelos en el ámbito de la evaluación educativa revela el amplio rango de posiciones epistemológicas e ideológicas que existen entre los teóricos sobre la naturaleza de la evaluación, la forma de conducirla y la manera de presentar y utilizar los resultados.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

De los modelos teóricos a la construcción de indicadores de evaluación

Diversos autores coinciden en que, para desarrollar indicadores, se debe adoptar un modelo del sistema educativo (Blank y Gruebel, 1993; Jones y Nielsen, 1994). Los modelos permiten identificar los elementos clave que requieren ser medidos dentro del sistema; incluyen las relaciones teóricas entre los componentes y permiten distinguir áreas en las que es necesario intervenir. Los sistemas de indicadores en su conjunto se derivan de los modelos de evaluación. La operacionalización de los componentes del modelo en entidades mensurables es lo que se conoce como indicadores; en tanto que el conjunto de indicadores constituye un sistema (Ogawa y Collom, 1998).

Hansen (2005) efectuó una revisión de dos enfoques alternativos de evaluación. El primero consiste en el diseño y conducción de un estudio para proporcionar evidencia acerca del valor y mérito de un objeto particular de interés para una audiencia específica. El segundo, en una valoración retrospectiva y cuidadosa del mérito y valor de la administración, productos y resultados de intervenciones gubernamentales dirigidas a desempeñar un papel en situaciones prácticas de intervención (Vedung, 1997).

10Metáfora. Aplicación de una palabra o de una expresión a un objeto o aun concepto, al cual no denota literalmente, con el fin de sugerir una comparación (con otro objeto o concepto) y facilitar su comprensión.

La primera aproximación es conocida como evaluación de programas (Stufflebeam, 2000; Alkin, 2004) y la segunda, como evaluación de la efectividad organizacional (Scott, 2003).

Tanto Payne (1994) como Hansen (2005) mencionan que los modelos básicos de evaluación utilizados dentro de los dos enfoques se traslapan de forma significativa. Aunque no existe un consenso en la literatura sobre la clasificación de los tipos y modelos de evaluación que existen, es posible agruparlos en seis grandes categorías: 1) modelos de resultados; 2) modelos explicativos del proceso; 3) modelos económicos; 4) modelos de actor; 5) modelos de teoría del programa; y 6) modelos sistémicos (Hansen, 2005).

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

El modelo de resultados, también denominado modelo basado en las metas, se centra en los productos alcanzados por un programa u organización; tiene dos subcategorías: el modelo de logro de metas, y el modelo de efectos. El primero es un clásico en la literatura sobre evaluación de programas y evaluación organizacional; en él los resultados se evalúan con base en las metas u objetivos establecidos, tal como lo señalan: Popham, 1970 (citado en Escudero, 2003); Scriven, 1973 (citado en Escudero, 2003); Stainmetz, 1983; Tyler, 1969 (citado en Escudero, 2003). Por su parte, el modelo de efectos tiene la intención primordial de conocer todas las consecuencias producidas por el objeto que se evalúa. Este modelo, también conocido como "modelo de evaluación libre de metas" (Scriven, 1973, citado en Escudero, 2003), ha sido criticado porque se considera que puede tener criterios de evaluación deficientes.

El modelo explicativo del proceso se centra, como su nombre lo indica, en los procesos y esfuerzos. La evaluación de proceso se lleva a cabo de manera adecuada cuando se realiza "en tiempo real", y es menos pertinente cuando ocurre a través de análisis históricos. Los modelos económicos consideran al objeto de la evaluación –el programa o la organización– como una caja negra que relaciona la evaluación de los resultados (ya sea en forma de rendimiento de la producción, efectos o beneficios más duraderos) con los insumos (entradas) (Hansen, 2005).

Los modelos de actor (clientes, interesados y pares) se basan en los criterios establecidos por los propios actores de la evaluación. El primero se centra en los criterios de los clientes para llevar a cabo la evaluación; el modelo de los interesados considera los criterios de todas las partes interesadas que resultan pertinentes para la evaluación (Stake, 1967, 2006). Por su parte, el modelo de revisión por pares toma en cuenta los criterios para la certificación de profesionales. El modelo de teoría del programa se centra en la evaluación de la validez de la teoría en la que se fundamenta el programa, una intervención u organización determinados. Este modelo compara y reconstruye, con base en el análisis empírico (Birckmayer y Weiss, 2000), las relaciones causales entre el contexto, el mecanismo y los resultados (Pawson y Tilley, 1997; Pawson, 2002). El modelo de teoría del programa puede ser visto como un modelo de resultados extendido. El objetivo del modelo teórico es revisar y seguir desarrollando la teoría del programa y así aprender lo que funciona, para quiénes y en qué contextos.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Por último, el modelo sistémico aborda el análisis de los insumos, la estructura, el proceso y las salidas en términos de resultados (Sheerens y Creemers, 1989). En él, la evaluación se fundamenta tanto en comparaciones de insumos planeadas y realizadas como en los procesos, estructuras y contrastación de resultados de programas similares u organizaciones reconocidas como de excelencia. Este modelo ha sido ampliamente utilizado en la práctica de la evaluación, y como ejemplo puede citarse el modelo CIPP (contexto, insumo, proceso, producto) desarrollado por Daniel Stufflebeam (Stufflebeam y Shinkfield, 1987; Stufflebeam, 2004), en el que se basa el modelo del sistema de indicadores del Instituto Nacional para la Evaluación de la Educación (INEE, 2003, 2004, 2005, 2006, 2007 y 2008).

En las últimas cuatro décadas, en particular en Estados Unidos de Norteamérica, se ha desarrollado un número importante de modelos de evaluación; algunos de ellos, como el modelo de orientación a metas y los modelos económicos, se apoyan en la noción de objetividad y consideran que la evaluación puede producir resultados objetivos. En algunos otros modelos de corte cualitativo/interpretativo, como el de los actores, los criterios de evaluación no se elaboran de forma previa, sino que se formulan durante el propio proceso de evaluación; en éstos no se considera que la evaluación produzca resultados objetivos, ya que cada actor o participante tiene perspectivas o percepciones diferentes del objeto evaluado.

Todos los modelos tienen tanto fortalezas como debilidades, y la elección de alguno de ellos corresponde, de acuerdo con Hansen (2005), a la decisión de elegir una perspectiva del objeto de estudio. Al seleccionar un modelo, algunos aspectos del objeto evaluado pueden ser enfocados claramente, mientras que otros se excluyen del foco.

A partir de este modelo de relaciones se pueden derivar cinco grandes categorías de indicadores: Primero: contexto11 demográfico, social y económico y descripción general del sistema de educación; Segundo recursos en educación; Tercero desempeño de los sistemas educativos; Cuarto calidad de la educación; y Cinco impacto social de la educación.

Sáez López, José Manuel (2010). Utilización de las TIC en el proceso de enseñanza aprendizaje, valorando la incidencia real de las tecnologías en la práctica docente. Revista Docencia e Investigación, nº20. pp. 183-204

Calidad de la educación:

La preocupación por asegurar la calidad y equidad de la educación en una concepción amplia y diversa, es uno de los principales factores que determinan el desarrollo de este tipo de indicadores. Se relacionan principalmente con estadísticas sobre el acceso y participación, y sobre todo con los datos que refieren el logro educativo. Algunos ejemplos son: tasas de participación en los diversos niveles educativos; progresión a través del sistema educativo; promedio del logro en dominios curriculares básicos; competencias transversales; y habilidades para la vida (habilidades sociales, resolución de problemas, entre otras).

Impacto social de la educación:

Permite el análisis de la relación entre la educación y la sociedad. Este tipo de indicadores se refiere a los cambios que ocurren en los diversos sectores sociales y que pueden ser interpretados como efectos de la educación; por ejemplo: el impacto de la educación en el empleo/desempleo de la juventud; el posicionamiento de los egresados con cierto nivel de certificación en el mercado laboral; ingresos vinculados a la educación y el nivel de entrenamiento de los individuos, entre otros.

Un ejemplo del uso de este tipo de indicadores se presenta en el análisis de Muñoz–Izquierdo y Márquez (2000) respecto del impacto que tuvo la expansión de oportunidades educativas durante las últimas décadas del siglo anterior, sobre las ocupaciones desempeñadas por egresados de los sistemas educativos.

11Contexto: entorno lingüístico del cual depende el sentido y el valor de una palabra, basado en el entorno físico o de situación ,ya sea político, social, cultura lo económico, o de cualquiera otra índole, lo cual se considera un hecho