La evaluación basada en competencias

El documento conceptual es parte de una actividad emprendida por la FEF sobre la evaluación basada en competencias (EBC) con los países miembros. Se basa en el trabajo continuo de evaluación y reconocimiento del aprendizaje formal y no-formal en los países miembros, en el Cedefop y en el "Proceso de Brujas" (Comisión Europea). En línea con la Comunicación del aprendizaje a lo largo de la vida (Comisión Europea, 2002), el documento incluye los resultados de los inventarios de evaluación en los países asociados.

El documento conceptual ha sido preparado por Danielle Colardyn, Comp. como consultora, Profesora del Colegio de Europa (Brugos, Bélgica), miembro del grupo Técnico de trabajo del Foro sobre la Transparencia de las Calificaciones Vocacionales [Profesionales] (Comisión Europea y Cedefop). Este documento se elaboró con el apoyo financiero de la FEF, contrato CFT/01/FEF/0034 para la Tarea 4.

Introducción

La actividad de la evaluación basada en competencias cubre varios aspectos. Primero, un informe presenta las prácticas de evaluación en la Unión Europea (FEF, 2002, próximamente). Segundo, dos seminarios y vistas a los países ayudan a establecer pasos hacia un sistema EBC para Bosnia Herzegovina, Rumania y Uzbekistán. Por ultimo, este documento Conceptual traza algunos principios generales para guiar el diseño e implementación de los sistemas EBC en los países de nuevo ingreso y aquellos que ya son miembros.

La comunicación del aprendizaje a lo largo de la vida (Unión Europea, 2002) adopta metas y objetivos con fuertes implicaciones y relevancia para el desarrollo de la evaluación basada en competencias. Las oportunidades de aprendizaje se amplían en cuanto se toma en consideración el aprendizaje que está fuera de las instituciones educativas y de capacitación. Los enfoques, metodologías y procedimientos de evaluación tienen que enfrentar varias situaciones. El aprendizaje en la escuela, en el trabajo y otros aprendizajes no-formales e informales plantean preguntas para las evaluaciones. En particular:

• El papel activo del individuo en el aprendizaje. Esto conduce a un énfasis sobre los vínculos entre el aprendizaje formal, no-formal e informal; la necesidad de mantener una continuidad a través de varios escenarios de aprendizaje, un aumento en el registro de las evaluaciones y el uso de carteras en los métodos de evaluación;

• Identificación y reconocimiento de una amplia gama de aprendizaje que se lleva a cabo a lo largo y a través de la vida. Esto plantea cuestiones metodológicas (la relación con los estándares, fiabilidad y validez de las evaluaciones; diferencias entre el aprendizaje formal, no-formal e informal);

• La legitimidad del proceso de certificación (¿quién tiene autorización para certificar, porqué, y de acuerdo a qué criterios?). Esto requiere considerar las funciones de las autoridades a los niveles nacionales, regionales y locales, de los participantes del sector social así como de otros actores y participantes del sector productivo que pudieran variar de un país a otro (por ejemplo: organizaciones profesionales, Cámaras de Comercio, ONG"s).

El aprendizaje debe considerarse de cuna a tumba, lo que significa que los resultados de las evaluaciones enfrentan retos particulares con respecto a cuestiones de métodos, técnicas y validez:

• ¿Pueden las evaluaciones proveer información sobre el aprendizaje que se lleva a cabo en la variedad de situaciones que enfrenta un individuo durante su vida?

• ¿Cómo se puede vincular el aprendizaje de diversos escenarios?

• ¿Se deben diversificar los métodos de evaluación?

• ¿Se puede asegurar la legitimidad de los métodos de evaluación?

El documento Conceptual pretende aclarar:

• Los principios generales para la evaluación de competencias;

• Los diferentes pasos para implementar la EBC, incluyendo las dificultades principales a superar y las condiciones institucionales para la gobernabilidad de la EBC.

Al analizar los principios que subyacen la evaluación de competencias, este documento usa definiciones propuestas por la Cedefop (Glosario Cedefop, 2000) y aceptadas después de consultar el Memorando sobre el aprendizaje a lo largo de la vida. Mientras que existen varios enfoques para evaluar el aprendizaje, las definiciones del aprendizaje formal, no-formal e informal y las relaciones entre uno y otro son centrales.

Aprendizaje formal

El aprendizaje formal ocurre dentro de un contexto organizado y estructurado: puede darse tanto en la educación formal como en la capacitación dentro de la empresa, etc[1]El contexto se designa como uno de aprendizaje. El aprendizaje formal puede conducir al reconocimiento formal (diploma, certificado).

Aprendizaje no-formal

El aprendizaje no-formal se arraiga en actividades planeadas que no están designadas explícitamente como de aprendizaje, pero contienen un elemento importante de aprendizaje. A diferencia del aprendizaje formal, el aprendizaje no-formal abarca lo que algunas veces se describe como aprendizaje semi-estructurado, es decir, aprendizaje arraigado en ambientes que contienen un componente de aprendizaje (esto es, gestión de la calidad); y el aprendizaje accidental que resulta de situaciones de la vida diaria (incluyendo aquellas en el lugar de trabajo) y definidas como aprendizaje informal.

Aprendizaje informal

El aprendizaje informal es el resultado de actividades diarias relacionadas con el trabajo, la familia o actividades recreativas. El aprendizaje informal es parte del aprendizaje no-formal. A menudo es llamado aprendizaje experimental y puede, hasta cierto punto, entenderse como aprendizaje accidental.

Fuente: Cedefop 2000.

Las diferencias específicas entre el aprendizaje formal, no-formal e informal es una construcción teórica que ayuda a identificar el aprendizaje que a menudo es invisible o de alguna manera no se considera en algunos sistemas de calificaciones en el mundo. La intención de estas distinciones no es obtener como resultado un sistema de dos niveles, sino proveer un enfoque común sobre los resultados del aprendizaje, en lugar de un enfoque sobre los procesos por los cuales se ha logrado la competencia.

Principios generales para la evaluación basada en competencias

La valoración del aprendizaje es una prioridad para lograr que el aprendizaje a lo largo de la vida sea una realidad (Comisión Europea, 2002). Por lo tanto, es imprescindible encontrar el medio para valuar el aprendizaje que se ha adquirido de manera formal, no-formal e informal a fin de que el aprendizaje a lo largo de la vida pueda estar en funcionamiento. Por ende, la competencia es un concepto útil y se define como la capacidad individual probada para usar el know-how, habilidades, calificaciones o conocimiento para satisfacer situaciones y requisitos ocupacionales tradicionales y cambiantes (véase Cedefop, 2000; FEF, 2002 (próximamente)).

La evaluación basada en competencias es un método para avaluar el aprendizaje: facilita el acceso a diversas oportunidades de aprendizaje al enfocarse en los resultados. Los mecanismos para captar el aprendizaje (formal y no-formal) deben ser coherentes y transparentes para permitir a los individuos, instituciones educativas y a los actores del mercado laboral posicionar las competencias adquiridas y evaluadas. En ese sentido, los avances recientes en materia de la evaluación del aprendizaje previo y experimental en países miembros de la Unión Europea, han puesto su atención sobre cuestiones con respecto a la metodología, legitimidad y vigor de las evaluaciones.

Los estándares (especificaciones de empleo, aprendizaje y evaluación) definidos por la FEF (véase FEF, 1999 a 2000) indican cuáles son los resultados esperados de un proceso de educación o capacitación o cuáles son los resultados esperados del aprendizaje. En un procedimiento de evaluación, estos resultados esperados son la "referencia para la evaluación", los estándares en contra las cuales el individuo será evaluado. Para aclarar los principios generales, esta sección propone:

• Definir los términos principales;

• Especificar los objetivos para las evaluaciones. Distingue entre las evaluaciones formativas y sumativas. Se diferencian y dependen de diferentes principios fundamentales;

• Aclarar las metodologías. Indica cómo los estándares ocupacionales (especificaciones laborales) serán evaluados;

• Especificar procedimientos para recopilar evidencia.

Definiciones de términos principales

Hay algunos términos que aparecen con regularidad en relación con la discusión de la valoración del aprendizaje. El Glosario de Cedefop (2002) y las Normas Europeas (EAC, 1995) definen los términos principales de la siguiente manera[2][3]

Evaluación de competencias es un término general que abarca todos los métodos usados para evaluar el desempeño de un individuo o de un grupo.

Validación se refiere al proceso de evaluar y reconocer aquellas habilidades y competencias que la gente desarrolla a través de sus vidas y en diferentes contextos, incluyendo actividades educativas, laborales y de recreación (adaptado de la Enciclopedia Internacional de la Educación, p. 663). En contraste a la certificación formal, la validación también abarca el aprendizaje no-formal e informal.[4]

Certificación es el proceso de emitir certificados o diplomas que reconocen formalmente los logros de un individuo (adaptado de FEF).

Acreditación es el proceso de atribuir o proveer evidencia formal de valor a las competencias, independientemente de la manera en la cual estas competencias se adquirieron (Cedefop). También se refiere a la autorización de un organismo certificador con respecto a las Normas Europeas[5]Esto significa que el organismo certificador funciona de acuerdo con la Norma Europea predefinida (EN 45013 en el caso de la certificación de competencias del personal). También se refiere a la autorización de instituciones o programas, en cuyo caso significa el proceso de otorgar la categoría de acreditación a una institución educativa o de capacitación, a un programa educativo o de capacitación. Por ejemplo, la etiqueta ISO se puede aplicar a una institución o un programa al que se puede considerar que funciona de acuerdo con las especificaciones de la norma ISO[6]certificando la calidad del servicio prestado.

Fuentes: Cedefop (2002) y (EAC, 1995).

El proceso de "reconocimiento de competencia" incluye todos los elementos mencionados.

Propósitos de las evaluaciones

Las evaluaciones cumplen varios propósitos. Algunos están relacionados con el desarrollo laboral o de una carrera. En este sentido, el objetivo de la evaluación es proveer información válida y útil a los empleadores para tomar decisiones sobre la selección de contrataciones nuevas y del progreso de los empleados. Otros objetivos de la evaluación están directamente ligados al ingreso escolar y al progreso en los sistemas de educación y capacitación. Por mucho tiempo han existido varios métodos de evaluaciones educativas y de capacitación y resulta útil hacer referencia a ellos.

Por mucho tiempo, la educación funcionaba para seleccionar el porcentaje limitado de jóvenes que pasaban del nivel de secundaria a la educación superior. El proceso de selección se llevaba a cabo a través de las evaluaciones, y por este medio se tomaban decisiones importantes de quiénes y quiénes no serían admitidos al siguiente nivel educativo, y especialmente a la educación superior.

Como uno puede ver con el aumento en el logro educativo (véase FEF, 2002, próximamente), gran parte de los jóvenes se quedan más tiempo en la escuela: en los países miembros de la Unión Europea, la mayoría de los jóvenes alcanzan la educación media superior (general o vocacional). Hoy, con el desarrollo de una escolaridad más larga y un aumento en la participación en la educación superior, la función primordial de la educación se amplia: incluye el desarrollo individual o personal, la preparación y desarrollo laboral y de carrera y también pretende proveer elementos para el desarrollo armonioso de la vida social y de la ciudadanía. Por lo tanto, el propósito de la evaluación ya no es (únicamente) proveer un medio para seleccionar, sino desarrollar talentos por medio de la educación, capacitación o al valorar el aprendizaje.

En ese contexto, la evaluación como una forma de "juicio final" ya no es suficiente, es responsabilidad de la escuela buscar condiciones de aprendizaje que permitan que los individuos alcancen el nivel de aprendizaje más alto posible (Bloom y all., 1971, p. 6). Hoy, la tendencia hacia un índice de participación en la educación formal más alto ha evolucionado más allá, a la persecución del aprendizaje a lo largo de la vida: el aprendizaje continuo en contextos relacionados al trabajo y para ciudadanos o padres de familia en la sociedad. En este contexto, "las escuelas y otros medios deben ser considerados como un proceso que nunca cesa totalmente" (ídem, p. 6) o, como se diría actualmente, el aprendizaje se debe valorar a lo largo y a través de la vida.

Las evaluaciones ya no pueden servir únicamente para la selección: también juegan un papel en ayudar el aprendizaje a través de toda la vida. Por lo tanto, se requieren diferentes formas de evaluación con diferentes propósitos. En este sentido, las evaluaciones con enfoque formativo y sumativo han evolucionado en las últimas dos décadas:

• La evaluación formativa se basa en el aprendizaje insertado dentro del proceso de educación o capacitación;

• La evaluación sumativa se basa en la certificación de la competencia que en realidad se utiliza.

Es importante notar que ningún método de evaluación en particular podrá proveer un panorama completo de información.

• Evaluación formativa

Se considera que la evaluación formativa ocurre durante el proceso de aprendizaje en la educación o capacitación antes de que se considere que el proceso de aprendizaje se ha concluido. Identifica áreas que necesitan remediarse a fin de que el aprendizaje inmediato subsiguiente pueda ser más pertinente y tenga más beneficios.[7]

El valor más importante de la evaluación formativa es que facilita el aprendizaje individual, así como el proceso de aprendizaje, rompiendo la secuencia de aprendizaje en unidades más pequeñas. El propósito de la evaluación formativa no es calificar o certificar al educando, sino ayudar tanto al alumno como al docente a enfocarse en el aprendizaje particular necesario para moverse hacia el dominio. La evaluación formativa involucra la recopilación de la evidencia adecuada mientras se lleva a cabo el proceso de aprendizaje.

Un ejemplo:

Cuando un niño aprende a "multiplicar" en la primaria, aparte de aprender la tabla de multiplicar de memoria, se pueden distinguir varios pasos de una evolución. Primero la multiplicación con un dígito y sin "llevar"; un dígito y "llevar"; dos dígitos sin "llevar"; números que incluyen cero; dos dígitos y "llevar"; etc. La evaluación formativa podría tener como objetivo, por ejemplo, la multiplicación con "dos dígitos más llevar": su propósito es establecer la profundidad de la destreza de ese segmento de aprendizaje. Aún no indicaría si las habilidades de multiplicación se han adquirido en su totalidad.

• Evaluación sumativa

La meta fundamental de la evaluación sumativa es calificar o certificar a los estudiantes o candidatos y se lleva a cabo sólo al final de una unidad, capítulo, curso o semestre, año escolar o en el momento en el que se espera que el nivel de competencia se ha logrado. El juicio se hace después de que se considera que un elemento particular del proceso[8]de aprendizaje o educación se ha concluido.

El propósito principal está dirigido hacia una evaluación mucho más general del grado hasta el cual los resultados del educando se han logrado a través del curso o en todo el proceso de aprendizaje.

Un ejemplo:

Mecánico de herramientas de tecnología de planchado y transformación en Audi.

A fin de un mejor sellado de ambas luces traseras del Audi 8, parte del ensamblaje de las luces traseras ha sido cambiado, y la superficie de sellado se están agrandando. Para lograr la forma deseada de acuerdo con el molde y los dibujos técnicos, es necesario hacer modificaciones a las herramientas de corte, arrastre, transformación y separación. A todos los candidatos se les da un trabajo específico, por ejemplo: cambiar las partes de la herramienta de arrastre.

La tarea de Aprendizaje se puede describir como "cambiar una herramienta".

El examen consiste de: "cambiar las partes de la herramienta de arrastre".

El examen tiene cuatro etapas:

• La planeación y preparación toma 4 horas;

• Para cambiar las partes de la herramienta doblando y uniéndola manual y mecánicamente, al candidato se le dan 14 horas;

• Para la revisión de la calidad, se otorga 1 hora y,

• Para documentar y presentar el trabajo, el candidato tiene 7 horas.

Fuente: Abschlussprüfung Werkzeugmechaniker/in Stanz- und Umformtechnik, Audi 2001

• Para concluir

Se puede afirmar que:

• 1. La evaluación está basada en la competencia si los estándares (y principalmente las especificaciones laborales) lo permite (véase FEF, 2002, próximamente);

• 2. Dos enfoques a la evaluación (formativo y sumativo) tienen que coexistir para permitir el enlace con el aprendizaje formal, no-formal e informal.

Con el desarrollo del aprendizaje a lo largo y a través de la vida y con el énfasis en valorar el aprendizaje, las evaluaciones formativas y sumativas tienen una naturaleza aún más complementaria. La relación puede ser confusa ya que algunas funciones pueden estar apegadas a la evaluación formativa o a la sumativa.

Para el aprendizaje formal, la evaluación formativa ayuda al proceso de aprendizaje y debe tener un impacto positivo sobre los resultados de la evaluación sumativa.

Para el aprendizaje no-formal e informal, la evaluación sumativa podría ser la certificación de una pequeña unidad de competencia adquirida por medio de la experiencia laboral. La eventual evaluación sumativa debe impactar de manera positiva sobre las evaluaciones formativas cuando y sí el candidato se inscribe en el proceso formal de aprendizaje.

Varias evaluaciones sumativas consecutivas podrían acortar un proceso de educación o capacitación (la validación del aprendizaje se adquiere a través de la experiencia laboral). Además, ayuda a los individuos, y especialmente a los adultos con experiencia, a desarrollar un proceso fluido de aprendizaje (a fin de evitar una mala experiencia al "regresar a estudiar").

Requisitos para la evaluación

• Preexistencia de los estándares laborales y de aprendizaje

Primero y ante todo, la evaluación se relaciona a las especificaciones laborales y de aprendizaje (estándares ocupacionales y educativos). Antes de poder llevar a cabo cualquier evaluación, se deben definir las especificaciones laborales, de aprendizaje y de evaluación. Esto significa que ya se han dado algunos pasos y que algunos se tendrán que dar antes de comenzar las evaluaciones. Mucho antes de realizar las evaluaciones concretamente, ya se han especificado los estándares (especificaciones laborales y de aprendizaje): los estándares preexisten (o se tienen que diseñar) a cualquier evaluación (FEF, 1998 a 2002).

• La evaluación es específica a un contexto

Segundo, las especificaciones de la evaluación (estándares de evaluación) se tienen que establecer para definir "cómo evaluar", con qué herramientas y siguiendo qué procedimientos. La selección de una evaluación formativa o sumativa tiene que ver, entre otras cosas, con la especificación de un contexto. Lo bien adaptada que esté la metodología de una evaluación no es un problema en sí pero depende mucho del contexto. Por ejemplo, competencias idénticas puede evaluarse con diferentes metodologías para una persona empleada o una desempleada: el contexto es diferente.

• Evidencia o pruebas

Las cuestiones relacionadas con la evidencia o pruebas son de gran importancia, ya que constituyen la base para juzgar una competencia. Las metodologías para recopilar la evidencia o pruebas establecen cómo evaluar que una persona ha alcanzado el resultado descrito en los estándares (conocimiento, capacidad para aplicarlo, competencias, etc.). Las pruebas o evidencias que se recopilarán (especificaciones de la evaluación) deben ser definidas antes de las prácticas de evaluación, así como el procedimiento para evaluar, validar y certificar (garantía de calidad).

Recopilación de evidencia

Para una evaluación, la evidencia a recopilar puede ser de diferente naturaleza. Hay cinco tipos básicos de métodos para recopilar evidencia: examen, declaración del candidato de sus competencias, observación, simulación y evidencia extraída del trabajo (u otras situaciones)[9]. Cada método se adapta a las situaciones o contextos particulares (véase Tabla 1). Estos métodos no son mutuamente exclusivos: se pueden utilizar en el mismo procedimiento de evaluación. Los registros de las evidencias evaluadas siguiendo uno o varios de estos métodos se pueden acumular, combinar o agrupar en una "cartera". La cartera está compuesta de un grupo de documentos que muestran la evidencia de una competencia, incluyendo el curriculum vitae y toda la información relevante a la competencia de un individuo. Le pertenece al individuo y lo certifica la autoridad pertinente. Los métodos para recopilar evidencia son brevemente clasificados y se dan algunos ejemplos.

Examen

Principalmente, pero no únicamente, el examen está compuesto de pruebas y exámenes dentro del aula. El candidato responde preguntas (orales o escritas) acerca de su conocimiento y comprensión de un campo de estudio. Las preguntas se pueden concentrar en un campo estricto o pueden ser de tipo interdisciplinario. Las preguntas pueden ser abiertas y requerir una respuesta tipo "ensayo"; pueden ser cerradas y necesitar respuestas de tipo "opción múltiple". Los procedimientos de evaluación los pueden organizar los candidatos, los docentes o "terceros" (no el maestro quien realmente enseñó a la persona evaluada, como por ejemplo en el Bachillerato francés en general, así como en materias técnicas).

Dos ejemplos:

– En la sección de Literatura del Bachillerato General, el examen de "letras" toma dos horas. Consiste de dos preguntas sobre los trabajos de los autores estudiados durante el año escolar. Por ejemplo, sobre el tema del Queneau de los autores franceses, la primera pregunta (la cual vale 12 de 20 puntos) es la siguiente: "En el capítulo V de "Fleurs Bleues", el Duque de Auge declara que la repetición es una de las flores con más olor de la retórica". ¿Qué papel ocupa la repetición en la novela? La segunda pregunta (con un valor de 8 de 20 puntos), pregunta ¿qué funciones desempeña el graffiti en "Fleurs Bleues?"

– En filosofía, el examen dura 4 horas. Los estudiantes tienen que elegir un tema de tres temas posibles. Las preguntas de muestra son: "¿Es suficiente la memoria para el historiador?", "¿Son separables los requisitos para la justicia y la libertad?" O, se les pedirá a los estudiantes que demuestren el interés filosófico de un extracto de 20 líneas de algún autor estudiado durante el año escolar.

Fuente: extracto de Bachillerato (Francia)

Declaración

El candidato declara y justifica (de manera oral y escrita) que lo que él o ella puede hacer corresponde a ciertas partes o elementos del aprendizaje enseñado en el programa educativo o de capacitación que condujo a la calificación[10]para la cual él o ella desea obtener reconocimiento. Un jurado (de terceros) da el juicio final.

Un ejemplo: START en los Países Bajos.

La meta de START es otorgar una exención de algunas partes de la currícula vocacional de bachillerato. START es un procedimiento de evaluación para gerentes industriales. Las entrevistas son parte del procedimiento con múltiples métodos y evaluadores, y está altamente dirigido por el contexto. El estándar utilizado es el perfil nacional de competencias para gerentes industriales (nivel 5). Este estándar se traduce a indicadores de competencia (criterios de evaluación).

El candidato presenta una situación auténtica. Se hacen preguntas sobre:

• ? La Situación laboral (organización, métodos de productos y de producción, estilo de gestión, información completa sobre la organización);

• ? La Tarea específica a satisfacer (responsabilidades, metas y resultados);

• ? Las Actividades del candidato (qué haces para desempeñarte bien o para obtener tus resultados);

• ? Los Resultados (sobre que resultados te evalúa la empresa u organización, que debes cumplir, crear o producir incluyendo especificaciones del producto, lo que hay que hacer y lo que hay que evitar);

• ? La Transferencia de competencias (preguntas en las que se suponen varias situaciones: surge éste o aquél problema, el cliente no reaccionó así sino así, qué hacer cuando la maquina o el proceso causa este problema).

El equipo evaluador está compuesto por el docente y un gerente con experiencia del sector industrial. Llevaron una capacitación para usar el método START y para realizar interpretaciones y conclusiones sobre la base de indicadores de competencia.

Fuente: Klarus, R. & Wee E. ter (2002) Intake Assessment HTNO – Intake Assessment Technical Highschools- Wageningen: STOAS Research.

Observación

La observación sigue ciertas reglas y métodos estrictos, por medio de los cuales el evaluador (quien deberá ser una tercera persona) observa al candidato y juzga si él o ella tiene la competencia en cuestión (si la puede aplicar). La observación es un ejercicio que exige mucho. Se necesita metodología y capacitación para permitir que el evaluador recopile la información relevante y fiable por medio de las observaciones.

Las actividades de observación se pueden llevar a cabo en escenarios reales de trabajo, o se puede basar en experiencias pasadas con el candidato o en una situación laboral simulada. Los siguientes ejemplos son observaciones de actividades laborales reales (candidatos docentes) y la evaluación se basa en la retrospectiva de la experiencia previa (trabajadores en tecnología de alimentos industrializados).

Un ejemplo

Para reclutar a un docente, se recopilan observaciones para evaluar las competencias del candidato. Los candidatos no sólo estudian en un colegio de capacitación para docentes: desarrollan competencias en ocupaciones relacionadas. La evaluación ayuda a trazar los logros del individuo y a planear un curso de capacitación a la medida dirigido a las competencias que no se han adquirido. Después de presentar una carpeta, el candidato y el asesor deciden las competencias que serán reconocidas; esto lleva a exenciones de la currícula.

El candidato prepara y entrega una actividad de aprendizaje para la educación general de nivel primaria o secundaria. El candidato selecciona su situación preferida de trabajo porque el procedimiento está dirigido a reconocer el logro y no a captar fracasos. Los evaluadores (un docente con experiencia y un docente del colegio de maestros) observan las actividades de trabajo del candidato. Los evaluadores observan, no hacen preguntas.

Los evaluadores usan una lista de control de aproximadamente 30 indicadores de competencia basados en los estándares de competencia nacionales. La estructura de los estándares sigue el proceso de trabajo de la enseñanza: introducción de una actividad, instrucción o ayuda individual durante las actividades de aprendizaje, evaluación con los alumnos de las actividades de aprendizaje. Los evaluadores registran sus observaciones, las traducen a una puntuación y las comparan para llegar a una conclusión final y compartida. Los resultados de la evaluación se discuten con el candidato y los evaluadores formulan un plan de desarrollo de competencias. El plan describe los logros del candidato y las competencias a desarrollar para poder ser un profesional en su totalidad.

Fuente: Klarus, R., Schuler, Y. & Wee, E. ter (2000) Bewezen geschikt – Competent Proved – Wageningen: STOAS Research.

Por preferible que sea, la observación de las actividades reales de trabajo no siempre es posible debido a las características de producción, precauciones de seguridad, la producción que absorbe el tiempo, procesos de entrega, o la provisión absorbente de servicios. En estas circunstancias, la observación auténtica de actividades laborales se pueden formar como una "observación histórica". El evaluador trabaja con los mismos materiales de evaluación como en el caso de la observación real. La puntación de los indicadores de competencia no está basada en un registro de observación directa, sino en la experiencia de los evaluadores (ejecutivos o capacitador) para trabajar con el candidato. Este procedimiento se acerca mucho a la "simulación".

Un ejemplo: procedimiento usado en la tecnología de alimentos industrializados (producción de quesos)

Después de terminar la cartera y de la orientación de su oficial de personal, los candidatos deciden en que elementos del estándar de calificaciones nacional (niveles 2 o 3) quieren obtener reconocimiento (exención del curso de capacitación).

El supervisor directo de los candidatos es un evaluador capacitado. La razón por la cual se utilizan evaluadores internos de la empresa es porque la mayoría de los candidatos tienen malas experiencias con los exámenes tradicionales. En lugar de esto, desarrollan competencias en su lugar de empleo. Otra razón por la cual se usan evaluadores internos es que pueden "traducir" las descripciones generales del estándar de calificaciones nacional a un criterio de una situación específica para la evaluación. El evaluador (supervisor) llena los formatos de evaluación usando su experiencia con la calidad del trabajo del candidato. El evaluador puede usar su conocimiento de otras fuentes de evidencias, como la valoración del desempeño, entrevistas de desarrollo personal o evaluaciones que fueron parte de los procedimientos de ISO, procedimientos de calidad como HCCP (higiene), los resultados de participación en instrucciones de trabajo o en grupos de trabajo.

Fuente: Klarus, R & Smulders, H. (2000) Waardevolle Ervaring. –Valuable Experience – Wageningen: STOAS Research.

Primero, el papel central que tiene el supervisor como evaluador puede ser cuestionable. Sin embargo, las experiencias de este tipo de "observación histórica" sugieren lo opuesto. Parece ser que los ejecutivos tienen que ser cuidadosos y fiables cuando está en juego la evaluación de su propio personal.

No obstante, se les debe dar consideración cuidadosa a las condiciones para asegurar la imparcialidad en los juicios, lo cual puede ser difícil de mantener cuando los evaluadores son los supervisores directos. Por lo general, otros miembros del personal con las mismas competencias pero que no son supervisan directamente pueden ser evaluadores.

Simulaciones

El candidato es colocado en un contexto que presenta importantes características de una situación real de trabajo (u otro) y después puede demostrar sus competencias. Para poder prepararse adecuadamente, la simulación requiere una importante cantidad de estudio y análisis laboral para poder estar preparado adecuadamente. Algunos ejemplos son bien conocidos (los pilotos aviadores son parcialmente capacitados en esta manera). Existen juicios de terceros. La mayor dificultad es llevar a cabo el análisis laboral y los estudios adecuados necesarios para asegurar que la simulación es válida y fiable.

Ejemplo:

Prueba por simulación usada para evaluar la competencia por AFPA (Francia)

Consiste de una prueba de dos horas al finalizar el módulo de "Control y mantenimiento de redes de empresas locales". La consulta de documentos es autorizada. La prueba consiste de dos partes. La primera, que vale 12 de 20 puntos, sobre "organización"; contiene cuatro preguntas (3 puntos por pregunta). La segunda es sobre "mantenimiento" y contiene cuatro preguntas que valen 8 de 20 puntos.

En la primera parte, se describe la red local de una empresa en cuanto a sus dimensiones técnicas y su organización (departamentos, cantidad de usuarios, software, etc). Las cuatro preguntas tienen que ver con: la organización del disco hardware que será representado por un esquema; los usuarios (cómo están distribuidos; quién tiene acceso a qué partes); una pregunta específica sobre la relación entre el software; cómo está organizada la protección (cuando, qué, cómo, frecuencia).

La segunda parte de la prueba, sobre mantenimiento, presenta un mensaje de error en una pantalla; se les pide a los alumnos su significado; que identifiquen una posible hipótesis para explicar la disfunción; que indiquen la secuencia en la cual se probará la hipótesis y que indiquen el medio usado para verificar cada paso.

Evidencia extraída de situaciones laborales (u otras)

El candidato recopila evidencias de competencias en su situación laboral (o en escenarios sociales, familiares o culturales) basándose en lo que se describe en los estándares de evaluación. Un evaluador (un tercero) juzga la relevancia a las competencias analizadas.

Un ejemplo:

Empleado de tienda – Prueba de competencia "Envolver"

La competencia se describe de la siguiente manera: durante periodos de mucho trabajo (diciembre por ejemplo), el candidato puede ayudar a la cajera a envolver por lo menos cinco tipos diferentes de paquetes (por ejemplo, diferentes tipos de materiales para envolver, vidrio, juguetes, etc.), tomando en cuenta los deseos del cliente y trabajando rápida y cuidadosamente.

Implementación de la evaluación:

De manera oral, el candidato explica lo que él o ella hizo y los resultados obtenidos.

La actitud profesional se puede observar a partir de:

• Un enfoque planeado;

• Tomar en cuenta la seguridad de uno y de los otros;

• Ser amable con los clientes y colegas;

• Trabajar de manera independiente;

• Trabajar rápidamente;

• Trabajar con precisión;

• Tomar iniciativa.

Durante la evaluación, los aspectos mencionados arriba son juzgados en una escala de dos puntos.

Cero puntos si un aspecto en particular es insuficiente o dudoso; un punto si un aspecto en particular es satisfactorio o bueno. Las partes que se miden son: a) preparación, b) implementación, c) evaluación, y d) actitud profesional. Para los elementos de a-c se puede lograr un máximo de diez puntos y los candidatos pasan con siete puntos. Para el elemento d se puede obtener un máximo de nueve puntos y los candidatos pasan con seis.

Fuente: Baanbreker Certificaattrajecten vmbo-bve Competentietoetsen, Citogroep, Augustus 2001

Conclusión: ¿qué bases para elegir?

Cada método funciona mejor dentro de un contexto específico (véase Tabla 1). Es obvio que una prueba o examen en el aula no sería apropiado para evaluar si un individuo puede montar una bicicleta. Las pruebas o exámenes en el aula pueden aplicar para una parte de la certificación vocacional y profesional, y por lo general excluye los aspectos más aplicados. Por otro lado, para las competencias aplicadas, la observación o simulación podrían proveer la evidencia que se necesita.

Cada método tiene sus propias especificaciones y especialmente sus propias "dificultades" o limitaciones: algunos requieren una capacitación metodológica muy estricta de la persona que recopila la evidencia (evaluador, observador); en algunos, es algo complejo para el individuo (especialmente uno poco calificado) proveer una idea de sus competencias. Se puede argumentar que la selección de métodos se debería de basar en la evidencia requerida para demostrar el logro del estándar mientras se satisfacen las pruebas de validez y fiabilidad. Por lo tanto, y como ejemplo, la observación podría ser aplicable al aprendizaje formal.

La Tabla 1 muestra cuándo usar un método particular y algunas limitaciones que podrían estar asociadas con cada método.

Tabla 1: cuándo usar qué evaluación y las dificultades principales

Fuente: Colardyn, D., 2002

Identificación de pasos para asegurar una evaluación basada en competencias

¿Bajo qué condiciones podrían estar incluidas las evaluaciones basadas en competencias dentro de un sistema unificado de evaluación que abarque la educación y capacitación inicial y continua, y el aprendizaje formal y no-formal, en una perspectiva a lo largo de la vida? La siguiente sección identifica estas condiciones:

• Paso 1: Gobernabilidad y legitimidad de acuerdos institucionales (la función de autoridades públicas, participantes del sector social y otros participantes del sector productivo);

• Paso 2: Estándares (basados en competencias)[11];

• Paso 3: Módulos (la evaluación se define para cada módulo);

• Paso 4: Evaluaciones (fiabilidad y validez);

Paso 1: Gobernabilidad y legitimidad de acuerdos institucionales

Se debe considerar seriamente la colaboración de los participantes del sector social y otros actores o participantes del sector productivo: ¿quién debe participar, porqué y en qué lugar del proceso? Esta cuestión tiene que ver con el diseño del estándar y con el proceso de garantía de calidad.

Lo que los participantes del sector productivo representan en la sociedad establecerá la legitimidad de la evaluación, lo que significa qué tan bien y qué tanto una evaluación, y específicamente, una validación o una certificación, es considerada por la sociedad como legítima. Un certificado (formal, no-formal, informal) ¿Tiene valor nacional? ¿Es una condición para un nivel más alto de educación o capacitación? ¿Para ingresar al mercado laboral, a un trabajo nuevo, para moverse? ¿Tiene valor social o profesional al nivel regional o local el certificado? ¿Está limitado a ciertas instituciones (una rama o a un sector); a algunas empresas? ¿Cómo se puede asegurar el valor máximo (y por lo tanto un mayor reconocimiento del aprendizaje del individuo)?

Como una cuestión de selección política, el reconocimiento puede estar limitado a la escuela, una empresa, una región, una rama o a un sector; puede ser de naturaleza nacional o inclusive internacional. No es suficiente tener una metodología de evaluación bien definida: debe tener una base clara y transparente para tener validez en la sociedad. Esto sólo se puede lograr con la colaboración de los participantes del sector social y de otros con interés en el proceso de validación y certificación. Los participantes del sector productivo pueden variar de país a país.