Introducción de los Test Adaptativos Informatizados en las Universidades Cubanas
Enviado por pfi_ymtnez
En la actualidad, la labor de los profesores a la hora de la calificación de los exámenes y las preguntas escritas se hace difícil pues deben dedicarle mucho tiempo a esta tarea. Y cuando se debe medir la calidad de los estudiantes dado un criterio, el proceso se hace muy lento y trabajoso. Por ejemplo, si necesitamos escoger los mejores estudiantes para un proyecto determinado, tendríamos seguramente que recurrir al criterio de sus profesores, o a los resultados en las pruebas (que también es un número considerable); ambas variantes consumen mucho tiempo y recursos. Este proceso se hará cada vez más engorroso a medida que aumente el número de estudiantes y proyectos en los que estos deberán trabajar.
Analizando los sistemas de certificación académica existentes en el mundo y comprobando que no se ajustan a las necesidades del proceso docente-educativo que se esta llevando a cabo en nuestro país, se propone aplicar los Test Adaptativos Informatizados (TAIs) en la docencia académica a través del Sistema Inteligente de Certificación Académica (SICA), de manera que garantice y facilite los procesos de evaluación y calificación, de fácil acceso para estudiantes y profesores de las universidades de nuestro país.
La utilización de los TAIs permitirán agilizar los procesos de confección, aplicación y revisión de los exámenes; evaluar a los estudiantes sin la intervención continua de los profesores; certificarlos académicamente en el conocimiento de una aplicación o técnica determinada y; la elaboración y calificación automática de pruebas para la auto evaluación de estudiantes.
La ejecución e implantación de este sistema tendrá un impacto social importante en la nueva tendencia de la educación en nuestro país: avanzar cada vez más en el camino de la docencia no presencial, y borrar el mito de que la aplicación de exámenes tradicionales.
Palabras Claves
Adaptativo
Proceso docente-educativo
TAIs o Test Adaptativos Informatizados
Testing
Abstract
At the present time, the work of the professors in the qualification of the exams becomes difficult because they should dedicate a lot of time to this task. And when should be measured the quality of the given students an parameter, the process becomes very slow and difficult. For example, if we need to choose the best students for a certain project, we would have to ask the opinion of their professors, or to the results in the tests (that is also a considerable number); both variants consume a lot of time and resources. This process will become more difficult as it increases the number of students and projects in those they will work.
Analyzing the academic certification systems existent in the world and checking that they are not adjusted to the necessities of the educational process in our country, is necessary to apply the Computer Adaptative Test (CATs) in the educational process through the System of Intelligent Academic Certification (SICA), so that it guarantees and facilitate the evaluation's process and qualification's process , and to easy's access for students and professors of the universities of our country.
The use of the Computer Adaptative Test will allow to speed up the making processes, application and revision of the exams; to evaluate the students without the continuous intervention of the professors; to certify them academically in the knowledge of an application or technique and; the elaboration and automatic in self qualification of tests for the evaluation of students.
The execution and installation of this system will have an important social impact in the new tendency of the education in our country: to erase the myth that the application of traditional exams.
La creciente demanda laboral, a nivel mundial, ha traído como consecuencias un aumento del nivel de preparación de los aspirantes a los puestos y por tanto la necesidad de existencia de mecanismos que faciliten la selección de estos a gran escala.
Por otra parte el mito de la computadora trae consigo la posibilidad de explotar todas las vías de enseñanza y aprendizaje, realzando los términos de auto preparación, auto estudio y auto evaluación; aunque este último, en nuestro país, se encuentre un poco en desuso, pues necesariamente tenemos que dirigirnos a sistemas de certificación o evaluación de competencias, existentes en el mercado internacional, cuyos recursos no están al alcance de nuestras posibilidades o simplemente tenemos del desconocimiento del idioma.
Nuestras universidades utilizan el modo de evaluación tradicional, a través de los exámenes establecidos en el plan docente, pero si un alumno desea medir sus conocimientos en una materia que estudia de forma independiente debe remitirse a sistemas existentes que pueden o no estar en Internet y que por tanto, no son de fácil acceso. Cuando se debe medir la calidad de los estudiantes dado un criterio, el proceso se hace muy lento y trabajoso. Por ejemplo, si necesitamos escoger los mejores estudiantes para un proyecto determinado, tendríamos seguramente que recurrir al criterio de sus profesores, o a los resultados en las pruebas (que también es un número considerable); ambas variantes consumen mucho tiempo y recursos. Este proceso se hará cada vez más engorroso a medida que aumente el número de estudiantes y proyectos en los que estos deberán trabajar. Actualmente la labor de los profesores a la hora de la calificación de los exámenes y las preguntas escritas se hace difícil pues deben dedicarle mucho tiempo para esta tarea.
El problema está dado por la carencia de un sistema que permita certificar académicamente a los estudiantes, así como agilizar los procesos de confección, aplicación y revisión de los exámenes. Este trabajo, por tanto, se desarrolla con el objetivo de proveer nuestras universidades de un sistema que permita:
- Evaluar a los estudiantes sin la intervención continua de los profesores.
- Certificarlos académicamente en el conocimiento de una aplicación o técnica determinada.
- La aplicación y calificación automática de pruebas para la auto evaluación.
En el tema a tratar consultamos bibliografía y sistemas de certificación académica existentes en el mundo, como http://www.BrainBench.com, http://www.ExamsOnLine.com y http://www.NCSAcademy.com. El estudio se enfoca hacia sus potencialidades y las ventajas y desventajas según nuestras necesidades específicas. Además consultamos las teorías sobre los Test Automatizados, Test Adaptativos Informatizados (TAIs) como tecnología mayormente utilizada en los mejores sistemas de certificación del mundo.
El calificativo certificación académica es utilizado en algunos ámbitos para nombrar a un documento que recoge los resultados cuantitativos de las evaluaciones realizadas durante un determinado período académico, en otras palabras la certificación de notas. En su lugar debería referirse a un sistema de certificación de competencias, pues está más a tono con las tendencias actuales de la formación.
Las universidades cubanas siguen las tendencias actuales de la educación y cada día se inclina más a la educación no presencial y la formación profesional, y a la certificación y evaluación mediante el uso de las nuevas tecnologías. De manera general muchas instituciones han tenido la grandiosa idea de utilizar este tipo de sistemas, lo que a pesar de lo fructífero que seria su utilización, no han sido llevadas a cabo, o han sido abandonadas en medio de su desarrollo por falta de motivación, recursos o simplemente por no contar con un buen respaldo.
2. Evaluación y automatización. Las nuevas tecnologías en el área de Testing
La renovación en las ciencias es consustancial a la profesión docente. Pero esta renovación no se refiere sólo a la llamada actualización científica, es decir, a la puesta al día en los conocimientos de las distintas disciplinas; se refiere también, muy particularmente, a la renovación de los métodos de enseñanza y de los procedimientos de evaluación. En este quehacer el profesor necesita, sin duda, orientaciones e instrumentos nuevos.
El ser humano desde que nace necesita de guías que le muestren el camino para desarrollar sus habilidades. Estos guías, tutores o maestros con sus enseñanzas forman o crean inquietudes en las cuales se basa nuestro desarrollo cognoscitivo. Los tutores humanos proveen una alta eficiencia en el entorno de la enseñanza debido a que son capaces de estimar el grado de entendimiento de sus alumnos sobre un tema. Esto es posible gracias a la interacción directa tutor-alumno. Con el desarrollo de la tecnología se planteó una cuestión interesante ¿Será posible duplicar un tutor humano mediante alguna máquina? Si fuera así, la única máquina capaz de emular las labores humanas en la actualidad es la computadora. Los sistemas inteligentes de enseñanza o mejor conocidos por su nombre en inglés "Intelligent Tutoring Systems" o solo ITS, son herramientas de software que utilizan técnicas descubiertas en la inteligencia artificial para lograr la enseñanza de algún tema o habilidad. Los sistemas inteligentes de enseñanza son comúnmente referidos como CAI que son las siglas de Instrucción Asistida por Computadora.
Los sistemas inteligentes de enseñanza son verdaderamente sistemas de comunicación de conocimiento. Pueden ser definidos de esa manera debido a que el énfasis principal en el desarrollo de estos sistemas es proveerlos con acceso a la representación del conocimiento que es lo que el sistema intenta de comunicar al estudiante. En un ITS el énfasis está puesto en el conocimiento (qué) a ser comunicado al estudiante y no en el mecanismo (cómo) de comunicación usado para presentar el conocimiento al estudiante.
3. Algo sobre los TAIs (Tests Adaptativos Informatizados)
El uso del ordenador ha permitido la incorporación de estrategias singulares en la presentación, análisis de respuesta y puntuación de los Tests, así como avances importantes en la elaboración, construcción y administración de los mismos.
El uso de los TAIs proporciona una evaluación de habilidades o conocimientos, precisa y eficiente, así como que presenta posibilidades de aplicación en la mejora de los procesos de enseñanza y aprendizaje.
Uno de los campos en los que los TAIs han creado más expectativas es el diagnóstico de las habilidades de los estudiantes. Estas expectativas encuentran una justificación en el hecho de que algunos de los objetivos asociados a los TAIs están próximos a aquellos que se establecen en el ámbito del diagnóstico. Un TAI se construye bajo el supuesto de que la presentación de un ítem cualquiera a un sujeto es el resultado de un proceso de análisis en el que se tienen en cuenta las características del ítem y las del propio sujeto. Pues bien, el problema básico del diagnóstico que se apoya en el uso de Tests es determinar bajo qué condiciones, restricciones o reglas se elige un ítem de modo que nos permita profundizar en el proceso que sigue un individuo para afrontar una tarea. En ambos campos, el problema es un problema no sólo de contenido sino, sobre todo, de proceso: ¿cuál es el siguiente ítem? y ¿qué características debe poseer? Un TAI que pretenda utilizarse con fines diagnósticos debería responder satisfactoriamente a esas dos cuestiones.
La posibilidad de aplicar este tipo de Tests en la evaluación de habilidades complejas, de introducirlos como instrumentos asociados a los procesos de enseñanza y aprendizaje o de utilizarlos como herramientas en los procesos diagnósticos no resulta, desde luego, un asunto baladí. No es un asunto fácil realizar un TAIs y mucho menos aplicarlo a los procesos docentes educativos, su creación y aplicación exige condiciones, tanto psicológicas como físicas, adecuadas, así como una buena selección de hardware, software y dispositivos.
Podemos considerar que los Tests Adaptativos Informatizados (TAIs) tienen ya unos 30 años de historia. La mayor parte de este tiempo ha estado en el laboratorio, donde la principal preocupación de los investigadores ha sido obtener las estrategias más eficientes, precisas y válidas posibles. Sólo en la última década se han empezado a utilizar de forma masiva. [Hotangas, 2000].
Conviene no confundir "Test Adaptativo Informatizado" con "Test Informatizado". Un Test Informatizado es un Test tradicional en el que se utiliza un ordenador para la administración de ítems (o reactivos), recogida de respuestas, corrección del Test, emisión de la calificación. Un Test Adaptativo Informatizado (o TAI) también presenta los ítems y recoge las respuestas de la persona utilizando un ordenador, pero el uso del ordenador no es su rasgo más característico. Lo más genuino es su capacidad para adaptarse al rendimiento de la persona que está siendo medida, de ahí el "Adaptativo" de TAI. La idea básica es presentar exclusivamente a cada persona los ítems que nos informan de su nivel de rasgo. A una persona con mucho nivel de vocabulario inglés no tiene mucho sentido pedirle la traducción de "DOG" (perro), pues es seguro que la sabrá. Análogamente, a una persona con muy bajo nivel, tampoco se le debería preguntar por la traducción de "SLED" (trineo), pues es muy poco probable que la sepa. Un TAI evitaría ambas preguntas a personas de alto y bajo nivel de vocabulario inglés, respectivamente. Una consecuencia de sólo administrar los ítems realmente útiles es que se puede conseguir la misma precisión en la medida del rasgo con muchos menos ítems.
El auge actual de los TAIs se debe básicamente a dos razones: la primera es la existencia de ordenadores personales de gran capacidad a bajo coste. La segunda es la aparición de una nueva teoría de los Tests, la Teoría de la Respuesta al Ítem (TRI), que tiene claras ventajas frente a la tradicional Teoría Clásica, [Muñiz, 1997]. El principio de invarianza de la TRI permite obtener estimaciones de los niveles de rasgo en la misma escala sean cuales sean los ítem administrados. Es decir, podemos aplicar unos ítems fáciles a una persona de bajo nivel e ítems difíciles a otra de alto nivel y obtener para uno y otro sus niveles de rasgo en una misma escala, lo que permite su comparación.
4. Ventajas que poseen los TAIs o frente a los Test Estáticos
Los TAIs requieren menos preguntas para arribar a un estimado más exacto de la habilidad de los encuestados que los Test de papel y lápiz.
- La tecnología de los TAIs permite recibir retroalimentación acerca de su funcionamiento.
- Cada encuestado administra diferentes Sets de preguntas aumentando la seguridad del los Test.
- TAI no guarda el número de preguntas respondidas correctamente, solamente los ítems respondidos correctamente.
- Un usuario que responde correctamente un conjunto de preguntas de más dificultad reciben una mayor puntación que el uno que responde correctamente un conjunto de preguntas más sencillas.
- El resultado obtenido es reflejo del número de preguntas respondidas adecuadamente y el nivel de dificultad de esas preguntas.
Las preguntas generalmente son de selección múltiple, son hechas para evaluar el conocimiento del mundo real contrario al conocimiento académico. Se puede esperar obtener código de ejemplo, imágenes y escenarios asociados con muchos de las preguntas. Cada pregunta tiene solo una respuesta correcta. [Hotangas, 2000].
Sus elementos básicos son cuatro: el banco de ítems, el procedimiento adaptativo, la estimación del nivel de rasgo y el criterio de parada.
5. Reseña sobre los sistemas de certificación existentes
- BrainBench (http://www.brainbench.com)
Los Test de BrainBench consisten en 40 preguntas que toman entre 45 minutos y 1 hora para completar. Cada pregunta dispone generalmente de 180 segundos mostrando una advertencia cuando restan 30 segundos. Los resultados incluyen lo siguiente:
- Una puntuación entre 1.0 y 5.0 puntos donde 5 es el máximo, acompañado del texto con la descripción del significado de la puntuación.
- Una puntuación porcentual mostrando la comparación con todos los que se hallan evaluado antes.
- Un resumen de tus fortalezas y debilidades comparadas con tu puntuación en conjunto.
Aproximadamente el 40% de los que completan un Test de certificación son certificados (alcanzan una puntuación de 2.75). De estos solo el 12% alcanzan el nivel master (4.0 puntos).
Los Test de BrainBench están desarrollados, validados y revisados por profesionales del área que ya han sido certificados. Todos los Test han sido desarrollados usando el certificado ISO 9001. Las pruebas son enviadas mediante el Computer Adaptive Tests (CATs).
BrainBench proporciona también un programa de certificación de roles laborales. Una completa certificación laboral incluye una selección de un núcleo de habilidades así como también habilidades electivas que se pueden seleccionar de acuerdo con las necesidades específicas. Mientras una certificación de habilidad pueda probar sus conocimientos sobre una habilidad específica, una certificación laboral prueba que tiene el núcleo de habilidades requeridas para desempeñar un trabajo.
- ExamsOnLine (http://www.examsonline.com)
Los exámenes gratis constan de 15 preguntas y los pagados de 105.
Brinda 3 opciones para la realización del examen:
Simulación de examen aleatorio: Las preguntas se muestran en un orden aleatorio con un límite de tiempo de 20 minutos. Permite simular un examen real, las respuestas no son mostradas durante la realización del examen.
Examen completo: Todas las preguntas son mostradas, no hay límite de tiempo. Puedes ver las respuestas durante la realización del examen.
Examen personalizado: No hay límite de tiempo. Se puede modificar la pregunta inicial y la final. Este modo se utiliza para ver las preguntas en un rango determinado. Las preguntas no son aleatorias. Se podrán ver las mismas preguntas cada vez que se seleccione el mismo rango de preguntas. Puedes ver las respuestas durante la realización del examen.
Todas las opciones permiten una revisión al finalizar el examen.
Permite bajar exámenes.
- NCSAcademy (http://www.ncsacademy.com)
Características de los exámenes:
El examen consta de 35 a 50 preguntas en dependencia del tema a evaluar, tomándose hasta cerca de una hora para contestarlas todas. Todas las preguntas son de selección múltiple.
La puntuación es en base a 4.0 puntos. Una puntuación superior a los 2.0 puntos indica que se ha superado el examen y es elegible para la certificación. Una puntuación inferior no te permite ser certificado. Se deben esperar 7 días para repetir un examen.
Se tienen 90 segundos para contestar cada pregunta. El sistema proporciona un contador que muestra el tiempo restante para responder la pregunta. El tiempo también es controlado por el servidor y cuando termina no hay posibilidades de cambiar la respuesta dada.
Ofrece una evaluación por temáticas permitiendo conocer donde se encuentran los problemas.
Dados los sistemas de certificación académica existentes en el mundo y el estudio de sus principales características encontramos que los mismos se encuentran fundamentalmente en idioma inglés, no existe código fuente ni datos de diseño y no hay un ajuste a las necesidades que han surgido en nuestras universidades, por lo tanto se propone comenzar el desarrollo de un sistema que respondiera a las necesidades del proceso docente que se pretende llevar a cabo en nuestras universidades.
La propuesta viene siendo introducir los Tais a través de un sistema que la fusione estos sitios, recogiendo lo mejor de los sistemas de certificación existentes hasta este momento y se caracterice principalmente por las posibilidades que brinda de adaptarse al individuo que se examine en ese momento. Y provee mejoras como:
- Interfase visual y agradable.
- Trabajo en el idioma del país.
- No necesidad de buscar otros Sistemas de evaluación de competencias o certificación académica en Internet.
Es necesario aclarar que la propuesta aun se encuentra en el orden teórico, aunque su verdadero fin es proveer al sistema docente-educativo de una alternativa para la evaluación, a través del Sistema Inteligente de Certificación Académica, el cual esta en proceso de concepción.
La ejecución e implantación de este proyecto tendrá un impacto social importante en la nueva tendencia de la educación en nuestro país: avanzar cada vez más en el camino de la docencia no presencial, y borrar el mito de que la aplicación de exámenes tradicionales.
Del análisis de los resultados de esta investigación se plantean las conclusiones siguientes:
- Al aplicar los TAIs tendríamos aportes prácticos de este trabajo debemos destacar:
- Rapidez y eficacia en la creación, aplicación y calificación de exámenes.
- Facilidades de preparación y evaluación, para estudiantes, de manera autodidacta.
- Reconocimiento del nivel cognoscitivo de los estudiantes en una materia, dado un criterio.
- Agilización de las estadísticas generales docentes.
- Los sistemas de certificación académica existentes no se ajustan a las necesidades de nuestros profesores y estudiantes, por lo que se propone desarrollar un nuevo sistema que recoja lo mejor de los sistemas analizados.
- Hacer uso de los TAIs en los procesos docente-educativos de las universidades cubanas.
- Investigar las herramientas existentes para la creación de Sistema Tutores Inteligentes (STI).
- Profundizar los estudios en las técnicas más actuales de la Inteligencia Artificial (IA) aplicadas a los TAIs.
[Hotangas, 2000] Hontangas, P.M, Ponsoda, V., Olea, J. y Abad, F. Los tests adaptativos informatizados en la frontera del siglo XXI: una revisión. Metodología de las Ciencias del Comportamiento, 2000, .2 (2), 183-216.
[Muñiz,1997] Muñiz, J. Introducción a la Teoría de Respuesta a los Ítems. Madrid: Pirámide, 1997.
Ponsoda, V., Olea, J., Hontangas, P., Revuelta, J. Ponencia presentada en el XXVIII Congreso Iberoamericano de Psicología. Santiago de Chile, 29 de julio a 3 de agosto, 2001.
Padilla, Franco Jávitt Higmar Nahitt; Lara Rogriguez, Amado y Marquez Gutierrez, Pedro Rafael. Sistema Inteligente para la Enseñanza de las Matemáticas. Instituto Tecnológico de Chihuahua http://www.depi.itchihuahua.edu.mx/electro/electro2001/mem2001/articulos/cmp6.pdf
Sánchez Medina, Edmundo. Sistema de Evaluación en Línea en el Centro Universitario de la Costa de la Universidad de Guadalajara. http://www.somece.org.mx/memorias/2000/docs/521.DOC [consulta: 04/03/2004].
Tamayo Taype, Miguel Ángel; Climént Bonilla, Juan B. La Evaluación y Certificación de Competencias Laborales en el Contexto de América Latina. Algunas Reflexiones en el caso de México. Documentos presentados en el II Foro Iberoamericano sobre Formación y Empleo. Evaluación y Certificación de Competencias Profesionales. Río de Janeiro, Brasil, 12-14 de julio de 1999. http://www.oei.org.co/iberfop/brasil2.htm [consulta: 04/03/2004]
La Evaluación de Test adaptativos Informatizados [en línea] http://www.uv.es/RELIEVE/v4n2/RELIEVEv4n2_6.htm Revista ELectrónica de Investigación y Evaluación Educativa. 1998, Volumen 4, Número 2_6. ISSN 1134-4032. D.L. SE-1138-94.
Inc. Site designed and hosted by NetAblaze.com [en línea] http://www.examsonline.com 2000-2004. [consulta: 04/03/2004]
National Computer Science Academy [en línea] http://www.ncsacademy.com 2003.[consulta: 04/03/2004]
Brainbench is the leading global provider of online skills, aptitude, and knowledge measurement solutions. [en línea] http://www.brainbench.com [consulta: 13/03/2004].
Yulkeidi Martínez Espinosa
Estudios: Ingeniero Informático
Profesión: Profesor/Formador
Categoría Educación, Computación (general)
Fac. Informática, UNICA
Ciego de Ávila, 2005