Diseño de nuevos instrumentos para evaluar calidad de asignaturas en las sedes universitarias

Resumen

Enmarcado en la gestión de mejora continua de la calidad de la formación del profesional en las Filiales Universitarias Municipales (FUM) y como parte del sistema creado con este propósito en la Universidad Central "Martha Abreu" de Las Villas, se han desarrollado, desde el curso 2004-2005, evaluaciones de las asignaturas. Los instrumentos que han servido de base a la autoevaluación de estas se han perfeccionado sistemáticamente en un constante interactuar con los profesores de la universidad. En el trabajo se resume toda la experiencia de perfeccionamiento de estos instrumentos en cuya etapa final se partió de conocer las representaciones que sobre el tema de la calidad poseían los profesores y directivos de las SUM y el nivel de información sobre este Sistema de Evaluación de la Calidad de la Formación del Profesional y se alcanzó un nuevo conjunto de indicadores de rendimiento con un grado mayor de consenso. Por tanto se ofrecen los resultados de estas indagaciones, los procedimientos seguidos en el perfeccionamiento de los instrumentos y los logros obtenidos en las valoraciones en los colectivos en los análisis sobre la calidad de las asignaturas. Se ofrecen los resultados de las encuestas y también los nuevos instrumentos diseñados, así como los resultados de los análisis colectivos.

Introducción

Desde que se inicio el proceso de formación de profesionales en las Sedes Universitarias Municipales (SUM) se ha trabajado en la implementación de un Sistema de Evaluación de la calidad del proceso de enseñanza aprendizaje centrado en la mejora y en la participación de profesores y estudiantes, y del impacto territorial de los programas de la Universalización de la Educación Superior, como una continuidad de los trabajos que con propósitos similares se vienen desarrollando en la Universidad Central Marta Abreu de Las Villas desde el curso 1996- 1997 hasta el presente. La validez de este sistema ha sido constatada por medio de un amplio trabajo de campo que ha permitido extender el sistema a todas las estructuras organizativas y a diferentes niveles del proceso docente educativo del centro, es decir se evalúan las asignaturas en primera instancia, pero además las disciplinas, carreras, departamentos docentes, así como también se ha implementado para evaluar los proyectos educativos de cada año.

El Sistema de Evaluación para la Formación del Profesional (SEFP) ha contribuido a crear una cultura sobre la calidad en el claustro y ha permitido el desarrollo de múltiples espacios de discusión sobre calidad de la formación del profesional, sobre la determinación de indicadores de rendimiento que reflejen esta y en el establecimiento de guías para el desarrollo de este proceso, como parte esencial del perfeccionamiento del proceso docente- educativo.

Partiendo de este importante precedente y contando con la experiencia de su aplicación, comenzó en el curso 2003- 2004 a implementarse un Sistema de Evaluación para la Formación del Profesional en la Universalización, sistema que plantea como principios rectores que:

• El objetivo de la evaluación es formativo, dirigido esencialmente a promover la mejora.

• Se centra en la formación del profesional y la calidad del proceso docente- educativo de pregrado.

• Resulta imprescindible la implicación y comprometimiento de los actores fundamentales de este proceso: profesores y estudiantes.

• El método empleado parte de la AUTOEVALUACION de cada colectivo y la posterior validación de esta por EVALUACIONES EXTERNAS; la base de la evaluación la constituyen criterios o estándares de calidad que para los componentes del proceso se adoptan por consenso, de ahí su carácter compartido, flexible y transitorio.

• Desde el enfoque basado en la perspectiva de la mejora, el objetivo principal del sistema se logra al priorizar la evaluación de variables mediacionales en todos los niveles y sobre todo en la interacción entre éstas.

Con el convencimiento de que en el trabajo que desarrollan los niveles básicos – los colectivos de asignaturas y carreras, donde los profesores desarrollan su actividad principal – es donde se decide en primera instancia la calidad y por tanto se convierten en los espacios claves para la planificación, organización, control y evaluación del proceso docente educativo; puede afirmarse que es en los COLECTIVOS DE ASIGNATURA donde debe encontrarse la voluntad para la mejora y desarrollar las acciones para alcanzar el perfeccionamiento. No se logrará éxito en la formación integral del estudiante si no se alcanza una consciente implicación de estos y sus profesores en el proceso, lo que se concreta en la calidad de las asignaturas. Este trabajo de las asignaturas se hace más complejo en la Universalización al desarrollarse en dos espacios: la SUM y las Facultades. Las Facultades dirigen el Colectivo de Asignatura formado por los profesores de estas en cada sede y se constituyen en el órgano rector del trabajo metodológico y en el encargado del control y evaluación del proceso. Este trabajo y orientaciones deben concretarse al impartirse la asignatura en la SUM, que es donde se decide la calidad y al intervenir directamente alumnos y profesor.

En la labor de los COLECTIVOS DE CARRERA se presenta una situación similar al desarrollarse el trabajo de forma paralela en las sedes y las facultades. En las SUM está conformado por los profesores de las asignaturas dirigidos por un coordinador. En las facultades el trabajo está presidido por el Colectivo de Carrera al que se subordina un colectivo adjunto integrado por los coordinadores de carreras de cada SUM y lo dirige un experimentado profesor de la Facultad, constituido en Jefe de Carrera. Este jefe debe desarrollar además una importante labor metodológica entre los Jefes de los Colectivos de asignatura de las Facultades, garantizando la coherencia de los objetivos y la interrelación de los contenidos.

El sistema también persigue entre sus objetivos, potenciar que este complejo conjunto de relaciones funcione armónicamente y que permita el desarrollo y evaluación sistemática del trabajo.

La guía para autoevaluar las asignaturas ha transitado por varias versiones, perfeccionándose en la medida que el claustro de las SUM ha ganado en preparación y experiencia.

El primer instrumento empleado en el curso 03-04 era muy sencillo, con solo 4 variables: RESULTADOS, DOCUMENTACION, PROCESO Y RECURSOS y contemplaba, como indicadores de calidad, en la primera variable solo los resultados docentes y el cumplimiento de la planificación, en cuanto a documentos solo medía el P-1 y la calidad del registro docente, en proceso aparecían siete indicadores pero muy poco precisos y como recursos, solo se medía el uso de plataformas interactivas y de las TICs, además se hacia una valoración cualitativa de estos indicadores.

A partir del curso 04-05, se empleó un segundo instrumento más desarrollado, similar al utilizado para los cursos regulares en la UCLV que recoge al nivel de las asignaturas, criterios básicos referidos al trabajo metodológico, de la clase y de la preparación del profesor. Este instrumento que fue empleado hasta el primer semestre de este curso 2006-2007 contemplaba las mismas variables pero un número mayor de indicadores de rendimiento que permitían al profesor hacer una mejor valoración de su practica, pero requería de una ponderación de cada aspecto para llegar a calificar cada variable, lo cual sin dudas hacia complejo el proceso a la hora de determinar los aspectos positivos y negativos que influían en la calidad de la asignatura.

Después de estas experiencias en la evaluación de las asignaturas las insatisfacciones mayores estaban en el proceso de análisis semestral que se viene desarrollando sistemáticamente ya que en este no se logra lo fundamental: que cada profesor reflexione objetivamente sobre su practica, detecte aquellos aspectos que son susceptibles de mejorar y que inclusive adecue el instrumento a las características de su asignatura y se trace metas cada vez mas altas en el desarrollo metodológico de la misma, para que verdaderamente se observe un proceso de búsqueda continua de la excelencia.

Entonces surge el propósito de obtener un nuevo instrumento que fuera asumido por los profesores de manera más consciente, que además les sirviera como una guía para su trabajo metodológico y el control del mismo, pensando en las características del claustro en este nuevo modelo pedagógico que como regla tiene de poca experiencia docente y es ocasionalmente inestable. Es una aspiración que este nuevo instrumento debería ser resultado de un trabajo más consensuado y participativo y para ello la metodología seguida en su reelaboración parte de diferentes etapas que se describen a continuación:

• Primera etapa: Búsqueda de las representaciones que sobre la calidad y el proceso de evaluación de las asignaturas poseía el profesorado

• Segunda etapa: Perfeccionar el instrumento y sus indicadores de rendimiento en sesiones de expertos, principalmente de las SUM

• Tercera etapa: Profundizar metodológicamente en los análisis semestrales de las asignaturas, como espacio clave en la reflexión sobre la calidad y su mejora continua.

Representaciones sobre la calidad del claustro

Este estudio se desarrolló en cuatro Sedes Universitarias Municipales: Camajuaní, Ranchuelo, Caibarién y Santa Clara. Para ello se aplicó la técnica de encuestas y entrevistas a una muestra de 92 expertos para conocer sus representaciones sobre el tema de la calidad y el nivel de información sobre este SEFP. De ellos el 50 % fueron profesores o tutores, el 13% directivos y el 37% coordinadores de carrera.

Los resultados de los análisis de esta etapa de la investigación, desglosados por municipios, se ofrecen en la tabla que aparece en el Anexo 1 y como puede apreciarse, el claustro considera:

• Que este sistema contribuye al perfeccionamiento del trabajo metodológico: en una gran medida el 65.2 % de los encuestados y el 34.8 % que lo logra en alguna medida.

• Considera que las principales limitaciones del procedimiento son:

• Refiere que las limitaciones de los instrumentos empleados en estos momentos son:

• Con relacion a las variables que aparecen en los instrumentos, si deben permanecer o no o si sera necesario incluir alguna otra y sobre su importancia, los resultados fueron los siguientes:

Perfeccionamiento del instrumento de evaluación y sus indicadores

En esta Segunda Etapa se realizaron seminarios para explicitar las intenciones de este proyecto y clarificar conceptos alrededor de sus bases y principios rectores y a continuación se desarrollaron talleres para lograr consensuar las variables e indicadores que caracterizan la calidad de una asignatura.

En los talleres los profesores se pronunciaron con respecto a los criterios de medida en primer lugar y con respecto al mejor espacio para debatir estos resultados una vez culminado el proceso de auto evaluación.

Algunos de los aspectos más debatidos y comunes en las diferentes SUM fueron.

• Con respecto a los indicadores, en la variable Documentación se cuestionaban si debía incluirse o no el P-1 y el Programa Analítico ya que no son documentos que elabore el profesor sino que le vienen dados por el profesor principal de la sede central, se consensuó que son realmente documentos que definen la calidad de la asignatura y que además es la vía para llamar la atención sobre la necesidad de perfeccionarlos cuando se requiera.

• Otro aspecto fuertemente polémico en esta variable es que algunos no consideraban necesario establecer como indicadores por separado la Guía Formativa y el Plan de Clase pues hay una tendencia a plantear que el Plan de Clase en esta modalidad es la Guía Formativa. Después de un fuerte debate muy beneficioso se llegó a discernir que ambos son documentos importantísimos para la calidad de la asignatura.

• Se planteó la necesidad de considerar en la variable Recursos la categoría docente de instructor pues es la que caracteriza fundamentalmente al claustro de este modelo.

• En cuanto a los Resultados se considera que el Porcentaje de progreso debe ser medido contra matricula responsable.

• Otro aspecto muy debatido en el Proceso fue la evaluación ya que existen algunas insatisfacciones con relación a la forma de realizar en algunas asignaturas el examen final y en ocasiones se percibe que el profesor siente que no puede ser consecuente con una evaluación que refleje todo el comportamiento del estudiante durante el semestre, se logra un debate muy esclarecedor alrededor de la misma como parte fundamental del proceso y como un medio y no un fin.

• Un aspecto que llevó un análisis profundo es el momento para realizar el análisis colectivo de los resultados ya que algunos consideran que en el colectivo de asignatura es el primer momento pero este espacio se ve muy limitado en los talleres por lo que hay que tratar de que se logre en la recalificación de la primera convocatoria y esto esta limitado por la fragmentación de los colectivos en los tribunales territoriales. Se considera que por ello es imprescindible analizarlos en los colectivos de carrera donde se pueden establecer los criterios oportunos del colectivo para impulsar metas de calidad superiores y que estén a tono con las estrategias metodológicas de cada carrera.

En el Anexo 2 se muestran las variables e indicadores del nuevo instrumento que se diseñó, en el que se hace énfasis principalmente en variables de proceso que propician un campo abierto a la discusión en el seno de los Colectivos de Asignatura y que además puede servir de guía a los profesores de menos experiencia en cuanto a no olvidar cada uno de los aspectos que deben tener presente en su asignatura para trabajar en función de lograr los mayores niveles de calidad.

Estas autoevaluaciones realizadas por cada profesor de la SUM donde se imparta la asignatura deben ser valoradas por el colectivo de asignatura en el momento de la calificación participativa que se realiza al finalizar cada semestre. Este debate es dirigido por el profesor designado como presidente de este tribunal en cada territorio. Finalmente será objeto de análisis colectivo en el primer taller que se desarrolle en el próximo semestre en que esta asignatura se vaya a impartir, después de ser analizada y sometida al juicio externo del profesor principal en la sede central, para – tomando en consideración los aspectos logrados y las dificultades detectadas – trazar el plan de desarrollo metodológico de la misma.

Los análisis semestrales

En la ultima etapa, en consecuencia con el método de evaluación que sustenta el SEFP, que complementa la autoevaluación con un proceso de evaluación externa, y con el propósito de estudiar si este nuevo instrumento permite realizar ese análisis semestral con mayor objetividad y logra implicar mas a los colectivos de carrera en el análisis colectivo de los resultados para que tracen estrategias de trabajo metodológico más precisas y que lleven a un mayor y mejor desempeño del trabajo docente educativo, se dispuso, después de emplear los instrumentos de manera experimental en las 4 SUM antes citadas, participar en las reuniones de colectivos pedagógicos donde se realizaron análisis colectivos de las autoevaluaciones de las diferentes asignaturas impartidas en ese semestre y donde gracias a la aplicación de la técnica de observación participante se recogieron valiosas informaciones que han servido de base para rediseñar los instrumentos presentados como resultado de este trabajo y que se aplicaron de forma ya generalizada en todas las asignaturas de el Segundo Semestre del curso 2006-07.

Se confeccionó una guía para que cada investigador, en esa técnica de observación participante, valorara con más énfasis algunos aspectos, sin que esta fuera una guía rígida sino que solo se pretendía uniformar las observaciones y extraer criterios conclusivos. Algunos de los aspectos recomendados a observar son los siguientes:

• Clima en que se desarrollaba el análisis.

• Si el colectivo que preside el análisis tiene una clara posición metodologica.

• Como cada docente hace la exposición de sus logros y dificultades.

• Las oposiciones de cada autoevaluación presentada.

• La defensa que realiza el expositor.

• Si el análisis se mueve alrededor de lo que se debe perfeccionar y no en una autocomplacencia de lo realizado.

• Si se pronuncian sobre el cambio de algún indicador o criterio evaluativo.

• Si se promueve la inclusión de nuevos indicadores o dimensiones.

• El papel que juega el jefe del colectivo en la dirección de este análisis.

• Como se conceptualiza cada criterio de evaluación en general por el colectivo.

• Plan de medidas acordado en función de las tendencias predominantes en el colectivo.

Se pudo constatar que:

• Se ha incrementado la cultura del claustro alrededor del tema.

• Agradecen la capacitación realizada. El instrumento lo estaban aplicando como algo impuesto.

• Todavía se requieren mas acciones para capacitar en el plano pedagógico a los profesores que por otra parte se sienten comprometidos con este modelo.

• Se reconoce que solo un análisis colectivo de las autoevaluaciones permite una valoración objetiva sobre los aspectos a perfeccionar.

• Es posible lograr un plan de desarrollo metodológico mas preciso una vez que detectamos los puntos flacos del proceso.

• En ocasiones los profesores y los colectivos se autocomplacen con sus resultados y esto no les permite avanzar más hacia un perfeccionamiento del proceso.

• Debe ganarse aun más en espacios colectivos para el debate y esto a veces esta limitado por las condiciones en que se desarrolla este modelo.

• El papel del profesor principal de asignaturas de la sede central debe ser más protagónico en este proceso de análisis.

• Aun existe la tendencia a buscar las causas de la menor calidad en problemas materiales y de recursos y no en deficiente trabajo metodológico de la asignatura.

Conclusiones

• 1. Se demostró que la labor desarrollada en estos cursos ha creado cultura en el claustro en el tema de la calidad del proceso de formación del profesional y se logra que el proceso de análisis semestral se desarrolle más conscientemente por lo que es más efectivo. Este proceso se fortaleció con las sesiones de trabajo realizadas como parte de esta investigación.

• 2. Se diseñó un nuevo instrumento para la autoevaluación de las asignaturas en las SUM que se adapta mas a las características del modelo pedagógico que se desarrolla en las mismas, que es mas compartido por la comunidad universitaria, que contempla una mayor cantidad de criterios evaluativos pero que es más factible de calificar y que además sirve como guía para el profesor en su preparación metodológica.

• 3. Se reconoce por el claustro la importancia del Análisis colectivo de los resultados y la necesidad de ganar más espacios para el debate sobre el trabajo metodológico.

• 4. Aun no hay una clara disposición a adecuar los instrumentos en cada colectivo para que este permita una valoración mas objetiva acorde a las características particulares de las asignaturas y se convierta en un impulsor de nuevas metas en los niveles de calidad

Bibliografía

1. De Miguel M. "La calidad de la educación y las variables de proceso y de producto". Calidad de Vida en los centros educativos. UNED.- Asturias, 1994.

• 2. Hernández Santana, J. J. "Sistema de Evaluación de la Formación del Profesional, una guía para el mejoramiento continuo de la calidad", Revista Educación Superior. La Habana, Cuba. 1999

• 3. Hernández, J. J. y Álvarez, I. "Evaluación del sistema educativo y calidad de la educación. Experiencia en una universidad cubana".- 1er Simposio Iberoamericano de Didáctica Universitaria, España, 2000.

• 4. Hernández, J. J. y M. Martínez: "La evaluación de la calidad del proceso formativo en las Sedes Universitarias Municipales. Ideas rectoras". 4ta Convención Internacional de Educación Superior, Universidad 2004, La Habana, Cuba.

• 5. Hernández, J. J. y M. Martínez: "Evaluación y Acreditación. Experiencia de aplicación en las Sedes Universitarias", La Nueva Universidad Cubana y su contribución a la universalización del conocimiento, Colectivo de autores, Editorial Félix Varela, la Habana 2006, Págs.159-171.

• 6. UNESCO. "Documento de política para el cambio y el desarrollo en la Educación Superior". París. 1995.

• 7. UNESCO. "La Educación Superior en el siglo XXI: Visión y Acción. Conferencia Mundial sobre la Educación Superior". UNESCO, París, 1998.

Anexo

ANEXO 1. RESULTADOS DE LAS ENCUESTAS A LOS EXPERTOS EN LAS SUM

ANEXO 2. GUÍA DE AUTOEVALUACIÓN DE LAS ASIGNATURAS SUM

VARIABLE 1 : DOCUMENTACION ( 15)

VARIABLE 2: PROCESO (35)

VARIABLE 3: RECURSOS ( 15)

VARIABLE 4: RESULTADOS (35)

La asignatura será evaluada sumando la puntuación obtenida en las diferentes variables y llevando esto, según la escala siguiente, a una valoración cualitativa:

• De 90 a 100 puntos ______________EXCELENTE

• De 75 a 89 puntos_______________ BIEN

• De 60 a 74 puntos_______________ REGULAR

• Menos de 60 puntos_____________ MAL

Autor:

Juan José Hernández Santana1,

Marta Martínez Rodríguez2,

Carmen Danta Iglesias3,

Pedro Pérez Martínez4,

Carlos Alberto Hernández Medina5.

Yaquelín Fumero Digat6.

Universidad Central "Martha Abreu" de Las Villas. CUBA.

1. Vicerrector de Universalización.

2. Profesora de la UCLV.

3. Directora del CUM Caibarién.

4. Director del CUM Ranchuelos.

5. Subdirector de Investigación y Postgrado. CUM Camajuaní.

6. Profesora de la UCLV.