Indice1. Heterologación: Indicador obligado en una evaluación 2. Indicadores de heterologación 3. Cultura universitaria 4. ¿Cómo "evaluar" el éxito de la "evaluación"? 5. Conclusiones 6. Bibliografía
1. Heterologación: Indicador obligado en una evaluación
Se hace necesario diseñar un mecanismo de evaluación, el cual no puede responder a criterios efectistas o sólo de obtención de "producto", por lo que la evaluación a presentar debe ser mixta: contemplar aspectos de eficacia y eficiencia. Heterologación Este concepto está asociado a la calidad, a la reforma universitaria. Por otra parte, el tema de la heterologación que está asociado al tema de la calidad, ha dividido a la comunidad universitaria. Una idea de propósitos revolucionarios que conduce a estimular la competencia académica en cada uno de sus miembros, tuvo un mal comienzo en su exposición desde las esferas oficiales. De allí vino enredada en un discurso que exigía, por una parte, la evaluación institucional de las universidades, y por la otra, presumía atar el salario social y las deudas acumuladas que tiene el Ejecutivo con los profesores, a la aceptación de aquella propuesta. Pésima estrategia. Los que desde las universidades apoyan la idea en su verdadera finalidad, quedan aislados y sin audiencia. La evolución institucional es hoy un proceso en marcha en las mayorías de las universidades autónomas y que el proceso tendía a acelerarse en la medida que las fuerzas conservadoras cediesen. Tarde o temprano las universidades aceptarán la exigencia democrática que significa darle acceso tanto al estado como a la sociedad, para que participen en la evaluación de resultados y en la manera como se gastan los recursos que se asignan. Es equivocado confundir el salario social de un profesor universitario, que en la última década se había deteriorado en más de cincuenta por ciento, y que por lo tanto era justo recuperar parte del salario real perdido, con el valor agregado que significaba la aplicación de la heterologación. Suponer un modelo de profesor universitario que debía dedicarse a preparar resultados parciales de investigación cada mes, para así acumular méritos académicos y poder pagar la mensualidad del apartamento y hacer un mercado con dignidad, era a todas luces una idea descabellada. Por esa vía, lo que tendríamos como sistemas de evaluación institucionalizada en todas las universidades, sería algo semejante a los penosos premios de dudosa objetividad que hoy se entregan en actos deprimentes; y como telón del fondo, a una mayoría de universitarios corriendo tras cualquier papel que fuese capaz de simular una obra o resultado académico y poder engañar así a los baremos que ilusoriamente miden la excelencia académica. Afortunadamente, la idea de la evaluación académica se mantiene y probablemente será un asunto de reiniciar el debate acerca de la verdadera calidad que hoy ofrecen las universidades venezolanas.
Panorámica de la Universidad venezolana La universidad pública no ha estado al margen de la carencia de autocrítica de nuestras organizaciones (2). Tradicionalmente el flanco de la crítica ha sido una institución o situación exógena. Si la autoestima nacional no parece haber estado en buen lugar, la representación de la propia organización siempre ha sido elevada. Curiosa paradoja, porque es en la cultura organizacional en donde hemos fallado en alto grado. Un chantaje común es el que han establecido ciertos sectores universitarios al clasificar como enemigos a todos aquellos que cuestionan el funcionamiento de las academias públicas venezolanas. La dicotomía se establecería entre unos supuestos amigos del actual statu quo, y los enemigos, identificados con la crítica al "desorden" actual. Los primeros, suelen propulsar discursivamente cambios macrosociales, pero en la esfera institucional actúan como la reacción romántica conservadora durante la Revolución Francesa. Según los supuestos amigos de la universidad, los enemigos de la academia serían aquellos que pugnan por la meritocracia y la heterologación; los que quieren que, simplemente, las casas de estudio se rijan por criterios más académicos. Los enemigos de la universidad serían aquellos que critican la homologación, es decir, los ajustes salariales que nunca llegan a satisfacer a los numerosos profesores meritorios y que premian la irresponsabilidad de los improductivos, y sobre todo, de una cantidad desmesurada de empleados, en algunos casos ineficientes, subcualificados y de escaso o nulo rendimiento. Los enemigos de la universidad serían aquellos que hablan de su irracionalidad administrativa y que exigen una especie de constituyente interna que redefina las reglas de juego. La reglamentación universitaria parecería estar creada para obstruir su funcionamiento, obturar su vinculación con el sector productivo y la generación de recursos propios. Este problema no es propio de las universidades nacionales, en otros países existen iniciativas serias de reforma (Niklasson, 1998) basadas en mecanismos de seguimientoy autoevaluación de cada institución, pero estimulados a través de un ente central. Los supuestos amigos de la universidad son aquellos reacios al cambio, defensores del ominoso gremialismo tradicional. Estos señores son los que han aprovechado "sus" cargos para editar sus propios libros y adquirir notoriedad pública a través de los medios. Cada vez más las universidades que se dicen democráticas y populares, lo son menos. Una universidad será verdaderamente democrática y popular en la medida que los otros niveles del sistema educativo lo sean. Las universidades no pueden garantizar el acceso a los hijos de la mayoría pobre (3) porque éstos entran con desigualdad de oportunidades en el sistema educativo. El propio sistema educativo que se autodefine como democrático, ya no lo es tanto. Una inmensa mayoría de jóvenes están excluidos de la educación. Unos, porque estando adentro se tienen que ir, y otros, porque nunca pudieron entrar. Cada vez más las universidades públicas se convierten en instituciones para una minoría privilegiada. ¿Qué se persigue? Mejorar la calidad, optimizar recursos, que el sistema tenga un funcionamiento mixto, continuar saliendo del paso cada vez que se discute asignación de recursos.
¿Productividad=Producción? La propuesta de un mecanismo de evaluación pudiera integrarse a la necesidad que se manifiesta en el ámbito universitario sobre si vale la pena plantear si no es necesario integrar de una vez por todas la variedad de programas de reconocimiento académico, de manera que los profesores no tengan que vivir permanentemente aplicando en distintos premios, para mejorar sus ingresos. Héctor Navarro Díaz, coordinador de Postgrados de la UCV planteó (El Nacional, 1.999)"¿El sistema de Promoción al Investigador ha servido para los fines de potenciar la investigación en Venezuela o ha servido para tener una mayor productividad en el término de publicaciones en el Science Citation Index? Pudiéramos estar en presencia del efecto de microtomos o de rebanadora, con el mismo proyecto; en vez de publicar uno, publicamos tres, porque eso deja más puntos. Navarro indicó que era el momento de introducir algunos elementos que permitan potenciar y jerarquizar la carrera académica, centrar la investigación como elemento fundamental, "porque debe ser la formación el elemento eje de esa carrera". Otro profesor ligado al medio, Walter Bishop, destaca que con el Premio de Reconocimiento Académico se demostró que existen muchos profesores que pueden integrar muy bien la docencia, con la investigación y la extensión, "pero la multiplicación de programas de evaluación manifiesta nuestro subdesarrollo. Debemos crear una cultura de la evaluación del profesor, pero aspiramos a que todos estos premios desaparezcan lo antes posible y podamos diseñar una carrera académica bien evaluada y remunerada".
El profesorado: cómo urge implantar un mecanismo de retribución de esfuerzos ¿Cómo compatibilizar mecanismos a la altura de otros países, si existen trabas estructurales? Nuestro país necesita un profesorado con salarios decentes, tres o cuatro veces superiores a los actuales. Nuestra nación requiere la dignificación de la actividad de la investigación. La universidad venezolana precisa mayores recursos pero con la exigencia de que se reestructure y aprenda a gerenciar dichos aportes. Asignarle fondos sin exigirle informes de gestión y una profunda reestructuración sería corruptocrático, para utilizar un término harto ilustrativo, además que la colectividad tiene qué saber cómo se maneja esa cantidad de recursos a los cuales contribuye mediante el pago de impuestos. En la universidad hay instructores, nivel más bajo del escalafón; con postgrados en universidades nacionales y extranjeras de reconocido prestigio, y profesores en las categorías más altas en la clasificación, sin postgrados de ningún tipo. Por otra parte, existen eternos contratados, cuya situación se explica por su disociación de las clientelas que podrían "mover" la apertura de sus respectivos concursos. Así mismo, como en la peor dependencia ministerial en virtual proceso de eliminación. Ya basta del chantaje que establece la falsa dicotomía entre los supuestos amigos y enemigos de la universidad. Entre los supuestos amigos hay amigos verdaderos, entre los supuestos enemigos hay verdaderos enemigos. La esperanza que abrigo es que el gobierno entrante se cuente entre los amigos leales. El cambio universitario, a tono con el contexto sociológico nacional, será radical o no será.
2. Indicadores de heterologación
Se quiere obtener una medida cuantitativa revisable periódicamente que refleje la efectividad del profesor enmarcada en su papel personal, en los procesos de la universidad a la que pertenece (dándole cabida aquí a las diferencias de cada universidad), en la triple misión de la Universidad como institución, en la eficiencia o diversidad de financiamiento que se observara, en el aprovechamiento del esfuerzo intelectual para proveer soluciones a problemática o empresas nacionales y en la optimización o mejora del sistema de reconocimiento de méritos. Como se aprecia, la disparidad de criterios que puede existir en cada uno de estos presupuestos es abismal y proponer una medición cuantitativa del fenómeno es un ejercicio extenso en tiempo. En este trabajo se presentan aspectos que intentan tímidamente mostrar no la medición efectiva e indiscutible de un mecanismo de heterologación en sí, sino más bien cómo sería la evaluación de su implementación en caso de que existiera un conjunto de indicadores de base, factible de implementar. Dando continuidad a esta idea se plantea estudiar el comportamiento de las universidades públicas respecto a este concepto, incluyendo en la metodología de análisis propuesta los aspectos mostrados en la tabla 1.
- Número de publicaciones
- Calidad de publicaciones: cuantificables mediante una escala numérica
- Cantidad de trabajos de grado supervisados.
- Resultados de evaluaciones estudiantiles
- Uso de recursos pedagógicos en la enseñanza
- Resultados de adquisición de conocimiento de estudiantes extranjeros que por intercambio reciban clase con el profesor.
- Número de soluciones aportado a la comunidad
- Número de tecnologías utilizadas por el sector comercial o productivo.
Tabla 1: Indicadores de base para evaluar el mecanismo de heterologación
¿Dónde entran las universidades privadas? Las universidades privadas venezolanas están concebidas más que a prestar una función social como una empresa lucrativa para sus dueños, en ellas se realiza un mínimo de actividades académicas para llenar la forma exigida legalmente como requisito de funcionamiento. En el esquema actual no tiene sentido integrarla a formar parte de la implementación de evaluaciones sino más bien invitarlas a que se acojan a los lineamientos definidos en una eventual política uniformizante de calidad, sólo con el objeto de nivelar la disparidad en la formación de profesionales. En estos centros superiores es cierto que hay recurso humano valioso, pero la creencia entre ellos de que son más eficientes sólo serviría para crear un sesgo desviador al diseñar una estrategia evaluativa, ya que se estaría focalizando sólo el aspecto de la eficiencia y a la optimización de los procesos, más no se analizaría el valioso aspecto de diseñar un mecanismo eficaz de evaluación.
¿Centralización supervisora del funcionamiento? La prensa venezolana informó que será eliminado un ente creado para poner en marcha actividades que promovieran la elevación de la calidad académica de los institutos de educación superior. Estos entes desvían sus objetivos en la práctica, por lo que sería más deseable que se internalizara la necesidad o cultura de autocrítica y parejo a esta idea los intentos de evaluación nacieran de cada institución en sí. Dada la vigencia del tema, este es el momento para replantear la necesidad de integrar la variedad de premios que reconocen los méritos de los profesores universitarios para crear una verdadera carrera académica bien evaluada y remunerada.
Cada universidad tiene rasgos particulares que le son propios. Es necesario tomar en cuenta este aspecto no sólo al diseñar instrumentos evaluativos, es importante cómo se revierte o interactúa con la comunidad aplicaciones de este aspecto. La idea de premiar, con evaluación externa, el desempeño de los profesores universitarios en docencia, investigación y extensión, nació de un grupo de docentes de la Universidad de Los Andes, quienes propusieron crear un Sistema Nacional de Reconocimiento Académico a partir de otras experiencias que existen en el país: el Programa de Estímulo al Investigador -que también nació en el Centro de Desarrollo Científico, Humanístico y Tecnológico de la ULA y se ha extendido a otras universidades-; el Sistema de Promoción al Investigador, y el Premio de Beneficio Académico.
Autofinanciamiento, recursos propios ¿cómo hacerlo? La Universidad pública venezolana se financia por aportes del Ejecutivo y generación de recursos propios. El interés de aportar recursos por parte del BID a la reforma de la universidad venezolana serviría como estímulo a querer implementar fórmulas cohesionadoras, por ello el momento actual es favorable para elaborar políticas coherentes en cuanto a la unificación de parámetros evaluativos, no sólo a nivel de medición de uso de recursos, sino e establecimiento de comparaciones.
4. ¿Cómo "evaluar" el éxito de la "evaluación"?
Se propone conformar dos grupos: un grupo control constituido por dos universidades "afines" entre sí; y un grupo experimental conformado por otras dos universidades. La parte experimental se llevaría adelante implementando un modelo de evaluación (que contemple la parte de heterologación medida a travésde indicadores) y; mediante series de tiempo con intervalos de tiempo breves, por ejemplo un mes en cada paso, analizar y contrastar los resultados. A su vez, estos resultados se compararían con los del grupo control a objeto de establecer si los resultados obtenidos son debidos a los aspectos que el programa presenta, o a circunstancias comunes a ambos grupos y externas (por ejemplo, la mencionada ayuda proveniente del BID). Esta estrategia cuasi-experimental descrita abreviaría su fase de implantación o de prueba si se combinara el diseño de series de tiempo con un análisis predictivo haciendo unos para ello de simulaciones basadas en la teoría de juegos (Roth, 1.998) y aplicándola a los pares de universidades escogidos en cada aspecto de los indicadores sobre heterologación a tomar en consideración, puede generarse una "conducta probable" en el corto plazo. Si esta "conducta probable" es desfavorable, la detección anticipada generaría disposición a establecer correctivos que se irían implementando en cada término de intervalo o paso en que se muestrean los resultados de la serie de tiempo.
Reglas de juego: Condición Inicial Paso 1: Establecer un peso (p.e. un número del 1 al 10) para cada universidad en cada renglón de indicadores mostrado en la Tabla 1. 1 = más desfavorable. Paso 2: Comenzar para t = 0 implementar in indicador En t=1 adicionar otro indicador. Tomar los datos del grupo control y experimental para diagnosticar los pesos actuales de cada universidad en los indicadores. Ver cómo se modifican los anteriores. Paso 3: En t = 2 adicionar otro indicador. Repetir hasta incluir todos los indicadores. Este trabajo presenta 8 de ellos. Paso 4: Intentar predecir comportamiento. La data anterior puede usarse antes de avanzar en el paso de tiempo, mediante una fórmula heurística, por ejemplo: Peso (Indicador I, Universidad J), n+1= å Factor(n)*Peso (Indicador I, Universidad J), nEste elemento "Peso" es un número del 1 al 10 y muestra la disposición para el próximo paso (antes de que la serie de tiempo lo muestre) del indicador respectivo. Paso 5 Actualización y recálculo de la variable Factor(n) para cada universidad e indicador. Paso 6: Avanzar un intervalo de tiempo "t" (un nuevo punto en la serie de tiempo). Paso 7: Ir al paso 5. Tabla 2: Algoritmo de serie de tiempo – y cálculo de predicción para cada indicador mostrado en la tabla 1.
En la tabla 2 se presentan los pasos a ser implementables en un programa para computadora, donde se desea tomar decisiones que aumenten la aceptación de cada indicador conformante del concepto de heterologación. Dentro de otra variable llamada "Factor" se recoge la cultura propia de cada universidad referente a ese indicador en particular. Debe notarse que se tienen dos etapas de simulación: una de adquisición progresiva de datos y otra de generación de resultados en sí.
Los gremios juegan un papel como órgano de presión, son un ente con poder, aunque no sean protagonistas formales. Estos ejercen la defensa de sus intereses, sean personales o partidistas. Según artículos publicados por El Nacional en 1.997 (1), se aprecia que sólo se ha atacado coyunturalmente el problema. El definir e implementar cómo funcionaría el esquema de remuneración basado en rendimiento individual e institucional y sus correctivos repercutirá en una disposición a definir los objetivos y metas de la institución universitaria y otros problemas de fondo: los miembros del cuerpo académico trabajarían en investigar y proponer soluciones y este esfuerzo se recompensaría en un reconocimiento individual, que por el mecanismo de heterologación le beneficia. Es decir, se forma una realimentación positiva. Sería ventajoso que la conformación de una propuesta de evaluación comenzara por este aspecto. El tener intervalos cortos de evaluación para una implementación tan polémica como un mecanismo de evaluación en este medio sugiere la adopción de una estrategia mixta como un modelo decisional: se plantean algunos cursos de acción alternativos de los cuales se escoge el mejor cada ez para maximizar los beneficios (enfoque de la racionalidad comprensiva) y se ataca repetidas veces el problema, para cada avance del paso de tiempo en la serie.
1. Los Compromisos del Ejecutivo. El Nacional, Caracas, 5 de abril de 1.997 2. Carlos Colina. Opinión. Amigos y enemigos de la Universidad. EL NACIONAL – JUEVES 21 DE ENERO DE 1999 3. Alirio R. Martínez OPINION La cuestión universitaria. Reforma democrática y calidad. EL NACIONAL – DOMINGO 7 DE MARZO DE 1999 4. EDUCACION Desaparece la comisión de la discordia. El Nacional, 25 de Enero de 1.999. 5. Niklasson, Lars.A Cultural Revolution in the Universities. Evaluation Magazine. SAGE. London, 1.998. 6. Alvin E. Roth. "Predicting how people play games: reinforcement learning in a experimental game with unique, mixed strategy equilibria". American Economic Review, Sept 1998 v88 n4 p848(34)
Resumen Se presenta un marco dentro del cual poder situar un mecanismo de evaluación orientado a medir la calidad de funcionamiento de las universidades venezolanas, teniendo en cuenta la misión de éstas, su triple papel: docencia, investigación y extensión. No se presenta el diseño de la evaluación sino un subconjunto de parámetros relacionados con la heterologación. Se toma en cuenta la tradición por la cual alguna universidad interviniente quisiera estuviera contenida en un mecanismo evaluativo: se presentan indicadores cuantificables de estos conceptos. Se hace uso de una variante relacionada con la teoría de juegos aplicada a nivel de cuatro universidades públicas nacionales a objeto de simular el comportamiento de aceptación o rechazo de una eventual evaluación haciendo uso de los indicadores de heterologación propuestos. Este comportamiento se obtiene mediante el diseño de una serie de tiempo cuyo avance es de un mes.
Autor:
José Pedro Barrán