Evaluación del impacto de la capacitación de los Programas de Maestría

Introducción

La evaluación del impacto de la capacitación es un tema de gran importancia dentro de las prácticas organizacionales, tanto para las empresas que reciben la capacitación como para las instituciones que la imparten. Sin embargo, cuando se intenta evaluar el resultado de la capacitación, muchas veces faltan elementos o información relevante, o la acción formativa no responde a necesidades sociales y objetivos de desempeño previamente determinados. En otros casos, simplemente se evalúa por medio de la cuantificación de la cantidad de cursos realizados y personas capacitadas.

Conocer los impactos de la formación es un aspecto clave para evaluar la calidad del proceso formativo y mejorarla. La evaluación de la formación es una tarea difícil, pero enormemente necesaria, ya que sólo evaluando es posible detectar los efectos de las acciones formativas llevadas a cabo, los rendimientos de la inversión efectuada y tomar decisiones para optimizar la calidad de la formación futura.

En este trabajo se presenta una revisión de los métodos mas conocidos para evaluar el impacto de la capacitación y se desarrolla una metodología para evaluar este impacto en un Programa de Maestría de corte profesional.

Marco teórico

Las intervenciones para la formación y el desarrollo de competencias suelen incluir evaluaciones de la satisfacción o del aprendizaje alcanzado. Sin embargo, los resultados y efectos, directos e indirectos, se evalúan con menor frecuencia, aun cuando los responsables de la implementación, las empresas y los propios participantes, están cada vez más interesados en conocerlos.

La evaluación del impacto de la capacitación es un proceso que posibilita el conocimiento de los efectos de un programa formativo en relación con las metas propuestas (eficacia) y los recursos asignados (eficiencia). Tiene como objetivo determinar si un programa produjo los efectos deseados en las personas e instituciones y si esos efectos son atribuibles a la intervención del programa. Por tanto, no es posible valorar el trabajo de capacitación sin evaluar la capacidad de los capacitados, para transformar su aprendizaje en acciones concretas en el entorno laboral (Toral, 2007).

Las acciones de capacitación y el desarrollo de competencias usualmente incluyen evaluaciones de la satisfacción o del aprendizaje alcanzado. Sin embargo, existe tendencia a que los resultados y efectos, directos e indirectos, se evalúan con menor frecuencia, aun cuando los responsables de la implementación, las empresas y los propios participantes, están cada vez más interesados en conocerlos (Billorou, Pacheco y Vargas, 2011).

En el contexto del proceso formativo se tiende a diferenciar entre la evaluación de la calidad del servicio que se brinda y la evaluación del impacto de la capacitación. Por ejemplo, Pineda (2000) define que la evaluación de la capacitación en las organizaciones es una estrategia necesaria para garantizar la calidad de las acciones de capacitación ejecutadas para impulsar el proceso de aprendizaje permanente que exige la dinámica de los entornos actuales. Mientras que, la evaluación del impacto de la capacitación es un tipo concreto de evaluación que permite identificar los efectos reales que la capacitación tiene en la organización y determinar los beneficios que aporta para el logro de los objetivos organizacionales.

La idea que se defiende en este trabajo es que la evaluación del impacto es parte integrante de la evaluación de la calidad de los programas formativos. Esto es así si se reconoce la definición de calidad como el grado en el que un conjunto de características inherentes (en este caso al proceso formativo) cumple con las necesidades o expectativas establecidas por todas las partes interesadas en el desempeño del proceso. En el entorno laboral, el objetivo de la capacitación es dotar a las personas de nuevos conocimientos y destrezas, que puedan ser aplicados en las organizaciones y permitan a las personas adoptar mejores comportamientos y actitudes, desarrollar su carrera profesional y obtener beneficios para la organización. En este sentido, Chiavenato (1992) propone tres criterios para valorar la eficacia de la capacitación:

• Importancia: Se deben dirigir hacia los objetivos más importantes.

• Transferibilidad: Los conocimientos y habilidades ofertadas deben ser aplicables a la situación concreta.

• Alineación sistémica: El sistema de conocimiento y habilidades desarrollado debe y tiene que ser aplicado a todo el sistema.

A un nivel macro, el impacto está asociado con los cambios en la calidad y modo de vida de las personas, de los grupos sociales, de las comunidades a diferentes niveles. El impacto está relacionado, por tanto, con el logro a partir de determinadas acciones, intervenciones, etcétera, del bienestar social, económico, político, ecológico, cultural, etcétera, de una sociedad determinada.

En este sentido se concuerda con autores que plantean que la evaluación de impactos, puede considerarse un caso particular de los procesos de evaluación de la calidad, ya que si bien responde a la lógica general de dicho proceso, evalúa aquellas variables asociadas a los impactos que ponen de manifiesto el logro de las transformaciones esenciales propuestas en la mejora proyectada, por cuanto estas transformaciones, a su vez, contribuyen a la elevación de la calidad en dimensiones específicas de la institución o del proceso en cuestión… Se entiende por evaluación de impacto al proceso dirigido a identificar, predecir, evaluar e informar la correspondencia de los objetivos en el entorno social concreto, con el propósito de valorar el proceso y los resultados alcanzados por los participantes y propiciar la necesaria retroalimentación y las posteriores decisiones que incluye una información detallada sobre el sistema de monitoreo y control a fin de asegurar su cumplimiento y las medidas que deben ser consideradas. Se convierte en una vía para asegurar las necesarias transformaciones, mide el efecto social en los participantes y de sus contextos de actuación a partir del desarrollo de potencialidades personales, profesionales y sociales (Espi, Aruca y Lazo, 2008).

Para Abdala E. (2014) la evaluación de impacto abarca todos los efectos secundarios a la planeación y a la ejecución: específicos y globales, buscados según los objetivos o no, positivos, negativos o neutros directos o indirectos, la sola puesta en marcha del programa puede generar efectos sobre los directamente involucrados hasta la sociedad toda. La sistematización de estas definiciones permitió declarar los aspectos comunes entre ellas, relacionados a continuación.

Más allá de los matices, cabe señalar que la mayoría de las definiciones hacen hincapié en la necesidad de verificar el logro de los objetivos así como en el carácter sistemático, continuo e integral de los procesos de evaluación.

Modelos internacionales

Entre los modelos internacionalmente reconocidos para la evaluación del impacto de la capacitación están los siguientes:

A) Modelo de Donald L. Kirkpatrick (1959)

El modelo está conformado por cuatro niveles:

• 1. Reacción de los participantes ante la formación, es decir, nivel de satisfacción con la formación recibida.

• 2. Aprendizaje realizado por los participantes o nuevas competencias adquiridas gracias a la formación.

• 3. Conducta de los participantes en el puesto de trabajo, es decir, transferencia de los aprendizajes realizados al propio puesto.

• 4. Resultados en la organización, es decir, efectos que la formación genera en las diferentes áreas de la organización.

En este último nivel de evaluación, que se corresponde con lo que comúnmente se denomina como "impacto", Kirkpatrick (1959) sugiere unas pautas que pueden facilitar el proceso:

• Seleccionar rigurosamente el momento de evaluación.

• Utilizar un grupo control, como referente imprescindible.

• Considerar la relación coste-beneficio de la formación.

• Aceptar el indicio ante la imposibilidad de la prueba, sin obsesionarse por su obtención cuando no es viable.

Kirkpatrick adopta un enfoque cualitativo del impacto de la formación y propone concebir la medición de la rentabilidad como un elemento más de evaluación, interesante cuando es viable. Plantea como un error convertir la rentabilidad en la meta última de todo proceso evaluativo, ya que conduciría a una visión reduccionista del impacto de la formación.

B) Modelo de Phillips (1990)

A pesar de estar inspirado por los postulados de Kirkpatrick, este modelo está tiene una visión más cuantitativa de la evaluación del impacto de la capacitación proponiendo una metodología basada en el cálculo del retorno de la inversión (ROI) a la formación como instrumento para medir sus resultados a nivel de rentabilidad exclusivamente. El modelo está conformado por cinco fases:

• 1. Recogida de datos.

• 2. Aislamiento de los efectos de la formación.

• 3. Clasificación de los beneficios en económicos y no económicos.

• 4. Conversión a valores monetarios.

• 5. Cálculo del Retorno de Inversión (ROI).

C) Modelo de Wade (1999)

Concibe la evaluación como la medición del valor que la formación aporta a la organización. El modelo está conformado por cuatro niveles:

• 1. Respuesta: reacción ante la formación y el aprendizaje por parte de los participantes.

• 2. Acción: transferencia de aprendizajes al puesto de trabajo.

• 3. Resultados: efectos de la formación en el negocio, medidos mediante indicadores cuantitativos o duros y cualitativos o blandos.

• 4. Impacto de la formación en la organización, a través del análisis del coste-beneficio.

Este modelo sigue una estructura similar al de Kirkpatrick, pero con una concepción bidimensional de la evaluación del impacto: la evaluación de los resultados que la formación genera en el puesto de trabajo, detectable a través de indicadores cualitativos y económicos, y la evaluación del impacto que la formación genera en la organización, para lo que propone el análisis del coste-beneficio como instrumento de medida.

D) Modelo holístico de Pineda (2000)

Parte del diseño de un plan de evaluación sistemático, riguroso y coherente; su modelo consiste en responder a las cinco interrogantes básicas que afectan a la evaluación de forma integrada, cruzando las respuestas y elaborando un engranaje de estrategias evaluativas que cubren la totalidad del proceso de formación. Los interrogantes son ¿para quién evalúo?, ¿qué evalúo?, ¿quién evalúa?, ¿cuándo evalúo? y ¿cómo evaluar?.

Respecto a los aspectos a evaluar, se definen seis niveles básicos, que se pueden desglosar en subniveles hasta llegar a los elementos específicos siguientes:

Nivel 1: Satisfacción del participante con la formación.

Nivel 2: Logro de los objetivos de aprendizaje por los participantes.

Nivel 3: Coherencia pedagógica del proceso de formación.

Nivel 4: Transferencia de los aprendizajes al puesto de trabajo.

Nivel 5: Impacto de la formación en los objetivos de la organización.

Nivel 6: Rentabilidad de la formación para la organización.

Respecto al momento en que es conveniente evaluar, plantea cuatro momentos básicos:

• 1. Antes de iniciar la formación: evaluación inicial o diagnóstica.

• 2. Durante la formación: evaluación procesual o formativa.

• 3. Al acabar la formación: evaluación final o sumativa.

• 4. Un tiempo después de acabar la formación: evaluación diferida o de transferencia e impacto.

Los instrumentos a utilizar pueden ser múltiples: cuestionarios, entrevistas individuales y grupales, controles finales, actividades y productos de aprendizaje, observaciones sistemáticas, demostraciones, informes de evaluación, indicadores cualitativos y cuantitativos del impacto, etc.

E) Modelo de la OIT/Cinterfor (Billorou, Pacheco y Vargas, 2011)

El Centro Interamericano para el Desarrollo del Conocimiento en la Formación Profesional de la Organización Internacional del Trabajo (OIT/Cinterfor) elaboró una Guía para la Evaluación de Impacto de la Formación la cual propone un modelo propio basado en el trabajo de Donald L. Kirkpatrick y propone cinco niveles en la evaluación de las acciones formativas, con causal y secuencial entre ellos. Estos niveles son:

• 1. Reacción o satisfacción de los participantes: se valora parcialmente el diseño y particularmente el proceso y los recursos utilizados, desde la perspectiva del participante.

• 2. Aprendizaje: se valoran los primeros resultados de la formación que, en muchas ocasiones, constituyen por sí mismos el objetivo principal de las actividades formativas.

• 3. Transferencia o aplicación: valorar los cambios en las competencias de las personas y hasta qué punto esta formación está siendo aplicada en los entornos de trabajo.

• 4. Impacto: valora la relación "causa-efecto" mediante la traducción de los resultados de la formación en impactos.

• 5. Retorno de la inversión (ROI): este nivel implica asignar valores económicos a los impactos para calcular la rentabilidad de la inversión que se realizó para llevar a cabo la formación.

Este modelo está concebido con una visión integral y abarcadora de la formación pudiéndose obtener los impactos en tres categorías que van de lo general a lo particular: impacto en la sociedad, impacto en la empresa e impacto en la persona. Plantea que la evaluación de impacto se basa en el contraste entre la situación de partida y lo que ocurre una vez que la formación ha tenido lugar. Ese contraste busca revelar los cambios que se pueden atribuir a la intervención que se evalúa.

Normativa vigente

En las normas de sistemas de gestión de la calidad (NC-ISO 9001) y gestión integrada del capital humano (NC 3001), también se establece la necesidad de medir el impacto de la capacitación. Específicamente la norma de calidad establece como requisito medir la eficacia de las acciones de capacitación realizadas. La NC 3001:2007 entre los requisitos vinculados a la capacitación y desarrollo, establece que la organización tendrá identificados los indicadores que permiten evaluar el impacto y la eficacia de las diferentes acciones de capacitación y desarrollo que se ejecutan y deberá realizarlas evaluaciones sistemáticas del impacto de dichas acciones. Ambas normativas exigen de la alta dirección compromiso y apoyo para el proceso de formación en las organizaciones, otorgándole a esta actividad una importancia fundamental.

El Decreto Ley 281 Reglamento para la Implantación y Consolidación del Sistema de Dirección y Gestión Empresarial Estatal, en su artículo 262 dedicado a la capacitación, como parte del Sistema de Gestión de la Calidad, reconoce la importancia de la capacitación para asegurar la calidad en todos los procesos. En el conjunto de medidas que se establecen para garantizar la capacitación y entrenamiento de los trabajadores se encuentra la de registrar el impacto alcanzado con el adiestramiento que permita verificar la mejora del desempeño.

La medición del impacto de la capacitación como criterio de calidad de los Programas de Maestría

La Junta de Acreditación Nacional de la República de Cuba (JAN) es una unidad especializada e independiente del resto de las direcciones funcionales del Ministerio de Educación Superior. Funciona con carácter externo, sistémico e integrado a los procesos de evaluación y acreditación. Entre sus funciones la JAN contempla: aprobar las diferentes variables, indicadores y criterios de calidad e instrumentos que han de aplicarse; proponer para su consideración al Consejo de Dirección del Ministerio de Educación Superior, los diferentes Sistemas de Evaluación y Acreditación, Patrones de Calidad y Guías de Evaluación; así como los correspondientes Reglamentos para su puesta en vigor; aprobar las distintas categorías de acreditación como resultado de los procesos de evaluación realizados; y aprobar la bolsa de expertos para los diferentes Comité Técnico Evaluador y Comisiones Evaluadoras.

Los objetivos de la JAN son:

• Promover, organizar, ejecutar y controlar la política de acreditación para la Educación Superior en Cuba.

• Coordinar los diferentes procesos de evaluación institucional en los centros adscritos al Ministerio de Educación Superior.

• Realizar la evaluación y acreditación de todos los programas educativos implementados por las Instituciones de Enseñanza Superior en Cuba.

La JAN en su Sistema de Evaluación y Acreditación de Maestrías establece pautas para determinar la calidad de los Programas y propone un grupo de seis variables de calidad:

• a) Pertinencia social.

• b) Tradición de la institución y colaboración interinstitucional.

• c) Profesores y tutores.

• d) Aseguramiento didáctico, material y administrativo.

• e) Estudiantes.

• f) Currículo.

Por su pertinencia para los objetivos de este trabajo se destacan los aspectos siguientes.

La variable pertinencia social establece que los Programas se orienten al desarrollo socioeconómico sostenible, al fortalecimiento de la identidad cultural de la sociedad cubana, al logro de los objetivos de la formación integral de nuestros profesionales y a la atención de los ideales de justicia y equidad que caracterizan nuestro sistema social. A estos efectos, la variable plantea que el Programa debe prever en su estrategia los impactos que se propone producir, los cuales han de lograrse a través de la influencia en los procesos de transformación y desarrollo sostenible, mediante el efecto producido en el crecimiento espiritual y el desempeño en las funciones sociales de los egresados.

El modelo plantea un grupo de indicadores a medir los cuales describen los aspectos esenciales que permiten evaluar esta variable:

• 1. Si el programa se justifica por necesidades sociales relevantes (actuales y perspectivas).

• 2. Si los resultados de investigación y del trabajo científico metodológico vinculados al programa han influido en los procesos de desarrollo económico y social en los últimos años.

• 3. Si existe efecto del programa en las funciones sociales y satisfacción personal de los egresados:

• 3.1. En su desempeño profesional.

• 3.2. En su producción intelectual.

• 3.3. En su prestigio profesional.

La variable aseguramiento didáctico, material y administrativo establece que el Programa debe contar con el aseguramiento didáctico, material y administrativo, suficiente y pertinente. La capacidad de gestión del Programa se manifiesta en la eficaz planeación, organización, ejecución y control de sus actividades así como en el monitoreo de sus impactos.

Es posible concluir, entonces que la evaluación del impacto de la capacitación está considerado como un elemento estratégico del proceso formativo y el nivel de rigor con que se mide influye decisivamente en la calidad del Programa de Maestría. Por este motivo la JAN se esfuerza en exigir el diseño e implementación de instrumentos adecuados a cada contexto, con la eficacia necesaria para garantizar los resultados óptimos en la evaluación del impacto. Esto se traduce en un definitivo aporte a la calidad del proceso formativo.

Propuesta de instrumento para evaluar el impacto de la capacitación en un Programa de Maestría profesional

La Cátedra de Calidad, Metrología y Normalización de la Universidad de la Habana es un proyecto de colaboración académica y extensión universitaria encaminado a contribuir a la elevación de la cultura de la sociedad cubana en estas temáticas. Entre otras actividades la Cátedra imparte un Programa de Maestría en Gestión de la Calidad y Ambiental y orientado a un amplio perfil de profesionales, que trabajan estos temas en diferentes sectores de la economía, incluidos centros de producción y servicios y centros de investigación e instituciones académicas. Los estudiantes del Programa realizan trabajos de investigación-acción encaminados a la mejora del desempeño de las organizaciones, a partir de la aplicación de los conocimientos adquiridos en el programa e incidiendo en aspectos de la gestión organizacional que no habían sido suficientemente desarrollados en las mismas. Entre las temáticas más abordadas por los maestrantes figuran: la integración de los sistemas de gestión en las organizaciones, el establecimiento de programas de mejora de la calidad en las organizaciones, la calidad y los riesgos, específicamente en la industria farmacéutica y de equipos médicos, y el desempeño ambiental.

Para evaluar el impacto de la formación impartida, en el Programa se establecen los tres niveles que se presentan a continuación:

Nivel 1, Reacción: Mide la percepción de los participantes sobre la capacitación impartida. En este nivel se evalúa la satisfacción de los estudiantes con cada uno de los cursos impartidos en el programa a partir de la aplicación de la encuesta.

Nivel 2, Aprendizaje: Se evalúa si se han alcanzado los objetivos de la capacitación, es decir, si se han desarrollado en los alumnos los conocimientos planificados en el programa. Esta evaluación es realizada directamente por los profesores que imparten los cursos, a través de preguntas en clases, seminarios, trabajos extra clase y exámenes, según los métodos de evaluación planificados en cada curso, siguiendo los procederes establecidos.

Nivel 3, Impacto: Se centra en la forma en que los alumnos han transferido los conocimientos recibidos a su quehacer diario en la organización, cómo los utilizan y cómo la capacitación recibida repercute en su desempeño profesional y en la organización. Esta evaluación es realizada al concluir cada edición del Programa, mediante encuestas a los egresados y sus empleadores.

Para el tercer nivel de impacto es que en este trabajo se propone una nueva metodología de evaluación, basada en la existente con anterioridad en el Programa (Guerra y Meizoso, 2010), pero con significativas mejoras. Los nuevos aspectos incluidos en el instrumento de evaluación recogen variables propuestas por el modelo de la OIT/CINTERFOR y en las encuestas a los egresados y sus empleadores elaboradas por la JAN para la evaluación de la calidad de los programas de maestría, específicamente en los aspectos relacionados con la medición de los impactos.

Como resultado del trabajo fueron mejoradas las herramientas Cuestionario a los Egresados y el Cuestionario a los Directivos de los Egresados. También se incluyeron dos entrevistas como herramientas para complementar la información recabada a través de las encuestas antes mencionadas. Una de las guías de entrevista está diseñada para ser aplicada a los egresados de la maestría y la otra a sus jefes inmediatos. En las Tablas 1 y 2 se resumen las variables evaluadas en las encuestas a los egresados y a los empleadores, respectivamente.

Tabla 1 Variables evaluadas en las encuestas a los egresados

Tabla 2. Variables evaluadas en las encuestas a los directivos

Para las entrevistas a los egresados se empleó la guía se entrevista siguiente:

• 1. ¿En qué medida la formación recibida favoreció el desarrollo de cualidades personales necesarias para el trabajo profesional? ¿Cuáles son esas cualidades a su juicio que se requieren para el trabajo profesional?

• 2. ¿Qué papel jugó la asignatura metodología de la investigación y los seminarios de investigación en la aplicación de los resultados de las investigaciones?

• 3. Recibió algún curso propedéutico ¿Cuáles son sus experiencias?

• 4. ¿Existieron dificultades con la bibliografía y el equipamiento? ¿Cómo se resolvieron? ¿En qué idioma manejaron el acceso a la información existente en la redes en su trabajo de investigación?

• 5. ¿Cuáles fueron las posibilidades reales para el desarrollo de la investigación y escritura del trabajo final?

• 6. ¿Cómo fue su participación en las actividades científicas efectuadas durante el transcurso del programa?

• 7. ¿Cómo valora el sistema de evaluación de la maestría y el desarrollo de las tesis?

• 8. ¿Cómo valora la atención recibida por profesores y tutores?

• 9. ¿Cuáles fueron las principales fortalezas y debilidades de la maestría?

• 10. ¿Cómo valoran su responsabilidad en su formación científica y personal?

• 11. ¿Cuál es su opinión general respecto a la preparación recibida en la maestría?

• 12. ¿Qué opinión tiene del claustro de profesores de la maestría?

• 13. ¿Cómo ha influido la preparación recibida en la maestría en su prestigio como profesional y ante la sociedad?

En el caso de los empleadores las preguntas realizadas en la entrevista fueron:

• 1. ¿En qué medida el egresado posee las competencias generales que caracterizan el trabajo profesional?

• 2. ¿Cómo valora la formación recibida por los graduados?

• 3. ¿Qué dificultades fundamentales han presentado los graduados en su desempeño profesional?

• 4. ¿Cómo valora las cualidades personales del graduado?

• 5. En su opinión ¿qué curso o algún elemento en particular que usted conozca pudiera contribuir a mejorar la formación posgraduada de los egresados de la maestría?

• 6. ¿Considera que la maestría está respondiendo a su encargo social? ¿Por qué?

La metodología desarrollada fue evaluada en su aplicación a los egresados (16 individuos) y sus empleadores (16 individuos) de la cuarta edición del Programa de Maestría en Gestión de la Calidad y Ambiental. Para el conjunto de variables cuyas respuestas se establecieron en una escala de Likert de cinco niveles, haciendo uso del software SPSS se calculó el coeficiente Alpha de Cronbach (a), para medir la fiabilidad de ambos instrumentos. Este coeficiente asume un valor en el intervalo entre 0 y 1 y mientras más cercano esté de 1 entonces la fiabilidad del cuestionario será mejor. Para ambos instrumentos el Alpha de Cronbach se encontró por encima de 0,7 evidenciando la fiabilidad de las encuestas elaboradas.

Las herramientas rediseñadas recogen una mayor cantidad de información, por lo que son más eficaces para valorar el impacto del programa, la calidad intrínseca del proceso formativo y detectar oportunidades de mejora en el mismo.

Los resultados obtenidos en las encuestas mostraron cierta variación en la percepción que tienen los directivos de los egresados con respecto a la percepción de los egresados acerca de algunas de las variables analizadas. Es por ello que, se realizó un contraste de hipótesis sobre las proporciones de satisfacción de los estudiantes y sus directivos. Las hipótesis a contrastar para un nivel de significación de la prueba del 5% fueron las siguientes

H0: no hay diferencias significativas entre las proporciones poblacionales.