Formaci�n continua y pol�ticas p�blicas: la necesidad de un enfoque integral en la gesti�n de la demanda de los ciudadanos
- 1. �Qu� son las necesidades de formaci�n?
- 2. Niveles de detecci�n de necesidades de formaci�n
- 3. C�mo se detectan las necesidades de formaci�n
- 4. Interpretaci�n de la informaci�n
Se me ha requerido fundamentar la necesidad de un enfoque integral en la gesti�n de la demanda de los ciudadanos en materia de Formaci�n Continua. Precisamente, si algo he sacado en claro a partir de mi acercamiento a esta materia, tanto desde mi trabajo de investigaci�n y docencia para FORCEM como desde el ejercicio profesional en empresas privadas, es precisamente que toda iniciativa de intervenci�n social �y ya no exclusivamente lo relacionado con el establecimiento de programas de Formaci�n Continua� debe realizarse desde la adopci�n de una perspectiva integral de dicha intervenci�n. �En qu� consiste una perspectiva integral de intervenci�n social? Creo que, b�sicamente, consiste en alejar el prisma de la espec�fica iniciativa de intervenci�n, tomando en cuenta el "antes" y "despu�s" de la misma y el contexto en que se aplica. Cuando hacemos algo, y sobre todo cuando est� en juego dinero p�blico �y mucho dinero p�blico, como es el caso de la formaci�n continua�, debemos asegurarnos de la pertinencia y la adecuaci�n de ese algo, y tales criterios, pertinencia y adecuaci�n, s�lo son concretables desde la definici�n clara de los fines: lo pertinente y lo adecuado, es evidente, dependen del fin que en cada momento se persiga. Los fines de la Formaci�n Continua son bien conocidos y no voy a repetirlos aqu�, pero s� voy a hacer hincapi� en la necesidad de asegurar la pertinencia y la adecuaci�n de las iniciativas de formaci�n desarrolladas en cada contexto laboral, y esta tarea es previa, simult�nea y tambi�n posterior al proceso formativo en s�. Brevemente, la pertinencia de la formaci�n depende de la necesidad de la misma. Esto parece una perogrullada, pero no siempre se constata en la realidad. Por su parte, la adecuaci�n de la formaci�n est� en funci�n tanto del ajuste entre las herramientas, contenidos y destinatarios de la formaci�n como de la consecuci�n de los fines para los que el acto formativo ha sido llevado a cabo. As� pues, el enfoque integral en la gesti�n de la Formaci�n Continua incorporar� necesariamente un previo proceso de detecci�n de necesidades de formaci�n que en caso de apuntar a tal necesidad llevar� al acto formativo, acto al que deber�n asociarse igualmente procesos de evaluaci�n de la propia formaci�n (herramientas formativas, procedimiento did�ctico, contenidos…), de sus resultados e impacto en el proceso productivo, todo ello de acuerdo a los fines para los que fue dise�ado. En consecuencia, un enfoque integral de la Formaci�n Continua obligar�a a considerar como un todo iniciativas que s�lo de modo puntual se integran de hecho: – Detecci�n de (posibles) necesidades de formaci�n. – Proceso de formaci�n evaluaci�n de la formaci�n. – Evaluaci�n de los resultados y del impacto de la formaci�n. Lo que afirmo no es nada nuevo, ustedes lo saben: en las convocatorias peri�dicas de ayudas econ�micas realizadas desde FORCEM se viene contemplando un cap�tulo, el de "Acciones Complementarias" a la Formaci�n Continua, que incluye entre las iniciativas financiadas precisamente las investigaciones orientadas a la detecci�n de necesidades formativas, a la evaluaci�n de la Formaci�n Continua, dise�o de herramientas formativas e incluso de herramientas de detecci�n de necesidades y de evaluaci�n de la Formaci�n Continua, entre otras. Todo ello en el inter�s de garantizar la pertinencia del gasto en formaci�n y tambi�n su adecuaci�n o eficacia. Es, precisamente, en el marco de una investigaci�n evaluativa de las Acciones Complementarias �"Valoraci�n y an�lisis del impacto de las Acciones Complementarias y de Acompa�amiento a la Formaci�n Continua", encargada por FORCEM a la Fundaci�n Universidad Complutense y desarrollada entre 1999 y 2000� donde comenz� mi vinculaci�n con el tema de la Formaci�n Continua y con FORCEM. Aquel trabajo fue duro pero tremendamente interesante y permiti� constatar, por un lado, que la calidad de las propias Acciones Complementarias era manifiestamente mejorable y, en segundo lugar, que su potencial �plasmado en miles de informes y memorias� no es aprovechado: es decir, de hecho, tales Acciones se desarrollan al margen de los procesos formativos implantados y financiados tambi�n por FORCEM, de modo que la Formaci�n Continua se imparte en muchos casos sin un previo y riguroso proceso de detecci�n de necesidades que justifique su pertinencia y sin una simult�nea y posterior evaluaci�n de la propia formaci�n y de su impacto en el �mbito productivo, evaluaci�n que avale su adecuaci�n. Es decir, creo que ya existe en FORCEM una "concepci�n integral" de la Formaci�n Continua �yo no descubro nada nuevo�, desde el momento en que financia tales acciones complementarias a la formaci�n, pero tal concepci�n no se aplica de hecho y ello redunda en ocasiones en un mal aprovechamiento de los recursos financieros que a dicha formaci�n se destinan. Falta, pues, pasar de la teor�a a la acci�n. Desconozco la mejor forma de dar este paso: a nivel te�rico, detecci�n de necesidades, proceso formativo, evaluaci�n del mismo y de sus consecuencias son fases de un �nico procedimiento, desarrollado de forma sistem�tica y con coherencia interna. Ahora bien, las entidades expertas en formaci�n no suelen serlo en detecci�n de necesidades o en evaluaci�n del impacto productivo, ni viceversa… Por otra parte, tampoco es adecuado, por ejemplo, que una misma agencia eval�e necesidades y se encargue de impartir formaci�n, porque ya imaginamos en qu� sentido se realizar� sistem�ticamente la evaluaci�n de necesidades. Por lo mismo, tampoco la agencia encargada de la formaci�n debe evaluar sus resultados o su impacto… Ciertamente, resulta dif�cil llevar a cabo nuestro desider�tum a la pr�ctica, pero a ustedes les corresponde hacerlo. Lo que aqu� ahora pretendo es abundar en la descripci�n de los procesos de detecci�n de necesidades (o evaluaci�n de las mismas) de formaci�n y de evaluaci�n de la misma, de sus resultados e impacto. Esta descripci�n es fruto de la antes mencionada investigaci�n evaluativa desarrollada para FORCEM1. I. DETECCI�N DE NECESIDADES DE FORMACI�N 1. �QU� SON LAS NECESIDADES DE FORMACI�N? La detecci�n de necesidades de formaci�n se inscribe en el contexto m�s amplio de la investigaci�n sobre posibles v�as de mejora en la competitividad de las empresas. Esta posibilidad de mejora viene dada por el contraste entre el desempe�o real y el desempe�o deseado en la empresa. As�: � Desempe�o deseado-desempe�o real = posibilidad de mejora. Tal posibilidad de mejora puede definirse en dos circunstancias: – Carencias o disfunciones actuales en el proceso de producci�n: posibilidad de mejora definida a partir de est�ndares actuales. – Posibilidad de mayores logros a partir de la introducci�n de futuros cambios en el proceso: posibilidad de mejora definida a partir de est�ndares futuros. En uno y otro caso hay una diferencia salvable entre lo real y lo que hemos definido como deseable, diferencia que determina la posibilidad de mejora. � Una vez que hemos establecido esta posibilidad de mejora, deben analizarse los posibles medios para su consecuci�n. Tales mejoras dentro del proceso productivo pueden derivar de modificaciones en cada uno de los factores de producci�n y tambi�n en su combinaci�n, en concreto de: – Cambios en la organizaci�n del proceso productivo. – Cambios en las herramientas de producci�n (capital f�sico). – Cambios en el trabajo: incremento de la calidad del trabajo o capital humano – conocimientos, habilidades y actitudes. Esto es posible mediante dos v�as: a) Aprendizaje sobre el terreno: en este caso, la formaci�n aparece como subproducto de una acci�n formativa no consciente. b) Formaci�n Continua: la formaci�n es producto de una acci�n intencionada, consciente y planificada. � En la medida de lo posible, ha de haber un estudio econ�mico de estas alternativas para mejorar el desempe�o de la empresa (o industria o sector). � Una vez realizado este estudio y en tanto en cuanto se llegue a la conclusi�n de que la posibilidad de mejora (al menos parcial) depende de cambios en la calidad del trabajo, y de que tales cambios pueden lograrse a trav�s de la Formaci�n Continua, podemos hablar de "necesidades de formaci�n". � Si la formaci�n se orienta a la resoluci�n de un problema o subsanaci�n de carencias en el proceso productivo, hablamos de formaci�n reactiva: formaci�n con prop�sitos reparadores. Si la formaci�n se orienta a la anticipaci�n de (posibles) futuros problemas derivados de la introducci�n de cambios en los sistemas y/o herramientas de producci�n, hablamos de formaci�n proactiva: formaci�n con prop�sitos previsorios. 2. NIVELES DE DETECCI�N DE NECESIDADES DE FORMACI�N La valoraci�n de las necesidades de formaci�n puede llevarse a cabo a diferentes niveles de an�lisis. Los m�s importantes son: – Nivel categorial: la posibilidad de valoraci�n conjunta de (posibles) necesidades de formaci�n se fundamenta en la existencia de funciones, actividades, tareas, normas y medios an�logos en un conjunto de puestos de trabajo (ocupaci�n o profesi�n). Ej.: acomodadores de cine, porteros, ferrallistas… – Nivel de equipo: entendemos "equipo" (taller o departamento) como serie de puestos con divisi�n del trabajo. Esta perspectiva de an�lisis se justifica en el hecho de que existen necesidades de formaci�n vinculadas a la relaci�n entre trabajadores en puestos de trabajo heterog�neos y tambi�n necesidades de formaci�n comunes a los miembros de un grupo �equipo o taller� de trabajo. Ej.: cuadrilla de alba�iles (maestro, gruista), equipo de instalaci�n, oficina bancaria… – Nivel organizacional: entendemos "organizaci�n" como conjunto de equipos de trabajo o de unidades de producci�n que lleva a cabo un proceso con salida al mercado (por ejemplo, compa��a de aviaci�n, agencia de viajes). Este nivel relaciona las necesidades de formaci�n y los sistemas organizativos, algunos de cuyos elementos �t�picamente, la cultura de la empresa� son susceptibles de mejorarse con la formaci�n. – Nivel sectorial: entendemos "sector" como conjunto de organizaciones heterog�neas vinculadas a una misma rama de actividad econ�mica (CNAE). Existen condicionantes que, con car�cter general, influyen sobre todas las organizaciones del sector: innovaciones tecnol�gicas, normativas comunes sobre calidad, medio ambiente y seguridad e higiene, pol�ticas de desarrollo… De hecho, los procesos de detecci�n de necesidades de formaci�n a nivel sectorial suelen ser procesos de detecci�n de necesidades de las diferentes organizaciones del sector. En cualquiera de los casos anteriores es posible abordar el proceso de detecci�n de necesidades de formaci�n a diferentes niveles territoriales: ciudad, comarca, provincia, regi�n, naci�n, internacional…, siendo m�s frecuentes aquellos de �mbito de aplicaci�n menor o igual al nacional y mayor al provincial. Siendo �stos los posibles niveles de an�lisis de las necesidades de formaci�n, nuestro inter�s aqu� se centra en los niveles categorial y sectorial. Desde esta perspectiva, los niveles de equipo y de organizaci�n son s�lo examinados en tanto eslabones necesarios de observaci�n del sector, cuyas unidades de an�lisis, recordemos, son las empresas u organizaciones. 3. C�MO SE DETECTAN LAS NECESIDADES DE FORMACI�N La detecci�n de necesidades de formaci�n se lleva a cabo mediante un proceso de investigaci�n de tipo normativo, es decir, de un an�lisis del desajuste entre la formaci�n disponible y el est�ndar formativo o norma. Como tal proceso de investigaci�n, la detecci�n de necesidades de formaci�n integra las siguientes fases: 3.1. Definici�n del objeto de investigaci�n El objeto de la investigaci�n en este caso es la detecci�n de necesidades de formaci�n. 3.1.1 Justificaci�n de la investigaci�n El proceso de detecci�n de necesidades de formaci�n no se plantea en abstracto; es un proceso motivado por diferentes circunstancias que originan el mencionado desajuste en relaci�n al nivel deseado o est�ndar de desempe�o: – Mejora de un problema grave detectado en el sector de actividad �p. ej., alta tasa de accidentes laborales entre los trabajadores del sector agr�cola� o en la categor�a profesional de que se trate �p. ej., alto porcentaje de multas por infracci�n de tr�fico entre los taxistas�. Es decir, existe un problema actual que se estima solventable, al menos parcialmente mediante la formaci�n (formaci�n reactiva). – Posibilidad de diferentes posibles peque�as mejoras: previo conocimiento del sector de actividad o de la categor�a profesional y de su evoluci�n futura, la formaci�n se plantea como veh�culo de tales posibles mejoras (formaci�n proactiva). 3.2. Recogida de informaci�n En una investigaci�n de tipo normativo, el proceso de recogida de informaci�n integra dos grandes fases: 3.2.1. Fijaci�n de la norma La definici�n de la norma puede ser expl�cita o impl�cita: 3.2.1.1. Norma expl�cita o anterior a la investigaci�n. Esta norma puede provenir de diferentes fuentes: – Disposiciones normativas acerca de los espec�ficos contenidos cualificacionales de cada puesto de trabajo, es decir, perfiles profesionales (de competencia) te�ricos: certificados de profesionalidad del Ministerio de Trabajo y Asuntos Sociales, contenidos de los diferentes convenios laborales… – Disposiciones normativas generales relativas a calidad, seguridad e higiene en el trabajo, nivel de residuos t�xicos vertidos… – Descripciones modelo de un/varios trabajo/s. – Est�ndares recomendados por asociaciones profesionales, comerciales, consultor�as, etc. – Objetivos estrat�gicos (generalmente por �rea y per�odo) establecidos por la directiva. – Planes de desarrollo de una unidad u organizaci�n. – Resultados conseguidos por determinadas organizaciones asumidas como modelo, por las mejores empresas del ramo (empresas "excelentes", l�deres industriales…), est�ndares sectoriales o nacionales (niveles agregados de "buena pr�ctica" en algunas industrias, servicios, etc.). – Investigaciones ad hoc: las investigaciones orientadas a la definici�n de normas son tambi�n objeto de acciones complementarias en FORCEM �establecimiento de perfiles profesionales, evoluci�n de los sectores, etc.�, pero no son investigaciones emp�ricas, sino normativas (criterios de rentabilidad…). La norma es definida por el propio investigador a partir de la definici�n de mejoras posibles, y ello mediante previo an�lisis de la categor�a profesional y/o del sector de actividad de que se trate. En todo caso, previa definici�n del �ptimo de cualificaci�n �de los conocimientos, habilidades y actitudes que precisa cada trabajador�, el investigador pregunta al trabajador si sabe c�mo desempe�ar toda una serie de tareas concretas que implican la posesi�n de tal �ptimo. As� pues, se plantean separadamente los est�ndares y las necesidades de formaci�n. 3.2.1.2. Norma impl�cita o definida en el mismo proceso de la investigaci�n por los informantes en sus respuestas. El investigador no parte de una definici�n previa del nivel �ptimo de cualificaci�n, sino que pretende averiguarlo interrogando sobre el tipo de cualificaci�n necesaria al trabajador ��usted necesitar�a saber sobre "X"?�, al gerente y/o a expertos consultados en calidad conocedores del sector o de la categor�a profesional de que se trate. As�, el �ptimo es definido impl�citamente por el interesado (y/o el experto) a partir de sus propias apreciaciones sobre lo que es necesario. Esto es un proceso de investigaci�n emp�rica en s�: se indaga sobre el �ptimo, que es definido por el usuario o terceros conocedores del tema. En este caso, por tanto, est�ndares y necesidades se definen conjuntamente. 3.2.2. Indagaci�n del nivel real (actual) de cualificaci�n 3.2.2.1. Determinaci�n del tipo de informaci�n requerida El an�lisis de la situaci�n actual se realiza mediante la recogida de informaci�n relativa a tres grandes temas: a) Contenidos espec�ficos de la profesi�n: realizaciones profesionales o funciones y tareas concretas en cada una de ellas, herramientas, materiales, condiciones de trabajo. En este punto se recoge informaci�n acerca del �ptimo de cualificaci�n o norma de referencia para la determinaci�n de las necesidades formativas: en caso de norma expl�cita �perfil cualificacional �ptimo expreso�, el indicador de las necesidades de formaci�n ser� el desajuste entre la misma y la cualificaci�n declarada por el trabajador. En caso de norma impl�cita, el indicador de tales necesidades ser� la demanda de formaci�n en diferentes posibles materias o de distintos cursos formativos. b) Rasgos definitorios de los trabajadores: aspectos relacionados con las competencias disponibles para el ejercicio de la profesi�n, las competencias gen�ricas de la profesi�n. Es posible distinguir entre rasgos objetivos del trabajador y rasgos subjetivos: – Rasgos objetivos: nivel de estudios, experiencia laboral, cursos de formaci�n no reglada realizados, grado de competencia en las tareas del puesto… – Rasgos subjetivos: satisfacci�n en el trabajo, actitud hacia la profesi�n, opini�n sobre el proceso o sobre aspectos concretos del proceso de trabajo… Esta informaci�n permite asociar �an�lisis de la informaci�n� las necesidades detectadas a determinados sujetos con caracter�sticas concretas. Por eso es preferible que el informante en la investigaci�n sea el trabajador (informante directo: ni gerentes ni expertos pueden dar cuenta de los datos personales de aqu�l). c) Contexto: caracter�sticas del sector o profesi�n de que se trate. La informaci�n relativa a la actual estructuraci�n del sector, a la organizaci�n del proceso productivo y los recursos materiales y humanos disponibles en las organizaciones permite, en su contraste con el nivel de cualificaci�n �ptimo previamente definido, la clarificaci�n de los aspectos organizativos a modificar y sus implicaciones concretas en cuanto a perfiles cualificacionales de los trabajadores se refiere. 3.2.2.2. Selecci�n del m�todo de investigaci�n El dise�o de las investigaciones orientadas a la detecci�n de necesidades de formaci�n, dise�o correlacional, esto es, la comparaci�n entre los niveles deseados y reales de formaci�n. 3.2.2.3. Elecci�n de indicadores El tipo de indicador de la variable objeto de estudio �necesidades de formaci�n� depende del car�cter impl�cito o expl�cito de la norma o est�ndar de cualificaci�n definido. Tal como hemos dicho, el referente de la comparaci�n (norma) puede proceder de dos fuentes: – El investigador, que plantea de modo expl�cito la norma. En este caso, el indicador de las necesidades de formaci�n es el desajuste en relaci�n a la norma o est�ndar de cualificaci�n. – El trabajador, que define la norma o est�ndar cualificacional de modo impl�cito al expresar sus demandas de formaci�n (norma = cualificaci�n disponible + demanda formativa). Tales demandas son el indicador de las necesidades de formaci�n. 3.2.2.4. Selecci�n de las t�cnicas de recogida de informaci�n Las t�cnicas de recogida de informaci�n empleadas dependen del tipo de informaci�n buscada. En todo caso, y como regla de aplicaci�n general, la elecci�n de las t�cnicas debe seguir el siguiente orden de preferencias: – T�cnicas de recogida de informaci�n directa: en primer lugar, observaci�n directa o, en su defecto, fuentes documentales elaboradas a partir de tal observaci�n directa. – T�cnicas de recogida de informaci�n indirecta procedente de informantes con conocimiento directo sobre el tema. Ej.: trabajadores y gerentes. – T�cnicas de recogida de informaci�n indirecta procedente de informantes con conocimiento indirecto sobre el tema. Ej.: expertos. – En ning�n caso ha de requerirse informaci�n a sujetos de quienes no cabe esperar conocimiento cierto del tema. 3.3. An�lisis de la informaci�n: comparaci�n entre niveles real y �ptimo de cualificaci�n Integraci�n de la informaci�n recogida sobre el est�ndar y el nivel de cualificaci�n real, de modo que en su contraste se detecten las necesidades de formaci�n (objetivo). Esto se puede hacer de dos maneras: – En los procesos de investigaci�n normativos �el est�ndar cualificacional es predefinido� este proceso de comparaci�n es expl�cito. En este caso podemos hablar de "necesidades normativas". – En los procesos de investigaci�n emp�rica �se indaga sobre el �ptimo de cualificaci�n� las necesidades de formaci�n son formuladas directamente por los interesados (est�ndares cualificacionales impl�citos). En este caso podemos hablar de "necesidades expresadas". 4. Interpretaci�n de la informaci�n Impl�cita o expl�cita, los resultados de la comparaci�n entre niveles de cualificaci�n determinan de hecho las competencias a adquirir o modificar para la consecuci�n del �ptimo fijado. A partir de tales competencias �y tambi�n en funci�n de los recursos disponibles� es que se fijan los objetivos de la formaci�n, en tanto expresi�n operativa de las mismas: los objetivos de formaci�n han de establecerse en t�rminos KSAO (conocimientos, destrezas, habilidades y otras caracter�sticas) o de salidas o producto del proceso formativo. Finalmente, se procede al dise�o del proceso formativo adecuado de acuerdo a tales objetivos de formaci�n y las condiciones del contexto en que se va a implantar, debi�ndose adecuar, adem�s, un sistema de evaluaci�n continua de dicho proceso formativo que atienda tanto a su proceso como a sus resultados. As�, la formaci�n es resultado de un proceso de investigaci�n evaluativa �de necesidades de formaci�n�, pero es susceptible, a su vez, de ser evaluada. Este proceso de evaluaci�n de la formaci�n �de sus resultados, impacto y rentabilidad� es analizado a continuaci�n. II. EVALUACI�N DE LA FORMACI�N 1.1. Definici�n La evaluaci�n de la formaci�n puede definirse como el proceso de investigaci�n emp�rica orientado a la determinaci�n de su valor de acuerdo a los objetivos para los que fue dise�ada. As�, la valoraci�n de la formaci�n se basar� necesariamente en la constataci�n de los cambios operados a ra�z de su adquisici�n, en la comparaci�n entre el antes (medici�n ex antes) y despu�s (medici�n ex post) de la acci�n formativa. La evaluaci�n puede referirse a acciones formativas concretas o bien al conjunto de la Formaci�n Continua recibida, y ello a diferentes niveles de an�lisis, individual o agregado (categor�a profesional, empresa, sector de actividad), y en diferentes �mbitos territoriales (provincial, auton�mico o nacional). 1.2. Qui�n eval�a Cualquiera de los actores implicados en la realizaci�n de la acci�n formativa � sujetos formados, agentes formativos, empresa o entidad que financia la formaci�n – puede evaluarla y, de hecho, la eval�a informalmente. En las evaluaciones formales, y de acuerdo a la posici�n del sujeto evaluador respecto del proceso evaluado, podemos distinguir entre evaluaciones internas y externas: – Evaluaci�n externa: realizada por personal no implicado en el proceso evaluado. – Evaluaci�n interna: realizada por personal implicado �entidad financiadora, organizadora, participantes� en el proceso evaluado. El riesgo de subjetividad en la evaluaci�n es mayor en el segundo caso, en tanto es m�s factible el recurso a criterios sesgados y de aplicaci�n limitada. En toda acci�n formativa pueden evaluarse diferentes aspectos: el dise�o de los programas, su implantaci�n, los resultados o producto, la reacci�n y aprendizaje de los participantes, su transferencia a la organizaci�n, el impacto de la misma y la rentabilidad de la formaci�n. Cada uno de estos posibles objetos define un tipo de evaluaci�n, aunque no existe en la bibliograf�a relativa al tema acuerdo terminol�gico sobre esta tipolog�a. En nuestro caso estamos interesados en la evaluaci�n de la formaci�n una vez realizada la acci�n formativa: es, por tanto, evaluaci�n de los efectos de la formaci�n, sean directos o indirectos, buscados o no buscados, y a nivel individual, categorial (categor�a profesional), departamental, empresarial y sectorial. As� pues, atendemos fundamentalmente a evaluaciones de aprendizaje y transferencia (efectos directos), impacto (efectos indirectos) y rentabilidad. Veamos los rasgos definitorios de cada una de ellas: 2.1. Evaluaci�n del aprendizaje Es evaluaci�n de los conocimientos, habilidades y actitudes adquiridas a ra�z de la participaci�n en la acci�n formativa. Esta evaluaci�n se realiza, como hemos dicho, mediante el contraste entre los conocimientos, habilidades y actitudes antes y despu�s de la acci�n formativa. La medici�n ex post se lleva a cabo inmediatamente despu�s de la acci�n formativa. 2.2. Evaluaci�n de la transferencia Es evaluaci�n del grado de aplicaci�n de lo aprendido �conocimientos, habilidades y actitudes� al puesto de trabajo. En este caso, el aprendizaje es condici�n necesaria pero no suficiente: el entorno organizativo o productivo puede no favorecer la transferencia de lo aprendido. En este caso, la medici�n ex post se realiza alg�n tiempo despu�s (dos a seis meses) de la acci�n formativa: el per�odo concreto depende del tipo de formaci�n y del contexto de aplicaci�n, que definen las posibilidades de transferencia de lo aprendido a la pr�ctica. Tambi�n es aconsejable realizar un seguimiento de la permanencia de la transferencia a partir de su evaluaci�n peri�dica. 2.3. Evaluaci�n del impacto Es evaluaci�n del aumento de la competitividad de las empresas y la mejora de la situaci�n laboral de los trabajadores (efectos deseados indirectos) y, tambi�n, de otros posibles efectos no buscados que pudieran registrarse a consecuencia de la formaci�n tanto entre los participantes en la acci�n formativa como en terceros. En este caso, la transferencia de la formaci�n es condici�n necesaria de su impacto en la organizaci�n, pero, obviamente, no suficiente. Tambi�n en este caso, la medici�n ex post se realiza despu�s de cierto per�odo tras la finalizaci�n de la acci�n formativa: la condici�n necesaria del impacto es la transferencia y �sta no suele ser, como hemos dicho, inmediata. 2.4. Evaluaci�n de la rentabilidad Es evaluaci�n del rendimiento econ�mico de la formaci�n, es decir, de su impacto econ�mico. As�, los efectos indirectos de la formaci�n no susceptibles de medici�n monetaria �efectos "en especie"� son considerados en la evaluaci�n del impacto, mientras la evaluaci�n de la rentabilidad mide los efectos indirectos �tanto para el individuo como para la organizaci�n o sector� s� expresables monetariamente. Aunque la rentabilidad se determina a partir del contraste entre costes y beneficios, la financiaci�n externa de tal formaci�n (procedente, por ejemplo, de FORCEM) recorta o elimina los costes directos de la misma para el trabajador o la empresa, precisamente los �nicos de c�lculo relativamente f�cil. Es por eso que en la evaluaci�n de la rentabilidad nos limitamos a la constataci�n de los beneficios econ�micos de la formaci�n. En consecuencia, la evaluaci�n se orienta a la detecci�n de un cambio consecuencia de la formaci�n: cambio en la cualificaci�n de los individuos (evaluaci�n del aprendizaje y la transferencia), en su situaci�n laboral y en la competitividad de las empresas (evaluaci�n del impacto) o en la situaci�n econ�mica de trabajadores o empresas (evaluaci�n de la rentabilidad). La valoraci�n de tales efectos precisa la medici�n del cambio, el contraste entre el antes y el despu�s de la formaci�n, contraste necesario siempre aunque �como veremos� unas veces expl�cito y otras impl�cito. El proceso de evaluaci�n o investigaci�n de los efectos de la formaci�n se adecua �como el de detecci�n de necesidades de formaci�n: evaluaci�n diagn�stica� al modelo general v�lido para todo proceso de investigaci�n. As�, el proceso integra las siguientes fases: 3.1. Definici�n del objeto de investigaci�n El objeto, como sabemos, depende del tipo de evaluaci�n. Brevemente: – Evaluaci�n del aprendizaje: conocimientos, habilidades y actitudes adquiridos. – Evaluaci�n de la transferencia: aplicaci�n al trabajo de los conocimientos, habilidades y actitudes adquiridos. – Evaluaci�n del impacto: mejora de la competitividad de las empresas y de la situaci�n laboral del trabajador. – Evaluaci�n de rentabilidad: beneficios monetarios derivados de la formaci�n. 3.1.1. Justificaci�n de la investigaci�n Todo proceso evaluativo se justifica en la mejora de la calidad, esto es, de la adecuaci�n de determinada acci�n o programa a los objetivos buscados (eficacia) y de la adecuaci�n de los diferentes componentes del programa o acci�n entre s� (eficiencia). 3.2. Recogida de informaci�n En tanto investigaci�n normativa, la evaluaci�n de la formaci�n integra las siguientes fases: 3.2.1. Fijaci�n de la norma o est�ndar de evaluaci�n Esta norma viene dada por los criterios de valor correspondientes a cada tipo de evaluaci�n, referentes desde los que se va a valorar la acci�n formativa. La determinaci�n de tales criterios de valor puede ser expl�cita o impl�cita: 3.2.1.1. Norma expl�cita o anterior a la evaluaci�n El investigador conoce los contenidos y objetivos de la acci�n formativa y los plantea de modo expl�cito al participante para que eval�e dicha acci�n: – Evaluaci�n del aprendizaje y de la transferencia: la norma viene dada por los contenidos �conocimientos, habilidades y actitudes� de la acci�n formativa, es decir, por los objetivos espec�ficos de la misma. – Evaluaci�n del impacto: en este caso los objetivos finales de la acci�n formativa �mejora de la competitividad de las empresas y de la situaci�n laboral del trabajador� son los criterios de valor m�s utilizados. En la evaluaci�n de los objetivos no buscados los criterios de valor dependen del tipo de efecto de que se trate. – Evaluaci�n de la rentabilidad: se utilizan como norma los objetivos econ�micos de la acci�n formativa, la adecuada relaci�n entre los costes y los beneficios asociados a la formaci�n o a la acci�n formativa evaluada. 3.2.1.2. Norma impl�cita en la evaluaci�n El investigador no define previamente los criterios o est�ndares de evaluaci�n de la acci�n, est�n impl�citos en la valoraci�n del participante. 3.2.2. Indagaci�n de los efectos reales de la formaci�n 3.2.2.1. Determinaci�n del tipo de informaci�n requerida El an�lisis de los efectos reales de la formaci�n precisa de la recogida de informaci�n acerca de tres aspectos: a) Contenidos espec�ficos de la Formaci�n Continua recibida: materia o contenidos, duraci�n, modalidad (presencial-no presencial), entidad responsable de la formaci�n, recursos humanos y materiales utilizados… b) Rasgos definitorios de los sujetos receptores de la Formaci�n Continua: nivel de estudios, ocupaci�n, r�gimen de contrataci�n, posici�n y antig�edad en la empresa, categor�a profesional, empresa (tama�o, sector de actividad…), v�as y motivos de acceso a la formaci�n, valoraci�n de los efectos de la formaci�n recibida… c) Contexto: en caso de que se pretenda evaluar la formaci�n a nivel de sector de actividad, habr� de completarse la informaci�n anterior con datos relativos a dicho sector y a las empresas que lo integran (indicadores de productividad y de costes, planes de formaci�n desarrollados, costes de la formaci�n, beneficios de la formaci�n, receptores de la formaci�n �caracter�sticas laborales�…). 3.2.2.2. Selecci�n del m�todo de investigaci�n Como hemos dicho, la constataci�n de los resultados, el impacto o la rentabilidad es posible desde la comparaci�n entre dos momentos, el anterior y el posterior a la formaci�n. Pues bien, para llevar a cabo esta comparaci�n puede elegirse uno de estos dos dise�os metodol�gicos: a) Dise�o correlacional: se trata de comparar los valores que toman los indicadores relativos al aspecto evaluado antes y despu�s de la formaci�n. Sobre este asunto, hemos de hacer dos precisiones: a.1) La validez de los resultados de la comparaci�n precisa el control de las posibles variables intervinientes, de modo que no se vinculen a la formaci�n efectos derivados de otras variables. a.2) La comparaci�n o contraste puede referirse a norma expl�cita o impl�cita. Puesto que la norma expl�cita est� vinculada a los contenidos concretos de la acci�n formativa evaluada, en las evaluaciones financiadas por FORCEM lo m�s frecuente es que la norma se defina de modo impl�cito: el investigador eval�a acciones cuyo contenido concreto �conocimientos, habilidades y actitudes transmitidas� ignora, de manera que interroga directamente al participante acerca de los posibles efectos registrados en determinados aspectos. As�, el participante valora la acci�n formativa desde el referente �impl�cito� del momento anterior a la misma, sea en cuanto a cualificaci�n previa o en relaci�n a aspectos y condiciones laborales monetarias y no monetarias. b) Dise�o experimental: se comparan los valores de los indicadores antes y despu�s de la acci�n formativa, tanto en el grupo participante en dicha acci�n (grupo experimental) como en otro grupo no participante (grupo de control) pero similar al primero en todas las otras posibles variables condicionantes de los valores de los indicadores elegidos. Este grupo de control puede estar integrado por trabajadores pertenecientes a la misma empresa que los participantes u a otra organizaci�n de caracter�sticas similares. b.1) El control de la validez de los resultados comienza ya el dise�o de la investigaci�n, de modo que es mayor que en el dise�o correlacional. b.2) Norma expl�cita siempre: puesto que en este caso uno de los grupos investigados (grupo de control) no conoce la acci�n formativa, no puede valorarla desde est�ndares impl�citos, as� que tales criterios habr�n de ser planteados de modo expl�cito por el investigador. El dise�o experimental presenta tres modalidades: experimental "puro" (dos grupos exactamente iguales), cuasi-experimental (el grupo de control no es exactamente equivalente al experimental, pero la validez de los resultados se controla mediante la detecci�n de las diferencias -medici�n pretest- entre ambos grupos y su consideraci�n posterior en el an�lisis e interpretaci�n de los mismos) y correlacional (el investigador recoge informaci�n acerca del comportamiento de las variables �dependiente e independiente/s� por separado y establece relaciones entre ellas; en este caso, la validez de los resultados de la comparaci�n precisa el control de las posibles variables intervinientes en tales relaciones, de modo que no se vinculen a la variable independiente efectos derivados de otras variables). En los dos primeros casos, los valores de los indicadores en el grupo experimental son comparados con los del grupo de control antes y despu�s del proceso formativo. 3.2.2.3. Elecci�n de los indicadores Tras la determinaci�n de los criterios de valor o est�ndares de las variables �aprendizaje, transferencia, impacto o rentabilidad� a evaluar, se procede a la elecci�n de los indicadores de las mismas. Presentamos, en este sentido, dos consejos de utilidad general: – Los criterios de evaluaci�n vienen dados por los objetivos de la formaci�n, objetivos finales o espec�ficos. – La evaluaci�n econ�mica ha de ajustar las variaciones monetarias registradas tras la formaci�n, de modo que se neutralice el "efecto precio", es decir, se comparen pesetas constantes y no corrientes (deflactar las cifras). 3.2.2.4. Selecci�n/elaboraci�n de t�cnicas de recogida de datos Las t�cnicas de recogida de informaci�n dependen del tipo de informaci�n buscada: hechos, actitudes u opiniones. La elecci�n de las t�cnicas de recogida de informaci�n debe seguir, tal como dijimos, el siguiente orden de preferencias: – T�cnicas de recogida de informaci�n directa: observaci�n directa o, en su defecto, fuentes documentales elaboradas a partir de la misma. – T�cnicas de recogida de informaci�n indirecta procedente de informantes con conocimiento directo sobre el tema. – T�cnicas de recogida de informaci�n indirecta procedente de expertos (conocimiento indirecto) sobre el tema. – En ning�n caso ha de requerirse informaci�n a sujetos de quienes no cabe esperar conocimiento cierto del tema. As�, por ejemplo, la medici�n de la rentabilidad de la formaci�n a trav�s de la disminuci�n de los costes por reemplazo de productos defectuosos (indicador) habr�a de ser realizada mediante la constataci�n directa del monto de tal disminuci�n y el posterior c�lculo del ahorro monetario para las empresas. En ausencia de comprobaci�n directa, bien podemos conformarnos con la revisi�n de las fuentes documentales de la propia empresa, documentos contables donde haya constancia de tal extremo. Podr�amos, como tercera posible opci�n, preguntar al gerente o al responsable del Departamento de Contabilidad, presumiblemente las personas mejor conocedoras de este asunto. En ning�n caso, sin embargo, es adecuado preguntar al trabajador sobre la rentabilidad de la formaci�n en este sentido, por cuanto ning�n trabajador suele conocer balances econ�micos de la empresa en que trabaja. Siendo �ste el orden de preferencias general, hay que precisar que en las evaluaciones de resultados con dise�os experimentales es indispensable la recogida de informaci�n directa, mientras en los correlacionales no es indispensable porque el est�ndar de comportamiento puede ser impl�cito. 3.3. An�lisis de la informaci�n: comparaci�n entre el criterio de valor (est�ndar o norma) y los efectos reales de la formaci�n El an�lisis de la informaci�n habr� de realizarse con todas las precauciones debidas de cara a la validez de los resultados. Hemos de tener en cuenta que la constataci�n de la diferencia entre los valores de los indicadores en el grupo experimental y el de control no implica que tal diferencia sea debida a la acci�n formativa �y esto es particularmente cierto en las evaluaciones de impacto: efectos indirectos�, de modo que, por lo general, ser� m�s adecuado hablar de "indicios" que de "pruebas" de relaci�n causal. 3.4. Interpretaci�n de la informaci�n La informaci�n resultante del an�lisis ha de interpretarse a la vista del objetivo de la evaluaci�n, por lo general constatar el grado de cumplimiento de los objetivos espec�ficos y/o finales de la Formaci�n Continua. Dado el car�cter de la investigaci�n que nos ocupa �investigaci�n evaluativa�, las conclusiones deber�n servir como referente de posibles recomendaciones de actuaci�n orientadas al mantenimiento, modificaci�n o supresi�n de la acci�n formativa; de ah� la exigencia de concreci�n en la formulaci�n de tales conclusiones. Tal como se advierte a partir de lo anteriormente dicho, tanto el proceso de detecci�n de necesidades como la evaluaci�n de la formaci�n �en cualquiera de sus modalidades� son procesos de investigaci�n emp�rica que habr�n de efectuarse con todo rigor. Esto �ltimo parece evidente y, sin embargo, el mencionado estudio �"An�lisis de los productos de Acciones Complementarias 1995-1999"� puso de relieve que raramente tal rigor se constata de hecho: s�lo el 10% de los productos descriptivos y de evaluaci�n pod�an definirse como "buenos" productos, por cuanto ofrec�an alg�n tipo de informaci�n novedosa, mientras el 55% no ofrec�an nada nuevo y ni siquiera estaban bien realizados desde el punto de vista metodol�gico; la calidad de los productos formativos era algo mejor, de manera que el porcentaje de los definibles como "malos" superaba levemente el tercio del total. Estos productos fueron financiados por FORCEM, esto es, por los trabajadores espa�oles, y lo cierto es que la investigaci�n desarrollada hab�a puesto de manifiesto una clara necesidad de mejora: es necesario que los gestores de estos fondos arbitren mecanismos de evaluaci�n de las iniciativas que se financian. Nuestra investigaci�n puso de manifiesto que tambi�n los gestores de los fondos de Formaci�n Continua necesitaban Formaci�n Continua, y me consta que en FORCEM se ha hecho un importante esfuerzo en este sentido. – Para terminar, creo necesario poner de manifiesto la necesidad de tener en cuenta aspectos no directamente relacionados con la Formaci�n Continua en s� ni con su pertinencia o adecuaci�n, pero s� con la forma y el contexto en que se aplica. Son �stos, como digo, aspectos externos a la propia formaci�n: tengo la impresi�n de que el trabajador no ver� con los mismos ojos la Formaci�n Continua si la recibe dentro o fuera de su horario laboral; tambi�n creo que la adecuaci�n de la Formaci�n Continua destinada a las peque�as empresas (Planes Agrupados) es menor que la implantada en las grandes (Planes de Formaci�n de Empresas); es posible tambi�n que la Formaci�n Continua, en cuanto posible v�a de promoci�n profesional o de reducci�n del n�mero de horas trabajadas, pueda convertirse de hecho en una forma de retribuci�n en especie… Seguramente, sobre tales extremos puedan ustedes aportar mucha m�s informaci�n que yo. No cabe duda, en todo caso, que un enfoque integral en la gesti�n de la Formaci�n Continua ha de contemplar todos ellos. 1. S. Veredas, "Los productos emp�ricos", en J. Caraba�a (dir.), Gu�a de buenas pr�cticas sobre materiales de Formaci�n Continua, Fundaci�n Tripartita para la Formaci�n del Empleo, Col. Gu�as de Buenas Pr�cticas, n.� 1, Madrid, 2003.
Sonia Veredas Mu�oz (UCM)