Validación de cuestionario para la medición de la satisfacción de los clientes de la DCI

Introducción

Un cuestionario consiste en un conjunto de preguntas respecto a una o más variables a medir (Hernández Sampieri, 2000).El cuestionario es el instrumento a través del cual se recoge la información sobre las variables en estudio. Cuestionarios defectuosos ofrecen una visión sesgada de la realidad que se está analizando, por lo tanto necesita de algún tipo de validación.

Evaluación de la Validez

Existen diversos métodos o estrategias para obtener evidencia de la validez de las encuestas que apoye las deducciones derivadas de los resultados. Esencialmente se realizan tres tipos de validaciones:

1) Validez de contenido: Se pretende comprobar cuales de los aspectos elegidos o preguntas que se hacen son indicadores claros de lo que se pretende medir. Para ello hay que someter el cuestionario a la valoración de investigadores y expertos que deben juzgar la capacidad de éste para evaluar todas las dimensiones que se desean medir.

Se utiliza el criterio de expertos para realizar este tipo de análisis. Deberán emplearse tamaños de muestra representativos, el Método Delphi y la prueba no paramétrica de Kendall para probar el acuerdo de los expertos.

2) Validez de constructo: Las características con las que se están trabajando, al ser cualitativas y representar actitudes o percepciones, no se pueden medir directamente, sino, hay que valorarlas a través de indicadores. Se trata ahora de examinar el grado en que los indicadores definidos miden adecuadamente el concepto (constructo) que se quiere medir.

Se puede utilizar el Análisis Factorial de Componentes Principales. Emplear el coeficiente de Kaiser–Meyer–Olkin (KMO) y la Prueba de Esfericidad de Barlett para evaluar la calidad del análisis de los factores.

Se recomienda en los dos casos anteriores, el uso de softwares profesionales, entre ellos el SPSS versión 15.00 o superior.

Validez de criterio: Relaciona la medida con un estándar al que se denomina criterio. Si existen suficientes garantías sobre su bondad, se puede determinar un patrón de oro, que servirá de comparación para cualquier medida realizada. Dada la manifiesta dificultad para definir este patrón de comparación en un estudio de satisfacción, este tipo de análisis de validez no es ampliamente usado. La validez de criterio establece la validez de un instrumento de medición comparándola con algún criterio externo ampliamente reconocido. Este criterio es un estándar con el que se juzga la validez del instrumento (Wiersma, 1986).

Evaluación de la Validez

La validez se refiere al grado en que un instrumento realmente mide la variable que pretende medir y se expresa por la siguiente fórmula:

Validez total=Validez de contenido + Validez de criterio + Validez de constructo

Por tanto, para probar la validez de las encuestas se tienen que utilizar al menos dos de los criterios anteriormente mencionados.

Objetivo del presente trabajo:

La Dirección de Certificación Industrial (DCI) del Centro Nacional para la Certificación Industrial (CNCI) de Cienfuegos pretende validar un cuestionario para medir la satisfacción de sus clientes e implantar acciones de mejora con los datos obtenidos. Para ello se crea un equipo de expertos que proponen y evalúan los atributos que medirá la encuesta. Se usará el software SPSS versión 16.00.

Pasos para validar el cuestionario

• 1) Selección de los expertos.

• 2) Validación del contenido.

• 3) Formulación de la encuesta.

• 4) Evaluación de la confiabilidad o fiabilidad de la encuesta.

• 5) Validación del criterio.

• 6) Validación del constructo.

1) Selección de los expertos.

Se propone un grupo de 17 expertos para evaluar su competencia a través de la siguiente fórmula:

Kcomp.= ½(Kc+Ka). (1)

Donde:

Kcomp.: Coeficiente de competencia del experto.

Kc: Coeficiente de conocimiento del experto.

El coeficiente resulta del promedio de los valores que se otorgan al candidato.

Ka: Coeficiente de Argumentación. Es la suma de los valores del grado de influencia de cada una de las fuentes de argumentación con respecto a una tabla patrón. (Ver tabla patrón 1).

Tabla patrón 1. Fuente: Elaboración propia.

La selección de los expertos se realiza basada en los siguientes criterios:

• Competencia ALTA si Kcomp. > 0.8

• Competencia MEDIA si 0.5 < Kcomp. < = 0.8

• Competencia BAJA si Kcomp. < = 0.5

 Se evalúa cada experto según lo establecido en la fórmula (1) y se seleccionan los más competentes.

De entre los seleccionados se determina la cantidad de expertos mediante la siguiente fórmula:

Donde:

i-Nivel de precisión deseada (0,15). (Valores recomendados para encuestas).

P-Proporción estimada de errores (0,05).

K-Parámetro cuyo valor está asociado al nivel de confianza establecido en la tabla 2. Para este caso con un nivel de confianza de 95% el valor de K es 3,8416.

Tabla 2. Valores de K. Fuente: Fuente: SPSS. Versión 16.00.

Para comprobar la validez del contenido del cuestionario, de los 17 solamente se tomarán 9 expertos.

La tabla 3 muestra los expertos seleccionados.

Tabla 3. Expertos seleccionados. Fuente: Elaboración propia.

2) Evaluación de la Validez

A continuación se realiza la validación de contenido del cuestionario.

Validez de contenido: Se utiliza el criterio de los expertos para este análisis. Se emplean tamaños de muestras representativos y se utiliza la prueba no paramétrica (W) de Kendall para probar el acuerdo de los expertos.

Se utiliza el Método Delphi y la prueba de concordancia de Kendall.

Se desarrollaron sesiones de BRAINSTORMING (Tormenta de Ideas), en las cuales los 9 expertos seleccionados realizan las propuestas de las características o atributos que deben formar parte de la encuesta.

Cada experto clasifica las características asignándoles un rango aij que expresa el orden de importancia que posee la característica. El rango a evaluar es el siguiente:

1.- Sin importancia.

2.- Poco importante.

3.- Medianamente importante.

4.- Importante.

5.- Muy importante.

Se realizan 6 rondas con los expertos, al final se obtuvo la siguiente matriz (Ver tabla 4).

Tabla 4. Datos con la votación final de los expertos. Fuente: SPSS. Versión 16.00.

Se procesan estadísticamente los datos obtenidos.

Se valida el criterio de los expertos según la prueba de hipótesis estadística siguiente:

La encuesta en cuestión queda de la siguiente forma:

ENCUESTA PARA LA MEDICIÓN DE LA SATISFACCIÓN DEL CLIENTE.

Estimado cliente:

Como parte de las acciones de mejoramiento continuo de la calidad de nuestro trabajo queremos conocer su grado de satisfacción respecto a los servicios recibidos. Le agradecemos su sincera colaboración y sepa que sus opiniones nos resultarán muy valiosas.

Para cada uno de los atributos de la encuesta indique su Nivel de Satisfacción marcando con una X el grado de Importancia del atributo colocando un valor entre 1 y 5 según las escalas siguientes:

17) Sugerencias y comentarios:

_________________________________________________________________

Gracias por su colaboración.

2) Evaluación de la confiabilidad o fiabilidad de la encuesta.

La confiabilidad se comprueba mediante los siguientes estadígrafos especiales:

• Alpha de Cronbach.

• Guttman.

• Coeficiente de Kuder-Richardson (KR-20).

Conceptualmente la fiabilidad refleja hasta qué punto las puntuaciones percibidas por los clientes a través de las respuestas están relacionadas con las puntuaciones verdaderas, esto es, el grado en que las mediciones están libres de la desviación producida por los errores casuales (aleatorios). En definitiva, la fiabilidad garantiza que la escala siempre mide lo mismo.

Se toma para la evaluación una muestra de 30 clientes y se aplica el estadístico Alpha de Cronbach, según se observa en la tabla 6.

Reliability Statistics

Tabla 6. Estadístico Alpha de Cronbach. Fuente: SPSS. Versión 16.00.

Lo s valores del estadístico Alpha de Cronbach oscilan entre 0 y 1. Se consideran aceptables los valores mayores que 0,5.

Debido a que el coeficiente Alfa de Cronbach obtenido es mayor que 0,5, se determina que la confiabilidad del cuestionario es aceptable.

Desviación estándar o proporcional muestral.

Es una medida de la dispersión de los resultados, esto es, de la variabilidad de las opiniones. Cuanto más heterogéneas sean las respuestas (haya más dispersión), mayor será el tamaño muestral requerido.

Como en muchas ocasiones es difícil contar con un estimado real de la desviación estándar, se utilizan los parámetros p: proporción muestral y q:1–p para caracterizar la dispersión de los datos. En el caso de que sea difícil estimar p, se utiliza p=q=0,5 que garantiza el mayor tamaño de muestra posible

Error Muestral (B).

Es el nivel de precisión de las estimaciones, es decir, la magnitud de las desviaciones respecto al valor verdadero en la población. A mayor precisión (menor error) y mayor tamaño muestral. Los valores de error más típicos con los que se suelen trabajar están entre el 5 y el 8%. En cualquier caso, se recomiendan siempre valores inferiores al 10%.

Cálculo del tamaño de la muestra.

Población Finita (<100 000) y Varianza Desconocida.

Se toma entonces una muestra de 100 clientes.

Validación del criterio.

Relaciona la medida con un estándar al que se denomina criterio. Si existen suficientes garantías sobre su bondad, se puede determinar un patrón de oro, que servirá de comparación para cualquier medida realizada. Dada la manifiesta dificultad para definir este patrón de comparación en un estudio de satisfacción, este tipo de análisis de validez no es ampliamente usado

La validez de criterio establece la validez del instrumento de medición comparándolo con algún criterio externo. Este criterio es un estándar con el que se juzga la validez del instrumento (Wiersma, 1986).

En el presente trabajo no se realiza validación del criterio.

Validación de constructo.

Las características con las que se están trabajando, al ser cualitativas y representar actitudes o percepciones, no se pueden medir directamente, sino, hay que valorarlas a través de indicadores. Se trata ahora de examinar el grado en que los indicadores definidos miden adecuadamente el concepto (constructo) que se quiere medir.

Análisis Factorial.

Se procede a hacer el análisis KMO y la prueba de esfericidad de Bartlett. (Ver tabla 8).

Tabla 8. KMO y Prueba de esfericidad de Bartlett. Fuente: SPSS. Versión 16.00.

La matriz anti-imagen muestra valores muy bajos y los coeficientes KMO bastante altos en su diagonal por lo que con este análisis se puede concluir que el procedimiento factorial que sigue a continuación puede proporcionarnos conclusiones satisfactorias.

Análisis de los supuestos del análisis factorial:

El análisis factorial es adecuado para la encuesta y puede ser empleado para detectar las dimensiones y los atributos incluidos en cada una de las preguntas:

• La prueba de esfericidad de Bartlett con una significación asintótica de 0,000 implica que se rechaza la hipótesis nula que plantea que las variables no están correlacionadas en la población, o sea, la matriz de correlación de los factores definidos para el test no es una matriz identidad, cada factor se correlaciona con él mismo y se relaciona con otros.

• Como la medida de adecuación de la muestra KMO es mayor que 0,5, se establece que las correlaciones entre los pares de factores pueden ser explicados por medio de otras variables.

Al observar las comunalidades (Ver tabla 9), todos las variables se encuentran por encima de 0,5, por tanto todas las preguntas pasan a formar parte de la encuesta final.

Communalities

Extraction Method: Principal Component Analysis.

Tabla 9. Comunalidades. Fuente: SPSS. Versión 16.00.

Utilizando el método de los componentes principales se obtienen 5 componentes con valores propios mayores que la unidad, que explican el 78,188 % de la varianza, lo cual se considera aceptable, estando en correspondencia con el criterio que plantea que los factores que se extraen deben representar por lo menos un 60% de la varianza (Hair et al., 1999). Ver tablas 10 y 11.

Total Variance Explained

Extraction Method: Principal Component Analysis.

Tabla 10. Cálculos de la Varianza. Fuente: SPSS. Versión 16.00.

Component Matrix(a)

Extraction Method: Principal Component Analysis. a 5 components extracted.

Tabla 11. Cálculos de los componentes de la Matriz. Fuente: SPSS. Versión 16.00.

Luego se procede al análisis de la matriz rotada de los pesos factoriales, que se obtiene según el procedimiento ortogonal VARIMAX, logrando minimizar el número de variables con saturaciones elevadas en cada factor según se muestra en la tabla 12.

Rotated Component Matrix(a)

Extraction Method: Principal Component Analysis. Rotation Method: Varimax with Kaiser Normalization.a Rotation converged in 8 iterations.

Tabla 12. Componentes de la Matriz rotada. Fuente: SPSS. Versión 16.00.

Component Transformation Matrix

Extraction Method: Principal Component Analysis. Rotation Method: Varimax with Kaiser Normalization.

Tabla 13. Componentes transformados de la Matriz rotada. Fuente: SPSS. Versión 16.00.

La matriz rotada de los pesos factoriales se obtienen según el procedimiento ortogonal VARIMAX, logrando minimizar el número de variables con saturaciones elevadas en varios factores según se muestra en las tablas 12 y 13.

A partir de los criterios antes mencionados, se interpretan las correlaciones entre las variables y los factores según la solución rotada por el método VARIMAX, que minimiza el número de variables con carga elevada en cada componente, por lo tanto facilita la definición de las mismas. El comentario se realiza sobre la solución rotada que permite que la interpretación de los factores sea más fácil.

La matriz de pesos factoriales rotadas muestra que todas las variables saturan en algún factor (según VARIMAX), quedando en los cuatro factores cargas factoriales superiores al valor de 0.50 preestablecido. En las tablas 14 y 15 se exponen las componentes resultantes:

Component Score Coefficient Matrix

Extraction Method: Principal Component Analysis.

Rotation Method: Varimax with Kaiser Normalization.

Tabla 14. Componentes resultantes de la matriz rotada. Fuente: SPSS. Versión 16.0.

Component Score Covariance Matrix

Extraction Method: Principal Component Analysis.

Rotation Method: Varimax with Kaiser Normalization.

Tabla 14. Componentes resultantes de la covarianza de la matriz rotada. Fuente: SPSS. Versión 16.0.

Conclusiones

• 1. El procedimiento seguido en el presente trabajo para validar el cuestionario propuesto por el grupo de expertos de la DCI es el adecuado por lo que se considera que la encuesta propuesta se ha validado y puede aplicarse de forma sistemática.

• 2. Se tienen en cuenta un grupo de variables relacionadas con la medición de la satisfacción del cliente que pueden usarse para mejorar el desempeño futuro del trabajo de la DCI.

• 3. La aplicación correcta del procedimiento propuesto para validar la encuesta exige la utilización de sofisticadas herramientas y softwares avanzados (SPSS), además de técnicas estadísticas, tales como: el Análisis Factorial, análisis de regresión, así como; la ejecución de trabajos en equipo y el uso de expertos en el tema.

Recomendaciones

• Aplicar la encuesta validada a los clientes y usar los resultados como datos de entrada para del mejoramiento continuo del trabajo de la DCI.

• Mejorar los instrumentos utilizados para la medición de las variables que influyen en el cuestionario y aumentar la satisfacción del cliente en la medida que se adquiera mayor experiencia y conocimiento de los clientes, sus necesidades y expectativas.

• Aplicar y recomendar las técnicas y herramientas usadas en el presente trabajo a otras empresas como parte del proceso de consultoría/auditoría que realizan los trabajadores de la DCI.

Bibliografía

CORTÉS CORTÉS, M. & IGLESIAS LEÓN, M. 2005. Generalidades sobre la Metodología de la Investigación, México, UNACAR.

HERNÁNDEZ SAMPIERI, R. 2000. Metodología de la Investigación, Mc Grow Hill.

LINDSEY, J. K. 1995. Introductory Statistics: A Modelling Approach, New York: Oxford University Press.

MELIÁ, J. & PEIRÓ, J. M. 1998. Cuestionario de Satisfacción Laboral S20/23.

RODRÍGUEZ VARELA, A. 2009. Procedimiento para el estudio de la satisfacción laboral en la Sucursal Servisa Cienfuegos. Trabajo de Diploma, Universidad de Cienfuegos.

Autor:

Ing. Salustiano Pérez Pedraza.

Especialista en Gestión de la Calidad de la DCI del CNCI de Cienfuegos.