Estándares de Calidad, Accesibilidad y Usabilidad para la realización y el diseño de Encuestas Online (página 2)

–Encuestas Probabilísticas:

• Encuestas intrusivas o de selección aleatoria de visitantes de una página o portal web

• Encuestas enviadas por email a una muestra de selección aleatoria
• Modelos mixtos con encuestas en páginas web y envíos de correos electrónicos
• Paneles de muestra probabilística de una población de selección activa o pasiva

-Encuestas No probabilísticas:

• Encuestas de entretenimiento ?"vote aquí"- .
• Encuestas web de auto selección
• Paneles de selección voluntaria de participantes

Cubiles, M. define e-encuesta probabilística a toda encuesta donde el proceso de entrevista a los elementos de la muestra se realiza en la Red a través de la WWW (World Wide Web) y en la que se conoce la probabilidad de selección de los elementos y/o de la muestra.

Independientemente del tipo de clasificación que se utilice, los estándares de calidad recomiendan aplicar aquel tipo de encuesta online que mejor se adapte a los objetivos de la investigación siempre y cuando se cumplan los criterios de representatividad y de selección probabilística. Para otros métodos que no cumplan dichos criterios y no tenga pretensiones de ser representativo ?como focus groups online o encuestas de entretenimiento, etc.- no podrán aplicarse dichos estándares.

En la investigación online actual, no se consideran útiles por el coste de tiempo y recursos, baja tasa de respuesta y mala experiencia del encuestado, aquellos tipos de encuestas en las que es necesario descargar algún tipo de archivo o programa para poder realizarlas, o bien recibirlo y reenviarlo por correo electrónico. En primer lugar el número de interacciones entre el encuestado y el ordenador es excesivamente alto (abrir el correo, descargar el archivo, abrir el archivo con el software correspondiente -por ejemplo MS Word– rellenar el cuestionario, guardar el archivo, volver al programa de correo, reenviar el archivo adjunto…) y en segundo lugar, el elevado coste de codificación que supone al responsable del estudio asi como en recursos (ancho de banda, almacenamiento de archivos, etc.).

Batagelj, Z. y Vehovar, V crean una tipología de encuestas basadas en el tipo de programación de la página web que divide en :

• Formularios HTML en servidor (CGI)
• Formularios Planos HTML
• Encuestas asistidas por Internet CAWI
• Encuestas basadas en Applets de JAVA
• Encuestas por email con soporte HTML

La primera y segunda versiones, los formularios HTML, son copias de las encuestas en papel traducidas a código html en una única pantalla de navegador, en las que hay que utilizar la barra lateral de desplazamiento para visualizar todas las preguntas. Los formularios HTML en servidor permiten enviar automáticamente las respuestas al servidor una vez rellenado el cuestionario y pulsado el botón "enviar" (o similar) y los resultados se almacenan automáticamente en una base de datos. En cambio, los formularios HTML planos, requieren de un programa de correo electrónico que haga de intermediario para enviar los datos. Las desventajas de este tipo de formularios son: aumenta el número de interacciones del encuestado al tener que utilizar constantemente la barra de desplazamiento lateral para visualizar todas las preguntas; es necesario pulsar un botón final para enviar los resultados ?en muchas ocasiones no se pulsa dicho botón y la encuesta no es enviada- y no es posible realizar encuestas complejas con filtros, saltos, cuotas, etc.

De todas las posibilidades de encuesta definidas, la más comúnmente utilizada y desarrollada es la encuesta CAWI en la que el encuestado recibe en su correo electrónico el acceso a la encuesta mediante un link o hipervínculo y que dicho link es personal e intransferible (cada encuestado recibe un link diferente en el que se incluye su acceso individual a la encuesta) para evitar errores debidos a la doble respuesta, permitir el acceso en momentos diferentes sin pérdida de datos y poder controlar la participación y obtener más información del encuestado. En aquellas ocasiones en las que el encuestado no disponga de correo electrónico, o no se desee enviar el link de acceso a la encuesta, es posible ofrecer una identidad de usuario y contraseña con las que se identifique en una determinada página Web y acceda a su encuesta personal.

En este tipo de encuesta, las preguntas se organizan en varias pantallas, lo que permite incluir saltos, filtros y todo tipo de preguntas relacionadas, así como la medida del tiempo de respuesta, control de la consistencia, rotación de respuestas y preguntas,etc.

Figura 1: Interacción Cliente-Servidor en encuestas online.

Las encuestas basadas en Applets de Java son similares a las encuestas CAWI, con la diferencia de que todos los datos se almacenan en el ordenador del encuestado (y no en el servidor) y no se envían hasta que éste no finaliza la encuesta. Los dos principales problemas de este tipo de encuestas son la accesibilidad y el almacenamiento de datos, ya que todo aquel internauta que no tenga instalado el applet de Java no podrá visualizar algunas preguntas o pulsar en determinados botones, y por otro lado los datos no se enviarán hasta que éste no ha finalizado todo el cuestionario y pulsado el botón último de "enviar" (o similar). En los casos en los que el encuestado cierre la encuesta sin finalizarla (por caída de la red, por tiempo, o cualquier otro motivo, etc.) se perderán todos los datos acumulados y al volver a acceder a la encuesta tendrá que volver a comenzarla desde el principio.

Figura 2: Interacción Cliente-Servidor en encuestas online con JAVA scripts.

Por último, Batagelj, Z. y Vehovar, V. mencionan un tipo alternativo de encuesta que consiste en el envío del formulario html directamente por email, aprovechando la posibilidad de algunos programas de correo electrónico de visualizar html en el email. Actualmente, el problema de esta modalidad es que una gran parte de los usuarios de internet no visualizan sus emails en formato html sino en texto plano.

Aunque los estándares de calidad no hacen referencia a la metodología de encuestas online que mejor cumpla criterios de calidad, por referencias en ese y otros documentos se puede concluir que son las encuestas CAWI con tecnología basada en servidor aquellas que por su flexibilidad en el diseño permiten un control absoluto del proceso, una mayor accesibilidad del encuestado y un completo ahorro de tiempo en el proceso de los datos.

2. Metodología de las encuestas online

2.1 Aplicación del Códex ESOMAR y otros estándares

Antes de definir y criticar metodologías online, es necesario mencionar que las encuestas online están adscritas a los mismos códigos y normativas que cualquier otro tipo de encuestas (telefónicas, personales o por escrito) y que es imprescindible para garantizar dicha calidad que el instituto que realiza la investigación cumpla la normativa vigente y posea una filosofía de calidad en el trabajo.

2.2 Diseño metodológico de la Investigación y Muestreo

Los estándares de calidad repasan los siguientes puntos importantes a tener en cuenta a la hora de diseñar una investigación mediante encuestas online: El muestreo y captación de los participantes, el control y la tasa de participación, y la ponderación de la muestra.

Uno de los temas más ampliamente discutidos en la metodología de las encuestas online es el de la representatividad de la muestra, y la selección probabilística de los encuestados.

Cubiles (2002) define la población que podría participar en las e-encuestas (encuestas online) como "?aquellas personas que pueden acceder a los medios adecuados para la cumplimentación del cuestionario de la encuesta a través de Internet". En su artículo, Cubiles especifica dos tipos de poblaciones en relación con su grado de penetración de internet: la población saturada y la población no saturada. La población saturada es aquella en la que la implantación de internet alcanza el 80% o superior entre todos los individuos. Dentro de la población saturada, Cubiles define cuatro tipos de poblaciones: 1) la Población Audiencia o conjunto de usuarios que acceden a un Web site determinada (por el motivo que sea) durante un período de tiempo; 2) la Población Precisada o población de internautas de los que es posible disponer de un listado con todos los elementos y la información para su localización (por ejemplo alumnos universitarios, empresas, asociaciones, etc.); 3) la Población Internet que hace referencia a todos los usuarios de Internet independientemente del site que visiten (según Callejo los individuos que hayan accedido una vez al menos en los últimos siete días) y cuyas unidades primarias de muestreo serán los websites; y 4) la Población Internet Especial donde los elementos deberán verificar una determinada especialización exigida para formar parte de la población objetivo (por ejemplo ser consumidores de un determinado producto o vivir en una determinada región).

Por último, la "población no saturada" se caracteriza por no poder realizar en ella encuestas basadas únicamente en la red ya que el recubrimiento es inferior al 80% de la población, como por ejemplo la población para realizar encuestas sociodemográficas. En este tipo de estudios, la población de internautas de que se disponga servirá como complemento a otras poblaciones o como medio de controlar la calidad de la encuesta. No obstante, es posible alcanzar resultados representativos en este tipo de encuestas siempre y cuando se dote a los elementos de la muestra de los medios necesarios para que pertenezcan a la población de internautas.

El hecho de tener acceso a Internet no supone estar registrado en ningún tipo de censo ni listado, por lo tanto no es posible realizar una selección aleatoria de internautas únicamente utilizando la Web como criterio de selección. Los estándares de calidad, proponen combinar métodos de captación "online" y "offline", es decir, mediante invitaciones a participar publicadas en páginas Web y con campañas publicitarias online, así como a través de otros medios como son la captación telefónica o personal.

El instituto que desee realizar un proceso de captación de internautas para una encuesta online, ha de realizar una selección "activa", es decir, seleccionando a los participantes con criterios propios, y no dejando abierta la participación a la "autoselección". En el caso de que no haya una selección activa y estadísticamente aleatoria, es necesario controlar el acceso a la encuesta solicitando datos personales para evitar participaciones múltiples y otro tipo de errores.

La discusión sobre la representatividad de las encuestas online, se limita únicamente al tipo de investigación que se pretenda realizar y la población objetivo, y no puede generalizarse a todo tipo de marcos muestrales. Como indica Muñoz (2002) (Et al.) en su artículo: "cuando por ejemplo se pretenda realizar un estudio a una población no saturada en internet, el marco (muestral) de la población será el correspondiente a dicha población, independientemente de que tenga o no acceso a la red [?] no obstante, sería posible aplicar un diseño con un marco dual, y aprovechar la disminución del costo que supone realizar entrevistas por internet".

Finalmente y como conclusión a este apartado sobre muestreo en las encuestas online, en el artículo sobre e-encuestas probabilísticas II de Muñoz (et al.), proponen las siguientes soluciones para el muestreo a poblaciones de internet:

• Para la población audiencia: se aplican los mismos métodos de muestreo probabilístico apropiados para la población general
• Para la población precisada: antes de realizar la encuesta online, será necesario contactar con los elementos de la muestra por otros métodos (por ejemplo por teléfono)
• Para la población de Internet: Se puede aplicar un muestreo probabilístico bietápico (se consideran como unidades muestrales de primera etapa los sites y como unidades de segunda etapa los propios internautas) o bien un muestreo con marcos múltiples (en el caso de que el número de sites que recubre la población sea un número reducido).
• Para la población de internet especializada: se utilizarán los mismos métodos de muestreo, con monitoreo para controlar la especialización.

Para la población no saturada en internet: aunque no es adecuado hacer el total de la encuesta con entrevistas a través de la red, se podrían aprovechar los elementos de la población con acceso a Internet y plantear un muestreo probabilístico con un marco dual.

2.3 Fuentes de error

Tal y como indica Groves (1989), existen cuatro fuentes importantes de error en cualquier encuesta que son aplicables también a las encuestas online: el muestreo, la cobertura, la no-respuesta y el error de medida.

• El error de cobertura hace referencia a las diferencias entre la población de internautas y la población general, y la posibilidad de que una muestra realizada en un colectivo de internautas pueda ser representativa del resto de la población.
• El error de muestreo es el resultante de realizar una encuesta a un subgrupo de la población en lugar de realizarlo al total de individuos.
• El error de medida hace referencia al resultado de obtener respuestas inadecuadas debido a un mal diseño en el cuestionario, un posicionamiento en determinadas respuestas, o una influencia del encuestador en las respuestas del encuestado.
• Por último, el error de no-respuesta, es el resultado que no todos los individuos seleccionados de una muestra decidan participar en la encuesta.

El error de cobertura en las encuestas online se elimina paulatinamente a medida que aumenta la penetración de internet en determinados colectivos y es más fácil un acceso a éstos a través de la red. No obstante, como se ha comentado antes, internet se utiliza como una herramienta alternativa y complementaria a métodos tradicionales en el caso de pretender entrevistar a poblaciones no saturadas.

El error de muestreo puede ser reducido en las encuestas por internet dado que es más fácil aumentar el tamaño de la muestra sin que ello suponga un aumento excesivo del coste del estudio. Como se ha demostrado (Schaefer 2001), el coste medio de una encuesta online puede ser hasta 3 veces inferior al coste de realizarla por escrito.

El error de medida en las encuestas online se ha conseguido reducir gracias a elementos relativos al diseño del cuestionario y a la complejidad de las diversas herramientas de software con que se diseñan las encuestas online. En una encuesta online CAWI, es posible: rotar ítems en la encuesta para evitar posicionamiento, rotar el orden de las respuestas aleatoriamente para cada encuestado, introducir elementos visuales que ayuden a comprender la encuesta, diseñar diversos cuestionarios para diversos grupos poblacionales, controlar automáticamente la consistencia de la encuesta con preguntas de control y calculando el tiempo de respuesta a cada pregunta, evitar la influencia del encuestador y permitir el acceso a la encuesta en el momento que el encuestado desee así como la cancelación del cuestionario para retomarlo posteriormente en el lugar que se dejó, permitir (o no) el retroceso a preguntas ya realizadas, realizar un diseño de la encuesta accesible y usable por todo tipo de internautas independientemente de sus conocimientos o limitaciones, orientar al encuestado sobre la duración restante de la encuesta, controlar la participación con una clave de acceso personal a la encuesta para evitar la doble respuesta, etc.

El error de no-respuesta es el error que más se intenta reducir en las encuestas online. Muchos autores apuntan que la tasa de respuesta se puede ver influenciada por factores como la longitud del cuestionario, el interés sobre el tema de estudio, la tecnología de la que disponga el entrevistado, etc. Como se demostrará posteriormente, la fuente más importante del error de no-respuesta tiene relación con los problemas que experimentan los individuos en su interacción con la encuesta online. Estos problemas pueden variar desde un texto de bienvenida y unas instrucciones demasiado complejas hasta la incapacidad de ver determinadas partes del cuestionario por el tamaño de pantalla, etc.

Los autores Dillman, Tortora y Bowker (1998) diseñaron una serie de principios para el diseño de encuestas online y su relación con las fuentes tradicionales del error, que ellos resumieron en la siguiente tabla:

A los cuales se pueden añadir los siguientes:

3. Pautas de accesibilidad y usabilidad para el diseño de encuestas online.

"Las encuestas online se encuentran en un estado temprano de desarrollo y los investigadores aún tienen mucho que aprender sobre como diseñar encuestas precisas" (Solomon, 2001).

Casi cuatro años después de la redacción de esa afirmación, la evolución de las tecnologías y los conocimientos de la investigación mediante encuestas online ha permitido reducir gran parte de los errores y mejorar la tasa de respuesta y la calidad de los resultados.

Varios investigadores inciden en la importancia de diseñar cuestionarios online teniendo en cuenta la experiencia del usuario, los principios de diseño y las pautas de accesibilidad W3C, ya que elementos tan aparentemente insignificantes como el situar las casillas de respuesta (radio-buttons, checkboxes, o campos de respuesta abierta) a la izquierda del texto de las categorías, o el obligar al encuestado a cambiar entre teclado y ratón demasiadas veces a lo largo de la encuesta, producen altas tasas de respuesta en la muestra.

Razones por las cuales aumenta la no respuesta en las encuestas online y como mejorar la calidad de las respuestas

La observación empírica de individuos mientras realizan encuestas online, sugiere la existencia de al menos dos fuentes de frustración para el encuestado que conllevan a la finalización prematura del cuestionario: los escasos conocimientos sobre ordenadores y el mal diseño de la encuesta.

Especialmente, se ha observado una especial frustración del encuestado en los siguientes casos:

• Individuos que carecen de la experiencia y los conocimientos sobre ordenadores no saben como introducir o borrar cierto tipo de respuestas como por ejemplo las casillas de respuesta única (radio buttons) a diferencia de las múltiples (checkbox) en las que para borrar una respuesta basta con pulsar encima de la introducida.
• No saber que hacer con un menú desplegable
• No ser capaz de ver todas las opciones de respuesta sin necesidad de utilizar la barra lateral de desplazamiento
• Verse forzado a responder a una pregunta aunque ninguna de las categorías de respuesta fuera apropiada según su opinión
• No saber cómo cerrar y finalizar el cuestionario que acababan de responder
• Tener que realizar varias interacciones para responder a cada pregunta (por ejemplo, al hacer click en la respuesta, tener que desplazar la barra lateral para poder visualizar el "Continúe con la siguiente pregunta" y poder así pinchar en el botón para que aparezca.

A continuación, se puede ver con un ejemplo gráfico, cómo un usuario puede llegar a frustrarse al tener que realizar demasiadas interacciones para continuar con la siguiente pregunta. Primero, el encuestado ha de procesar la información que se le ofrece y seleccionar una categoría de respuesta haciendo click en el botón correspondiente. Después, ha de usar el ratón para desplazar la barra lateral y ver que ha de hacer a continuación. En tercer lugar, pulsa para continuar con la siguiente pregunta y por último, aparece una ventana de aviso sobre posibles riesgos de seguridad. Aunque este último aviso puede evitarse modificando las características del navegador, muchos individuos no lo tienen configurado y siempre recibirán ese cuadro de diálogo. Una sucesiva repetición de estos cuatro pasos a lo largo de las veinte o treinta preguntas que pueda tener la encuesta, produce en total más de 100 interacciones en un cuestionario que debería tener como máximo 40 y frustrar hasta el más interesado de los participantes.

Ejemplo1 : antes de mover la barra de desplazamiento:

Ejemplo 2: Después de mover la barra de desplazamiento

Otro de los motivos importantes por los que un encuestado suele frustrarse y dejar la encuesta sin finalizar o ni siquiera comenzarla son las incompatibilidades con hardware o software. En ocasiones, el diseñador de la encuesta o el investigador que genera el cuestionario, dispone de programas y dispositivos tan avanzados que ignora de qué modo podrá ser visualizado dicho cuestionario en otros dispositivos (por ejemplo en otro tamaño de pantalla) y por ello da por supuesto que el total de la muestra de encuestados estará visualizando la encuesta tal y como él lo hace.

Los programadores, por el hecho de situarse a la cabeza tecnológica de un país y por utilizar los conocimientos más avanzados, diseñan encuestas que en ocasiones son inaccesibles a grandes segmentos de la población. Un ejemplo de ello es el uso de Java para el diseño de encuestas, que pueden incluso producir frustración en aquellos que a pesar de tener instalado el dispositivo, no conozcan o no estén muy acostumbrados a las posibilidades de interacción con el navegador.

Otro problema con el que se enfrentan los diseñadores de encuestas online es el tiempo de descarga de las páginas web con las preguntas, que oscila en función del tamaño de éstas y del tipo de conexión que tenga el navegante.

En el caso más desfavorable, en el que el encuestado tenga un módem de 56Kbps, necesitará alrededor de 10 segundos para descargarse un cuestionario de unos 300Kb (un tamaño relativamente normal), lo cual supera la barrera de los 8 segundos de paciencia de tiempo medio que todo internauta invierte en esperar la carga de una página web.

Por último, un error que cometen frecuentemente muchos diseñadores de encuestas online, es programar la encuesta para que no se pueda retroceder a la pregunta anterior, obligando siempre al encuestado a pasar a la siguiente pregunta hasta llegar al final. Esto produce una enorme frustración al limitar la interacción con el navegador y no poder utilizar el botón "atrás". En numerosos casos, el uso de dicho botón, provoca errores como el siguiente:

Este error, mostrado en un idioma que no es el propio y además sin poder retroceder para retomar la encuesta, provoca automáticamente el cierre de la ventana del navegador y la consiguiente pérdida del encuestado.

Pantallas como las que aparecen a continuación, con elementos que no tienen en cuenta la experiencia del usuario, son ejemplos claros de motivos por los cuales aumenta la no respuesta en las encuestas online.

Error1: ¿Cómo Puedo revisar ese error? ¿Qué he hecho mal?

Error2: El usuario no tiene instalado el plug-in de flash : ¿Dónde está la encuesta?

Error3: ¿Ahora que hago? No es posible retroceder, ¿he cometido un error? ¿O ha sido el servidor?

Javascript: Si el navegador no lo tiene instalado, no se visualizarán los cuadros de diálogo ni los mensajes de error