Estándares de Calidad, Accesibilidad y Usabilidad para la realización y el diseño de Encuestas Online (página 3)

Por último, la redacción de las preguntas, textos de bienvenida, mensajes de error, etc. es vital para no desorientar al encuestado, o provocar que comenta errores innecesarios.

Este es un ejemplo de pantalla de bienvenida erróneo, con excesivas tareas y comandos a realizar:

El aumento de la calidad de la respuesta en las encuestas online es un tema que ha preocupado siempre a las empresas e investigadores y que cuenta con escasa literatura y estudios para optimizar las formas de actuación. Algunos autores han comenzado a testar la influencia de ciertos formatos de diseño en parámetros como la tasa de respuesta, pero se limitan a mostrar aumentos o disminuciones de esta tasa, sin estudiar otros factores que puedan afectar a la calidad de la respuesta.

Existe suficiente evidencia empírica que demuestra que los factores más significativos para aumentar la tasa de respuesta de una encuesta online enviada por email son el reenvío de un recordatorio, los incentivos y la longitud del cuestionario (Deutskens et Al. 2004). No obstante, y aunque no exista evidencia empírica de ello, el diseño y la accesibilidad a la encuesta son factores tan importantes o más que los anteriormente mencionados.

Respecto al envío de emails recordatorios, se ha demostrado que enviar múltiples correos con la encuesta a pesar de tener un bajo coste y ser rápido, puede provocar una reacción contraria a potenciales participantes ya que éstos considerarán el email como correo spam. Según varios autores (Ilieva et al. 2002), el tiempo medio de retraso para responder a una encuesta enviada por email es de 5,59 días, a diferencia de los 12,21 días de las encuestas por correo tradicional. El estudio llevado a cabo por Deutskens (et Al. 2004), demostró que un envío de recordatorios más temprano tiene una mayor tasa de respuesta (21,2%) que otro realizado posteriormente (19,5%), aunque no se observaron diferencias en la calidad de las respuestas entre ambos envíos.

En cuanto a los incentivos, compararon la influencia de los siguientes incentivos en la calidad de la respuesta: incentivos monetarios (descuentos para compras) con loterías (sorteos) y donaciones a ONGs. Las donaciones tuvieron una menor tasa de respuesta que el resto de incentivos, no obstante, se demostró que aquellos sorteos en los que el premio es menos cuantioso pero hay mayores probabilidades de obtenerlo se alcanza mayor tasa de respuesta. Por otro lado no se observó ninguna influencia del incentivo en la calidad de la respuesta.

Por último, estos autores demostraron empíricamente que las versiones cortas del cuestionario obtienen una tasa de respuesta significativamente mayor. Pointer (2001) propone la siguiente tabla de recomendación para los tiempos de duración de las encuestas online en función del tipo de entrevista:

En cuanto a la influencia de la frecuencia y honestidad del encuestado en relación a la calidad de la respuesta, Pointer clasifica a los encuestados en cuatro grupos:

1) Ocasionales

2) Infrecuentes

3) Frecuentes

4) Deshonestos

y diseña la siguiente gráfica:

El grupo más preocupante de esta clasificación son los encuestados que se sitúan en el entorno denominado "fraudulentos" ya que completan muchas encuestas con tendencia a dar respuestas incorrectas, o bien por obtener el incentivo o bien por malicia. En cambio los voluntarios profesionales (o también llamados caza-incentivos) son aquellos que completan entrevistas honestamente por obtener un incentivo y son mucho mas frecuentes que los anteriores.

Los situados en el cuadrante "rechazo" son aquellos que no quieren hacer encuestas online (o de cualquier otro tipo) por diversos motivos. En el caso de que este colectivo realice encuestas personales o telefónicas (no autoadministradas) tenderán a ser más deshonestos en las preguntas.

Bosnjak (2001) clasifica a los encuestados online en función de siete patrones de conducta con la encuesta en la siguiente gráfica:

Como puede verse, el eje horizontal muestra el número de preguntas mostradas en la encuesta, y el eje vertical el número total de preguntas respondidas. Los encuestados se sitúan en algún punto de la gráfica en función del número de preguntas que hayan visualizado y las que han respondido, dando así lugar a las siete clasificaciones. Las tres clasificaciones de encuestados más extremas son: 1) aquellos que no responden nada ni visualizan nada del cuestionario ?clasificados por Pointer como "Rechazo"- 2) aquellos que responden a todas las preguntas 3) aquellos que visualizan todo pero no responden a ninguna de las preguntas (en inglés: Lurkers). En el área formada por ese triángulo se encuentran aquellos individuos que cancelan el cuestionario sin haberlo finalizado.

Al analizar el gráfico se pueden extraer tres variables que expliquen el comportamiento del encuestado: su motivación, la oportunidad de responder y la habilidad para ello. Esto significa que un encuestado puede estar motivado -y tener la oportunidad y los conocimientos y habilidades necesarias- y contestar a todo el cuestionario, en cambio, puede que esté motivado para visualizar el cuestionario pero no responder a ninguna pregunta -o en el caso de que haya preguntas de respuesta obligatoria responder al azar- con tal de obtener el incentivo.

Puede que el encuestado esté motivado para responder pero que tenga dificultades técnicas o no tenga la habilidad y conocimientos necesarios para ello lo cual provoca la cancelación de la encuesta, y también puede darse el caso de que haya motivación pero no haya un sentimiento de seguridad y por tanto se deje el cuestionario en blanco. Para solucionar problemas relacionados con la seguridad, los estándares de calidad recomiendan informar al encuestado sobre las políticas de privacidad, sus derechos y el uso que se dará sobre sus datos personales de manera clara y visible.

La variable oportunidad hace referencia a la situación de cada individuo frente a su encuesta online, quien en ocasiones puede no tener el tiempo, los medios, o la información necesaria para rellenarla.

Aquellos individuos que completan la encuesta pero dejan determinados ítems en blanco es porque no desean propoprcionar determinada información por internet, en cambio aquellos que comienzan la encuesta respondiendo a todos los ítems pero que la cancelan sin finalizarla, es o bien por dificultades técnicas, o bien porque ellos mismos decidieron su cancelación por otros motivos.

La tipología presentada por Bosnjak, así como la clasificación de Pointer son muy útiles a la hora de definir patrones de conducta con el fin de mejorar la calidad de la respuesta y evitar que si hay encuestados que deciden no responder, no sea por motivos inherentes al cuestionario, por falta de información o por un diseño demasiado complejo.

Como han demostrado varios autores, el envío de notificaciones antes de la encuesta, de emails personalizados, de recordatorios en el tiempo adecuado, así como el diseño simple, usable y no muy recargado de la encuesta o unas instrucciones claras y precisas, son factores imprescindibles para aumentar la tasa de respuesta y mejorar la calidad de la misma. Otro elemento importante es el diseño de proyectos en modo mixto, ofreciendo al encuestado la posibilidad de responder a la encuesta en un formato que no sea online, pero controlando a su vez que no haya duplicación de respuestas. Este modelo es más costoso, pero reduce el error de no-respuesta.

4) Principios y recomendaciones para diseñar encuestas online de calidad

4.1 Programación de la encuesta

El grupo de trabajo NEON, dentro del gremio de Investigadores de mercado y opinión () diseñó en el 2003 un documento con los requisitos que todo software debería tener para poder realizar encuestas online de calidad clasificados en "obligatorios" "necesarios" y "recomendables". Estos requisitos relacionados con la programación de la encuesta, pueden resumirse en los siguientes:

A los cuales se pueden añadir los principios de Dillman, Tortora y Bowker (1998) para el diseño de encuestas online mencionados anteriormente.

4.2 Puntos importantes a tener en cuenta para el investigador antes de realizar encuestas online

Las asociaciones alemanas de institutos de investigación de mercado y opinión, redactaron en el año 2001 al mismo tiempo que los estándares de calidad, una lista de puntos importantes que el investigador tenía que tener en cuenta antes de realizar encuestas online. Estas recomendaciones son perfectamente aplicables hoy y su objetivo es facilitar al investigador las preguntas relevantes que le permitan juzgar la calidad de las distintas ofertas de investigación online de los institutos que contemple.

Requisitos Generales

1. ¿Posee el instituto proveedor de encuestas online la suficiente experiencia, conocimientos y fuentes técnicas necesarias para la investigación? ¿Cumplen los empleados con las aptitudes científicas requeridas, tanto en grado de formación como en experiencia?

Requisitos para la investigación

2. ¿Está bien determinado y es accesible por internet el grupo de análisis o universo de la investigación?

3. ¿El proceso de selección de los participantes está claramente definido y el acceso a los encuestados se podrá hacer de forma individual?

4. ¿Es válido el proceso de selección de encuestados/as efectuado para obtener resultados representativos del universo de estudio?

5. ¿La selección de individuos se hará mediante una captación activa (siguiendo un modelo de muestreo aleatorio o por cuotas) o por el contrario de forma pasiva, es decir por autoselección?

6. En el caso de obtener una baja respuesta en una selección aleatoria, ¿es posible demostrar a posteriori mediante los correspondientes datos de referencia si la muestra obtenida reproduce adecuadamente las características y la estructura de la población objeto de estudio?

7. En caso necesario, ¿es posible realizar una ponderación de los datos? ¿Se documentarán adecuadamente los procedimientos de la misma?

Ejecución de la investigación

8. ¿Se prestará atención a los requisitos metodológicos necesarios para el diseño, orden y formulación de las preguntas en el cuestionario? ¿Se tienen en cuenta y utilizan las posibilidades técnicas que garanticen la calidad del cuestionario online para cada tipo de investigación?

9. ¿Se evitarán las distorsiones de la muestra ofreciéndole facilidades técnicas al encuestado? ¿El instituto responsable garantizará que dispondrá de la capacidad técnica suficiente para asegurar la publicación y el acceso online a la encuesta durante el período de duración de la misma?

10. ¿Es el tiempo de publicación lo suficientemente amplio como para que todos los individuos de la muestra tengan la posibilidad de acceder a la encuesta?

11. ¿Se proporcionarán incentivos neutros (no orientados a un colectivo concreto) en función del objeto de la investigación y del grupo de análisis, que fomenten la participación pero que al mismo tiempo no distorsionen la muestra?

12. ¿Se tomarán medidas de control de campo suficientes para evitar la participación múltiple y la respuestas aleatorias?

13. ¿Se documentarán adecuadamente las anteriores medidas?

Disposiciones para la protección de datos

14. ¿Se ofrecerá al encuestado la información metodológica pertinente que le permita conocer el objetivo de la investigación?

15. ¿El participante será informado de la participación voluntaria y de la posibilidad de interrumpir y/o cancelar la encuesta en cualquier momento?

16. ¿Se informará adecuadamente al encuestado en el caso de que se obtengan datos sin su conocimiento y se pedirá correctamente su permiso para dicho fin?

17. ¿Se evitará con los medios técnicos adecuados el acceso o visualización de los datos personales de encuestados por terceras personas?

Presentación, Interpretación y Documentación

18. ¿Se presentarán los resultados de la investigación de manera completa (todos los items y preguntas incluidas en el cuestionario)?

19. ¿La interpretación de los resultados de la investigación estará relaccionada con el objeto de la misma y documentada con datos empíricos?

20. ¿Contiene el informe de análisis la información básica necesaria para poder reconocer la calidad científica de la investigación así como los límites de la interpretación de los resultados?

Paneles de acceso online

21. ¿El panel de encuestados, se trata de un panel de "captación activa" en el cual la selección de participantes se realiza siguiendo diversas técnicas de muestreo y cada panelista recibirá una invitación individualizada?

22. ¿Se publicará el número real de panelistas, es decir, de individuos que regularmente y de forma constante participan en encuestas online?

23. ¿Se documentará el proceso de selección y reclutamiento de participantes así como las medidas llevadas a cabo para el filtrado de los mismos y el cuidado de la calidad del panel?

24. ¿Se actualizarán de manera frecuente los datos personales de los panelistas así como sus características sociodemográficas?

25. ¿Se asegurará que el participante del panel no sea encuestado con demasiada frecuencia?

Conclusiones

Las encuestas online son una herramienta muy importante y con enorme potencial en la investigación social y de mercados que se realiza en España . Por ello, es necesario tener en cuenta los factores de penetración de internet en los hogares y empresas, el grado de avance tecnológico del país donde se vaya a realizar la investigación y el nivel de conocimiento de los internautas que se vaya a encuestar.

El potencial de eficiencia que tienen las encuestas online, unido a su reducido coste, ha provocado un enorme crecimiento del sector en los últimos años, con el surgimiento de empresas de software y aplicaciones específicas. No obstante, este crecimiento ha prestado muy poca atención a los requisitos necesarios para crear encuestas online de calidad y reducir los errores de su diseño (muestreo, cobertura, medida y no respuesta).

Para aquellos que ya realicen o se planteen realizar encuestas online, es importante saber que Internet hoy en día no es en su mayor parte accesible por todo tipo de dispositivos y programas destinados para ello, ni por todos los individuos que lo intentan. Así mismo, el grado de complejidad es tal que gran parte de los individuos que acceden no consiguen los objetivos que pretenden por no disponer del conocimiento necesario para ello o bien se frustran por no verse cumplidas sus espectativas. En muchos casos es necesario disponer de determinado tipo de dispositivos electrónicos, es casi imprescindible el uso del ratón, es necesario tener instalados determinados programas y conocer su uso y aplicaciones, etc… Todo ello, agravado por el inconveniente de que la gran mayoría de internautas no disponen de banda ancha ni de conexiones de alta velocidad.

No obstante y pese a todo lo anterior, Internet ofrece enormes ventajas frente a otros métodos de investigación como son la calidad de los resultados, el bajo coste y a la velocidad de análisis que no son comparables a las tecnologías tradicionales.

En este artículo se ha intentado ?utilizando un documento y normativas ya existentes- proporcionar unas líneas de actuación para el investigador que pretenda utilizar este tipo de herramientas con el objeto de que conozca el alcance y las limitaciones de las encuestas online y por supuesto tener un referente normativo que indique cómo poder evitar los obstáculos inherentes a la propia web y mejorar la calidad de las encuestas para evitar los errores derivados de su uso.

Anexo

Estándares de Calidad para la realización de Encuestas por Internet Edición de Mayo de 2001

Traducción al castellano por

Raúl Páramo

Corrección:

• ADM Asociación Alemana de Institutos de Investigación de Mercado y Opinión http://www.adm-ev.de/
• ASI Asociación Alemana de Institutos de Ciencias Sociales http://www.gesis.org/asi/
• BVM Gremio de Investigadores de Mercado y Opinión http://www.bvm.org/
• DGOF Sociedad Alemana para la Investigación por Internet www.gor.com

INDICE

A. Introducción *

B. Definición *

C. Diseño de la Investigación *

1. La población*

2. La selección de los Participantes *

3. Captación "activa" y "pasiva" *

4. Control de captación *

5. Tasa de articipación *

6. Ponderación *

D. Ejecución de la Investigación *

1. Cuestionario*

2. Igualdad de las condiciones técnicas*

3. Metadatos*

4. Incentivos*

5. Comunicación*

6. Voluntariedad*

7. Duración del Campo Online*

8. Control de Campo*

9. Cancelación y Reanudación*

10. Seguridad y protección de datos*

E. Exposición, Interpretación y Documentación *

1. Exposición*

2. Interpretación*

3. Documentación*

F. Paneles de acceso Online *

1. Definición*

2. Captación de participantes*

3. Tamaño del Panel*

4. Estructura del Panel*

5. Mantenimiento del Panel Online*

6. Uso del Panel Online*

7. Gestión del Panel*

G. Observaciones finales *

A. Introducción

Las encuestas científicas para la investigación social y de mercado realizadas por internet (Encuestas Online), están sujetas a las mismas reglas y estándares de calidad que aquellas realizadas por medio del teléfono, la entrevista personal, o por escrito.

Del mismo modo que en el resto de métodos de realización de encuestas, hay dos condiciones fundamentales para garantizar la calidad de los estudios: la experiencia científica específica y los conocimientos y cualificaciones del los miembros del instituto y sus empleados.

La "Filosofía de Calidad" del instituto que lleve a cabo la investigación online es un aspecto indispensable para realizar este tipo de encuestas. Es indispensable que el Instituto que realice Investigación mediante "encuestas online" alcance gracias a las normativas internas de trabajo, unos resultados de calidad científicamente probada.

Las reglas y estándares de la Investigación Social y de Mercados en Alemania se adscriben al Codex Internacional "IKH/ESOMAR" así como a la "Aplicación del Códex ESOMAR en la República Federal Alemana" y las diferentes reglas de actuación de asociaciones y gremios de investigadores sociales y de mercado.

En relación a los aspectos jurídicos y éticos relevantes en la realización de encuestas online, es necesario tener en cuenta las "Instrucciones para realizar encuestas online" mencionadas en el documento que publican las asociaciones alemanas de Investigación Social y de Mercados bajo el nombre "Estándares de Calidad para la Investigación Social y de Mercados".

El siguiente documento, "Estándares de calidad para la realización de Encuestas por Internet", presenta una concretización de los estándares generales en relación tanto al diseño como a las técnicas específicas de captación y análisis de datos mediante encuestas por Internet.

El rápido desarrollo de las tecnologías de la información hace necesario la constante actualización de los estándares. No obstante, la normativa científica que regula el resto de técnicas de investigación social y de mercados se aplica de igual modo en las encuestas online independientemente del grado de desarrollo tecnológico en el que esta técnica se encuentre.

Los "Estándares de calidad para la realización de Encuestas Online" recogen y describen los criterios de calidad relevantes para la realización de encuestas online de un modo científico. Para comprobar la validez de estos estándares, es recomendable permitir tanto al cliente como al proveedor la comparación entre diversas metodologías de realización de encuestas y sus resultados.

B. Definición

El concepto encuestas online hace referencia a aquellas encuestas mediante las cuales, el participante o encuestado:

• rellena un cuestionario personalizado localizado remotamente en un servidor de Internet al que accede mediante un hipervínculo, ventana de navegador, registro, etc.
• cumplimenta un formulario descargado localmente de un servidor y lo reenvía por email
• recibe el hipervínculo por email a un cuestionario en un servidor remoto, lo contesta y lo reenvía por correo electrónico
• recibe un documento en formato digital con el cuestionario por correo electrónico que es descargado en el ordenador local, cumplimentado y reenviado por el mismo método.

Estas técnicas de encuesta, pueden aplicarse de forma diveras, tanto a estudios "ad hoc" realizados mediante envíos puntuales de correo electrónico con la encuesta ("mailings"), como a estudios longitudinales, o bien a paneles de internautas, y combinarse de diversas formas para mejorar la calidad de la investigación.

Los estándares mostrados a continuación se desarrollaron principalmente para Encuestas Científicas Online. Para instrumentos de análisis sin pretensiones de representatividad, como grupos de discusión o técnicas cualitativas online, existen otros criterios no mencionados en el presente documento.

C. Diseño de la Investigación

1. La población

Para poder hablar de una investigación representativa de un conjunto de individuos, la selección de participantes ha de referirse a una población de personas claramente definida en términos de región y de tiempo. Este proceso de selección de individuos debe cumplir unos criterios que lo fundamenten para que éste sea eficaz y de calidad.

La representatividad en las encuestas online, hace referencia única y exclusivamente a la población de usuarios de Internet en su totalidad (navegantes), aunque puede extenderse también a: grupos específicos de usuarios de Internet, a los usuarios de determinados Websites o de determinadas plataformas de servicios, y a grupos de usuarios que puedan acceder mediante algún tipo de dispositivo a la red. La representatividad de otros grupos poblacionales solamente será posible cuando el acceso a Internet en esos grupos esté lo suficientemente avanzado y dicho grado de desarrollo pueda demostrarse empíricamente (y sea similar al del grado de penetración del teléfono en los hogares). No obstante, se puede conseguir la representatividad de los colectivos que no tengan acceso a internet poniendo a su disposición los elementos necesarios, i.e, ordenador, conexión y/o correo electrónico.

2. La selección de los Participantes

Los participantes de las encuestas online, pueden ser seleccionados o reclutados tanto mediante técnicas "online" (utilizando Internet como herramienta de captación) como "offline" (sin usar internet, por ejemplo entrevistas telefónicas o personales).

Esta regla tiene validez tanto para encuestas puntuales como estudios longitudinales de varias olas o estudios repetitivos en la misma muestra (paneles online).

Las encuestas online que pretendan ser representativas del total de usuarios de Internet, deberían utilizar métodos de captación "offline" con técnicas de seguimiento, ya que no existe ningún criterio inequívoco que sirva de fundamento para realizar una selección representativa única y exclusivamente online. No se puede realizar una selección o captación aleatoria utilizando la web como medio en tanto no existen listados de usuarios ni páginas web cuya estructura de visitas sea representativa del total de usuarios de Ia Red.

La selección por cuotas de los participantes únicamente tendrá sentido cuando existan estudios fidedignos sobre la estructura de los usuarios de internet que sirvan de referente para dichas cuotas. La selección o captación de los partcipantes ha de llevarse a cabo mediante una serie de fuentes que optimicen los resultados, es decir, que consigan una máxima extensión de la muestra de usuarios. Es necesario ofrecer al cliente los datos de la distribución por cuotas, y, en el caso de que sea relevante para la investigación, la distribución regional o sectorial de la muestra o segmento de internautas al que se hace referencia.

La captación de participantes para las muestras en encuestas online que pretendan ser representativas de grupos especiales de internautas, puede realizarse mediante listas de direcciones de correo electrónico/ e-mail siempre y cuando éstas estén actualizadas y filtradas de tal manera que se garantice que corresponden al perfil en cuestión.

En encuestas online representativas de los usuarios de una determinada página web, la selección de participantes puede realizarse o bien mediante un algoritmo que calcule la frecuencia de visita y ofrezca la participación a cada N-ésimo visitante, o bien con un código que seleccione y ofrezca la participación a los visitantes con intervalos aleatorios. Para ello hay que tener en cuenta los distintos criterios de probabilidad de selección tanto de participantes que visitan la web por primera vez como de los visitantes habituales y controlar que un individuo no tenga acceso dos veces a la misma encuesta.

3. Captación "activa" y "pasiva"

Existen dos tipos de captación en las encuestas realizadas por internet: la captación activa en la cual el instituto de investigación se implica con el proceso de selección y conoce la muestra de participantes y la captación pasiva en el cual se desconoce la identidad de los participantes al realizarse el estudio.

La selección "activa" significa que el instituto de investigación conoce y decide en todo momento a quién se ofrece la participación a cada encuesta. Los participantes de encuestas online, deberían ser captados o seleccionados de manera "activa" por el instituto de investigación que realice el proyecto para que la muestra sea representativa y de calidad. Este sistema de selección facilitaría la fundamentación de los criterios estadístico – matemáticos de selección aleatoria y las características sociodemográficas relevantes para la definición de cuotas.

Una referencia general a una encuesta online mediante un anuncio publicado en la web (por ejemplo mediante un "banner" o publicidad online) no reúne los requisitos metodológicos necesarios para la selección o captación en encuestas científicas. En estos casos el instituto de investigación no puede determinar a qué individuos se les ofrece participar siguiendo los criterios de selección predefinidos.

Este tipo de selección o captación "pasiva" provoca una distorsión en la muestra como consecuencia del autorreclutamiento, porque por ejemplo los encuestados "profesionales" (caza-recompensas) estarán habitualmente sobrerrepresentados. Los participantes así seleccionados, ni son representativos para el total de internautas ni para perfiles determinados de participantes o grupos de usuarios de una determinada página web.

Tampoco puede decirse que los participantes seleccionados de manera "pasiva" que cumplan unos requisitos predefinidos, sean representativos con otros rasgos sociodemográficos o psicológicos distintos de la población objetivo.

4. Control de captación

En el caso de que la captación online de participantes no se haga mediante una selección estadísticamente aleatoria, habrá que realizar una prueba de control de identificación de los individuos y justificar los criterios de selección mediante los que se ha realizado la encuesta.

Para ello, no es suficiente con solicitar la dirección de e-mail/ correo electrónico del participante, sino que como mínimo han de obtenerse datos postales, telefónicos o de documento de identidad para evitar la probabilidad de participación múltiple en una misma encuesta, la introducción de datos falsos o la doble participación por incentivos.

Sin embargo, habrá que documentar las medidas de control tomadas y asegurar la privacidad de los datos de los participantes.

5. Tasa de Participación

Para selecciones aleatorias de participantes, es necesario tener en cuenta, documentarlo y considerarlo como un elemento de calidad, la tasa de participación o porcentaje de individuos que completan en su totalidad una encuesta del total que recibió la invitación a participar.

En encuestas estructuradas por cuotas, la tasa de participación no es relevante para la calidad del estudio.

Solamente en los casos de captación "activa" se podrá obtener la tasa de participación por parte del instituto de investigación que realice el estudio (ya que mediante este método se conoce el total de individuos que recibieron la invitación a participar). Las cuotas de participación que se pretendan alcanzar, dependen en gran medida de las diferencias específicas de cada grupo estudiado.

Las cuotas de participación inferiores a la media pueden indicar deficiencias cualitativas en la investigación. Es necesario documentarlas y justificarlas convenientemente. En el momento en que se disponga de datos de referencia sobre la cuota de participación se comprobará si las características de la muestra obtenida cumplen los criterios de representatividad del conjunto de la población.

También en el caso de encuestas online realizadas en el marco de un Panel de Internautas previamente seleccionado, la cuota de participación (porcentaje de panelistas que realizan la encuesta) es un elemento de calidad relevante puesto que una baja cuota de participación en un panel de internautas puede mostrar errores de calidad del estudio.

6. Ponderación

En las encuestas online, pueden existir desviaciones sistemáticas de la muestra aleatoria simple con respecto a los valores poblacionales. Para adaptar la estructura de la muestra a los rasgos sociodemográficos y de uso de internet de la población, puede ser necesario o cuanto menos útil realizar una ponderación de los resultados. A la hora de hacer una ponderación es imprescindible conocer información sobre la población de internautas o grupo de análisis.

El origen y adecuación de esta información al conjunto poblacional así como el reparto de los factores de la ponderación, han de documentarse en el informe metodológico del proyecto.

D. Ejecución de la Investigación

1. Cuestionario

Las exigencias metodológicas generales que se aplican a la creación y diseño de cuestionarios así como a la formulación de preguntas en las técnicas tradicionales de encuestación, también son aplicables a las encuestas online.

De manera similar a las encuestas por escrito, hay que tener en cuenta los requisitos metodológicos estándar ya que el encuestado se encuentra con un cuestionario autogestionado en el que ha de entender las preguntas y responder adecuadamente sin ayuda del encuestador.

Los cuestionarios online han de ser accesibles, manejables /y comprensibles también para los usuarios de Internet menos experimentados. Para facilitar el acceso, deberían usarse las ventajas técnicas específicas que proporciona internet, como la interacción mediante botones en relieve, o los campos predefinidos, siempre teniendo en cuenta las deficiencias técnicas y físicas que el encuestado pueda tener a la hora de acceder a Internet.

Además, un elemento añadido de calidad en las encuestas online, es el proporcionar al encuestado de instrucciones adecuadas para rellenar correctamente la encuesta y poder guiarse a través de los filtros.

En casos en los que pueda resultar necesario, se debería ofrecer la posibilidad de corregir respuestas ya dadas retrocediendo a la pregunta anterior. Otros sistemas de ayuda, controles técnicos de respuesta, y cualquier aplicación técnica deberían utilizarse en función del estudio y de la muestra objetivo teniendo en cuenta la necesidad y las repercusiones metodológicas que pudiera tener.

2. Igualdad de las condiciones técnicas

La participación en una encuesta online, debe permitirse independientemente del tipo de acceso específico al medio interactivo que tenga el encuestado e independientemente del dispositivo electrónico del que disponga para no provocar por ese motivo distorsiones en la muestra. Esto implica que tanto la herramienta de programación del cuestionario como el cuestionario mismo, han de ser accesibles desde cualquier versión de navegador, sistemas operativos y compatibles con todo tipo de fabricantes de software. Para ello, debería realizarse antes del inicio del campo online una prueba del cuestionario en distintos ordenadores con sistemas operativos, navegadores y conexiones a internet diferentes.

El instituto responsable de su ejecución deberá asegurar que la conexión a internet del servidor en el cual se instalará la encuesta tendrá en todo momento la capacidad y el ancho de banda suficiente para aceptar a todos los participantes y asegurar que ninguno deje de realizar la encuesta por este motivo.

3. Metadatos

La explotación o extracción de datos del encuestado sin su conocimiento así como la lectura de información del navegador y el envío de "cookies" solo serán admisibles cuando sean imprescindibles para los objetivos de la investigación. El encuestado tendrá que ser suficientemente informado antes del comienzo de la encuesta y ofrecerle la posibilidad de no aceptación. En casos concretos puntuales, el consentimiento se podrá ofrecer a lo largo de la entrevista. Los encuestados que no acepten la explotación de datos personales o el envío de "cookies" durante la entrevista, han de tener la posibilidad de continuarla y no ha de limitarse el incentivo o la consecucion de la misma.

Estas normas tienen la misma validez para otros datos específicos del análisis, como la fecha de comienzo y la duración de la respuesta al cuestionario.

4. Incentivos

Como compensación a la participación y como motivación a la misma, en ocasiones se ofrecen incentivos materiales para los participantes en encuestas online.

Dichos incentivos no deben de ser el motivo central para la participación en la encuesta sino una compensación por el tiempo y el esfuerzo invertido en responder a la encuesta. Si ofrecemos incentivos demasiado atractivos corremos el riesgo de perder objetividad por la participación de los "caza-incentivos". Para evitar desfiguraciones de la muestra en el grupo de análisis, el incentivo debe ser neutral.

En encuestas en las que el encuestado solo participe una única vez, el incentivo no debe condicionarse a ningun otra circunstancia añadida. En caso de tratarse de un Panel de acceso Online, es admisible el incentivo a través de un sistema de puntos mediante el cual cada participante de una encuesta recibe una serie de puntos acumulables y canjeables por incentivos materiales. Es obligatorio informar al panelista de este sistema de incentivos.

5. Comunicación

Los encuestados tienen derecho a recibir información sobre el objetivo científico de la investigación así como los objetivos que pretenden alcanzar con la metodología determinada.

Así mismo, es necesario advertir que la participación es voluntaria y que los datos recibidos se utilizarán de manera anónima y únicamente para el objeto de la investigación.

Además, debe ofrecerse la posibilidad de obtener información mediante un número de teléfono, dirección postal y/o electrónica, etc. del instituto que realiza la investigación y obtener soporte técnico en el caso de problemas en la cumplimentación del cuestionario.

Lo óptimo sería proporcionar un teléfono de atención para responder preguntas relativas al objetivo de la encuesta, problemas técnicos, etc.

6. Voluntariedad

La participación en encuestas online ha de ser -al igual que en cualquier otra investigación social o de mercado- completamente voluntaria. Esto incluye el derecho del encuestado a cancelar la participación en cualquier punto de la encuesta, para lo cual ha de ofrecerse la posibilidad de cerrar la página que se está visitando con total libertad.

Por tanto, todo método que trate de impedir el cierre de la ventana con técnicas como el lanzamiento de ventanas "pop-up", o cualquier otra, serán inadmisibles.

Sin embargo, sería conveniente para el conocimiento del investigador, preguntar el motivo de la cancelación de la encuesta.

7. Duración del Campo Online

La duración del período de campo online debería ser lo suficientemente amplia como para que todos los individuos de cada grupo objetivo tengan la oportunidad de participar en la encuesta y evitar así muestras sesgadas. Un período de publicación demasiado corto produce como norma una muestra sesgada ya que los individuos que utilizan internet irregularmente, tendrán en este caso menores probabilidades de ser seleccionados. De la misma manera, teniendo en cuentra las diferencias en la estructura del acceso a Internet según los días de la semana, debemos evitar períodos irregulares de tiempo que no contemplen todos los días para que no se produzca un sesgo en la muestra.

El problema de un período de campo demasiado corto afecta especialmente al muestreo aleatorio aunque puede surgir de la misma manera en la selección por cuotas.

8. Control de Campo

En cualquier tipo de encuestas online, es necesario garantizar siempre y cuando sea técnicamente viable, que un mismo encuestado no acceda varias veces a la misma encuesta. El instituto responsable de la investigación tiene la obligación de documentar las medidas tomadas al respecto.

En las encuestas en las que la captación se haga mediante páginas web y que por motivos de infraestructura la tasa de selección de visitantes sea muy baja (y por ejemplo, un mismo visitante pueda recibir la invitación a participar varias veces), se ha de controlar la doble respuesta mediante "cookies" u otro método técnico.

Un problema habitual en las encuestas online es la calidad de la respuesta medida en tiempo de respuesta. En ocasiones, el participante realiza la encuesta en un tiempo muy inferior a la media observada y por tanto se considera que la calidad de la respuesta es baja (porque de ello se induce que no se han tenido en cuenta las preguntas y se ha respondido al azar).

Debido a estos y otros problemas anteriormente mencionados (al igual que sucede en otros tipos de encuestas) es necesario controlar la calidad mediante pruebas de eficacia y consistencia y eliminar los casos que tengan esos defectos.

El instituto responsable tiene la obligación de documentar la manera en que se realicen esos controles.

9. Cancelación y Reanudación

Es probable y por tanto ha de ser viable que el entrevistado cancele la entrevista sin haberla terminado (por motivos técnicos o por otros motivos) y que quiera reanudarla posteriormente. Si se ofrece la posibilidad de reanudar la entrevista, ha de ser posible retomarla en la pregunta exacta donde se canceló. Sin embargo, para ello no hay que renunciar al anonimato y la separación entre los datos del entrevistado y los resultados de la encuesta.

Por otra parte, es obligatorio por parte del instituto de investigación, garantizar que las encuestas canceladas y retomadas no se contarán como dos entrevistas diferentes.

10. Seguridad y protección de datos

Cuando en una encuesta online se recojan datos personales del encuestado, será necesario garantizar mediante elementos técnicos que dichos datos no podrán ser visualizados ni utilizados por terceras personas ajenas al estudio.

Los participantes tienen el derecho de ser informados sobre el riesgo que supone ceder sus datos personales, así como de las medidas que se tomarán para evitar dichos riesgos.

Los datos personales como el nombre, dirección, teléfono, correo electrónico, etc, y los datos recogidos de la entrevista, deben ser directamente separados al llegar al instituto de investigación o a los responsables de la misma. La clasificación de los datos, sólo será posible mediante un código de identificación por participante común entre ambas bases de datos.

En las encuentas que requieran una única participación, se deberán destruir los datos del colectivo analizado cuando hayan sido utilizados. En el caso de encuestas Panel, o proyectos longitudinales es posible la reutilización de los datos personales del encuestado hasta terminar con los proyectos en los que participe.

En el caso de que un participante lo desee, ha de poder acceder a sus datos personales o los criterios de selección, y poder borrarlos.

Si los datos se almacenan en un servidor que al mismo tiempo permite la conexión a medios online (webs, etc) ha de asegurarse que terceras personas no podrán acceder a esos datos. En el caso de que el almacenamiento se realice en un proveedor de servicios de campo online, éste ha de garantizar al instituto de investigación que se tomarán las respectivas medidas técnicas de seguridad para impedir el acceso de terceras personas a los archivos con los datos. El almacenamiento temporal de los datos en un servidor ha de finalizarse con la mayor brevedad posible.

E. Presentación , Interpretación y Documentación

Para la presentación, documentación e interpretación de los resultados de las encuestas online, se aplican los mismos requisitos y estándares que con el resto de técnicas de recogida de datos.

1. Presentación

Los resultados de la investigación, han de ser presentados íntegramente. Concretamente, todas las unidades entrevistadas así como todos los Items del cuestionario deberán incluirse en la presentación de los resultados.

Toda exposición incompleta, con el objetivo por ejemplo de ocultar información u ofrecer información errónea, contradice los principios éticos de la investigación Social y de Mercado.

2. Interpretación

La interpretación adecuada de los resultados de la investigación es un componente principal del método científico.

Adecuado implica por tanto, que toda interpretación estará relacionada con el objeto de la investigación y se basa en los resultados empíricos de la misma.

Cualquier interpretación que no cumpla lo anterior, no puede ser considerada un componente de la investigación empírica.

En la Investigación Empírica, como en cualquier investigación, hay que advertir expresamente en aquellos casos en los que por errores en la definición de la muestra, en la selección de casos, en la muestra probabilística o en la estructura "real-teórica" (en muestras por cuotas) la interpretación de los resultados se halla limitada.

3. Documentación

El informe de la Investigación ha de contener la información general necesaria para poder reconocer la calidad del desarrollo de la encuesta así como las posibilidades y fronteras de la interpretación de los resultados.

En las encuestas online es necesario como mínimo documentar lo siguiente:

• El nombre del demandante de la investigación
• El nombre del Instituto que realiza la Investigación
• Desarrollo de tareas del Proyecto
• Universo de análisis
• Método de muestreo
• Número de personas encuestadas
• Duración de la Investigación
• Muestra
• Tipo y modo de controles de campo
• Errores estadísticos de tolerancia (en selección aleatoria)
• Ponderación (Fuentes, Procedimientos y resultados)
• Cuestionario

F. Paneles de acceso Online

1. Definición

Los paneles de acceso online consisten en un grupo de personas registradas a las que se ha aclarado que participarán en encuestas online y han dado su permiso para ello. Normalmente este registro de personas incluirá datos sociodemográficos y otras características como nombre, dirección, etc.

De dicho panel de participantes se seleccionaran con métodos adecuados al objetivo de la investigación, los grupos de encuestados a los que se les ofrecerá participar mediante el envío de un correo electrónico. Como norma general, en este tipo de encuestas se aplican los mismos criterios de calidad que para cualquier otra encuesta online.

2. Captación de participantes

Existen dos tipos de paneles de acceso online en función del tipo de captación de participantes: Paneles Activos con un círculo cerrado de participantes y paneles de reclutamiento pasivo con un círculo abierto de participantes.

Los paneles "activos" se basan en métodos de captación mediante los cuales, el candidato es seleccionado o bien online o bien offline con técnicas de muestreo propias del instituto. Por motivos metodológicos, aquellos individuos que voluntariamente se ofrecen a ser miembros del panel no serán seleccionados.

En los paneles de usuarios de captación "pasiva" el participante es invitado a registrarse en una página web para poder formar parte del mismo. Sólo cuando se realice un muestreo aleatorio simple de total de panelistas reclutados, se puede considerar que cada individuo es representativo del total o de un grupo de los internautas. La autoselección de los participantes en los paneles de captación "pasiva" no permite realizar encuestas representativas. Del mismo modo, los paneles de captación "activa" tampoco pueden considerarse representativos a no ser se tengan en cuenta los requisitos metodológicos apropiados en el proceso de selección y muestreo.

3. Tamaño del Panel

Debido a que no todas las personas que se han registrado por captación activa o pasiva para ser miembro de un panel online están preparadas para participar, solamente podrán ser considerados miembros del panel aquellos internautas cuya dirección de correo electrónico esté validada y participen regularmente en las encuestas online.

El número de participantes registrados no es un indicativo sobre la calidad del panel.

4. Estructura del Panel

Para mejorar la calidad del panel de acceso online y por tanto la calidad de la muestra extraída es más importante el proceso de selección de participantes así como el uso y cuidado del mismo antes que el tamaño de la base de datos de direcciones.

Los participantes en el panel deben poder ser identificados individualmente con rasgos sociodemográficos y criterios de selección relevantes.

Una base cualquiera de direcciones de correo electrónico no clasificadas no puede considerarse un panel online por los motivos expuestos. Es necesario tener en cuenta las medidas de cuidado, mantenimiento y filtrado del panel así como la escasa permanencia de las direcciones de correo electrónico.

5. Mantenimiento del Panel Online

Para mantener el Panel de acceso Online es necesario que las direcciones así como cualquier otro dato sociodemográfico del participante sean actualizadas regularmente. Si esta información no se obtiene mediante las encuestas para las que se ha planificado el panel, es necesario para este fin crear un sistema de registro previo obteniendo los convenientes datos.

6. Uso del Panel Online

Hay que asegurar en cualquier panel Online que el participante no reciba encuestas similares sobre el mismo tema con demasiada frecuencia (por ejemplo varias veces al mes o trimestre). De otro modo, se caería en un efecto de "profesionalización" del panelista y por tanto se podrían modificar opiniones y formas de comportamiento sobre el tema y como consecuencia tener efectos desfigurativos sobre los resultados.

Del caso anterior se excluyen los estudios longitudinales en los que sea necesario realizar por motivos metodológicos varias encuestas sobre un mismo tema a lo largo del tiempo.

7. Gestión del Panel

La gestión de un panel de acceso online debería estar (como en cualquier otro tipo de panel online) en manos de personal competente y especializado.

Las oportunas competencias y responsabilidades deberían regularse de forma clara y estructurada por el Instituto de Investigación correspondiente.

G. Observaciones finales

Los estándares previos sobre la Calidad para las encuestas online corresponden al estado científico, metodológico y técnico actual (Mayo de 2001) así como a las condiciones legales y jurídicas bajo las cuales se implementen. Con el avance del conocimiento científico, el desarrollo posterior de métodos y técnicas de investigación, así como cambios posibles en las condiciones del entorno, los Estándares de Calidad para la realización de Encuestas por Internet también sufrirán modificaciones. Por ello, se realizarán comprobaciones regulares así como los ajustes y ampliaciones pertinentes.

BIBLIOGRAFÍA

METODOLOGÍA Y ESTÁNDARES

• Asociación alemana para la investigación por internet (Et al.) (2001) : "Estándares de calidad para la realización de encuestas por internet" http://www.bvm-net.de/user/dokumente/kodex-Q02D.pdf (Versión en Alemán) Último Acceso: 09 / 2004 http://www.domestic.at/ES/files/Onlinestandards_es.pdf (versión en Castellano) último acceso: 09 / 2004
• Baron, J. y Siepmann, M. (1999) : "Techniques for creating and using web questionnaires in research and teaching". http://www.psych.upenn.edu/~baron/examples/baron4.htm Último acceso: 08 / 06 / 2004
• Batagelj,Z. y Vehovar,V. (2004): "Technical and Methodological Issues In WWW Surveys." http://surveys.over.net/cl_001.html Último Acceso: 08/2004
• Bosnjak, M.(2001): ?Classifying Response Behaviors in Web-based Surveys" En Journal of computer mediated communication, Abril 2001. University of Southern California. US. http://www.ascusc.org/jcmc/vol6/issue3/boznjak.html Último acceso: 08 / 06 / 2004
• BVM Berufsverband Deutscher Markt- und Sozialforschungsinstitute (2003): "Anforderungen an Online ? Umfrage ? Software" http://www.bvm-net.de/user/dokumente/kodex-NEON-1.pdf Último acceso: 08 / 06 / 2004

• Couper,M (2000): "Web Surveys a review of Issues and Approaches" Public Opinion Quarterly, volume 64, numero 4, pp. 464-481.
• Deutskens, E. et Al. (2004): "Response Rate and Response Quality of Internet-Based Surveys: An experimental Study". Marketing Letters 15:1, 21 ? 36. Kluwer Academic Publishers. Holanda.
• Faas, T. (2003) : "Online rekrutierte Access Panels: Königsweg der Online-Forschung?" Revista GESIS Núm. 53. Zentrum für Umfragen, Methoden und Analysen (ZUMA) Mannheim, Alemania.
• Gunn, H. (2002) : "Web-based Surveys: Changing the survey process". Publicado en www.firstmonday.dk . Último acceso: 08 / 06 / 2004.
• Ilieva,J. , Steve,B., M.Healey,S. (2002): "Online surveys in Marketing Research: Pros and Cons" International Journal of Market Research, 44 (3), 361-382.
• Lamas, C. (2003): "La Investigación de Internet" Publicado en Revista TELOS. http://www.campusred.net/telos/home.asp?idRevistaAnt=52 Último acceso: 08/04/2003
• Poynter, R. (2001): "A Guide to Best Practice in Online Quantitative Research" 2nd ASC International Conference on Survey Research Methods: The Challenge of the Internet.

• Randall K. Thomas (2002) : ?Migrating phone surveys to the Internet" en Quirk?s Marketing Research Review. www.quirks.com Mayo 2003. http://www.harrisinteractive.com/news/newsletters/inthenews/QUIRKS_MigratePhoneInternet.pdf último acceso: 08/2004

• Solomon,D. (2001): " Conducting Web-based surveys" Practical Assessment, Research & Evaluation, volumen 7, numero 19, en http://pareonline.net/getvn.asp?v=7&n=19

DISEÑO

• Batagelj, Z. y Vehovar, V. "Technical and Methodological Issues In WWW Surveys." http://surveys.over.net/cl_001.html Último acceso: 29/08/2004
• Dillman,D. , Tortora, R., y Bowker,D.(1998): "Principles for Constructing Web Surveys." en http://survey.sesrc.wsu.edu/dillman/papers/websurveyppr.pdf último acceso: 29 / 09 / 2004
• Lindermann,M. y Fried,J. (2004) "Defensive design for the web. How to improve error messages, help, forms and other crisis points" New Riders, Indiana, US.
• Dillman, D. y Bowker,D. "The Web Questionnaire Challenge to Survey Methodologists" http://survey.sesrc.wsu.edu/dillman/zuma_paper_dillman_bowker.pdf último acceso: 28/08/04

MUESTREO

• Cubiles de la Vega, MªDolores (Et al.) (2002) : "e-Encuestas Probabilísticas I. Los marcos." Estadística Española, revista del Instituto Nacional de Estadística. Vol 44, Núm 151, págs 281 a 305 .
• Groves, R. M. (1989): "Survey Errors and Survey Costs" New York, Wiley.
• Muñoz Reyes, Ana M. (Et al.) (2002) : "e-Encuestas Probabilísticas II. Los métodos de muestreo probabilístico". Estadística Española, revista del Instituto Nacional de Estadística. Vol 44, Núm 151, págs 307 a 335.
• Schaefer, E (2001) : "Web surveying: How to Collect Important Assessment Data Without any Paper" Office of Information & Institutional Research, Illinois Institute of Technology.

ACCESIBILIDAD Y USABILIDAD

• Krug, S. (2000): "No me hagas pensar. Una aproximación a la usabilidad en la web" .Pearson Educación S.A. Madrid.
• W3C World Wide Web Consortium (1999): "Pautas de Accesibilidad al contenido en la web 1.0" http://www.discapnet.es/web_accesible/wcag10/WAI-WEBCONTENT-19990505_es.html último acceso: 08/08/04

ÉTICA

• Asociación alemana para la investigación por internet (Et al.) (2001) : "Richtlinie für Online-Befragungen" http://www.adm-ev.de/pdf/R08_D.pdf Último Acceso: 09 / 2004
• Association of Internet Researchers A.O.I.R. "Ethical decision-making and internet research" http://www.aoir.org/reports/ethics.pdf Último Acceso: 08/08/04
• AAPOR American Association for Public Opinion Research (2002): "Best practices for survey and public opinion research" http://www.aapor.org/pdfs/best_pra.pdf Ultimo Acceso: 08/04/2004

BIOGRAFIA DEL AUTOR

Nacido en Madrid (España). Estudio Sociología en la Universidad Complutense de Madrid especializándose en Métodos de investigacion social y de mercado. Comenzó su carrera en diversas empresas de consultoría de investigación para pasar a trabajar como responsable comercial en una empresa austriaca de software y tecnología para diseñar encuestas por internet. Actualmente es responsable comercial de Netquest y compagina su trabajo con publicaciones de articulos relacionados con la captación de información mediante encuestas online y metodología para realizar estudios de mercado online.

Blog: www.solucionesnetquest.com/actualidad

Web: www.solucionesnetquest.com

Raúl Páramo Flores

09/2004