Según el avance de datos del estudio El sector de la investigación en España 2013, el volumen de facturación de las encuestas online ya supone, en España, el 20% del total de negocio movido en el sector de la investigación. Este porcentaje, que no ha dejado de crecer en los últimos años, da cuenta de la consolidación de esta técnica de recogida de datos. Cada vez se hacen más cuestionarios online… y los encuestados están cada vez más “entrenados”. Sobre todo en los casos en los que se ofrecen incentivos, en particular cuando se trata de panelistas, encontramos encuestados profesionales cuyo único objetivo es pasar los filtros iniciales y conseguir el preciado premio.
Nuestra obligación, como investigadores, es controlar la calidad de las respuestas con el fin de depurar los datos y, así, obtener información fiable que represente la realidad y que ayude a los clientes a tomar las decisiones más adecuadas. A veces, sin embargo, conseguir información válida no reside tan sólo en la depuración: la redacción de un buen cuestionario puede ahorrarnos muchos problemas en relación con la detección de panelistas profesionales. A continuación presentamos 7 consejos para poder localizar “encuestas fraudulentas”:
- Controla el straightlining: uno de los indicadores más claros para detectar un encuestado profesional son sus respuestas en los grids de preguntas. Cuando una persona responde una batería de preguntas “a lo vertical” (esto es, marcando la misma opción para cada uno de los ítems presentados) es muy probable que nos encontremos delante de un encuestado cuyo único objetivo sea el de conseguir el incentivo… no le importa contestar bien: simplemente quiere perder el mínimo de tiempo posible.
Es relativamente fácil detectar este tipo de comportamiento. Se puede automatizar mediante la aplicación de una simple sintaxis de SPSS. Sin embargo, hay que tener en cuenta que el straightlining no tiene por qué indicar la presencia de un encuestado profesional. A veces es el propio diseño del cuestionario el que lleva a los respondientes a comportarse de este modo. Y es que los encuestados no son robots: se cansan. Enfrentarse a largas baterías de preguntas puede llevarlos al hastío y a la decisión de contestar las preguntas desidiosamente. Cuida mucho tus encuestas: intenta que generen el mayor nivel posible de engagement entre la muestra.
- Controla las respuestas a preguntas abiertas. Aunque el control de este elemento se tenga que hacer de una manera manual, leer y releer te permitirá detectar qué encuestados responden de manera inconsistente. Respuestas que no tienen que ver con la pregunta, tipografiado de signos gráficos realizado sin ton ni son… son buenas pistas para detectar al encuestado profesional. Puede ser una buena idea establecer este tipo de preguntas como obligatorias, para así poder evitar que los respondientes salten de pregunta en pregunta sin contestar ninguna
A veces, incluso puedes encontrarte con respuestas que te lleven a pensar que el encuestado es un robot… y puede que lo sea. Respuestas del tipo “n/s” pueden darte pistas para localizar individuos que, mediante el uso de robots, realizan el mayor número posible de encuestas con el fin de forrarse en base a incentivos. Es el refinamiento máximo al que ha llegado el panelista profesional.
- Controla los tiempos de respuesta. Si el tiempo de respuesta de un determinado cuestionario se desvía mucho del tiempo necesario que estimaste, muy probablemente te encuentres ante una encuesta inconsistente, sobre todo en el caso que se haya respondido en un tiempo mucho menor al previsto: te indicará que el respondiente ha realizado el cuestionario sin reflexionar. Sin embargo, un tiempo de respuesta excesivamente largo no tiene por qué ser un indicio de mala calidad de respuesta: a veces, los encuestados aparcan momentáneamente la cumplimentación de la encuesta para poder contestarla posteriormente.
- Sé muy cuidadoso con el establecimiento de filtros out. En base a repetir y repetir el mismo tipo de encuestas, los respondientes profesionales se han dado cuenta que hay preguntas que los echan fuera. Para superarlas, simplemente marcan o la opción más lógica o, en el caso que se trate de una pregunta de respuesta múltiple, marcan todas las opciones. Es en las preguntas de filtro donde los panelistas profesionales dedican más reflexión: “¿cómo supero el filtro y obtengo el incentivo?”. Antes estas situaciones, sé imaginativo y anticípate al comportamiento del profesional de las encuestas. Por ejemplo, si necesitas filtrar los encuestados según sean consumidores de un determinado tipo de producto, no sería mala idea insertar algunas marcas falsas en una pregunta de respuesta múltiple. Si marcan estas marcas falsas, sabrás que te encuentras ante un panelista entrenado.
- Controla la consistencia entre respuestas a distintas preguntas. Aunque no es muy recomendable alargar el cuestionario, preguntar por las mismas temáticas por duplicado, presentando la pregunta en formatos distintos, puede ayudarnos a descubrir inconsistencias. A veces no es necesario duplicar estas preguntas de manera deliberada: el simple flujo natural del cuestionario puede dar lugar a situaciones en la que, “si previamente has respondido esto, no puede ser que ahora respondas esto otro”. Es una buena idea comparar las respuestas a preguntas abiertas con las casillas marcadas en las preguntas cerradas.
- En el caso de disponer de los mails de los encuestados (cosa muy poco frecuente), asegúrate de no encontrarte con direcciones que huelan a podrido. Nombres tales como profesionaldelasencuestas@quieroelincentivo.com deberían hacerte dudar…
- Si trabajas con una base de datos de los clientes, muy probablemente dispongas de la información de contacto de los encuestados… puedes intentar localizarlos para verificar que fueron realmente ellos quienes respondieron la encuesta. Aunque, según mi opinión, no es muy buena idea: ante estas situaciones, las personas se sienten intimidadas. Intenta no violar la privacidad de los encuestados.
Estos siete pasos te servirán, de bien seguro, para detectar aquellas encuestas de mala calidad. Pero muy probablemente tú también tengas tus ideas para mejorar la calidad de las muestras… ¿algunas propuestas?
Fotografía: Stuart Miles, cortesía de freedigitalphotos.net
