Cuando analizamos los datos de una encuesta, a menudo nos encontramos con información extraída a través de grids, o baterías de respuesta para distintos ítems vinculados a una única pregunta. Pero, ¿alguna vez nos hemos planteado cómo se comporta el encuestado cuando responde este tipo de preguntas? Investigar en esta dirección da la llave para incrementar la calidad de la información de la que se dispone cuando se lleva a cabo un proyecto.
En este interesante post se explica cómo Pete Cape, de SSI, diseñó un experimento para valorar la adecuación de los grids cómo técnica de recolección de datos. Lanzó una encuesta a 3 muestras distintas, cada una de las cuales fue respuesta por 500 encuestados.
En cada una de las muestras se planteaba la misma pregunta, aunque ésta fue construida de distinto modo para cada una de los grupos. La encuesta, vinculada a los análisis de satisfacción de los empleados, estaba constituida por 71 ítems distintos, que tenían que ser valorados. Esta era la pregunta concreta: “Pensando en tu trabajo y en la empresa en la que trabajas, ¿hasta qué punto estás de acuerdo o en desacuerdo con las siguientes frases? Por favor, utiliza una escala del 1 al 5”.
En la muestra A se presentaba el grid completo, insertando dos trampas en los ítems 1 y 40. A la muestra B también se le mostró el grid completo, pese a que, en este caso, la trampa sólo se colocó en el ítem 39. En el caso de la muestra C, se presentó, de manera separada, cada uno de los ítems en distintas preguntas, incluyendo una trampa en el ítem 39. ¿En qué consistía esta trampa? Los ítems antes mencionados presentaban la siguiente oración: “Escoge la respuesta 2”.
Los resultados de este análisis arrojan los siguientes datos:
- el 93% de los encuestados empezó a contestar el grip desde el primer ítem; sólo unos pocos empezaron por el final
- los encuestados necesitaron, de media, 75,5 clics para valorar 71 ítems
- el 23% de los encuestados finalizó el grid sin haber realizado ninguna corrección
- el 67% de los encuestados finalizó en el último ítem (probablemente el resto finalizó en otro punto después que el sistema avisara que faltaba algún ítem para valorar)
- los que contestaron el grid tardaron 20 veces menos en finalizar que los que valoraron los ítems de manera separada
- el 7% de los encuestados cayeron en la trampa en la primera pregunta en el caso de los grids; sólo un 4% en el caso de la muestra C
- sólo el 2% de los que cayeron en la trampa tuvieron un comportamiento straightliner.
- entre los que cayeron a la trampa, entre un 57% y un 76% respondió la valoración que más frecuentemente utilizaba
- entre los que cayeron a la trampa, entre un 25 y 33% seleccionaron la misma valoración que en la pregunta inmediatamente anterior
Así pues, se observa que la calidad de respuesta en los grids es ligeramente inferior a la conseguida mediante preguntas distintas. La explicación de este hecho se fundamenta, básicamente, a la inatención por parte del encuestado… y no se trata de cierta “mala fe” del panelista en la cumplimentación del cuestionario, sino más bien a una mala construcción del mismo.
La inatención del ser humano en determinadas acciones repetitivas es natural y no intencionada. Cualquier acción que reclame un alto nivel de esfuerzo mental puede llevar al agotamiento y a la pérdida de atención. Hay que ponérselo fácil, al encuestado: pocas preguntas y todas ellas muy claras. De esto depende la consecución de datos de calidad.
Fotografía: vmarinelli
