En un artículo publicado en Quirk’s, se mencionaba un experimento, realizado por RTI International, en el que se pretendía utilizar la información de Twitter para complementar o completar los blancos de las encuestas. ¿Es fiable este procedimiento?
La primera fase del experimento consistió en pasar una encuesta a 2.000 panelistas. La información por la que se preguntaba tenía que ver con temas de salud, intención de voto, demografía y otras opiniones y comportamientos. Otra de las cosas por las que se preguntó fue por la disponibilidad de una cuenta de Twitter. Entre los que respondieron afirmativamente, el 25% (un total de 100 encuestados, es decir, el 5% de la muestra global) accedió a presentar su nombre de perfil para que se pudiera realizar un posterior seguimiento vía Twitter.
En la segunda fase del experimento, se dividió la muestra en dos grandes bloques, uno de los cuales fue “escondido”, “enmascarado”… el objetivo del experimento era intentar averiguar si, en base al análisis de la información de Twitter (referente a los últimos 1.000 tuits de cada usuario), se podía llegar a predecir cuáles eran las características escondidas en una de las submuestras.
El análisis de la información de Twitter se realizó mediante dos técnicas distintas: en primer lugar, se realizó una codificación “humana” de los tuits de los encuestados “enmascarados”. Se les pasó el listado de 1.000 tuits y, con un tiempo máximo de 5 minutos por encuestado, los codificadores tuvieron que elegir en qué categoría clasificaban a los individuos en función de su sexo, edad, nivel de ingresos, intención de voto, estado de salud y estado de salud mental.
La segunda técnica de codificación, empleada en paralelo a la primera, consistió en la automatización de la categorización de los individuos. Mediante un ordenador, se creó un algoritmo que realizaba predicciones basadas en “múltiples puntos de datos y casos que se parecían a otros casos”. La verdad es que esto es, para mí, como una caja negra… pero bueno, ellos lo aplicaron, con más o menos fortuna, para conseguir ver qué sucedía. El problema con el que se encontraron al realizar la codificación automática fue el escaso número de casos con que contaba la muestra de tuiteros… una muestra más grande habría, según RTI, aportado unos datos más fiables.
Una vez realizada la codificación, se desenmascaró la muestra que había sido escondida… y se compararon los resultados de la codificación vía Twitter (tanto en el caso de la codificación manual como en el caso de la automática) con lo que mostraba la encuesta. El 100% de precisión corresponde a las frecuencias relativas de la encuesta (aunque, dicho sea de paso, habría que ver hasta qué punto los datos de la encuesta se corresponden con la realidad):
Fuente: Quirk's
Además de las predicciones manuales y automáticas, se añadió una tercera fuente de predicción: el puro azar. ¿Hasta qué punto el hecho de tirar una moneda o un dado puede predecir las respuestas de los encuestados? Este procedimiento permitió ver qué fiabilidad tenía el análisis de las cuentas de Twitter.
Pues, como se observa, la codificación manual fue eficaz (bueno, relativamente eficaz) en el momento de categorizar los aspectos demográficos de la muestra: la precisión en relación al sexo fue de cerca de un 50%, mientras que la relativa a la edad se acercó al 80%. La codificación automática se reveló como “especialmente” eficaz en el caso de la intención de voto (prácticamente acertó en el 70% de los casos) y el estado de salud físico (30%) y mental (45%). Sin embargo, tanto la codificación manual como la automática fueron incapaces de predecir los ingresos de los encuestados de Twitter: incluso el puro azar fue más acertado en esta predicción.
¿Qué conclusiones hay que sacar de este experimento? ¿Es suficiente el grado de exactitud que se consiguió mediante el análisis de Twitter? A mi parecer, aunque el proyecto abra nuevas vías de investigación, no creo que sea apropiado para conseguir complementar la información de las encuestas… ¿sólo un 50% en la precisión de medida del sexo? Me parece una cifra demasiado baja como para ejecutar trabajos utilizando esta técnica.
Además, hay que tener en cuenta el sesgo existente en la muestra “enmascarada”: se trata de encuestados que utilizan Twitter (con su correspondiente sesgo en favor de ciertas edades y nivel de estudios) y que, además, dieron su consentimiento a la utilización de su información para llevar a cabo el experimento. Existe, pues, de un sesgo doble, que difícilmente sea posible de solucionar. En cualquier caso, siempre está bien conocer el resultado de este tipo de estudios… al final se aprende más de lo que fracasa de lo que funciona bien.
Fotografía: mallix
