Tres hipótesis y tres desafíos.

Se espera que las consecuencias de la pandemia del nuevo coronavirus (COVID-19) sean enormes y mundiales. Aunque los investigadores de mercado han experimentado otras crisis anteriormente, todas ellas tienen efectos únicos y, por tanto, impredecibles. No obstante, nuestras hipótesis operativas son siempre las mismas, incluso si los resultados son distintos:

1. El comportamiento de compra o consumo cambia.
2. La demografía cambia.
3. Los niveles de participación en investigación de las personas cambian.

De igual manera, existen tres desafíos típicos asociados al estudio de estos cambios:

1. No sabemos cuánto tiempo va a durar la crisis.
2. No sabemos cuál será la magnitud de sus consecuencias.
3. Las personas a menudo sienten ansiedad acerca de estas cuestiones y, debido a ello, tienen la tentación o sienten la presión de realizar cambios preventivos o asumidos en los datos.

La gran mayoría de las preguntas que recibimos en tiempos de crisis está relacionada con un intento de prever los efectos y la duración, de tal modo que los clientes puedan adaptar su metodología o los datos adecuadamente. El problema es que nadie sabe realmente qué va a pasar y cada crisis es diferente. Pasemos a analizar detalladamente las hipótesis.

1. Cambios en el comportamiento de consumo y compra del consumidor

Problema

Los cambios de conducta siempre se basan en la naturaleza de la crisis y en las categorías y los sectores afectados. En la crisis actual, se pueden predecir fácilmente determinados aspectos. Todo lo relacionado con viajar se desmorona antes nuestros ojos. Seguramente, observaremos un aumento en el consumo de servicios de entrega de alimentos y comestibles. Además, es posible que se produzcan cambios —y, posiblemente, drásticos— en la fidelidad del consumidor a la marca. ¿Cuántas personas conocían Zoom antes de la crisis? En palabras del secretario de defensa de Estados Unidos Donald Rumsfeld, son “incógnitas conocidas”.

Por qué es importante

La opinión sobre este tema va más allá de las soluciones posibles. Algunas personas opinan que, como el cambio es ocasional, debe suprimirse o suavizarse en los datos, dado que todo volverá a normalizarse en algún momento. Otras —donde me incluyo yo— creemos que, dado que el cambio es en efecto real, se debe tener en cuenta. Debe decidir usted mismo a qué grupo se adscribe con respecto a esta cuestión.

Recomendaciones

Lo más conveniente en estas circunstancias es continuar realizando un seguimiento de los comportamientos en el tiempo y buscar los cambios. Para ello, se deben seguir los siguientes pasos:

1. Realizar un seguimiento de la incidencia en el nivel de la categoría
   Si no lo ha estado haciendo ya, busque datos disponibles de proveedores de confianza que analicen las tendencias en esa categoría.
2. Realizar un seguimiento del uso de la marca y buscar los cambios
   Analice minuciosamente las preguntas sobre el uso de la marca. Es posible que incluso sea conveniente repasar las listas de marcas a las que siempre recurre respondiendo a preguntas de conocimiento de marca sin ayuda. Asimismo, la investigación cualitativa, los hallazgos en las redes sociales e incluso la lectura rápida de periódicos y webs de noticias pueden servir de ayuda para identificar cambios en la fidelidad a la marca.
3. Reevaluar los diseños de muestras de seguimiento
   Hay dos formas básicas de diseñar una muestra de seguimiento. Una consiste en garantizar que las personas que se enfrenten a la pregunta de aptitud del estudio representen a la población total que se intenta reflejar. La otra es que no lo hagan. En otras palabras, para que los datos arrojen estimaciones imparciales de una población conocida, deben ser representativos en el momento en que se decide si alguien es apto o no para continuar. En ese momento, se pueden ponderar o reflejar los datos para obtener las estimaciones de mercado. Entre las alternativas aceptables, se incluye la adición de incrementos o realces a la muestra, lo que proporciona una mayor resolución de los datos (más observaciones) al tiempo que se representa una proporción conocida de la población analizada de modo que las cifras se puedan volver a ponderar para obtener la estimación total en línea. La alternativa es optar por una estructura de muestra de respuestas que simplemente refleje “algo” que puede o no ser representativo.
4. Realizar análisis CHAID (detección automática de interacciones con prueba chi-cuadrado) y CART (árboles de clasificación y regresión) vinculando variables de interés con datos demográficos
   Esto es una estrategia de nivel profesional. La mayoría de las empresas aplican un control cosmético de los datos demográficos en el diseño de una muestra (mediante cuotas o ponderaciones poscampo) bajo el principio, por ejemplo, de que la jerarquización de la edad y el género mitigarán estos efectos. Esto resulta útil, pero los datos demográficos básicos podrían explicar solo la mitad de la variación de una variable de interés. En este caso, los análisis de árboles de decisión son útiles para identificar otras variables o interacciones demográficas que pueden afectar a las variables de interés. Conocer este dato resulta útil para las demás hipótesis que se indican a continuación.

Independientemente de cuál sea su punto de vista sobre estos asuntos, si observa resultados extraños, desaconsejo encarecidamente todo tipo de manipulación no factual de los datos por dos motivos: uno de ellos es que solo estará haciendo conjeturas y el otro es que, si se cambia artificialmente algo que se produce dentro de un sistema, se verá obligado a continuar manipulando este dato hasta que termine el estudio. Sencillamente, no podemos predecir lo que va a pasar y, por lo tanto, es inútil intentar prever los cambios o realizar correcciones prematuras de los diseños de muestras.

2. Los datos demográficos cambiarán.

Problema

Empleamos la palabra “crisis” por un motivo. En toda crisis, se produce normalmente una gran conmoción que afecta a una parte significativa de la población. En situaciones de esta índole, la residencia de una persona puede cambiar (como el huracán Katrina o las inundaciones de Fukushima) o el patrimonio neto podría verse alterado (como con la burbuja económica de 2008 en el sector inmobiliario de Estados Unidos), entre otros. Los datos demográficos de un individuo son esenciales para los investigadores y las empresas de campo, ya que a) los proveedores de muestras los tienen en cuenta para ser precisos en cuanto a los objetivos, y b) los investigadores los utilizan para compensar y ponderar los datos con ánimo de reducir los sesgos en las muestras de respuestas.

Por qué es importante

El verdadero problema en este caso es doble. Por un lado, no siempre está claro si los encuestados son conscientes de esos cambios cuando responden a una encuesta durante una crisis. Incluso si lo son, es posible que no sean capaces de proporcionar valoraciones precisas de las consecuencias (p. ej., el patrimonio neto) cuando los acontecimientos se desarrollan rápidamente. Por otro, si los datos demográficos se ven alterados, eso significa que no solo hay cambios en los datos demográficos de las muestras, sino que los datos demográficos de la población están cambiando también. Dado que toda encuesta tiene el objetivo fundamental de emplear una muestra para representar una población conocida, el hecho de que las características de la población conocida estén experimentando cambios no es una cuestión insignificante.

Solución

Para los investigadores, la práctica básica requiere que cualquier muestra sea representativa de una población conocida. En última instancia, hay dos aspectos clave a la hora de obtener las estimaciones finales de un estudio. Uno es la compensación o ponderación de los datos en caso de que haya algún sesgo en la muestra de respuestas. El otro es la proyección de los datos si el objetivo del estudio es reflejar los valores o volúmenes generales sobre una población total.

• Ejemplo de ponderación: si una población se distribuye uniformemente por género, una muestra de respuestas formada por un 60 % de hombres y un 40 % de mujeres se debe ajustar de manera que los hombres tengan un factor de ponderación de 50/60 = 0,833 y las mujeres uno de 50/40 = 1,2.
• Ejemplo de proyección: si la muestra de respuestas consta de 1000 personas y la población está formada por 1 000 000 de personas, los datos volumétricos se deben multiplicar por un factor de 1000.

La práctica de ponderación y proyección garantiza que los cambios en los niveles de participación no alteren las estimaciones de forma inadecuada y que se gestione cualquier cambio demográfico en la composición de la muestra. Como se ha indicado anteriormente en el apartado 2 (cambios demográficos), no siempre podemos asegurar que estos datos sean precisos durante una crisis, pero al menos serán estables.

En cuanto a si se deben realizar cambios en los datos demográficos y, por lo tanto, en la estructura de la población, no existe una respuesta correcta o incorrecta. Desde mi punto de vista, tenemos que aceptar que es posible que haya tanto errores de medición aleatorios como sistemáticos en los datos demográficos que estén fuera de nuestro control. Cualquier solución que se pueda intentar implementar tendrá sus inconvenientes, que se tendrán que ponderar dentro del contexto del estudio que se lleve a cabo. Si apoyamos la actualización de la estructura de la población subyacente y, por lo tanto, la estructura de la cuota o la ponderación del estudio, podríamos estar, por definición, alterando las estimaciones. Si no se actualiza la estructura de la población, se mantiene la estabilidad del diseño de la investigación, pero se introducen posibles sesgos.

Una posible solución provisional para los investigadores es solicitar algún dato demográfico verdaderamente importante que, con razón, se pueda creer que es posible que cambien precisamente debido a la crisis en el cuerpo de la encuesta. Esta es una respuesta insatisfactoria por el grado de frustración que observamos normalmente entre los encuestados, a los que se les atosiga con las mismas preguntas de carácter demográfico (como la edad y el género) debido a integraciones programáticas insuficientes o inexistentes. Preguntar por los datos demográficos al final de un estudio es un hábito enormemente obsoleto que, en todos los casos típicos, se debe desterrar. No obstante, puede que sea la única opción.

3. Los niveles de participación de las personas cambiarán.

Problema

En toda crisis, la percepción inicial es que las personas no mostrarán interés por cosas como la participación en una encuesta y preferirán centrarse en su vida personal. Es posible. Sin embargo, después de haber vivido otras crisis anteriormente, he comprobado que las personas continúan respondiendo a encuestas. ¿Quién sabe por qué? ¿Se aburren? ¿Necesitan huir de la gravedad de sus situaciones? ¿Necesitan dinero? Sea cual sea el motivo, es una pregunta puramente empírica. No podemos basarnos en conjeturas. Es necesario analizar los datos.

Al igual que la historia nos confirma que las verdaderas rupturas de la población desembocan en cambios demográficos, también nos dice que, efectivamente, la gente continúa respondiendo a encuestas. El desafío está, como en todo lo demás, en que es imposible predecir las consecuencias y la duración.

Qué significa esto

Asumo que los investigadores gestionan los sesgos de las muestras demográficas correctamente (a través de cuotas, compensaciones de muestras o ponderaciones post-campo), de manera que cualquier cambio en la participación que sea puramente demográfico no debe afectar a las estimaciones.

Se pueden dar dos casos principales. Uno de ellos es que, si la participación cae, la viabilidad del estudio se vería comprometida. Una pequeña merma de la viabilidad no sería preocupante, incluso si se produce un déficit de encuestas completadas. (Nota: dinamitar una muestra en un estudio para rellenar es un proceso increíblemente inútil que no aporta ninguna resolución significativa a los datos y supone un coste enorme en términos de agotamiento de los encuestados.) Para déficits mayores, se debe incluir a un especialista en metodología para obtener ayuda.

El segundo problema sería que estos nuevos encuestados son sistemáticamente distintos en cuanto a su comportamiento. Los investigadores son conscientes desde hace mucho tiempo que los encuestados nuevos en un estudio tienden a ser informadores más “entusiastas”. Tenga en cuenta que esta cuestión no debe confundirse con la amenaza conocida en el sector como “encuestados profesionales”, que ha sido motivo de preocupación en este campo durante al menos una década. Resulta indiscutible que, dado que las empresas especializadas en paneles se han movido en los mismos círculos, se han producido solapamientos en sus paneles. No obstante, una de las ventajas de la automatización y las integraciones programáticas para el muestreo ha sido que las fuentes se han ampliado y diversificado. Así pues, todos los problemas relacionados con la participación suelen ser la ampliación o la reducción de las fuentes de las puede que puede hacer uso un proveedor o el flujo irregular de encuestados nuevos en un estudio.

Solución

Controlar a los nuevos encuestados en un estudio es un asunto más complicado. La forma más sencilla de comprobar si esto supone un problema es realizar un seguimiento de la composición de una muestra bruta según el número de veces que un encuestado ha participado. Cómo gestionar esto es demasiado complicado de explicar en este artículo. Si desea más información al respecto, póngase en contacto con nosotros.

En cuanto a la posibilidad de que exista un comportamiento completamente distinto, es posible que no se pueda distinguir del cambio de conducta ocasional que hemos mencionado anteriormente. Consulte ese apartado para obtener más ideas.

En Cint, supervisamos los datos relacionados con la participación por día y por país. Más concretamente, analizamos lo siguiente:

1. Entradas, cuestionarios completados y tasas de conversión de fuentes programáticas
2. Tasas de respuestas y tasas de conclusión de fuentes basadas en invitaciones
3. Proyectos y media de encuestas completadas por proyecto
4. Casos de COVID-19 confirmados por país

Estos datos proporcionarán una visión completa de nuestra cadena de suministro y nos ofrecerá una indicación sólida de los efectos del nuevo coronavirus en la participación. Facilitaremos estos datos a los clientes en una nota de investigación independiente.

Otras preguntas y respuestas

1. ¿Cuál es el punto de vista actual de Cint sobre la manera en la que afectará la crisis al sector y a su propio negocio?
2. Hay numerosos indicadores principales que sugieren que las marcas se han visto afectadas gravemente. Ya sea porque los consumidores y los empleados se quedan en casa o por la retención del gasto, prevemos que esto se traducirá en una disminución de la demanda de investigación en el segundo trimestre. Estamos vigilando varios indicadores, incluidos los proyectos cancelados, la trayectoria de las ventas, los proyectos en campo, las encuestas completadas por proyecto y, cómo no, los ingresos. Además, la incertidumbre está provocando que todo el mundo sea reticente a correr riesgos y conserve la tesorería. También estamos supervisando las prácticas de pago en nuestra plataforma para asegurarnos de que el ecosistema está saneado.
3. ¿Qué información de los mercados “punteros” podemos aplicar a otros mercados en los que el coronavirus aún no ha aflorado completamente?
4. Nuestras hipótesis mencionadas anteriormente se podrán aplicar ampliamente a todos los países. Dicho esto, los resultados serán distintos en función de las decisiones de cada país en cuanto a cómo gestionar los brotes y cualquier matiz demográfico o mercantil en cada país.
5. ¿Qué nuevos controles de calidad sugiere en estos momentos en las encuestas?
6. El fraude nunca duerme. Somos férreos defensores del uso de técnicas adaptativas basadas en los datos que nos permitan detectar los patrones continuamente cambiantes del fraude en las respuestas de las encuestas. Para obtener más información al respecto, póngase en contacto con su gestor de cuenta.
7. Con todo lo que está aconteciendo con el nuevo coronavirus, nos preguntábamos si sugiere algún tipo de mensaje en torno al virus que se deba incorporar en las encuestas, como “Somos conscientes de que son tiempos difíciles, pero remóntese a su rutina habitual antes de la pandemia…”.
8. Si va a incorporar afirmaciones como esta, no haga suposiciones ni se disculpe por ninguna dificultad a la que el encuestado se pueda estar enfrentando. Céntrese en los hechos. Si va a preguntarle a alguien sobre su vida, proporciónele un marco de referencia. Por ejemplo, si se remonta a antes del inicio de la pandemia por el nuevo coronavirus, ¿con qué frecuencia salía a cenar fuera de casa?