La predicción ayuda a incitar al cliente a comprar en el momento adecuado o, por el contrario, a no tocarlo si compra, etc. Como parte de la prueba AB, la mecánica de personalización del sitio basada en predicciones ayudó a aumentar la conversión de la tienda en línea en un 16,5% y el ARPU en un 35,7% en relación con el grupo de control.
Azamat Tibilov, director de marketing de Mario Berluchi, habla sobre la mecánica predictiva, la medición de resultados, la historia del negocio de la ciencia de datos y comparte consejos para los minoristas en línea que también desean aumentar los ingresos a través del marketing útil y basado en datos.
Mario Berluchi es un fabricante ruso de zapatos, bolsos y accesorios con cinco tiendas fuera de línea en Moscú y una tienda en línea.
Escala. 200 mil visitantes del sitio por mes.
ESO. Sitio en Bitrix, back office en 1C, plataforma de datos del cliente Mindbox.
Tarea. Aumente los ingresos trabajando con datos acumulados.
Resultado. Un aumento en la conversión del sitio web en un 16,5% dentro de la prueba AB, un aumento en el ARPU en un 35,7%, una disminución en la proporción de carritos abandonados en un 17,2%.
Cómo funcionan los mecanismos de personalización de sitios web basados en predicciones
Cuando un cliente visita el sitio, registramos sus acciones y lo ejecutamos mediante el algoritmo de predicción: “compra en la sesión actual o no compra” y “volverá en 7 días o no volverá”. La predicción se vuelve a calcular cada 10 segundos para cada cliente.
Condiciones de activación de la mecánica:
- si hay artículos en el carrito,
- si no se ha aplicado ningún cupón de descuento,
- si la probabilidad de compra prevista es inferior al 30%,
- si se prevé que el cliente no regrese dentro de los 7 días.
Si se cumplen las condiciones, el cliente ve una ventana emergente en la cesta y decide si compra el producto en la sesión actual o no: La
ventana emergente aparece en la cesta si, según la predicción del algoritmo, el cliente no realiza un pedido en la sesión actual y no regresa más tarde
Resultados de la mecánica predictiva
Pruebas AB con 95% de confianza
Parte de los clientes dentro de la prueba estaban en el grupo de control y no vieron la ventana emergente; para ella, los mecanismos se apagaron y la otra parte vio. Comparamos la conversión, el ARPU y el abandono del carrito en estos grupos; obtuvimos resultados estadísticamente significativos con un 95% de confianza:
↑ 16.5%
Aumento en la conversión del sitio web en relación con el grupo de control usando el método de prueba t
↑ 35.7% de
crecimiento ARPU usando el método bootstrap
↓ 17.2%
Disminución en la proporción de carros abandonados usando el método z-test
Comparación de conversiones y ARPU: en mayo de 2019 y mayo de 2020, después de la introducción de la mecánica predictiva
Conversión antes y después de la implementación de la mecánica predictiva
ARPU antes y después de la implementación de la mecánica predictiva
Por qué lanzó la dirección de ciencia de datos
Inicialmente, queríamos construir análisis de extremo a extremo para evaluar la calidad de los canales publicitarios en el contexto de compras reales, porque el 50% de los pedidos "caen" en la etapa de confirmación.
Para el análisis de un extremo a otro, era necesario recopilar datos de comportamiento del usuario en la base de datos de Google BigQuery. Además de las acciones estándar del usuario (agregar un artículo al carrito, visitar una tarjeta de producto de un producto, realizar una compra), recopilamos muchas más acciones con el contenido del sitio: visitas. Diariamente se acumulaban más de 20 mil líneas de hits, y esta información se almacenaba en nuestra base de datos, por la que, por supuesto, pagamos.
Con nuestro tráfico, más de 200 mil usuarios al mes, había datos suficientes y realizamos analíticas estándar, por ejemplo, acciones de los usuarios con contenido después de cualquier cambio, compras después de promociones. Luego, realizamos una sesión de lluvia de ideas con el propietario de la empresa y decidimos probar, además de análisis simples y pruebas AB, para construir algo más interesante: intentar predecir el comportamiento del cliente en el sitio utilizando algoritmos de aprendizaje automático basados en nuestros datos históricos. Tratamos estas ideas como un producto interno en el que estamos dispuestos a invertir dinero y tiempo para obtener resultados más adelante: el crecimiento de las métricas comerciales.
Como resultado, se armó el departamento de Ciencia de Datos y en seis meses implementaron una mecánica con la predicción de las acciones del usuario, lo que aumentó los ingresos. Así, descubrimos una nueva línea de negocio, que nos aporta más del 30% de nuestros ingresos y se amortiza bien.
Qué especialistas se necesitaban para la ciencia de datos
Cada etapa del lanzamiento de una mecánica predictiva implica el trabajo de especialistas de diferente funcionalidad, pero de áreas relacionadas. Nuestro personal:
Analista. Analiza datos, encuentra anomalías y realiza pruebas AB.
Dos científicos de datos. Escriben algoritmos que devuelven respuestas predictivas en forma de probabilidad de una acción de usuario en particular en el sitio.
Comercializador. Desarrolla y lanza mecánicas usando algoritmos.
Desarrollador. Implementa mecánicas y algoritmos en el sitio.
Cómo funciona la mecánica predictiva
1. Marcamos los datos iniciales de Google Analytics mediante Google Tag Manager y utilizamos la transmisión de OWOX BI para recopilar datos en la base de datos de Google BigQuery. Estos pasos toman poco tiempo: desde el primer minuto puede ver cómo encajan los datos en la base de datos.
2. El analista observa cómo los datos coinciden con el comportamiento del usuario. Si es necesario, crea gráficos de distribución y observa qué tan alta calidad son, si hay colas. Si se encuentran errores, cambiamos la configuración de transmisión o limpiamos los datos, porque es imposible trabajar con datos sucios en el aprendizaje automático.
3. Los científicos de datos crean funciones (ingeniería de funciones) a partir de visitas y contenido, por ejemplo, la cantidad de productos vistos, la cantidad de artículos agregados a favoritos, la cantidad de artículos agregados por sesión al carrito.
Distribución de pesos de las características del algoritmo: en base a ellos, predecimos el comportamiento del cliente.
4. Entrene el modelo con datos históricos. Digamos que queremos predecir si el usuario tendrá la próxima sesión o volverá a nosotros dentro de los 7 días. Para hacer esto, tomamos datos históricos, signos, e implementamos el algoritmo. Para la predicción, usamos la clasificación: la respuesta binomial en forma de 1 o 0.
5. Validamos el modelo con datos históricos: precisión de pronóstico, métricas comerciales.
En primer lugar, observamos la proporción de precisión (proporción de respuestas correctas) y ROC-AUC (área bajo la curva de error):
Una precisión de 0,88 significa que el 88% de las veces predecimos con precisión que el usuario volverá o no. Precisión: qué parte de la predicción que devolverá el usuario fue correcta. Recuerde, sobre qué proporción de rendimientos reales predijimos.
Usamos AUC ROC (área bajo la curva de error) para evaluar el desempeño del algoritmo en una muestra de datos.
Además de las respuestas del algoritmo 1 y 0, también hay una probabilidad de acción en porcentaje. Y aquí establecemos un umbral: si la probabilidad de que un usuario regrese es más del 30% y esos usuarios regresan con mayor frecuencia, entonces la respuesta es 1.
6. Predecimos las acciones del usuario.
7. El comercializador desarrolla la mecánica para aplicar el pronóstico.
8. Realizamos la prueba AB, solo en nuevos usuarios que están familiarizados con nuestro sitio en este momento. La prueba dura aproximadamente tres semanas y durante este tiempo observamos cómo cambia el valor p acumulativo. En algún momento, la diferencia entre los grupos se vuelve significativa, entendemos que pronto se puede completar la prueba y la mecánica se puede implementar en producción.
9. El analista mide los resultados de la mecánica.
Según los datos del cliente, funciona la predicción
Basado en visitas. Basado en acciones en el sitio: ver tarjetas de productos, agregar productos al carrito, comprar.
Basado en contenido. Basado en acciones con contenido del sitio. Primero, recopilamos datos sobre las acciones del usuario: abrir una tabla de tallas, agregar un producto a favoritos, leer reseñas. Luego, analizamos cómo estas acciones afectan las métricas de proxy (conversiones intermedias antes de realizar pedidos); esto es necesario porque hay más datos sobre estas métricas que los pedidos. A continuación, analizamos la correlación de las métricas de proxy con las tasas de conversión y devolución de compras.
Los enfoques basados en visitas y basados en contenido se superponen. Pero en base a visitas evaluamos el comportamiento del usuario, y en base a contenido, el contenido en sí.
Basado en CRM. Enriquecimiento de datos de la tienda online CRM, seguimiento del historial de compras.
Consejos de compra online
1. Analiza los datos, incluso si eres una pequeña tienda online. Hay puntos de crecimiento ocultos en los datos que le permiten llevar su negocio al siguiente nivel. En el mundo moderno con una enorme competencia en lo digital, es imposible resolver el problema del crecimiento empresarial con una inyección banal de dinero.
2. El crecimiento de la conversión, una métrica clave de una tienda en línea, es el factor más poderoso en el desarrollo de su negocio.
3. No tema construir infraestructura e introducir nuevas tecnologías en su negocio. La introducción del aprendizaje automático le permite dar un paso adelante y romper con la competencia.
4. Aprenda a calcular el ROI de las inversiones en nuevas tecnologías. La mayoría de las empresas temen asignar un presupuesto para nuevas herramientas porque no comprenden completamente cómo se beneficiarán.
Más planes para el desarrollo de marketing
Ahora tenemos precios dinámicos en nuestro trabajo: evaluaremos cuándo otorgar un descuento en qué producto o, por el contrario, no otorgarlo. Todo suena simple: el producto se compra a menudo, no damos un descuento, rara vez compramos, damos. Pero profundizamos un poco más: miramos dónde estaba este producto en el catálogo, en qué mecanismos de marketing participó, cuántas veces se vio este producto, cuántas veces se agregó al carrito.
Y el siguiente paso es el precio dinámico para cada usuario.
Cómo replicar la mecánica predictiva en tu tienda online
Estamos desarrollando la cooperación con Mindbox y ofreciendo plataformas a los clientes para implementar nuestra mecánica predictiva. Si quieres repetirlo en tu tienda online, escribe a tus compañeros.
***
Autores:
Azamat Tibilov, Mario Berluchi Director de marketing
Maria Baikauskas, Mindbox Manager
Sema Semochkin, Mindbox Editor