Prueba de la serie de mapas mentales: cómo pensar como un CRO Pro (Parte 6)

Entrevista con Jakub Linowski de GoodUI

¿Alguna vez te has preguntado por qué algunas personas parecen tener un don para CRO?

No es solo porque son buenos para preparar experimentos. También saben cómo pensar las cosas de una manera diferente, que es lo que esta serie te ayudará a hacer también. Examinaremos de cerca las mentalidades que conforman un CRO exitoso y cómo puede aplicarlas a su estrategia.

Si puede ponerse en el estado de ánimo correcto, entonces el éxito será mucho más fácil que si lo intenta sin comprender primero dónde podrían estar sus puntos ciegos. En última instancia, la Serie de mapas mentales de prueba está destinada a ayudarlo a planificar mejor su estrategia de optimización y ejecutar pruebas con más confianza.

En este artículo, Jakub Linowski de GoodUI comparte que el poder de la experimentación radica no solo en su capacidad como método útil, sino también en la generación de conocimientos poderosos que pueden informar mejores decisiones.

Jakub, cuéntanos sobre ti. ¿Qué te inspiró a dedicarte a las pruebas y la optimización?

Me atrajo el mundo de la experimentación en algún momento alrededor de 2014 cuando mi experiencia en diseño me llevó por este camino. A medida que la gente comenzó a compartir ejemplos de buenas UI y listas de "mejores prácticas", yo también lo hice, y así surgió GoodUI.org. Sin embargo, no tardé mucho en darme cuenta de que todas mis sugerencias y patrones de interfaz de usuario se acercaban más a hipótesis visuales que a algo respaldado por pruebas. Tenía muchas ganas de ganar más confianza y hacer un mejor trabajo filtrando las buenas ideas de las malas.

Entonces, cuando escuché sobre las pruebas A/B, me emocioné bastante (aunque no tenía idea de qué era un intervalo de confianza). Contraté a un desarrollador front-end y creamos una pequeña agencia de optimización. Comenzamos a probar las ideas que leíamos en los blogs, escuchamos de nuestros clientes, así como de nuestra propia biblioteca de patrones GoodUI emergente. Con la mayoría de nuestros clientes permitiéndonos publicar pruebas a/b abiertamente, comenzó a ser evidente que algunos patrones eran mejores que otros. Algunos no hicieron mucho. Otros replicaron bien. Y otros resultaron en resultados negativos.

Ahora necesitábamos sopesar estos experimentos.

Y así, GoodUI.org rápidamente comenzó a convertirse en un repositorio de experimentos similares y comparables con un ciclo de retroalimentación de círculo completo. Las cosas que funcionaron mejor con una mayor frecuencia e impacto se destacaron en la parte superior (usando datos agregados medianos). Mientras que los resultados de las pruebas para patrones similares se retroalimentaron a nuestra base de datos, corrigiendo nuestras predicciones y aumentando la precisión.

Así que sí, disfruto de la experimentación tanto por el maravilloso método que es, como por ser una poderosa fuente de conocimiento profesional que nos permite hacer mejores predicciones.

¿Cuántos años has estado optimizando? ¿Cuál es el único recurso que recomienda a los aspirantes a probadores y optimizadores?

Realizamos nuestra primera prueba de salto a/b en mayo de 2014 en una página de inicio de cotizaciones para una importante compañía de seguros. La variación incluía todo lo que sabíamos en ese momento sobre cómo mejorar los formularios, copiar y enviar formularios en función de nuestra propia experiencia limitada. El resultado fue un aumento relativo del +53 % en las derivaciones (±28, p-val 0,0002). Este es mi primer experimento que me enganchó.

En cuanto a un recurso, me encanta aprender de lo que otros están probando. Es especialmente emocionante y valioso buscar experimentos de grandes jugadores como Netflix, Airbnb y Amazon que sabemos que tienen un buen tamaño de muestra y realizan muchas pruebas. En general, creo que siempre es una buena idea aprender de las personas que están un par de pasos por delante de nosotros (como lo sugieren muchos, incluso dentro de Mastery de Robert Greene).

Responda en 5 palabras o menos: ¿Qué es para usted la disciplina de la optimización?

La optimización significa que estamos mejorando las cosas.

(Los resultados son críticos para la optimización. Por ejemplo, cien resultados de experimentos planos o indeseables no son lo suficientemente buenos. Es posible que aprenda mucho, sí. Pero para que podamos optimizar algo, debemos mover la aguja en la dirección que queremos. .)

¿Cuáles son las 3 cosas principales que las personas DEBEN entender antes de comenzar a optimizar?

EXPLORACIÓN: generar tantas ideas como sea posible.

EXPLOTACIÓN: priorizar ideas con resultados anteriores para una mayor velocidad.

EXPERIMENTACIÓN – abriendo nuestras ideas para ser falsificadas o validadas.

¿Cómo trata los datos cualitativos y cuantitativos para que puedan contarle una historia imparcial?

Estoy de acuerdo con la idea de validar los resultados de las pruebas a/b. En general, cuantas más medidas coherentes tengamos, más fiables y fidedignos pueden llegar a ser nuestros experimentos.

Cuando se trata de comparar resultados, hay algunas maneras en que podemos hacerlo:

• Comparación de varias métricas del mismo experimento (p. ej., consistencia del efecto en: adiciones al carrito, ventas, ingresos, compras devueltas, etc.)
• Comparación de datos históricos en experimentos separados (por ejemplo, consistencia del efecto entre dos experimentos separados ejecutados en 2 sitios web separados)

¿Qué tipo de programa de aprendizaje ha configurado para su equipo de optimización? ¿Y por qué tomó este enfoque específico?

Creo firmemente que la replicación de experimentos es un elemento fundamental para mejorar la predicción de los resultados de las pruebas (generar conocimiento profesional).

Por lo tanto, en nuestra propia plataforma, agrupamos experimentos similares y agregamos métricas similares.

Al crear una base de conocimientos a partir de experimentos, el otro aspecto importante es minimizar el sesgo de publicación . Es decir, llevar un registro de todos los experimentos independientemente de sus resultados (incluidos los positivos, negativos, significativos e insignificantes).

¿Cuál es el mito de optimización más molesto que desearía que desapareciera?

Más recientemente, me ha molestado la gente que afirma que la experimentación no tiene inconvenientes (capturado muy bien por este maravilloso hilo de LinkedIn). Una forma sutil en que esto surge a veces es a través de afirmaciones que suenan similares a "no hay exámenes perdidos, solo aprendizajes".

Esto podría ser cierto en los mundos de la torre de marfil donde el aprendizaje es el objetivo clave y donde el experimentador está protegido de los costos.

Sin embargo, como profesión, cuando utilizamos la experimentación como herramienta para optimizar los sitios web de los clientes, no hay comida gratis. Ejecutar experimentos tiene sus costos, riesgos, ventajas y desventajas. Desde este ángulo, creo que es extremadamente saludable rastrear y admitir los resultados por lo que realmente son (incluyendo sentirse cómodo admitiendo rachas de pruebas negativas y no blanquearlas). Todas las profesiones necesitan bucles de retroalimentación tanto positivos como negativos para seguir mejorando.

¡Con suerte, nuestra entrevista con Jakub ayudará a guiar su estrategia de conversión en la dirección correcta! ¿Qué consejo resonó más contigo?

¡Asegúrese de estar atento a nuestra próxima entrevista con un experto en CRO que nos lleva a través de estrategias aún más avanzadas! Y si aún no lo ha hecho, consulte nuestras entrevistas con Gursimran Gujral de OptiPhoenix , Haley Carpenter de Speero , Rishi Rawat de Frictionless Commerce , Sina Fak de ConversionAdvocates y Eden Bidani de Green Light Copy .