Caroline Jarrett, especialista en formularios, sobre el diseño de encuestas que funcionan

Crear una encuesta puede ser rápido y fácil, pero también lo es crear una mala. ¿Hay alguna manera de diseñar una encuesta reflexiva y efectiva que obtenga resultados sin aburrir a los clientes?

Durante años, la gente ha abusado de las encuestas. Desde líneas de asunto aburridas hasta preguntas incorrectas, desde enviar cuestionarios después del hecho hasta enviarlos con demasiada frecuencia, hay muchas cosas en las que las organizaciones se han equivocado acerca de cómo diseñar una encuesta.

El invitado de hoy lucha por preservar el valor de las encuestas ante todo este mal uso. Caroline Jarrett se interesó en los formularios hace unos 30 años mientras entregaba sistemas de reconocimiento óptico de caracteres a la Agencia Tributaria del Reino Unido, que incluían el procesamiento de formularios de impuestos. No funcionó muy bien, y resultó que la gente cometió errores honestos al completar formularios que la tecnología no podía leer.

Desde entonces, se ha fascinado por completo con los formularios que son fáciles de completar y el proceso de pensamiento que los respalda, y en el camino, también se interesó en las encuestas. Es coautora de Forms that Work: Designing Web Forms for Usability , y ha estado trabajando como consultora de encuestas para empresas y agencias gubernamentales que desean mejorar la forma en que diseñan sus encuestas. Crear formularios y encuestas ganadoras ha sido lo más importante para nosotros últimamente.

Últimamente, la creación de formularios y encuestas ganadoras ha sido una prioridad para nosotros. Recientemente lanzamos Intercom Surveys, una nueva característica que le permite conectarse con los clientes dondequiera que estén, capturar información valiosa de los clientes y utilizar los datos recopilados para generar experiencias de cliente más atractivas y personalizadas. Pero como señala Caroline, incluso las mejores herramientas deben usarse cuidadosamente para obtener resultados significativos.

En el episodio de hoy, conversamos con Caroline sobre su proceso de siete pasos para diseñar, ejecutar y realizar encuestas consideradas que obtienen resultados y no bombardean a los clientes todo el tiempo.

Si tiene poco tiempo, aquí hay algunos consejos rápidos:

• Atrapar a las personas en el momento y no días después del hecho es la mejor manera de obtener resultados rápidos y precisos. Pregúntele a la gente algo simple e interesante que vaya directo al grano.
• Sea selectivo con la muestra y deje en claro por qué la retroalimentación exacta de esa persona es importante esa semana. De esa manera, obtendrá tasas de respuesta y calidad de datos mucho mejores.
• Utilice la muestra más pequeña que pueda que aún pueda ofrecer resultados de buena calidad. Es menos trabajo, es menos intrusivo y te da la oportunidad de hacer otro si el primero sale mal.
• Haga una o dos preguntas en el idioma, el estilo de hablar y las frases que usa la gente en lugar de su jerga corporativa.
• Para preservar el valor de las encuestas y no agotar a los clientes con preguntas constantes, haga menos encuestas y mucho más pequeñas.

Si disfruta de nuestra discusión, vea más episodios de nuestro podcast. Puede seguir en iTunes, Spotify, YouTube o tomar la fuente RSS en su reproductor de elección. Lo que sigue es una transcripción ligeramente editada del episodio.

Los ingredientes de un especialista en formas

Liam Geraghty: Caroline, de nada. Es genial tenerte en el programa.

Caroline Jarrett: Oh, es genial estar aquí. Muchas gracias por invitarme.

Liam: Antes de entrar en los aspectos prácticos de las encuestas, ¿puedes contarnos un poco cómo empezaste en el mundo de los formularios y las encuestas?

Caroline: Bueno, completamente por accidente. Solía ​​decirle a la gente que cuando otras niñas jugaban con Barbies, yo cortaba formularios de papel y los juntaba, y me gusta medir cuánto tiempo le toma a la audiencia darse cuenta de que obviamente es una broma. Pero lo que sucedió fue que, allá por 1990, tuve la oportunidad de ser gerente de proyecto de un proyecto que usaba técnicas de reconocimiento óptico de caracteres. Fue un proyecto de Rank Xerox para la Oficina Europea de Patentes para capturar patentes, que es un área muy, muy especializada, y la idea era escanear las patentes y digitalizarlas.

Resultó que el reconocimiento óptico de caracteres era lo suficientemente bueno, pero hubo algunos desafíos en torno a las patentes. Imaginamos que las patentes son interesantes, pero en realidad no lo son. Quiero decir, un buen 30% de ellos son nombres químicos oscuros. Entonces, nuestro OCR, el reconocimiento óptico de caracteres tenía que escanear cosas como, oh, no sé, [A,C-hexifloro[, y basta con decir que un corrector ortográfico no funcionaría. También tuvimos que escanear las patentes exactamente como se enviaron. Si había errores ortográficos o tonterías o algo por el estilo, tenía que ser presentado al examinador de patentes por razones legales.

“Algo que me fascina especialmente es cómo la gente responde a las preguntas y analiza el proceso de respuesta a las preguntas”

En la Oficina Europea de Patentes, las patentes se podían presentar en inglés, francés o alemán, y siempre tenían un resumen en cada uno de los tres idiomas. Por lo tanto, se le garantizó tener inglés, francés y alemán en cada envío. La mayoría de ellos estaban en inglés, pero podían presentarse en francés o alemán. El alemán tiene palabras más largas que el inglés. Ambos idiomas tienen muchos más acentos que el inglés. Entonces, accidentalmente terminé aprendiendo bastante sobre los aspectos prácticos de implementar el reconocimiento óptico de caracteres en un entorno bastante complejo.

Luego, conseguí un trabajo con un gran integrador de sistemas informáticos en el Reino Unido. En ese momento, se llamaban Bull Information Systems. Estaban entregando todas las computadoras personales en la oficina a lo que se llamaba Inland Revenue, que había llegado a un acuerdo con Bull para intentar usar el reconocimiento óptico de caracteres para procesar algunos formularios de impuestos, y me involucré en la gestión del proyecto de entrega de estos ópticos. Sistemas de reconocimiento de caracteres.

Para resumir, no funcionaron en absoluto, así que obtuve el permiso de los ingresos para ir y observar los sistemas en uso y resultó, por ejemplo, que uno de los sistemas estaba en uso para procesar formularios que, en términos generales, eran hablando, ocupado por jubilados de muy bajos ingresos. El reconocimiento óptico de caracteres, hasta el día de hoy, no puede hacer frente a un formulario en el que alguien ha escrito "ver la carta adjunta". Había muchas formas ingeniosas en las que la gente podía estropear el formulario. Por ejemplo, tenía una línea para su interés de su cuenta bancaria o sociedad de crédito hipotecario. Si las personas tuvieran dos cuentas, escribirían dos líneas de pequeños números uno encima del otro en un cuadro, lo cual es algo perfectamente razonable, pero mi máquina OCR no tenía ninguna posibilidad de lidiar con eso, y eso fue alrededor de 1992. .

“Encontré cubos de literatura realmente interesante y útil en el mundo de las encuestas que me ayudaron en mi trabajo con los formularios, y una cosa llevó a la otra”

Empecé a trabajar en eso a principios de 1992, y estamos llegando a los 30 años. Realmente me interesé mucho en cómo diseñamos formularios para que las personas puedan completarlos correctamente, y no he perdido el interés en eso. Desde entonces, he seguido estando absolutamente fascinado por ese desafío, y aquí todavía estamos muy interesados ​​en él, todavía muy, muy interesados ​​en él.

Soy el especialista en formularios y soy un pragmático acerca de las encuestas. No podría describirme como un metodólogo de encuestas. Para ser honesto, ni siquiera podría describirme a mí mismo como tan entusiasta con las encuestas. Lo que sucedió fue que traté obsesivamente de encontrar toda la literatura académica y los libros escritos en formularios y, hasta el día de hoy, tengo una pequeña estantería en mi oficina, que es prácticamente todo lo que pude encontrar. No había mucho por ahí, así que comencé a buscar otras áreas en las que la gente pudiera haber escrito sobre formularios y se me ocurrieron encuestas porque uno de los desafíos realmente interesantes para mí, o algo que me fascina particularmente, es cómo la gente responder preguntas y pensar en el proceso de responder preguntas. ¿Cómo escribimos y planteamos preguntas de manera que obtengamos respuestas precisas? Ese también es un problema que es muy, muy importante para los metodólogos de encuestas.

Y así, encontré cubos de literatura realmente interesante y útil en el mundo de las encuestas que me ayudaron en mi trabajo con los formularios, y una cosa llevó a la otra. Empecé a responder preguntas en listas de correo sobre encuestas porque accidentalmente me enteré de ellas, y luego mi mentora, Ginny Redish, me dijo que tenía que escribir un libro sobre encuestas, y aquí estamos.

El proceso de pensamiento detrás de una encuesta

Liam: Para las personas que escuchan, ¿podría explicarnos el proceso de creación de una encuesta? He estado leyendo tus presentaciones y todo. Sé que debería tomar un par de días, pero considera que tenemos unos 15 o 20 minutos.

“En términos de diseño de un cuestionario, debe ponerlo en el contexto de lo que quiere lograr con la encuesta en general”

Caroline: Bueno, la mayoría de las personas vienen a mí y me dicen: "¿Puedes echar un vistazo a mi encuesta y darme un cuestionario?" Ahora, obviamente, estas dos palabras se usan indistintamente. Uno de mis libros favoritos sobre diseño de encuestas tiene el cuestionario mundial en el título. Ese sería el libro de AP Oppenheim. Y uno de mis libros favoritos sobre diseño de cuestionarios, de Mick Couper, y no puedo recomendar mucho su trabajo a cualquiera que esté interesado en la literatura, se llama Web Survey Design , pero en realidad se trata de cuestionarios. Ahora, déjame aclarar. Traté de usar la palabra cuestionario para la pregunta y la respuesta que en realidad ponemos frente a las personas, y la palabra encuesta para todo el proceso, desde "oh, creo que nos gustaría hacer una encuesta" hasta el final. a entregar algún tipo de número como resultado. Entonces, así es como lo uso. Por supuesto, en la vida real, la gente tiende a usarlos indistintamente.

En cuanto al diseño de un cuestionario, debe ponerlo en el contexto de lo que desea lograr con la encuesta en general. Y tengo un proceso de siete pasos para diseñar una encuesta en el que empiezo diciendo que determine sus objetivos para la encuesta, averigüe por qué quiere hacerlo, qué espera ganar al hacerlo y qué tipo de decisiones debe tomar. hará en función de los resultados de la encuesta, y luego analizará a quién desea responder y cómo puede encontrar una muestra de ellos porque, en general, con la mayoría de las encuestas, es mucho mejor usar una muestra tan pequeña como sea posible.

Y luego, piensa en las preguntas que quieres hacer, que obviamente se relacionan con los objetivos pero también con las personas que quieres porque quieres preguntas que tengan sentido para ellos. Luego, construimos esas cosas en un cuestionario. Por supuesto, en estos días, tenemos muchas herramientas diferentes para ayudarnos a hacer eso. Pero lo difícil es el proceso de pensamiento que lo lleva a sacarlo. Tomé prestada la palabra trabajo de campo del mundo de la investigación de mercado: hablan de poner un cuestionario en el campo, y no se me ocurrió un término mejor para llamarlo que trabajo de campo, que es hacer llegar los cuestionarios a la gente y recuperarlos. .

“Solo tener respuestas no es suficiente. Tienes que hacer algo con ellos que lleve esas respuestas a los que toman las decisiones”

En ese momento, tiene algunas respuestas que, con suerte, la gente habrá respondido. Entonces, hay que limpiar las respuestas, pensar en ellas y analizarlas de varias formas. Y luego, llamé a los informes del paso final porque solo tener respuestas no es suficiente. Tienes que hacer algo con ellos que lleve esas respuestas a los que toman las decisiones.

Por ejemplo, una vez me preguntaba, "¿debería escribir este artículo o este artículo para mi próxima columna?" Las personas en Twitter que me siguen son predominantemente mi audiencia por lo que escribo, así que pensé: "Haré una pequeña encuesta en Twitter". Les ofrecí dos opciones. No era de ninguna manera algo estadístico. Solo necesitaba tomar una decisión rápida. Póngalo, la gente hizo clic en la encuesta y un tema fue más popular que el otro. Eso fue lo suficientemente bueno para mí. Acabo de escribir la cosa. Probablemente me tomó 10 minutos pensarlo y 24 horas esperar los resultados, y fue mejor que martillarme la cabeza sobre cuál escribir.

Ese es el final más pequeño de todo, y en el final más elaborado, tenemos cosas como censos de 10 años, y la preparación, planificación y prueba para el próximo censo comienza antes de que finalice el censo existente. Se tarda de 10 a 15 años en hacer un censo. Ese es el otro extremo.

Hacerle a una persona la pregunta correcta

Liam: Entonces, una vez que planteas las preguntas que necesitan respuestas, ¿cómo haces para dirigirte a las personas correctas? ¿Y qué tan importante es atraparlos en el momento?

Caroline: Estoy muy contenta de que hayas mencionado atraparlos en el momento porque caracterizo tres estrategias diferentes para encontrar a las personas a las que quieres responder y atraparlos en el momento es, creo, una de las más efectivas. Muchos de nosotros vemos estas encuestas emergentes en los sitios web. Entonces, puede atrapar a las personas en el momento en que llegan al sitio web, y tiene la oportunidad de hacerles quizás una, quizás dos preguntas interesantes. Solo como un comentario aparte, la cantidad de sitios web que desperdician esa oportunidad al hacer la pregunta: "¿Está dispuesto a responder una encuesta?" me asombra absolutamente porque ya sabemos que todos van a hacer clic en no y todo lo que hemos hecho es aprender lo que ya hemos aprendido.

Quiero decir, si vas a hacer ese tipo de encuesta para captar el momento, mi consejo profesional es preguntarles algo interesante. Por ejemplo, "¿por qué viniste a este sitio web hoy?" es algo que pueden responder de inmediato sin tener que distraerse demasiado de lo que están tratando de hacer. Entonces, atraparlos en el momento es una gran estrategia. Otro ejemplo que realmente me encanta es ver a la gente haciendo fila en los quioscos al final de las exhibiciones del museo para dar su opinión sobre la exhibición, increíblemente. Es muy inusual ver a la gente haciendo cola para responder una encuesta. Y no solo una vez, lo he visto regularmente si es una exhibición realmente interesante y una encuesta bien diseñada. Esa es una de las estrategias.

“Si va a utilizar una lista, trate de ser selectivo y deje en claro por qué la retroalimentación exacta de esa persona esta semana es más importante”

Liam: Sí, la cantidad de veces que recibo correos electrónicos un par de días después del hecho en los que no estoy realmente seguro de cómo me he sentido acerca de algo o no estoy de humor o en la zona para estar respondiendo preguntas, mientras que podría haberlo hecho si me hubieran ofrecido la encuesta de inmediato.

Carolina: Absolutamente. Y lo que tienes allí, que te pregunten después del hecho, es la forma más típica en que las personas intentan encontrar personas, donde tienen algún tipo de lista. En este caso, la organización o empresa con la que interactuó lo tiene en su sistema como cliente o como alguien que los contactó. Tienen una lista de esas personas y la están usando para generar una muestra. Y de nuevo, consejo profesional, no le preguntes a todo el mundo. Todos estamos bombardeados con estas cosas todo el tiempo. Si va a utilizar una lista, trate de ser selectivo y deje en claro por qué la retroalimentación exacta de esa persona esta semana es más importante. ¿Puedes recordar el título de algún correo electrónico reciente que hayas recibido de esa naturaleza?

Liam: Oh dios. Ahora le estás preguntando a alguien con una memoria terrible para estas cosas.

Caroline: Eso demuestra lo inmemorables que son, ¿verdad? Entra otro, "cuéntanos sobre tu transacción reciente" o algo así. Bostezo, tengo docenas de esas cosas. Ahora, intentemos algo que diga: “Muchas gracias por comprarnos. Por favor, ¿puede responder a nuestra pregunta de la semana?” ¿Derecha? Solo estamos preguntando a 10 personas. “Ooh, soy uno de 10. Responderé. Es sólo la pregunta de la semana. Excelente." ¿Sabes? Destacaría. Sería un poco diferente. Sería algo corto. Es una pregunta de la semana. No es como la historia de tu vida o algo así.

“Hacerle la pregunta correcta a una persona es más útil que hacerle la pregunta equivocada a 10.000 personas”

En estos días, tenemos muchas técnicas para enviar pequeñas encuestas que podrían ser mucho más atractivas, cortas y respetuosas con los tiempos de las personas y podrían enviarse a muestras mucho más pequeñas, y podríamos obtener tasas de respuesta y calidad de datos mucho mejores, en lugar de que este bombardeo constante. Y las tasas de respuesta son terribles.

Liam: Supongo que eso nos lleva a las preguntas reales, y como dijiste allí, "eres una de las 10 personas a las que les preguntamos", ¿se trata de hacerle la pregunta correcta a una persona o a algunas personas, en lugar de una pregunta general? preguntando a cien personas?

Caroline: Creo que puede que hayas leído mis diapositivas. ¿Ha visto la diapositiva que dice que hacerle la pregunta correcta a una persona es más útil que hacerle la pregunta equivocada a 10,000 personas? Veo este tipo de proceso de pensamiento en colegas y clientes todo el tiempo. Alguien en un rol ejecutivo senior dice: "Necesitamos conocer a nuestros clientes". Excelente. Eso es una gran cosa que hacer. Tenemos que conseguir 10.000 de ellos. ¿Por qué? Y eso es. No hay más proceso de pensamiento involucrado en ello. Es maravilloso que estén investigando, pero si supieran qué decisiones quieren tomar en base a eso, podrían diseñarlo mucho mejor.

“¿Por qué haces la muestra más pequeña? Porque es menos trabajo, es menos intrusivo y te da la oportunidad de hacer otro si el primero sale mal”

Una de las cosas que aprendí de los metodólogos de encuestas es que intentan hacer la muestra más pequeña posible de manera que puedan obtener resultados de buena calidad. ¿Por qué haces la muestra más pequeña? Porque es menos trabajo, es menos intrusivo y te da la oportunidad de hacer otro si el primero sale mal, lo que nos puede pasar a los mejores.

Les voy a dar un ejemplo que es bastante doloroso. Los metodólogos de encuestas en Rusia están descubriendo que las personas simplemente les dan un portazo en la cara. “No estoy respondiendo a sus preguntas. Puede que me metan en la cárcel porque el estado ruso está encerrado por la guerra que le han infligido a Ucrania”. Entonces, boom, eso arruinaría tu trabajo de campo, ¿no? Entonces, tener una pequeña muestra te da la oportunidad de hacer otro otro día, y también te da la oportunidad de aprender del primero. Entonces, con la excepción de los censos, que obviamente cubren a todos, intentan mantener la muestra lo más pequeña y ajustada posible.

El punto que hiciste es absolutamente tan preciso. Hacer la pregunta correcta frente a las personas adecuadas; hacer preguntas usando palabras familiares de maneras familiares; preguntándoles en el idioma, el estilo de hablar y las frases que usa la gente en lugar de su jerga corporativa; todas esas cosas realmente ayudan a obtener resultados de buena calidad.

Preservar el valor de las encuestas

Liam: La otra cosa que me llamó la atención fue leer lo que escribiste sobre el trabajo de campo. Tuviste un ejemplo de invitaciones y cómo las invitaciones son tan importantes, y uno de los ejemplos que tuviste fue una captura de pantalla de un correo electrónico que era muy importante. Básicamente, lo alentaba a dejar una reseña, y tenía cinco estrellas doradas que se mostraban con orgullo en la parte superior. Y reconocí estos correos electrónicos. Son tan transparentes en lo que intentan hacer que me impide dejar una reseña.

"La gente piensa: 'Oh, es tan rápido y fácil hacer una encuesta', lo cual es cierto, pero también es rápido y fácil hacer una encuesta realmente mala".

carolina: exacto Usar una encuesta para manipular a los clientes es claramente algo que no puedo recomendar. Y luego el otro está usando la retroalimentación para recompensar o castigar a su personal. Entonces, recibe estas historias poco edificantes de representantes de servicio al cliente que dicen: "Por favor, ¿puede darme un 10 en el puntaje neto de promotor, de lo contrario, seré castigado?" Y eso no se siente nada bien para su organización en absoluto. Ha socavado todo el método. Todo lo que está haciendo es medir la capacidad de su personal para hacer sentir culpables a sus clientes. ¿Es algo que realmente quieres medir? Yo creo que no. Tratar de eliminar algunos de estos malos comportamientos rutinarios sería una gran cosa. No preguntes y preguntes y preguntes de forma rutinaria de forma que te ganen o manipulen. Es algo inútil de hacer.

Liam: Antes de terminar, ¿tienes algún plan o proyecto en particular para el año?

Caroline: Bueno, en secreto, me encantaría volver a las formas. Accidentalmente reenfoqué mi trabajo en encuestas, lo cual es divertido y estoy feliz de hacerlo, pero en realidad, lo que más amo son los formularios. Entonces, si alguien tiene alguna forma de cosas que les gustaría que hiciera, estaría extremadamente emocionado. Pero también, después de haber pasado mucho tiempo escribiendo el libro, estoy muy feliz de tener la oportunidad de hablar con la gente sobre las preguntas de la encuesta. Por ejemplo, formo mucho estudios, que es una reunión donde miramos una forma particular. También participo en muchos estudios de encuestas en los que me reúno con una organización que tiene un problema de encuesta en particular, y pasamos más o menos una hora juntos analizando los entresijos del tipo de cosas que digo, con una enfóquese en lo que esa organización está viendo hoy. Son muy divertidos. Ciertamente me encantaría hacer más de ellos también.

Liam: Absolutamente. ¿Y dónde pueden ir nuestros oyentes para mantenerse al día con usted y su trabajo?

Caroline: Bueno, mi sitio web se llama esfuerzomark.co.uk y tengo muchas cosas allí. He estado escribiendo varios artículos y así sucesivamente durante unos 20 años. También intento, siempre que puedo, publicar mis diapositivas para que la gente las use bajo una licencia creative commons. Así que, si quieres recogerlos y usarlos, siempre que mantengas mi eslogan y mis creative commons allí, estoy muy feliz de que los tengas. También estoy en LinkedIn y en Twitter, y disfruto conversar con la gente sobre formularios y preguntas de encuestas. Esos son los tres lugares para encontrarme y, por supuesto, mis datos de contacto están en mi sitio web. Impresiono a mis sobrinos y sobrinas diciendo: "Si me buscas en Google, me entiendes". Ellos piensan que eso es increíble.

Liam: Me encanta eso. Vamos a vincular a todos los de la publicación. Caroline, muchas gracias por acompañarme hoy.

carolina: ay, muchas gracias. Ha sido muy divertido. Realmente aprecio la oportunidad.