A especialista em formulários Caroline Jarrett sobre como criar pesquisas que funcionem

Criar uma pesquisa pode ser rápido e fácil, mas criar uma pesquisa ruim também é. Existe uma maneira de criar uma pesquisa ponderada e eficaz que obtenha resultados sem entediar os clientes até a morte?

Durante anos, as pessoas abusaram das pesquisas. De linhas de assunto maçantes a perguntas erradas, de enviar questionários após o fato a enviá-los com muita frequência, há muito que as organizações erraram sobre como projetar uma pesquisa.

O convidado de hoje está lutando para preservar o valor das pesquisas diante de todo esse mau uso. Caroline Jarrett se interessou por formulários há cerca de 30 anos, enquanto entregava sistemas de reconhecimento óptico de caracteres para a Receita Federal do Reino Unido, que incluía o processamento de formulários fiscais. Não funcionou muito bem, e foi porque as pessoas cometeram erros honestos ao preencher formulários que a tecnologia não conseguia ler.

Desde então, ela ficou totalmente fascinada por formulários fáceis de preencher e pelo processo de pensamento que está por trás deles e, no caminho, ela também se interessou por pesquisas. Ela é coautora de Formulários que funcionam: projetando formulários da Web para usabilidade e tem trabalhado como consultora de pesquisas para empresas e agências governamentais que desejam melhorar a maneira como projetam suas pesquisas. nós ultimamente.

A criação de formulários e pesquisas vencedoras tem sido uma prioridade para nós ultimamente. Recentemente, lançamos o Intercom Surveys, um novo recurso que permite que você se conecte com os clientes onde quer que estejam, capture informações valiosas sobre os clientes e use os dados coletados para gerar experiências mais envolventes e personalizadas. Mas, como Caroline aponta, mesmo as melhores ferramentas precisam ser usadas com cuidado para obter resultados significativos.

No episódio de hoje, conversamos com Caroline sobre seu processo de sete etapas para projetar, executar e executar pesquisas atenciosas que obtêm resultados e não bombardeiam os clientes o tempo todo.

Se você estiver com pouco tempo, aqui estão algumas dicas rápidas:

• Capturar as pessoas no momento e não dias após o fato é a melhor maneira de obter resultados rápidos e precisos. Pergunte às pessoas algo simples e interessante que vá direto ao ponto.
• Seja seletivo na amostra e deixe claro por que o feedback exato dessa pessoa é importante naquela semana. Dessa forma, você obterá taxas de resposta e qualidade de dados muito melhores.
• Use a menor amostra possível que ainda possa fornecer resultados de boa qualidade. Dá menos trabalho, é menos intrusivo e dá a você a oportunidade de fazer outro se o primeiro der errado.
• Faça uma ou duas perguntas no idioma, no estilo de falar e nas frases que as pessoas usam, em vez do jargão corporativo.
• Para preservar o valor das pesquisas e não esgotar os clientes com questionamentos constantes, faça menos pesquisas, muito menores.

Se você gosta de nossa discussão, confira mais episódios do nosso podcast. Você pode seguir no iTunes, Spotify, YouTube ou pegar o feed RSS no player de sua escolha. O que se segue é uma transcrição levemente editada do episódio.

Os ingredientes de um especialista em formulários

Liam Geraghty: Caroline, de nada. É ótimo ter você no programa.

Caroline Jarrett: Ah, é ótimo estar aqui. Muito obrigado por me convidar.

Liam: Antes de entrarmos nos detalhes das pesquisas, você pode nos contar um pouco sobre como você começou no mundo dos formulários e pesquisas?

Caroline: Bem, completamente por acaso. Eu costumava dizer às pessoas que, quando outras garotinhas brincavam com Barbies, eu recortava formulários de papel e os juntava, e gosto de avaliar quanto tempo leva para o público perceber que isso é obviamente uma piada. Mas o que aconteceu foi que, em 1990, tive a oportunidade de ser gerente de projeto de um projeto que usava técnicas de reconhecimento óptico de caracteres. Era um projeto da Rank Xerox para o Escritório Europeu de Patentes para capturar patentes, que é uma área muito, muito especializada, e a ideia era escanear as patentes e digitalizá-las.

Descobriu-se que o reconhecimento óptico de caracteres era bom o suficiente, mas havia alguns desafios em torno das patentes. Imaginamos que as patentes sejam interessantes, mas na verdade não são. Quer dizer, uns bons 30% deles são nomes químicos obscuros. Então, nosso OCR, reconhecimento óptico de caracteres, teve que escanear coisas como, ah, eu não sei, [A,C-hexifloro[, e basta dizer que um corretor ortográfico não funcionaria. Também tivemos que escanear as patentes exatamente como enviadas. Se houvesse erros de ortografia ou bobagens ou qualquer coisa assim, tinha que ser submetido ao examinador de patentes por razões legais.

“Uma coisa que me fascina particularmente é como as pessoas respondem a perguntas e pensam durante o processo de responder a perguntas”

No Escritório Europeu de Patentes, as patentes podiam ser apresentadas em inglês, francês ou alemão, e sempre tinham um resumo em cada um dos três idiomas. Então, você tinha a garantia de ter inglês, francês e alemão em cada envio. A maioria deles estava em inglês, mas podiam ser apresentados em francês ou alemão. O alemão tem palavras mais longas que o inglês. Ambas as línguas têm muito mais sotaques do que o inglês. Então, acidentalmente acabei aprendendo um pouco sobre os aspectos práticos da implementação do reconhecimento óptico de caracteres em um ambiente bastante complexo.

Então, consegui um emprego em um grande integrador de sistemas de computador no Reino Unido. Na época, eles eram chamados de Bull Information Systems. Eles estavam entregando todos os computadores pessoais do escritório para o que era chamado de Receita Federal, que havia fechado um acordo com a Bull para tentar usar o reconhecimento óptico de caracteres para processar alguns formulários de impostos, e eu me envolvi no gerenciamento do projeto de entrega desses sistemas de reconhecimento de caracteres.

Para encurtar a história, eles não funcionaram, então obtive permissão da receita para observar os sistemas em uso e, por exemplo, um dos sistemas estava em uso para processar formulários que eram, amplamente falando, preenchido por aposentados de baixíssima renda. O reconhecimento óptico de caracteres, até hoje, não pode lidar com um formulário em que alguém escreveu “veja a carta anexada”. Havia muitas maneiras inventivas pelas quais as pessoas podiam estragar o formulário. Por exemplo, tinha uma linha para o seu interesse de sua conta bancária ou da sociedade de construção. Se as pessoas tivessem duas contas, escreveriam duas linhas de números minúsculos uma acima da outra em uma caixa, o que é uma coisa perfeitamente razoável de se fazer, mas minha máquina de OCR não teve chance de lidar com isso, e isso foi por volta de 1992 .

“Encontrei vários livros realmente interessantes e úteis no mundo das pesquisas que me ajudaram no meu trabalho com formulários, e uma coisa levou a outra”

Comecei a trabalhar nisso no início de 1992, e estamos chegando aos 30 anos. Fiquei muito, muito interessado em como criamos formulários para que as pessoas possam preenchê-los corretamente, e não perdi o interesse nisso. Desde então, continuo absolutamente fascinado por esse desafio, e aqui ainda estamos muito interessados ​​nele, ainda muito, muito interessados ​​nele.

Sou especialista em formulários e pragmático com pesquisas. Eu não poderia me descrever como um metodologista de pesquisa. Para ser honesto, eu não poderia nem me descrever tão entusiasmado com pesquisas. O que aconteceu foi que eu tentei obsessivamente encontrar toda a literatura acadêmica e livros escritos em formulários e, até hoje, tenho uma pequena estante em meu escritório, que é praticamente tudo o que pude encontrar. Não havia muito por aí, então comecei a procurar outras áreas onde as pessoas pudessem ter escrito sobre formulários e pesquisas me vieram à mente porque um dos desafios realmente interessantes para mim, ou uma coisa que me fascina particularmente, é como as pessoas responder a perguntas e pensar no processo de responder a perguntas. Como escrevemos e fazemos perguntas de forma a obter respostas precisas? Esse também é um problema muito, muito importante para os metodologistas da pesquisa.

E assim, encontrei um monte de literatura realmente interessante e útil no mundo das pesquisas que me ajudaram no meu trabalho com formulários, e uma coisa levou à outra. Comecei a responder a perguntas em listas de discussão sobre pesquisas porque aprendi acidentalmente sobre elas, e então minha mentora, Ginny Redish, me disse que eu tinha que escrever um livro sobre pesquisas, e aqui estamos.

O processo de pensamento por trás de uma pesquisa

Liam: Para as pessoas que estão ouvindo, você poderia nos guiar pelo processo de criação de uma pesquisa? Tenho lido suas apresentações e tudo mais. Eu sei que deve levar alguns dias, mas considere que temos cerca de 15 ou 20 minutos.

“Em termos de criação de um questionário, você precisa colocá-lo no contexto do que deseja alcançar com a pesquisa geral”

Caroline: Bem, a maioria das pessoas vem até mim e diz: “Você pode dar uma olhada na minha pesquisa e me dar um questionário?” Agora, obviamente, essas duas palavras são usadas de forma muito intercambiável. Um dos meus livros favoritos sobre design de pesquisa, na verdade, tem o questionário mundial no título. Esse seria o livro de AP Oppenheim. E um dos meus livros favoritos sobre design de questionários, de Mick Couper, e não posso recomendar muito seu trabalho para quem se interessa por literatura, chama-se Web Survey Design , mas na verdade é sobre questionários. Agora, deixe-me esclarecer. Tentei usar a palavra questionário para as perguntas e respostas que realmente colocamos na frente das pessoas, e a palavra pesquisa para todo o processo, começando com "oh, acho que podemos querer fazer uma pesquisa" até para entregar algum tipo de número como resultado. Então, é assim que eu uso. Claro, na vida real, as pessoas tendem a usá-los de forma muito intercambiável.

Em termos de criação de um questionário, você precisa colocá-lo no contexto do que deseja alcançar com a pesquisa geral. E eu tenho um processo de sete etapas para criar uma pesquisa, onde eu começo dizendo para definir seus objetivos para a pesquisa, descobrir por que você quer fazer isso, o que você espera ganhar fazendo isso e que tipo de decisões você fará com base nos resultados da pesquisa e, em seguida, trabalhando com quem você deseja responder e como encontrar uma amostra deles, porque geralmente, com a maioria das pesquisas, é muito melhor usar uma amostra tão pequena quanto possível.

E então, pense nas perguntas que você quer fazer, que obviamente se relacionam com os objetivos, mas também com as pessoas que você quer, porque você quer perguntas que façam sentido para elas. Então, construir essas coisas em um questionário. Claro, hoje em dia, temos muitas ferramentas diferentes para nos ajudar a fazer isso. Mas a parte difícil é o processo de pensamento que entra nisso, tirando-o. Peguei emprestada a palavra trabalho de campo do mundo da pesquisa de mercado – eles falam sobre colocar um questionário no campo, e não consigo pensar em um termo melhor para chamá-lo do que trabalho de campo, que é enviar seus questionários para as pessoas e devolvê-los .

“Apenas ter respostas não é bom o suficiente. Você tem que fazer algo com eles que leve essas respostas aos tomadores de decisão”

Nesse ponto, você tem algumas respostas que esperamos que as pessoas tenham respondido. Então, você tem que limpar as respostas, pensar nelas e analisá-las de várias maneiras. E então, chamei os relatórios da etapa final porque apenas ter respostas não é bom o suficiente. Você tem que fazer algo com eles que leve essas respostas aos tomadores de decisão.

Por exemplo, uma vez eu estava me perguntando: “devo escrever este artigo ou este artigo para minha próxima coluna?” As pessoas no Twitter que me seguem são predominantemente meu público para o que escrevo, então pensei: “Vou fazer uma pequena enquete no Twitter”. Eu ofereci a eles duas opções. Não era de forma alguma algo estatístico. Eu só precisava tomar uma decisão rápida. Coloque-o, as pessoas clicaram na enquete e um tópico foi mais popular que o outro. Isso foi bom o suficiente para mim. Acabei de escrever a coisa. Isso provavelmente me levou 10 minutos para pensar e 24 horas para esperar pelos resultados, e foi melhor do que martelar minha cabeça sobre qual escrever.

Esse é o final mais ínfimo de tudo, e no final mais elaborado, temos coisas como censos de 10 anos, e a preparação, planejamento e testes para o próximo censo começam antes que o censo existente seja concluído. Leva de 10 a 15 anos para fazer um censo. Essa é a outra ponta.

Fazendo a uma pessoa a pergunta certa

Liam: Então, uma vez que você tenha as perguntas que precisam de respostas, como você vai direcionar as pessoas certas? E quão importante é capturá-los no momento?

Caroline: Estou muito feliz que você mencionou capturá-los no momento, porque eu caracterizo três estratégias diferentes para encontrar pessoas que você deseja responder e capturá-las no momento é, eu acho, uma das mais eficazes. Muitos de nós vemos essas pesquisas pop-up em sites. E assim, você pode pegar as pessoas no momento em que elas chegam ao site, e você tem a oportunidade de fazer talvez uma, talvez duas perguntas interessantes. Apenas como um aparte, o número de sites que desperdiçam essa oportunidade fazendo a pergunta: “Você está disposto a responder a uma pesquisa?” absolutamente me surpreende porque já sabemos que todo mundo vai clicar em não e tudo o que fizemos foi aprender o que já aprendemos.

Quero dizer, se você for fazer esse tipo de pesquisa instantânea, minha dica profissional é perguntar a eles algo interessante. Por exemplo, "por que você veio a este site hoje?" é algo que eles podem responder imediatamente sem ter que se distrair muito do que estão tentando fazer. Então, pegá-los no momento é uma ótima estratégia. Outro exemplo que eu realmente amo é ver as pessoas fazendo fila nos quiosques no final das exposições do museu para dar seu feedback sobre a exposição, inacreditavelmente. É tão incomum ver pessoas realmente fazendo fila para responder a uma pesquisa. E não apenas uma vez, eu a vi regularmente se for uma exposição realmente interessante e uma pesquisa bem projetada. Essa é uma das estratégias.

“Se você for usar uma lista, tente ser seletivo e deixe claro por que o feedback exato dessa pessoa esta semana é mais importante”

Liam: Sim, o número de vezes que recebi e-mails alguns dias depois do fato em que não tenho certeza de como me senti sobre algo ou não estou com vontade ou na zona de estar respondendo a perguntas, enquanto eu poderia ter sido se me oferecessem a pesquisa imediatamente.

Carolina: Com certeza. E o que você tem lá, sendo perguntado após o fato, é a maneira mais típica de as pessoas tentarem encontrar pessoas, onde elas têm algum tipo de lista. Nesse caso, a organização ou empresa com a qual você interagiu tem você no sistema dela como um cliente ou alguém que entrou em contato com ela. Eles têm uma lista dessas pessoas e a estão usando para gerar uma amostra. E novamente, dica profissional, não pergunte a todos. Todos nós somos bombardeados com essas coisas o tempo todo. Se você for usar uma lista, tente ser seletivo e deixe claro por que o feedback exato dessa pessoa esta semana é mais importante. Você consegue se lembrar do título de algum e-mail recente que você recebeu dessa natureza?

Liam: Oh Deus. Agora você está pedindo a alguém com uma memória terrível para essas coisas.

Caroline: Isso só mostra como eles não são memoráveis, certo? Outro chega, “conte-nos sobre sua transação recente” ou algo assim. Bocejo, tenho dezenas dessas coisas. Agora, vamos tentar algo que diga: “Muito obrigado por comprar de nós. Por favor, você pode responder nossa pergunta da semana?” Certo? Estamos pedindo apenas 10 pessoas. “Ooh, eu sou um dos 10. Vou responder. É apenas a pergunta da semana. Excelente." Você sabe? Ele se destacaria. Seria um pouco diferente. Seria uma coisa curta. É uma pergunta da semana. Não é como sua história de vida ou algo assim.

“Fazer a pergunta certa a uma pessoa é mais útil do que fazer a pergunta errada a 10.000 pessoas”

Hoje em dia, temos tantas técnicas para enviar pequenas pesquisas que podem ser muito mais envolventes, curtas e respeitosas com o tempo das pessoas e podem ser enviadas para amostras muito menores, e podemos obter taxas de resposta e qualidade de dados muito melhores, em vez de do que este bombardeio constante. E as taxas de resposta são terríveis.

Liam: Suponho que isso nos leva às perguntas reais, e como você disse lá, "você é uma das 10 pessoas que estamos perguntando", é sobre perguntar a uma pessoa ou algumas pessoas a pergunta certa, em vez de apenas cobrir perguntando a cem pessoas?

Caroline: Acho que você deve ter lido meus slides. Você já viu o slide que diz que fazer a pergunta certa a uma pessoa é mais útil do que fazer a pergunta errada a 10.000 pessoas? Eu vejo esse tipo de processo de pensamento em colegas e clientes o tempo todo. Alguém em uma função executiva sênior diz: “Precisamos descobrir sobre nossos clientes”. Excelente. Isso é uma grande coisa a fazer. Precisamos de 10.000 deles. Por quê? E é isso. Não há mais nenhum processo de pensamento envolvido nisso. É ótimo que eles estejam pesquisando, mas se eles soubessem quais decisões eles queriam tomar com base nisso, eles poderiam criar a coisa muito melhor.

“Por que você faz a menor amostra? Porque dá menos trabalho, é menos intrusivo e dá a oportunidade de fazer outro se o primeiro der errado”

Uma das coisas que aprendi com os metodologistas da pesquisa é que eles tentam fazer a menor amostra possível consistente com a obtenção de resultados de boa qualidade. Por que você faz a menor amostra? Porque dá menos trabalho, é menos intrusivo e dá a você a oportunidade de fazer outro se o primeiro der errado, o que pode acontecer com os melhores de nós.

Vou dar-lhe um exemplo que é bastante doloroso. Os metodologistas da pesquisa na Rússia estão descobrindo que as pessoas simplesmente batem a porta na cara delas. “Eu não estou respondendo suas perguntas. Eu posso ser preso porque o estado russo está trancado por causa da guerra que infligiram à Ucrânia.” Então, bum, isso arruinaria seu trabalho de campo, não é? Assim, ter uma pequena amostra lhe dá a oportunidade de fazer outro outro dia, e também lhe dá a oportunidade de aprender com o primeiro. Então, com exceção dos censos, que obviamente cobrem todo mundo, eles tentam manter a amostra tão pequena e apertada quanto possível.

O ponto que você fez é absolutamente tão preciso. Colocar a pergunta certa na frente das pessoas certas; fazer perguntas usando palavras familiares de maneiras familiares; perguntando a eles no idioma, no estilo de falar e nas frases que as pessoas usam, em vez do jargão corporativo; todas essas coisas realmente ajudam a obter resultados de boa qualidade.

Preservando o valor das pesquisas

Liam: Outra coisa que me chamou a atenção foi ler sobre o que você escreveu no trabalho de campo. Você teve um exemplo de convites e como os convites são tão importantes, e um dos exemplos que você teve foi uma captura de tela de um e-mail que era muito importante. Foi basicamente encorajando você a deixar um comentário, e tinha cinco estrelas douradas orgulhosamente exibidas no topo. E eu reconheci esses e-mails. Eles são tão transparentes no que estão tentando fazer que meio que me desencoraja a deixar um comentário.

“As pessoas pensam: 'Ah, é tão rápido e fácil fazer uma pesquisa', o que é verdade, mas também é rápido e fácil fazer uma pesquisa muito ruim”

Carolina: Exatamente. Usar uma pesquisa para manipular os clientes é claramente algo que não posso recomendar. E então o outro está usando o feedback para recompensar ou punir sua equipe. Então, você recebe essas histórias pouco edificantes de representantes de atendimento ao cliente dizendo: “Por favor, você pode me dar um 10 no Net Promoter Score, caso contrário, serei punido?” E isso não parece nada bom para sua organização. Isso prejudicou todo o método. Tudo o que você está fazendo é medir a capacidade de sua equipe de enganar seus clientes. Isso é algo que você realmente quer medir? Eu acho que não. Tentar eliminar alguns desses maus comportamentos rotineiros seria uma grande coisa. Não pergunte rotineiramente, pergunte e pergunte de maneiras que são ganhas ou manipuladas. É uma coisa inútil de se fazer.

Liam: Antes de encerrarmos, você tem algum plano ou projeto específico para o ano?

Caroline: Bem, secretamente, eu adoraria voltar aos formulários. Eu meio que acidentalmente reorientei meu trabalho para pesquisas, o que é divertido e estou feliz em fazê-lo, mas realmente, eu amo formulários. Então, se alguém tiver alguma forma de coisas que eles gostariam que eu fizesse, eu ficaria extremamente animado. Mas também, tendo passado muito tempo escrevendo o livro, estou muito feliz por ter a oportunidade de conversar com as pessoas sobre as perguntas da pesquisa. Por exemplo, eu formo muito estúdios, que é uma reunião onde olhamos para uma forma particular. Também estou fazendo muitos estúdios de pesquisa onde me junto a uma organização que tem um problema de pesquisa específico, e passamos uma hora ou mais juntos apenas analisando os prós e contras do tipo de coisa que digo, com um concentre-se no que essa organização está olhando hoje. Eles são muito divertidos. Eu certamente adoraria fazer mais deles também.

Liam: Com certeza. E onde nossos ouvintes podem ir para acompanhar você e seu trabalho?

Caroline: Bem, meu site se chama esforçomark.co.uk, e eu tenho um monte de coisas lá. Eu tenho escrito vários artigos e assim por diante por cerca de 20 anos. Eu também tento, sempre que posso, liberar meus slides para as pessoas usarem sob uma licença Creative Commons. Então, se você quiser pegá-los e usá-los, desde que mantenha meu slogan e meus creative commons lá, estou muito feliz por você tê-los. Também estou no LinkedIn e no Twitter e gosto de conversar com as pessoas sobre formulários e perguntas de pesquisas. Esses são os três lugares para me encontrar e, claro, meus detalhes de contato estão no meu site. Eu impressiono meus sobrinhos e sobrinhas dizendo: “Se você me pesquisar no Google, você me pega”. Eles acham isso incrível.

Liam: Eu amo isso. Vamos linkar para todos eles no post. Caroline, muito obrigado por se juntar a mim hoje.

Carolina: Ah, muito obrigada. Tem sido tão divertido. Eu realmente aprecio a oportunidade.