La specialista della forma Caroline Jarrett sulla progettazione di sondaggi che funzionino

Creare un sondaggio può essere facile e veloce, ma lo è anche crearne uno cattivo. C'è un modo per progettare un sondaggio ponderato ed efficace che ottenga risultati senza annoiare a morte i clienti?

Per anni, le persone hanno abusato dei sondaggi. Da argomenti noiosi alle domande sbagliate, dall'invio di questionari a posteriori all'invio troppo spesso, le organizzazioni hanno sbagliato molto su come progettare un sondaggio.

L'ospite di oggi si batte per preservare il valore dei sondaggi di fronte a tutto questo uso improprio. Caroline Jarrett si interessò ai moduli circa 30 anni fa, mentre forniva all'Agenzia delle Entrate del Regno Unito sistemi di riconoscimento ottico dei caratteri, che includevano l'elaborazione dei moduli fiscali. Non ha funzionato molto bene e si è scoperto che era perché le persone hanno commesso errori onesti durante la compilazione di moduli che la tecnologia non poteva leggere.

Da allora, è rimasta completamente affascinata dai moduli facili da compilare e dal processo di pensiero che li nasconde, e lungo la strada, ha anche sviluppato un interesse per i sondaggi. È coautrice di Moduli che funzionano: progettazione di moduli Web per l'usabilità e ha lavorato come consulente di sondaggi per aziende e agenzie governative che desiderano migliorare il modo in cui progettano i propri sondaggi. La creazione di moduli e sondaggi vincenti è stata la prima cosa per noi ultimamente.

La creazione di moduli e sondaggi vincenti è stata la nostra priorità ultimamente. Di recente abbiamo lanciato Intercom Surveys, una nuova funzionalità che ti consente di connetterti con i clienti ovunque si trovino, acquisire preziose informazioni sui clienti e utilizzare i dati raccolti per promuovere esperienze cliente più coinvolgenti e personalizzate. Ma come sottolinea Caroline, anche gli strumenti migliori devono essere usati con attenzione per ottenere risultati significativi.

Nell'episodio di oggi, parliamo con Caroline del suo processo in sette fasi per la progettazione, l'esecuzione e l'attuazione di sondaggi premurosi che ottengono risultati e non bombardano i clienti tutto il tempo.

Se hai poco tempo, ecco alcuni suggerimenti veloci:

• Cogliere le persone nel momento e non giorni dopo il fatto è il modo migliore per ottenere risultati rapidi e accurati. Chiedi alle persone qualcosa di semplice e interessante che vada dritto al punto.
• Sii selettivo sul campione e chiarisci perché il feedback esatto di quella persona è importante quella settimana. In questo modo otterrai tassi di risposta e qualità dei dati molto migliori.
• Usa il campione più piccolo che puoi in grado di fornire comunque risultati di buona qualità. È meno lavoro, è meno invadente e ti dà l'opportunità di farne un altro se il primo va storto.
• Poni una o due domande nella lingua, nello stile di parlare e nel fraseggio che le persone usano piuttosto che nel tuo gergo aziendale.
• Per preservare il valore dei sondaggi e non esaurire i clienti con domande continue, fai meno sondaggi, molto più piccoli.

Se ti piace la nostra discussione, dai un'occhiata ad altri episodi del nostro podcast. Puoi seguire su iTunes, Spotify, YouTube o prendere il feed RSS nel tuo lettore preferito. Quella che segue è una trascrizione leggermente modificata dell'episodio.

La stoffa di uno specialista della forma

Liam Geraghty: Caroline, sei la benvenuta. È fantastico averti nello show.

Caroline Jarrett: Oh, è fantastico essere qui. Grazie mille per avermi invitato.

Liam: Prima di entrare nel dettaglio dei sondaggi, puoi raccontarci un po' come hai iniziato nel mondo dei moduli e dei sondaggi?

Caroline: Beh, completamente per caso. Dicevo alla gente che quando le altre bambine giocavano con le Barbie, ritagliavo dei moduli dalla carta e li mettevo insieme, e mi piace solo valutare quanto tempo ci mette il pubblico a rendersi conto che è ovviamente uno scherzo. Ma quello che è successo è che, nel 1990, ho avuto l'opportunità di essere project manager di un progetto che utilizzava tecniche di riconoscimento ottico dei caratteri. Era un progetto Rank Xerox per l'Ufficio europeo dei brevetti per acquisire brevetti, che è un'area molto, molto specializzata, e l'idea era di scansionare i brevetti e digitalizzarli.

Si è scoperto che il riconoscimento ottico dei caratteri era abbastanza buono, ma c'erano alcune sfide sui brevetti. Immaginiamo che i brevetti siano interessanti, ma in realtà non lo sono. Voglio dire, un buon 30% di loro sono nomi chimici oscuri. Quindi, il nostro OCR, il riconoscimento ottico dei caratteri ha dovuto scansionare cose come, oh, non lo so, [A,C-hexifloro[, e basti dire che un correttore ortografico non avrebbe funzionato. Abbiamo anche dovuto scansionare i brevetti esattamente come inviati. Se c'erano errori di ortografia o sciocchezze o qualcosa del genere, doveva essere presentato all'esaminatore del brevetto per motivi legali.

"Una cosa che mi affascina particolarmente è il modo in cui le persone rispondono alle domande e pensano attraverso il processo di risposta alle domande"

Nell'Ufficio europeo dei brevetti, i brevetti potevano essere presentati in inglese, francese o tedesco e avevano sempre un abstract in ciascuna delle tre lingue. Quindi, avevi la garanzia di avere inglese, francese e tedesco in ogni invio. La maggior parte di loro erano in inglese, ma potevano essere presentati in francese o tedesco. Il tedesco ha parole più lunghe dell'inglese. Entrambe le lingue hanno molti più accenti dell'inglese. Quindi, ho accidentalmente finito per imparare un bel po' sugli aspetti pratici dell'implementazione del riconoscimento ottico dei caratteri in un ambiente abbastanza complesso.

Poi, ho trovato lavoro con un grande integratore di sistemi informatici nel Regno Unito. A quel tempo si chiamavano Bull Information Systems. Stavano consegnando tutti i personal computer in ufficio a quello che era chiamato l'Agenzia delle Entrate, che aveva stretto un accordo con Bull per provare a utilizzare il riconoscimento ottico dei caratteri per elaborare alcuni moduli fiscali, e io sono stato coinvolto nel progetto di gestione della consegna di questi ottici sistemi di riconoscimento dei caratteri.

Per farla breve, non funzionavano affatto, quindi ho ottenuto il permesso dalle entrate per andare a osservare i sistemi in uso, e si è scoperto, ad esempio, che uno dei sistemi era in uso per elaborare moduli che erano, in generale, parlando, riempiti da pensionati con redditi molto bassi. Il riconoscimento ottico dei caratteri, fino ad oggi, non può gestire un modulo in cui qualcuno ha scritto "vedi la lettera allegata". C'erano molti modi inventivi in ​​cui le persone potevano rovinare il modulo. Ad esempio, aveva una riga per i tuoi interessi dal tuo conto bancario o della società di costruzioni. Se le persone avessero due account, scriverebbero due righe di piccoli numeri uno sopra l'altro in una casella, il che è una cosa perfettamente ragionevole da fare, ma la mia macchina OCR non aveva alcuna possibilità di affrontarlo, ed era intorno al 1992 .

"Ho trovato secchiate di letteratura davvero interessante e utile nel mondo dei sondaggi che mi hanno aiutato nel mio lavoro sui moduli, e una cosa tira l'altra"

Ho iniziato a lavorarci all'inizio del 1992 e stiamo arrivando a 30 anni. Mi sono davvero, davvero interessato a come progettiamo i moduli in modo che le persone possano compilarli correttamente, e semplicemente non ho perso interesse per questo. Da allora, ho continuato ad essere assolutamente affascinato da quella sfida, e qui ne siamo ancora molto interessati, ancora davvero, davvero interessati.

Sono lo specialista dei moduli e sono un pragmatico riguardo ai sondaggi. Non potrei descrivermi come un metodologo di indagine. Ad essere onesto, non potrei nemmeno descrivermi come entusiasta dei sondaggi. Quello che è successo è che ho cercato ossessivamente di trovare tutta la letteratura accademica ei libri scritti su moduli, e fino ad oggi ho una piccola libreria nel mio ufficio, che è praticamente tutto ciò che ho potuto trovare. Non c'era molto là fuori, quindi ho iniziato a cercare altre aree in cui le persone avrebbero potuto scrivere di moduli e sondaggi perché una delle sfide davvero interessanti per me, o una cosa che mi affascina particolarmente, è come le persone rispondere alle domande e pensare al processo di risposta alle domande. Come scriviamo e poniamo domande in modo da ottenere risposte accurate? Anche questo è un problema davvero, molto importante per i metodologi di indagine.

E così, ho trovato secchiate di letteratura davvero interessante e utile nel mondo dei sondaggi che mi hanno aiutato nel mio lavoro sui moduli, e una cosa tira l'altra. Ho iniziato a rispondere alle domande sulle mailing list sui sondaggi perché ne sono venuto a conoscenza per caso, e poi il mio mentore, Ginny Redish, mi ha detto che dovevo scrivere un libro sui sondaggi, ed eccoci qui.

Il processo di pensiero dietro un sondaggio

Liam: Per le persone che ascoltano, potresti accompagnarci attraverso il processo di creazione di un sondaggio? Ho letto le tue presentazioni e tutto il resto. So che dovrebbero volerci un paio di giorni, ma considera che abbiamo circa 15 o 20 minuti.

"In termini di progettazione di un questionario, è necessario inserirlo nel contesto di ciò che si desidera ottenere con il sondaggio in generale"

Caroline: Beh, la maggior parte delle persone viene da me e dice: "Puoi dare un'occhiata al mio sondaggio e darmi un questionario?" Ora, ovviamente, queste due parole sono usate in modo molto intercambiabile. Uno dei miei libri preferiti sulla progettazione dei sondaggi ha in realtà il questionario mondiale nel titolo. Sarebbe il libro di AP Oppenheim. E uno dei miei libri preferiti sulla progettazione di questionari, di Mick Couper, e non posso raccomandare troppo caldamente il suo lavoro a chiunque sia interessato alla letteratura, si chiama Web Survey Design , ma in realtà parla di questionari. Ora, lasciatemi chiarire. Ho provato a usare la parola questionario per la domanda e la risposta che mettiamo effettivamente di fronte alle persone e la parola sondaggio per l'intero processo a partire da "oh, penso che potremmo voler fare un sondaggio" fino a per fornire una sorta di numero come risultato. Quindi, è così che lo uso. Naturalmente, nella vita reale, le persone tendono a usarli in modo molto intercambiabile.

In termini di progettazione di un questionario, è necessario inserirlo nel contesto di ciò che si desidera ottenere con il sondaggio in generale. E ho un processo in sette fasi per progettare un sondaggio in cui inizio dicendo di elaborare i tuoi obiettivi per il sondaggio, capire perché vuoi farlo, cosa speri di ottenere facendolo e che tipo di decisioni prendi farà in base ai risultati del sondaggio, quindi elaborando chi vuoi rispondere e come puoi trovarne un campione perché generalmente, con la maggior parte dei sondaggi, è molto meglio utilizzare un campione il più piccolo possibile.

E poi, pensa alle domande che vuoi porre, che ovviamente riguardano gli obiettivi ma anche le persone che vuoi perché vuoi domande che abbiano un senso per loro. Quindi, costruendo quella roba in un questionario. Naturalmente, al giorno d'oggi, abbiamo molti strumenti diversi per aiutarci a farlo. Ma la parte difficile è il processo di pensiero che entra in esso, tirandolo fuori. Ho preso in prestito la parola lavoro sul campo dal mondo delle ricerche di mercato: si parla di mettere un questionario sul campo, e non potrei pensare a un termine migliore per chiamarlo di lavoro sul campo, che è portare i questionari alle persone e riaverli indietro .

“Il solo fatto di avere risposte non è abbastanza. Devi fare qualcosa con loro che ottenga quelle risposte ai decisori”

A quel punto, hai alcune risposte a cui si spera che le persone abbiano risposto. Quindi, devi pulire le risposte, pensarci e analizzarle in vari modi. E poi, ho chiamato i rapporti sui passaggi finali perché avere solo le risposte non è abbastanza buono. Devi fare qualcosa con loro che ottenga quelle risposte ai decisori.

Ad esempio, una volta mi chiedevo "dovrei scrivere questo articolo o questo articolo per la mia prossima colonna?" Le persone su Twitter che mi seguono sono principalmente il mio pubblico per quello che scrivo, quindi ho pensato: "Farò un piccolo sondaggio su Twitter". Ho offerto loro due opzioni. Non era in alcun modo qualcosa di statistico. Avevo solo bisogno di prendere una decisione rapida. Mettilo su, le persone hanno cliccato sul sondaggio e un argomento era più popolare dell'altro. Era abbastanza buono per me. Ho appena scritto la cosa. Probabilmente mi ci sono voluti 10 minuti per pensarci e 24 ore per aspettare i risultati, ed è stato meglio che martellarmi la testa su quale scrivere.

Questa è la fine più piccola dell'intera faccenda, e alla fine più elaborata, abbiamo cose come i censimenti decennale e la preparazione, la pianificazione e i test per il prossimo censimento iniziano prima che il censimento esistente sia terminato. Ci vogliono dai 10 ai 15 anni per fare un censimento. Questa è l'altra estremità.

Fare a una persona la domanda giusta

Liam: Quindi, una volta che ti vengono in mente le domande che necessitano di risposte, come fai a prendere di mira le persone giuste? E quanto è importante coglierli nel momento?

Caroline: Sono davvero felice che tu abbia menzionato di coglierli nel momento perché descrivo tre diverse strategie per trovare le persone a cui vuoi rispondere e coglierle nel momento è, penso, una delle più efficaci. Molti di noi vedono questi sondaggi popup sui siti web. E così, puoi catturare le persone nel momento in cui arrivano al sito Web e hai l'opportunità di porre loro forse una, forse due domande interessanti. Per inciso, il numero di siti Web che sprecano quell'opportunità ponendo la domanda "Sei disposto a rispondere a un sondaggio?" mi stupisce assolutamente perché sappiamo già che tutti faranno clic su no e tutto ciò che abbiamo fatto è imparare ciò che già impariamo.

Voglio dire, se hai intenzione di fare quel tipo di sondaggio in tempo reale, il mio consiglio da professionista è di chiedere loro qualcosa di interessante. Ad esempio, "perché sei venuto su questo sito oggi?" è qualcosa a cui possono rispondere subito senza doversi distrarre troppo da ciò che stanno cercando di fare. Quindi, coglierli nel momento è un'ottima strategia. Un altro esempio che amo davvero è vedere le persone fare la fila ai chioschi alla fine delle mostre del museo per dare il loro feedback sulla mostra, incredibilmente. È così insolito vedere persone effettivamente in fila per rispondere a un sondaggio. E non solo una volta, l'ho visto regolarmente se si tratta di una mostra davvero interessante e di un'indagine ben progettata. Questa è una delle strategie.

"Se hai intenzione di utilizzare un elenco, cerca di essere selettivo e chiarisci perché il feedback esatto di quella persona questa settimana è più importante"

Liam: Sì, il numero di volte in cui ho ricevuto e-mail un paio di giorni dopo il fatto in cui non sono davvero sicuro di come mi sono sentito riguardo a qualcosa o non sono dell'umore o della zona per essere rispondendo alle domande, mentre avrei potuto esserlo se mi fosse stato offerto subito il sondaggio.

Caroline: Assolutamente. E quello che hai lì, che ti viene chiesto dopo il fatto, è il modo più tipico in cui le persone cercano di trovare persone, dove hanno una specie di lista. In questo caso, l'organizzazione o l'azienda con cui hai interagito ti ha nel suo sistema come cliente o come qualcuno che li ha contattati. Hanno un elenco di quelle persone e lo stanno usando per generare un campione. E ancora, consiglio da professionista, non chiedere a tutti. Siamo tutti bombardati da questa roba tutto il tempo. Se hai intenzione di utilizzare un elenco, cerca di essere selettivo e chiarisci perché il feedback esatto di quella persona questa settimana è più importante. Riusciresti a ricordare il titolo di qualsiasi email recente che hai ricevuto di questo tipo?

Liam: Oh dio. Ora stai chiedendo a qualcuno con una memoria terribile queste cose.

Caroline: Mostra solo quanto siano immemorabili, giusto? Ne arriva un altro, "raccontaci della tua transazione recente" o qualcosa del genere. Yawn, ho dozzine di quelle cose. Ora, proviamo qualcosa che dice: "Grazie mille per aver acquistato da noi. Per favore, puoi rispondere alla nostra domanda della settimana?" Destra? Chiediamo solo a 10 persone. “Ooh, sono uno dei 10. Risponderò. È solo la domanda della settimana. Eccellente." Sai? Si distinguerebbe. Sarebbe un po' diverso. Sarebbe una cosa breve. È una domanda della settimana. Non è come la tua storia di vita o qualcosa del genere.

"Fare a una persona la domanda giusta è più utile che porre la domanda sbagliata a 10.000 persone"

Al giorno d'oggi, abbiamo così tante tecniche per inviare piccoli minuscoli sondaggi che potrebbero essere molto più coinvolgenti, brevi e rispettosi dei tempi delle persone e potrebbero essere inviati a campioni molto più piccoli, e potremmo ottenere tassi di risposta e qualità dei dati molto migliori, piuttosto di questo continuo bombardamento. E i tassi di risposta sono terribili.

Liam: Suppongo che questo ci porti alle domande reali, e come hai detto lì, "sei una delle 10 persone che stiamo chiedendo", si tratta di porre a una o poche persone la domanda giusta, piuttosto che limitarsi a coprire chiedere a un centinaio di persone?

Caroline: Penso che tu abbia letto le mie diapositive. Hai visto la diapositiva che dice che porre a una persona la domanda giusta è più utile che porre la domanda sbagliata a 10.000 persone? Vedo questo tipo di processo di pensiero nei colleghi e nei clienti tutto il tempo. Qualcuno in un ruolo di dirigente senior dice: "Dobbiamo scoprire i nostri clienti". Grande. È un'ottima cosa da fare. Dobbiamo prenderne 10.000. Come mai? E questo è tutto. Non ci sono ulteriori processi di pensiero coinvolti in esso. È bello che stiano facendo ricerche, ma se sapessero quali decisioni vogliono prendere in base a ciò, potrebbero creare la cosa molto meglio.

“Perché fai il campione più piccolo? Perché è meno lavoro, è meno invadente e ti dà la possibilità di farne un altro se il primo va storto”

Una delle cose che ho imparato dai metodologi del sondaggio è che cercano di fare il campione più piccolo possibile coerentemente con l'essere in grado di ottenere risultati di buona qualità. Perché fai il campione più piccolo? Perché è meno lavoro, è meno invadente e ti dà l'opportunità di farne un altro se il primo va storto, cosa che può succedere al meglio di noi.

Ti farò un esempio che è abbastanza doloroso. I metodisti dei sondaggi in Russia stanno scoprendo che le persone si limitano a sbattergli la porta in faccia. “Non rispondo alle tue domande. Potrei finire in prigione perché lo stato russo è bloccato a causa della guerra che hanno inflitto all'Ucraina". Quindi, boom, rovinerebbe il tuo lavoro sul campo, vero? Quindi, avere un piccolo campione ti dà l'opportunità di farne un altro giorno e ti dà anche l'opportunità di imparare dal primo. Quindi, ad eccezione dei censimenti, che ovviamente coprono tutti, si cerca di mantenere il campione il più piccolo e ristretto possibile.

Il punto che hai fatto è assolutamente così preciso. Ottenere la domanda giusta davanti alle persone giuste; fare domande usando parole familiari in modi familiari; chiedendo loro nella lingua, nello stile di parlare e nel fraseggio che le persone usano piuttosto che nel tuo gergo aziendale; tutte queste cose aiutano davvero a ottenere risultati di buona qualità.

Preservare il valore dei sondaggi

Liam: L'altra cosa che ha attirato la mia attenzione è stata leggere quello che hai scritto sul lavoro sul campo. Hai avuto un esempio di inviti e di come gli inviti siano così importanti, e uno degli esempi che hai avuto è stato uno screenshot di un'e-mail che era molto importante. Fondamentalmente ti stava incoraggiando a lasciare una recensione e aveva cinque stelle dorate mostrate con orgoglio in alto. E ho riconosciuto queste email. Sono così trasparenti in quello che stanno cercando di fare che mi scoraggia in qualche modo a lasciare una recensione.

"La gente pensa, 'Oh, è così facile e veloce fare un sondaggio', il che è vero, ma è anche facile e veloce fare un sondaggio davvero negativo"

Carolina: Esattamente. L'utilizzo di un sondaggio per manipolare i clienti è chiaramente qualcosa che non posso assolutamente raccomandare. E poi l'altro sta usando il feedback per premiare o punire il tuo personale. Quindi, ricevi queste storie poco edificanti di rappresentanti del servizio clienti che dicono: "Per favore, puoi darmi un 10 sul Net Promoter Score, altrimenti sarò punito?" E questo non è affatto positivo per la tua organizzazione. Ha minato l'intero metodo. Tutto quello che stai facendo è misurare la capacità del tuo personale di incolpare i tuoi clienti. È qualcosa che vuoi davvero misurare? Penso di no. Cercare di eliminare alcuni di questi comportamenti scorretti di routine sarebbe un'ottima cosa. Non limitarti a chiedere e chiedere e chiedere di routine in modi che vengono guadagnati o manipolati. È una cosa inutile da fare.

Liam: Prima di concludere, hai dei piani o progetti particolari per l'anno?

Caroline: Beh, segretamente, mi piacerebbe tornare alle forme. In qualche modo ho rifocalizzato accidentalmente il mio lavoro sui sondaggi, il che è divertente e sono felice di farlo, ma in realtà amo di più le forme. Quindi, se a qualcuno capitasse di avere delle cose che vorrebbero che facessi, sarei estremamente eccitato. Ma anche, avendo passato molto tempo a scrivere il libro, sono molto felice di avere l'opportunità di parlare con le persone delle loro domande del sondaggio. Ad esempio, formo molto studi, che è un incontro in cui esaminiamo una forma particolare. Sto anche facendo un bel po' di studi di indagine in cui mi ritrovo con un'organizzazione che ha un particolare problema di indagine e trascorriamo circa un'ora insieme solo a guardare i dettagli del tipo di cose che dico, con un concentrarsi su ciò che l'organizzazione sta guardando oggi. Sono molto divertenti. Sicuramente mi piacerebbe farne di più anche io.

Liam: Assolutamente. E dove possono andare i nostri ascoltatori per stare al passo con te e il tuo lavoro?

Caroline: Beh, il mio sito web si chiama sforzomark.co.uk, e ho un sacco di cose lì. Ho scritto vari articoli e così via per circa 20 anni. Cerco anche, dove posso, di rilasciare le mie diapositive affinché le persone possano utilizzarle con una licenza Creative Commons. Quindi, se vuoi prenderli e usarli, a patto di mantenere il mio slogan e i miei commons creativi, sono molto felice che tu li abbia. Sono anche su LinkedIn e su Twitter e mi piace chattare con le persone su moduli e domande del sondaggio. Questi sono i tre posti dove trovarmi e, naturalmente, i miei dati di contatto sono sul mio sito web. Impressiono i miei nipoti e le mie nipoti dicendo: "Se mi cerchi su Google, mi trovi". Pensano che sia fantastico.

Liam: Lo adoro. Ci collegheremo a tutti quelli nel post. Caroline, grazie mille per esserti unito a me oggi.

Caroline: Oh, grazie mille. È stato così divertente. Apprezzo molto l'opportunità.