形成專家 Caroline Jarrett 設計有效的調查

創建調查可能既快速又簡單，但創建一個糟糕的調查也是如此。 有沒有辦法設計一個深思熟慮、有效的調查，在不讓客戶厭煩的情況下獲得結果？

多年來，人們一直在濫用調查。 從枯燥的主題行到錯誤的問題，從事後發送問捲到過於頻繁地發送問卷，組織在如何設計調查方面存在很多錯誤。

面對所有這些濫用，今天的客人正在努力維護調查的價值。 Caroline Jarrett 大約在 30 年前對錶格產生了興趣，同時向英國稅務局提供光學字符識別系統，其中包括處理稅表。 它運行得不是很好，事實證明這是因為人們在填寫技術無法讀取的表格時犯了誠實的錯誤。

從那時起，她就對易於填寫的表格及其背後的思維過程完全著迷，在此過程中，她也對調查產生了興趣。 她是Forms that Work: Designing Web Forms for Usability的合著者，她一直在為希望改進調查設計方式的公司和政府機構擔任調查顧問。我們最近。

創建獲獎表格和調查最近一直是我們的首要任務。 我們最近推出了對講調查，這是一項新功能，可讓您隨時隨地與客戶建立聯繫，獲取有價值的客戶洞察，並使用收集到的數據來推動更具吸引力的個性化客戶體驗。 但正如 Caroline 指出的那樣，即使是最好的工具也需要經過深思熟慮才能獲得有意義的結果。

在今天的節目中，我們與 Caroline 聊了聊她設計、運行和執行周到的調查的七步過程，這些調查得到了結果，而且不會一直轟炸客戶。

如果你的時間不夠，這裡有一些快速的要點：

• 在事後而不是幾天后抓住人是獲得快速、準確結果的最佳方式。 問人們一些簡單而有趣的事情，直截了當。
• 對樣本有選擇性，並清楚說明為什麼該人的確切反饋在該週很重要。 這樣，您將獲得更好的響應率和數據質量。
• 盡可能使用最小的樣本，但仍能提供高質量的結果。 它的工作量更少，干擾更少，如果第一個出錯了，它讓你有機會再做一個。
• 用人們使用的語言、說話風格和措辭而不是你的公司行話問一兩個問題。
• 為了保持調查的價值，並且不讓客戶因不斷的提問而筋疲力盡，請進行更少、更小規模的調查。

如果您喜歡我們的討論，請查看我們播客的更多劇集。 您可以關注 iTunes、Spotify、YouTube 或在您選擇的播放器中獲取 RSS 提要。 以下是該劇集的輕微編輯記錄。

表格專家的素質

Liam Geraghty： Caroline，不客氣。 很高興有你參加演出。

Caroline Jarrett：哦，很高興來到這裡。 非常感謝你邀請我。

利亞姆：在我們深入了解調查的具體細節之前，您能告訴我們一些關於您是如何開始接觸表格和調查的嗎？

卡羅琳：嗯，完全是偶然的。 我曾經告訴人們，當其他小女孩和芭比娃娃玩耍時，我會從紙上剪下表格並將它們放在一起，我只是想衡量觀眾需要多長時間才能意識到這顯然是一個笑話。 但發生的事情是，早在 1990 年，我就有機會成為使用光學字符識別技術的項目的項目經理。 這是歐洲專利局的一個 Rank Xerox 項目，用於獲取專利，這是一個非常專業的領域，我們的想法是掃描專利並將其數字化。

事實證明，光學字符識別已經足夠好，但在專利方面存在一些挑戰。 我們認為專利很有趣，但實際上並非如此。 我的意思是，其中有 30% 是晦澀難懂的化學名稱。 因此，我們的 OCR、光學字符識別必須掃描類似，哦，我不知道，[A,C-hexifloro[，並且可以說，拼寫檢查器不起作用。 我們還必須完全按照提交的方式掃描專利。 如果有拼寫錯誤或胡說八道或類似的東西，出於法律原因必須將其提交給專利審查員。

“我特別著迷的一件事是人們如何回答問題並通過回答問題的過程進行思考”

在歐洲專利局，專利可以用英文、法文或德文提交，而且它們總是有三種語言中的每一種的摘要。 因此，保證您在每次提交時都會使用英語、法語和德語。 其中大部分是英文的，但也可以用法語或德語提交。 德語的單詞比英語長。 兩種語言的口音都比英語多得多。 因此，我意外地學到了很多關於在相當複雜的環境中實現光學字符識別的實用性。

然後，我在英國的一家大型計算機系統集成商找到了一份工作。 當時，它們被稱為公牛信息系統。 他們將所有辦公室內的個人電腦交付給所謂的稅務局，該稅務局已與 Bull 達成協議，嘗試使用光學字符識別來處理一些稅表，我參與了項目管理這些光學的交付字符識別系統。

長話短說，它們根本不起作用，所以我得到了收入部門的許可，去觀察正在使用的系統，結果發現，例如，其中一個系統正在用於處理廣泛使用的表格說起來，是由收入很低的退休人員填寫的。 直到今天，光學字符識別還不能處理有人寫了“見附件”的表格。 有許多創造性的方法可以讓人們弄亂表格。 例如，您的銀行或建房互助協會賬戶中有一行用於支付您的利息。 如果人們有兩個賬戶，他們會在一個盒子裡寫下兩行一個在另一個之上的小數字，這是一件非常合理的事情，但我的 OCR 機器沒有機會處理這個問題，那是在 1992 年左右.

“我在調查世界中發現了大量非常有趣和有用的文獻，這些文獻幫助我完成了表格工作，一件事導致了另一件事”

我從 1992 年初開始研究這個問題，而我們才剛到 30 年。 我只是對我們如何設計表格以便人們可以正確填寫表格非常非常感興趣，而且我並沒有對此失去興趣。 從那以後，我一直對這個挑戰非常著迷，在這裡我們仍然對它非常感興趣，仍然非常非常感興趣。

我是表格專家，我是調查的實用主義者。 我無法將自己描述為調查方法學家。 老實說，我什至無法形容自己對調查充滿熱情。 發生的事情是，我著迷地試圖找到所有寫在表格上的學術文獻和書籍，直到今天，我的辦公室裡只有一個小書架，幾乎可以找到所有我能找到的東西。 那裡沒有太多東西，所以我開始尋找人們可能寫過關於表格和調查的其他領域，因為對我來說真正有趣的挑戰之一，或者我特別著迷的事情是人們如何回答問題並思考回答問題的過程。 我們如何以獲得準確答案的方式撰寫和提出問題？ 這也是一個對調查方法學家來說非常非常重要的問題。

因此，我在調查世界中發現了大量非常有趣和有用的文獻，這些文獻對我的表格工作有所幫助，一件事導致另一件事。 我開始在郵件列表上回答有關調查的問題，因為我無意中了解到了這些問題，然後我的導師 Ginny Redish 告訴我，我必須寫一本關於調查的書，我們到了。

調查背後的思考過程

利亞姆：對於傾聽的人，您能帶我們完成創建調查的過程嗎？ 我一直在閱讀您的演示文稿和所有內容。 我知道這應該需要幾天時間，但考慮到我們大約需要 15 或 20 分鐘。

“就設計問捲而言，您需要將其置於您希望通過整體調查實現的目標的背景下”

卡羅琳：嗯，大多數人來找我說，“你能看看我的調查並給我一份問卷嗎？” 現在，顯然，這兩個詞可以互換使用。 我最喜歡的一本關於調查設計的書的標題實際上是世界問卷。 那將是美聯社奧本海姆的書。 我最喜歡的一本關於問卷設計的書是 Mick Couper 寫的，我不能向任何對文學感興趣的人推薦他的作品，這本書叫做Web Survey Design ，但它實際上是關於問卷的。 現在，讓我澄清一下。 我試著用問卷這個詞來表達我們實際擺在人們面前的問題和答案，整個過程用調查這個詞，從“哦，我想我們可能想做一個調查”一直到以提供某種數字作為結果。 所以，這就是我使用它的方式。 當然，在現實生活中，人們傾向於互換使用它們。

在設計問卷方面，您需要將其置於您希望通過整個調查實現的目標的背景下。 我有一個七步流程來設計一個調查，我首先說要製定調查目標，弄清楚你為什麼要這樣做，你希望通過這樣做獲得什麼，以及你做出什麼樣的決定將根據調查結果進行調查，然後確定您想回答的人以及如何找到他們的樣本，因為通常，在大多數調查中，我們最好使用盡可能小的樣本。

然後，想想你想問的問題，這些問題顯然與目標有關，但也與你想要的人有關，因為你想要對他們有意義的問題。 然後，將這些內容構建到問卷中。 當然，如今，我們有許多不同的工具可以幫助我們做到這一點。 但困難的是進入它的思考過程，把它拿出來。 我從市場研究領域借用了實地工作這個詞——他們談論將問卷放入實地，我想不出比實地工作更好的稱呼，即把你的問卷分發給人們並讓他們回來.

“僅僅有回應是不夠的。 你必須和他們做點什麼，才能得到決策者的回應”

在這一點上，你有一些希望人們會回答的回答。 因此，您必須清理響應，考慮它們並以各種方式分析它們。 然後，我已經調用了最後一步報告，因為僅僅有響應是不夠的。 你必須和他們做點什麼，才能得到決策者的回應。

例如，有一次我在想，“我應該為我的下一個專欄寫這篇文章還是這篇文章？” 在 Twitter 上關注我的人主要是我所寫內容的觀眾，所以我想，“我會做一個小小的 Twitter 民意調查。” 我給了他們兩個選擇。 這絕不是什麼統計數據。 我只需要快速做出決定。 舉起來，人們點擊了投票，一個話題比另一個更受歡迎。 這對我來說已經足夠好了。 我剛寫的東西。 這可能讓我花了 10 分鐘的時間來考慮它，並花了 24 小時來等待結果，這比我苦苦思索要寫哪一個要好。

這是整個事情的最微小的結尾，在最複雜的結尾，我們有像 10 年一次的人口普查，以及在現有人口普查完成之前開始下一次人口普查的準備、規劃和測試。 進行人口普查需要 10 到 15 年。 那是它的另一端。

問一個人正確的問題

利亞姆：那麼，一旦你提出了需要回答的問題，你如何定位正確的人？ 當下抓住它們有多重要？

Caroline：我真的很高興你提到在當下抓住他們，因為我認為三種不同的策略可以找到你想要回答的人並在當下抓住他們，我認為這是最有效的策略之一。 我們很多人在網站上看到這些彈出式調查。 因此，您可以在他們到達網站的那一刻捕捉到他們，並且您有機會問他們也許一個，也許是兩個有趣的問題。 順便說一句，有多少網站浪費了這個機會，問“你願意回答調查嗎？”這個問題。 絕對讓我吃驚，因為我們已經知道每個人都會點擊“否”，而我們所做的就是學習我們已經學到的東西。

我的意思是，如果你要進行這種即時調查，我的專業建議是問他們一些有趣的事情。 例如，“你今天為什麼來這個網站？” 是他們可以立即回答的事情，而不必過多地分散他們正在嘗試做的事情。 所以，在當下抓住他們是一個很好的策略。 另一個我非常喜歡的例子是看到人們在博物館展覽結束時在售貨亭排隊，對展覽提供反饋，令人難以置信。 看到人們實際上排隊回答調查是很不尋常的。 而且不止一次，如果這是一個非常有趣的展覽和精心設計的調查，我會經常看到它。 這是策略之一。

“如果你要使用一個列表，試著有選擇性地說明為什麼這個人本週的確切反饋更重要”

利亞姆：是的，幾天后我收到電子郵件的次數，我不確定自己對某事的感受，或者我沒有那種心情或狀態回答問題，而如果我立即接受調查，我可能會回答問題。

卡羅琳：當然。 事後被問到，你所得到的是人們嘗試尋找人的最典型方式，他們有某種列表。 在這種情況下，您與之交互的組織或企業將您作為客戶或與他們聯繫的人在他們的系統上。 他們有這些人的名單，他們正在使用它來生成樣本。 再說一次，專業提示，不要問每個人。 我們一直都被這些東西轟炸。 如果你打算使用一個列表，試著有選擇性地說明為什麼這個人本週的確切反饋更重要。 您還記得您最近收到的任何此類性質的電子郵件的標題嗎？

利亞姆：天啊。 現在，您正在向記憶力差的人詢問這些事情。

卡羅琳：這只是表明他們是多麼難以忘懷，對吧？ 另一個進來，“告訴我們你最近的交易”什麼的。 打哈欠，我有幾十個這樣的東西。 現在，讓我們嘗試一些內容，“非常感謝您從我們這裡購買。 請問你能回答我們本週的問題嗎？” 正確的？ 我們只問了10個人。 “哦，我是十個人之一。我會回答的。 這只是本週的問題。 出色的。” 你知道？ 它會脫穎而出。 這會有點不同。 這將是一件很短的事情。 這是一周的問題。 這不像你的生活史之類的。

“問一個人正確的問題比問一萬人錯誤的問題更有用”

這些天來，我們有很多技術可以發送小型調查，這些調查可能更具吸引力、更短、更尊重人們的時間，並且可以發送到更小的樣本，我們可以獲得更好的響應率和數據質量，而不是而不是這種不斷的轟炸。 而且反應速度很糟糕。

利亞姆：我想這會把我們引向實際的問題，正如你在那裡所說，“你是我們要問的 10 個人之一”，是要問一個人還是幾個人正確的問題，而不僅僅是籠統問一百個人？

卡羅琳：我想你可能看過我的幻燈片。 你有沒有看過一張幻燈片，上面寫著問一個人正確的問題比問一萬人錯誤的問題更有用？ 我一直在同事和客戶身上看到這種思維過程。 一位擔任高級執行官的人說：“我們需要了解我們的客戶。” 偉大的。 這是一件很棒的事情。 我們需要得到 10,000 個。 為什麼？ 就是這樣。 沒有進一步的思考過程。 他們正在做研究真是太好了，但如果他們知道他們想在此基礎上做出什麼決定，他們就可以做得更好。

“為什麼要做最小的樣本？ 因為它的工作量更少，干擾更少，如果第一個出錯了，它讓你有機會再做一個”

我從調查方法學家那裡學到的一件事是，他們嘗試做盡可能少的樣本，從而獲得高質量的結果。 為什麼要做最小的樣本？ 因為它的工作量更少，干擾更少，如果第一個出錯了，它讓你有機會再做一個，這可能發生在我們最好的人身上。

我要給你舉一個非常痛苦的例子。 俄羅斯的調查方法學家發現，人們只是當面關上門。 “我不回答你的問題。 我可能會被關進監獄，因為俄羅斯國家因為他們對烏克蘭發動的戰爭而被封鎖。” 所以，繁榮，那會毀了你的實地考察，不是嗎？ 因此，擁有一個小樣本讓您有機會改天再做一個，也讓您有機會從第一個樣本中學習。 所以，除了人口普查，顯然覆蓋了所有人，他們盡量保持樣本盡可能小和緊湊。

你提出的觀點絕對如此準確。 在正確的人面前提出正確的問題； 以熟悉的方式使用熟悉的詞語提問； 用人們使用的語言、說話風格和措辭而不是你的公司行話來詢問他們； 所有這些事情真的，真的有助於獲得高質量的結果。

保持調查的價值

利亞姆：引起我注意的另一件事是閱讀您在實地考察中所寫的內容。 你有一個邀請的例子，以及邀請是如何如此重要的，你有一個例子是一封非常重要的電子郵件的截圖。 它基本上是在鼓勵您發表評論，並且在頂部自豪地展示了五顆金色星星。 我認出了這些電子郵件。 他們在嘗試做的事情上是如此透明，以至於讓我無法留下評論。

“人們認為，‘哦，做一個調查是如此快速和容易’，這有點真實，但做一個非常糟糕的調查也很快和容易”

卡羅琳：沒錯。 使用調查來操縱客戶顯然是我不可能推薦的。 然後另一個是使用反饋來獎勵或懲罰你的員工。 因此，您會聽到客戶服務代表的這些毫無說服力的故事說：“請您給我的淨推薦值打 10，否則我會受到懲罰？” 這對您的組織沒有任何好處。 它破壞了整個方法。 你所做的只是衡量你的員工讓你的客戶感到內疚的能力。 那是你真正想要測量的東西嗎？ 我想不是。 試圖消除其中一些常規的不良行為將是一件好事。 不要只是以獲取或操縱的方式例行詢問，詢問和詢問。 這是無益的事情。

利亞姆：在我們結束之前，你今年有什麼特別的計劃或項目嗎？

卡羅琳：嗯，秘密地，我很想回到表格。 我不小心將我的工作重心轉移到了調查上，這很有趣，我很樂意這樣做，但實際上，我最喜歡表格。 所以，如果有人碰巧有他們想讓我做的任何形式的事情，我會非常興奮。 而且，我花了很多時間寫這本書，我很高興有機會與人們談論他們的調查問題。 例如，我經常組建工作室，這是我們查看特定表格的會議。 我也在做很多調查工作室，在那裡我與一個有特定調查問題的組織聚在一起，我們花一個小時左右的時間一起研究我所說的那種事情的來龍去脈，關注該組織今天所關注的內容。 他們很有趣。 我當然也想做更多。

利亞姆：當然。 我們的聽眾可以去哪裡跟上您和您的工作？

卡羅琳：嗯，我的網站叫做effortmark.co.uk，上面有很多東西。 大約 20 年來，我一直在寫各種文章等。 我還盡可能地嘗試發布我的幻燈片，供人們在知識共享許可下使用。 所以，如果你想拿起它們並使用它們，只要你保留我的標語和我的創作共用，我很高興你擁有它們。 我也在 LinkedIn 和 Twitter 上，我喜歡與人們就表格和調查問題聊天。 這三個地方可以找到我，當然，我的聯繫方式在我的網站上。 我說：“如果你用谷歌搜索我，你就會得到我。”我給我的侄子和侄女留下了深刻的印象。 他們認為這很了不起。

利亞姆：我喜歡那個。 我們將鏈接到帖子中的所有內容。 卡羅琳，非常感謝你今天加入我的行列。

卡羅琳：哦，非常感謝。 這太有趣了。 我真的很感激這個機會。