形成专家 Caroline Jarrett 设计有效的调查

创建调查可能既快速又简单，但创建一个糟糕的调查也是如此。 有没有办法设计一个深思熟虑、有效的调查，在不让客户厌烦的情况下获得结果？

多年来，人们一直在滥用调查。 从枯燥的主题行到错误的问题，从事后发送问卷到过于频繁地发送问卷，组织在如何设计调查方面存在很多错误。

面对所有这些滥用，今天的客人正在努力维护调查的价值。 Caroline Jarrett 大约在 30 年前对表格产生了兴趣，同时向英国税务局提供光学字符识别系统，其中包括处理税表。 它运行得不是很好，事实证明这是因为人们在填写技术无法读取的表格时犯了诚实的错误。

从那时起，她就对易于填写的表格及其背后的思维过程完全着迷，在此过程中，她也对调查产生了兴趣。 她是Forms that Work: Designing Web Forms for Usability的合著者，她一直在为希望改进调查设计方式的公司和政府机构担任调查顾问。我们最近。

创建获奖表格和调查最近一直是我们的首要任务。 我们最近推出了对讲调查，这是一项新功能，可让您随时随地与客户建立联系，获取有价值的客户洞察，并使用收集到的数据来推动更具吸引力的个性化客户体验。 但正如 Caroline 指出的那样，即使是最好的工具也需要经过深思熟虑才能获得有意义的结果。

在今天的节目中，我们与 Caroline 聊了聊她设计、运行和执行周到的调查的七步过程，这些调查得到了结果，而且不会一直轰炸客户。

如果你的时间不够，这里有一些快速的要点：

• 在事后而不是几天后抓住人是获得快速、准确结果的最佳方式。 问人们一些简单而有趣的事情，直截了当。
• 对样本有选择性，并清楚说明为什么该人的确切反馈在该周很重要。 这样，您将获得更好的响应率和数据质量。
• 尽可能使用最小的样本，但仍能提供高质量的结果。 它的工作量更少，干扰更少，如果第一个出错了，它让你有机会再做一个。
• 用人们使用的语言、说话风格和措辞而不是你的公司行话问一两个问题。
• 为了保持调查的价值，并且不让客户因不断的提问而筋疲力尽，请进行更少、更小规模的调查。

如果您喜欢我们的讨论，请查看我们播客的更多剧集。 您可以关注 iTunes、Spotify、YouTube 或在您选择的播放器中获取 RSS 提要。 以下是该剧集的轻微编辑记录。

表格专家的素质

Liam Geraghty： Caroline，不客气。 很高兴有你参加演出。

Caroline Jarrett：哦，很高兴来到这里。 非常感谢你邀请我。

利亚姆：在我们深入了解调查的具体细节之前，您能告诉我们一些关于您是如何开始接触表格和调查的吗？

卡罗琳：嗯，完全是偶然的。 我曾经告诉人们，当其他小女孩和芭比娃娃玩耍时，我会从纸上剪下表格并将它们放在一起，我只是想衡量观众需要多长时间才能意识到这显然是一个笑话。 但发生的事情是，早在 1990 年，我就有机会成为使用光学字符识别技术的项目的项目经理。 这是欧洲专利局的一个 Rank Xerox 项目，用于获取专利，这是一个非常专业的领域，我们的想法是扫描专利并将其数字化。

事实证明，光学字符识别已经足够好，但在专利方面存在一些挑战。 我们认为专利很有趣，但实际上并非如此。 我的意思是，其中有 30% 是晦涩难懂的化学名称。 因此，我们的 OCR、光学字符识别必须扫描类似，哦，我不知道，[A,C-hexifloro[，并且可以说，拼写检查器不起作用。 我们还必须完全按照提交的方式扫描专利。 如果有拼写错误或胡说八道或类似的东西，出于法律原因必须将其提交给专利审查员。

“我特别着迷的一件事是人们如何回答问题并通过回答问题的过程进行思考”

在欧洲专利局，专利可以用英文、法文或德文提交，而且它们总是有三种语言中的每一种的摘要。 因此，保证您在每次提交时都会使用英语、法语和德语。 其中大部分是英文的，但也可以用法语或德语提交。 德语的单词比英语长。 两种语言的口音都比英语多得多。 因此，我意外地学到了很多关于在相当复杂的环境中实现光学字符识别的实用性。

然后，我在英国的一家大型计算机系统集成商找到了一份工作。 当时，它们被称为公牛信息系统。 他们将所有办公室内的个人电脑交付给所谓的税务局，该税务局已与 Bull 达成协议，尝试使用光学字符识别来处理一些税表，我参与了项目管理这些光学的交付字符识别系统。

长话短说，它们根本不起作用，所以我得到了收入部门的许可，去观察正在使用的系统，结果发现，例如，其中一个系统正在用于处理广泛使用的表格说起来，是由收入很低的退休人员填写的。 直到今天，光学字符识别还不能处理有人写了“见附件”的表格。 有许多创造性的方法可以让人们弄乱表格。 例如，您的银行或建房互助协会账户中有一行用于支付您的利息。 如果人们有两个账户，他们会在一个盒子里写下两行一个在另一个之上的小数字，这是一件非常合理的事情，但我的 OCR 机器没有机会处理这个问题，那是在 1992 年左右.

“我在调查世界中发现了大量非常有趣和有用的文献，这些文献帮助我完成了表格工作，一件事导致了另一件事”

我从 1992 年初开始研究这个问题，而我们才刚到 30 年。 我只是对我们如何设计表格以便人们可以正确填写表格非常非常感兴趣，而且我并没有对此失去兴趣。 从那以后，我一直对这个挑战非常着迷，在这里我们仍然对它非常感兴趣，仍然非常非常感兴趣。

我是表格专家，我是调查的实用主义者。 我无法将自己描述为调查方法学家。 老实说，我什至无法形容自己对调查充满热情。 发生的事情是，我着迷地试图找到所有写在表格上的学术文献和书籍，直到今天，我的办公室里只有一个小书架，几乎可以找到所有我能找到的东西。 那里没有太多东西，所以我开始寻找人们可能写过关于表格和调查的其他领域，因为对我来说真正有趣的挑战之一，或者我特别着迷的事情是人们如何回答问题并思考回答问题的过程。 我们如何以获得准确答案的方式撰写和提出问题？ 这也是一个对调查方法学家来说非常非常重要的问题。

因此，我在调查世界中发现了大量非常有趣和有用的文献，这些文献对我的表格工作有所帮助，一件事导致另一件事。 我开始在邮件列表上回答有关调查的问题，因为我无意中了解到了这些问题，然后我的导师 Ginny Redish 告诉我，我必须写一本关于调查的书，我们到了。

调查背后的思考过程

利亚姆：对于倾听的人，您能带我们完成创建调查的过程吗？ 我一直在阅读您的演示文稿和所有内容。 我知道这应该需要几天时间，但考虑到我们大约需要 15 或 20 分钟。

“就设计问卷而言，您需要将其置于您希望通过整体调查实现的目标的背景下”

卡罗琳：嗯，大多数人来找我说，“你能看看我的调查并给我一份问卷吗？” 现在，显然，这两个词可以互换使用。 我最喜欢的一本关于调查设计的书的标题实际上是世界问卷。 那将是美联社奥本海姆的书。 我最喜欢的一本关于问卷设计的书是 Mick Couper 写的，我不能向任何对文学感兴趣的人推荐他的作品，这本书叫做Web Survey Design ，但它实际上是关于问卷的。 现在，让我澄清一下。 我试着用问卷这个词来表达我们实际摆在人们面前的问题和答案，整个过程用调查这个词，从“哦，我想我们可能想做一个调查”一直到以提供某种数字作为结果。 所以，这就是我使用它的方式。 当然，在现实生活中，人们倾向于互换使用它们。

在设计问卷方面，您需要将其置于您希望通过整个调查实现的目标的背景下。 我有一个七步流程来设计一个调查，我首先说要制定调查目标，弄清楚你为什么要这样做，你希望通过这样做获得什么，以及你做出什么样的决定将根据调查结果进行调查，然后确定您想回答的人以及如何找到他们的样本，因为通常，在大多数调查中，我们最好使用尽可能小的样本。

然后，想想你想问的问题，这些问题显然与目标有关，但也与你想要的人有关，因为你想要对他们有意义的问题。 然后，将这些内容构建到问卷中。 当然，如今，我们有许多不同的工具可以帮助我们做到这一点。 但困难的是进入它的思考过程，把它拿出来。 我从市场研究领域借用了实地工作这个词——他们谈论将问卷放入实地，我想不出比实地工作更好的称呼，即把你的问卷分发给人们并让他们回来.

“仅仅有回应是不够的。 你必须和他们做点什么，才能得到决策者的回应”

在这一点上，你有一些希望人们会回答的回答。 因此，您必须清理响应，考虑它们并以各种方式分析它们。 然后，我已经调用了最后一步报告，因为仅仅有响应是不够的。 你必须和他们做点什么，才能得到决策者的回应。

例如，有一次我在想，“我应该为我的下一个专栏写这篇文章还是这篇文章？” 在 Twitter 上关注我的人主要是我所写内容的观众，所以我想，“我会做一个小小的 Twitter 民意调查。” 我给了他们两个选择。 这绝不是什么统计数据。 我只需要快速做出决定。 举起来，人们点击了投票，一个话题比另一个更受欢迎。 这对我来说已经足够好了。 我刚写的东西。 这可能让我花了 10 分钟的时间来考虑它，并花了 24 小时来等待结果，这比我苦苦思索要写哪一个要好。

这是整个事情的最微小的结尾，在最复杂的结尾，我们有像 10 年一次的人口普查，以及在现有人口普查完成之前开始下一次人口普查的准备、规划和测试。 进行人口普查需要 10 到 15 年。 那是它的另一端。

问一个人正确的问题

利亚姆：那么，一旦你提出了需要回答的问题，你如何定位正确的人？ 当下抓住它们有多重要？

Caroline：我真的很高兴你提到在当下抓住他们，因为我认为三种不同的策略可以找到你想要回答的人并在当下抓住他们，我认为这是最有效的策略之一。 我们很多人在网站上看到这些弹出式调查。 因此，您可以在他们到达网站的那一刻捕捉到他们，并且您有机会问他们也许一个，也许是两个有趣的问题。 顺便说一句，有多少网站浪费了这个机会，问“你愿意回答调查吗？”这个问题。 绝对让我吃惊，因为我们已经知道每个人都会点击“否”，而我们所做的就是学习我们已经学到的东西。

我的意思是，如果你要进行这种即时调查，我的专业建议是问他们一些有趣的事情。 例如，“你今天为什么来这个网站？” 是他们可以立即回答的事情，而不必过多地分散他们正在尝试做的事情。 所以，在当下抓住他们是一个很好的策略。 另一个我非常喜欢的例子是看到人们在博物馆展览结束时在售货亭排队，对展览提供反馈，令人难以置信。 看到人们实际上排队回答调查是很不寻常的。 而且不止一次，如果这是一个非常有趣的展览和精心设计的调查，我会经常看到它。 这是策略之一。

“如果你要使用一个列表，试着有选择性地说明为什么这个人本周的确切反馈更重要”

利亚姆：是的，几天后我收到电子邮件的次数，我不确定自己对某事的感受，或者我没有那种心情或状态回答问题，而如果我立即接受调查，我可能会回答问题。

卡罗琳：当然。 事后被问到，你所得到的是人们尝试寻找人的最典型方式，他们有某种列表。 在这种情况下，您与之交互的组织或企业将您作为客户或与他们联系的人在他们的系统上。 他们有这些人的名单，他们正在使用它来生成样本。 再说一次，专业提示，不要问每个人。 我们一直都被这些东西轰炸。 如果你打算使用一个列表，试着有选择性地说明为什么这个人本周的确切反馈更重要。 您还记得您最近收到的任何此类性质的电子邮件的标题吗？

利亚姆：天哪。 现在，您正在向记忆力差的人询问这些事情。

卡罗琳：这只是表明他们是多么难以忘怀，对吧？ 另一个进来，“告诉我们你最近的交易”什么的。 打哈欠，我有几十个这样的东西。 现在，让我们尝试一些内容，“非常感谢您从我们这里购买。 请问你能回答我们本周的问题吗？” 正确的？ 我们只问了10个人。 “哦，我是十个人之一。我会回答的。 这只是本周的问题。 出色的。” 你知道？ 它会脱颖而出。 这会有点不同。 这将是一件很短的事情。 这是一周的问题。 这不像你的生活史之类的。

“问一个人正确的问题比问一万人错误的问题更有用”

这些天来，我们有很多技术可以发送小型调查，这些调查可能更具吸引力、更短、更尊重人们的时间，并且可以发送到更小的样本，我们可以获得更好的响应率和数据质量，而不是而不是这种不断的轰炸。 而且反应速度很糟糕。

利亚姆：我想这会把我们引向实际的问题，正如你在那里所说，“你是我们要问的 10 个人之一”，是要问一个人还是几个人正确的问题，而不仅仅是笼统问一百个人？

卡罗琳：我想你可能看过我的幻灯片。 你有没有看过一张幻灯片，上面写着问一个人正确的问题比问一万人错误的问题更有用？ 我一直在同事和客户身上看到这种思维过程。 一位担任高级执行官的人说：“我们需要了解我们的客户。” 伟大的。 这是一件很棒的事情。 我们需要得到 10,000 个。 为什么？ 就是这样。 没有进一步的思考过程。 他们正在做研究真是太好了，但如果他们知道他们想在此基础上做出什么决定，他们就可以做得更好。

“为什么要做最小的样本？ 因为它的工作量更少，干扰更少，如果第一个出错了，它让你有机会再做一个”

我从调查方法学家那里学到的一件事是，他们尝试做尽可能少的样本，从而获得高质量的结果。 为什么要做最小的样本？ 因为它的工作量更少，干扰更少，如果第一个出错了，它让你有机会再做一个，这可能发生在我们最好的人身上。

我要给你举一个非常痛苦的例子。 俄罗斯的调查方法学家发现，人们只是当面关上门。 “我不回答你的问题。 我可能会被关进监狱，因为俄罗斯国家因为他们对乌克兰发动的战争而被封锁。” 所以，繁荣，那会毁了你的实地考察，不是吗？ 因此，拥有一个小样本让您有机会改天再做一个，也让您有机会从第一个样本中学习。 所以，除了人口普查，显然覆盖了所有人，他们尽量保持样本尽可能小和紧凑。

你提出的观点绝对如此准确。 在正确的人面前提出正确的问题； 以熟悉的方式使用熟悉的词语提问； 用人们使用的语言、说话风格和措辞而不是你的公司行话来询问他们； 所有这些事情真的，真的有助于获得高质量的结果。

保持调查的价值

利亚姆：引起我注意的另一件事是阅读您在实地考察中所写的内容。 你有一个邀请的例子，以及邀请是如何如此重要的，你有一个例子是一封非常重要的电子邮件的截图。 它基本上是在鼓励您发表评论，并且在顶部自豪地展示了五颗金色星星。 我认出了这些电子邮件。 他们在尝试做的事情上是如此透明，以至于让我无法留下评论。

“人们认为，‘哦，做一个调查是如此快速和容易’，这有点真实，但做一个非常糟糕的调查也很快和容易”

卡罗琳：没错。 使用调查来操纵客户显然是我不可能推荐的。 然后另一个是使用反馈来奖励或惩罚你的员工。 因此，您会听到客户服务代表的这些毫无说服力的故事说：“请您给我的净推荐值打 10，否则我会受到惩罚？” 这对您的组织没有任何好处。 它破坏了整个方法。 你所做的只是衡量你的员工让你的客户感到内疚的能力。 那是你真正想要测量的东西吗？ 我想不是。 试图消除其中一些常规的不良行为将是一件好事。 不要只是以获取或操纵的方式例行询问，询问和询问。 这是无益的事情。

利亚姆：在我们结束之前，你今年有什么特别的计划或项目吗？

卡罗琳：嗯，秘密地，我很想回到表格。 我不小心将我的工作重心转移到了调查上，这很有趣，我很乐意这样做，但实际上，我最喜欢表格。 所以，如果有人碰巧有他们想让我做的任何形式的事情，我会非常兴奋。 而且，我花了很多时间写这本书，我很高兴有机会与人们谈论他们的调查问题。 例如，我经常组建工作室，这是我们查看特定表格的会议。 我也在做很多调查工作室，在那里我与一个有特定调查问题的组织聚在一起，我们花一个小时左右的时间一起研究我所说的那种事情的来龙去脉，关注该组织今天所关注的内容。 他们很有趣。 我当然也想做更多。

利亚姆：当然。 我们的听众可以去哪里跟上您和您的工作？

卡罗琳：嗯，我的网站叫做effortmark.co.uk，上面有很多东西。 大约 20 年来，我一直在写各种文章等。 我还尽可能地尝试发布我的幻灯片，供人们在知识共享许可下使用。 所以，如果你想拿起它们并使用它们，只要你保留我的标语和我的创作共用，我很高兴你拥有它们。 我也在 LinkedIn 和 Twitter 上，我喜欢与人们就表格和调查问题聊天。 这三个地方可以找到我，当然，我的联系方式在我的网站上。 我说：“如果你用谷歌搜索我，你就会得到我。”我给我的侄子和侄女留下了深刻的印象。 他们认为这很了不起。

利亚姆：我喜欢那个。 我们将链接到帖子中的所有内容。 卡罗琳，非常感谢你今天加入我的行列。

卡罗琳：哦，非常感谢。 这太有趣了。 我真的很感激这个机会。