効果的な調査の設計に関するフォームスペシャリストのキャロラインジャレット
公開: 2022-06-30調査の作成は迅速かつ簡単かもしれませんが、悪い調査の作成も同様です。 顧客を死に至らしめることなく結果を得る、思慮深く効果的な調査を設計する方法はありますか？
何年もの間、人々は調査を悪用してきました。 鈍い件名から間違った質問まで、事後に質問票を送ることからあまりにも頻繁にそれらを送ることまで、組織が調査を設計する方法について間違っていることがたくさんあります。
今日のゲストは、このような誤用に直面して、調査の価値を維持するために戦っています。 キャロライン・ジャレットは、税務フォームの処理を含む光学式文字認識システムを英国内国歳入庁に提供しているときに、約30年前にフォームに興味を持ちました。 それはあまりうまく機能しませんでした、そしてそれは人々がフォームに記入するときに技術が読めないという正直な間違いをしたからであることがわかりました。
それ以来、記入しやすいフォームとその背後にある思考プロセスに完全に魅了され、その過程で調査にも興味を持ち始めました。 彼女はFormsthatWork ：Designing Web Forms for Usabilityの共著者であり、調査の設計方法を改善したい企業や政府機関の調査コンサルタントとして働いています。受賞したフォームと調査の作成は、最近私たち。
最近、受賞フォームとアンケートを作成することが私たちの頭の中にあります。 最近、Intercom Surveysをリリースしました。これは、どこにいても顧客とつながり、貴重な顧客インサイトを収集し、収集したデータを使用して、より魅力的でパーソナライズされた顧客体験を促進できる新機能です。 しかし、キャロラインが指摘しているように、意味のある結果を得るには、最高のツールでさえ慎重に使用する必要があります。
今日のエピソードでは、キャロラインと、結果を出し、常に顧客を攻撃しない、思いやりのある調査を設計、実行、実行するための7つのステップのプロセスについてチャットします。
時間に余裕がない場合は、次の点に注意してください。
- 事実の数日後ではなく、その瞬間に人々を捕まえることが、迅速で正確な結果を得る最良の方法です。 ポイントに直結するシンプルで面白いものを人々に尋ねてください。
- サンプルを選択し、その人の正確なフィードバックがその週に重要である理由を明確にします。 そうすれば、応答率とデータ品質が大幅に向上します。
- 可能な限り最小のサンプルを使用して、それでも高品質の結果を得ることができます。 作業が少なく、煩わしさが少なく、最初の問題が発生した場合に別の作業を行う機会が与えられます。
- 企業用語ではなく、人々が使用する言語、話し方、言い回しで1つか2つの質問をします。
- 調査の価値を維持し、絶え間ない質問で顧客を疲弊させないようにするには、調査の数を減らし、はるかに小規模にします。
私たちの議論を楽しんでいるなら、私たちのポッドキャストのより多くのエピソードをチェックしてください。 iTunes、Spotify、YouTubeでフォローするか、選択したプレーヤーでRSSフィードを取得できます。 以下は、エピソードの軽く編集されたトランスクリプトです。
フォームスペシャリストの作り方
Liam Geraghty：キャロライン、どういたしまして。 ショーに参加できてうれしいです。
キャロライン・ジャレット：ああ、ここにいるのは素晴らしいことです。 私を招待してくれてありがとう。
リアム：調査の要点に入る前に、フォームと調査の世界でどのように始めたのかについて少し教えてください。
キャロライン：まあ、完全に偶然です。 私は他の小さな女の子がバービーで遊んでいるとき、私は紙からフォームを切り取ってそれらをまとめていたと人々に言っていました、そして私はちょうどそれが明らかに冗談だと観客が気付くのにどれくらいの時間がかかるかを測りたいです。 しかし、何が起こったのかというと、1990年に、光学式文字認識技術を使用しているプロジェクトのプロジェクトマネージャーになる機会を得ました。 これは、非常に専門的な分野である特許を取得するための欧州特許庁のランクゼロックスプロジェクトであり、特許をスキャンしてデジタル化するというアイデアでした。
光学式文字認識は十分であることが判明しましたが、特許に関していくつかの課題がありました。 特許は興味深いと思いますが、実際にはそうではありません。 つまり、それらの30％は、あいまいな化学名です。 したがって、OCRの光学式文字認識では、[A、C-hexifloro []のようなものをスキャンする必要があり、スペルチェッカーは機能しません。 また、提出されたとおりに特許をスキャンする必要がありました。 綴りの間違いやナンセンスなどがあった場合は、法的な理由で特許審査官に提出する必要がありました。
「私が特に興味を持っているのは、人々が質問に答え、質問に答えるプロセスを通して考える方法です。」
欧州特許庁では、特許は英語、フランス語、またはドイツ語で提出することができ、それらは常に3つの言語のそれぞれで要約を持っていました。 そのため、すべての提出物に英語、フランス語、ドイツ語が含まれていることが保証されました。 それらの大部分は英語でしたが、フランス語またはドイツ語で提出することができました。 ドイツ語は英語より長い単語を持っています。 どちらの言語にも、英語よりもはるかに多くのアクセントがあります。 そのため、私は誤って、かなり複雑な環境で光学式文字認識を実装することの実用性についてかなりのことを学ぶことになりました。
その後、英国の大手コンピューターシステムインテグレーターに就職しました。 当時、彼らはブル情報システムと呼ばれていました。 彼らはすべてのオフィス内のパーソナルコンピュータを内国歳入庁と呼ばれるものに配達していました。内国歳入庁は、光学式文字認識を使用していくつかの税務フォームを処理しようと試みたブルと契約を結び、私はこれらの光学式の配達を管理するプロジェクトに参加しました文字認識システム。
簡単に言えば、まったく機能しなかったので、収入から使用中のシステムを観察する許可を得ました。たとえば、システムの1つが、広く使用されているフォームの処理に使用されていたことがわかりました。話すと、非常に低所得の退職者によって埋められます。 光学式文字認識は、今日まで、誰かが「添付の文字を参照してください」と書いた形式を処理することはできません。 人々がフォームを台無しにすることができる多くの独創的な方法がありました。 たとえば、銀行や住宅金融組合の口座からの関心のために1行ありました。 人々が2つのアカウントを持っている場合、1つのボックスに2行の小さな数字を上下に書くことになります。これは完全に合理的なことですが、私のOCRマシンではそれを処理する機会がなく、それは1992年頃でした。 。
「調査の世界で、フォームの作業に役立つ非常に興味深く有用な文献のバケツを見つけました。あることが別のことにつながりました。」
私は1992年の初めにそれに取り組み始めました、そして私達はちょうど30年になります。 人々がフォームに正しく記入できるようにフォームをデザインする方法に本当に、本当に興味を持ったのですが、それに興味を失ったわけではありません。 それ以来、私はその挑戦に絶対に魅了され続けており、ここで私たちはまだ本当にそれに興味を持っています。
私はフォームスペシャリストであり、調査に関する実用主義者です。 私は自分自身を調査方法論者とは言えませんでした。 正直なところ、調査に熱心であるとは言えませんでした。 何が起こったのかというと、私は執拗にすべての学術文献やフォームに書かれた本を見つけようとしました。そして今日まで、私のオフィスには小さな本棚が1つあり、それは私が見つけることができるほとんどすべてのものです。 そこにはあまりなかったので、フォームや調査について人々が書いたかもしれない他の分野を探し始めました。なぜなら、私にとって本当に興味深い課題の1つ、または私が特に魅了されているのは、人々がどのように質問に答え、質問に答えるプロセスを考えます。 正確な答えを得る方法で質問を書き、提起するにはどうすればよいですか？ これは、調査方法論者にとって本当に、本当に重要な問題でもあります。
そのため、調査の世界で非常に興味深く有用な文献のバケツを見つけました。これは、フォームの作業に役立ち、あることが別のことにつながりました。 調査について誤って知ったので、メーリングリストで質問に答え始めました。その後、私のメンターであるGinny Redishから、調査に関する本を書かなければならないと言われました。
調査の背後にある思考プロセス
リアム：聞いている人のために、調査を作成するプロセスを教えていただけますか？ 私はあなたのプレゼンテーションとすべてを読んでいます。 数日かかることは承知していますが、15分から20分ほどかかると考えてください。
「アンケートのデザインに関しては、アンケート全体で達成したいことのコンテキストにそれを入れる必要があります」
キャロライン：そうですね、ほとんどの人が私のところに来て、「私の調査を見て、質問票をくれませんか？」と言います。 さて、明らかに、これらの2つの単語は非常に同じ意味で使用されています。 調査デザインに関する私のお気に入りの本の1つには、実際にタイトルに世界アンケートが含まれています。 それはAPオッペンハイムの本でしょう。 そして、Mick Couperによるアンケートデザインに関する私のお気に入りの本の1つであり、文学に興味のある人にはあまりお勧めできませんが、 Web Survey Designと呼ばれていますが、実際にはアンケートに関するものです。 さて、はっきりさせておきましょう。 私は実際に人々の前に置いた質疑応答にアンケートという言葉を使ってみましたが、「ああ、調査したいのではないか」から全体のプロセスを調査するという言葉を使ってみました。結果としてある種の数を提供することに。 だから、それが私がそれを使う方法です。 もちろん、実際の生活では、人々はそれらを非常に交換可能に使用する傾向があります。
アンケートのデザインに関しては、アンケート全体で達成したいことのコンテキストにそれを入れる必要があります。 そして、私は調査を設計するための7つのステップのプロセスを持っています。そこでは、調査の目標を立て、なぜそれをやりたいのか、それを行うことで何を得たいのか、そしてどのような決定を下すのかを理解することから始めます。調査の結果に基づいて作成し、回答したい人とそのサンプルを見つける方法を検討します。一般的に、ほとんどの調査では、できるだけ少ないサンプルを使用する方がはるかに優れているためです。
次に、質問したい質問について考えます。これは、明らかに目標に関連しているだけでなく、彼らにとって意味のある質問が必要なため、必要な人々にも関連しています。 次に、それらをアンケートに組み込みます。 もちろん、最近では、それを行うのに役立つさまざまなツールがあります。 しかし、難しいのは、それに入る思考プロセスであり、それを引き出すことです。 私は市場調査の世界からフィールドワークという言葉を借りました。彼らはフィールドにアンケートを入れることについて話します、そして私はそれをフィールドワークと呼ぶのに良い用語を考えることができませんでした。 。
「応答があるだけでは十分ではありません。 意思決定者にそれらの応答を得るには、彼らと何かをしなければなりません。」
その時点で、うまくいけば人々が答えるであろういくつかの応答があります。 したがって、応答をクリーンアップし、それらについて考え、さまざまな方法で分析する必要があります。 そして、応答があるだけでは十分ではないため、最終ステップレポートと呼びました。 あなたは意思決定者にそれらの応答を得る彼らと何かをしなければなりません。
たとえば、「この記事を書くべきか、それとも次のコラムのためにこの記事を書くべきか」と疑問に思ったことがあります。 私をフォローしているTwitterの人は、主に私が書いたものの聴衆であるため、「Twitterで少し投票します」と思いました。 私は彼らに2つの選択肢を提供しました。 それは決して統計的なものではありませんでした。 私はただ迅速な決定をする必要がありました。 我慢して、人々は投票をクリックしました、そして、1つのトピックは他より人気がありました。 それで十分でした。 書いたばかりです。 考えてみるのに10分、結果を待つのに24時間かかったと思いますが、どれを書くか頭を悩ませるよりはましでした。
これが全体の中で最も小さな終わりであり、最も手の込んだ終わりには、10年ごとの国勢調査などがあり、次の国勢調査の準備、計画、およびテストは、既存の国勢調査が終了する前に開始されます。 国勢調査を行うには10年から15年かかります。 それはそれのもう一方の端です。
一人に正しい質問をする
リアム：では、答えが必要な質問を思いついたら、どのようにして正しい人々をターゲットにするのですか？ そして、その瞬間にそれらを捕まえることはどれほど重要ですか？
キャロライン：答えたい人を見つけて、その瞬間に捕まえるための3つの異なる戦略を特徴づけているので、その瞬間に捕まえると言ってくれて本当にうれしいです。最も効果的な戦略の1つだと思います。 私たちの多くは、これらのポップアップ調査をWebサイトで見ています。 したがって、Webサイトにアクセスした瞬間に人々を捕まえることができ、おそらく1つ、おそらく2つの興味深い質問をする機会があります。 余談ですが、「アンケートに回答してもよろしいですか？」という質問をしてその機会を無駄にしているウェブサイトの数。 誰もが[いいえ]をクリックすることをすでに知っているので、私は絶対に驚いています。私たちが行ったのは、私たちがすでに学んだことを学ぶことだけです。
つまり、そのような瞬間的な調査を行う場合、私のプロのヒントは、彼らに何か面白いことを尋ねることです。 たとえば、「なぜ今日このWebサイトにアクセスしたのですか？」 彼らがやろうとしていることにあまり気を取られることなく、彼らがすぐに答えることができるものです。 ですから、その瞬間にそれらを捕まえることは素晴らしい戦略です。 私が本当に気に入っているもう1つの例は、美術館の展示の最後にあるキオスクで人々が列を作って、信じられないほど展示についてのフィードバックを提供しているのを見ることです。 人々が実際に調査に答えるために列を作っているのを見るのはとても珍しいことです。 そして、それが本当に興味深い展示であり、うまく設計された調査であるならば、私は一度だけではなく、それを定期的に見ました。 それが戦略のひとつです。
「リストを使用する場合は、選択してみて、今週その人の正確なフィードバックがより重要である理由を明確にしてください。」
リアム：ええ、私が何かについてどのように感じたかがよくわからない、または気分やゾーンにいるような気分ではないという事実の数日後にメールを受け取った回数質問に答えるのに対し、私がすぐに調査を提供されていたらそうだったかもしれません。
キャロライン：もちろんです。 そして、あなたがそこに持っているのは、事後に尋ねられて、人々が人々を見つけようとする最も典型的な方法であり、そこで彼らはある種のリストを持っています。 この場合、あなたが関わった組織またはビジネスは、顧客または彼らに連絡した誰かとしてあなたを彼らのシステムに持っています。 彼らはそれらの人々のリストを持っており、サンプルを生成するためにそれを使用しています。 繰り返しになりますが、プロのヒントです。みんなに聞いてはいけません。 私たちは皆、いつもこのようなものに襲われています。 リストを使用する場合は、選択してみて、今週その人の正確なフィードバックがより重要である理由を明確にしてください。 そのような性質の最近のメールのタイトルを覚えていますか？
リアム：なんてこった。 今、あなたはこれらのことについてひどい記憶を持っている誰かに尋ねています。
キャロライン：それは彼らがどれほど記憶に残っていないかを示しているだけですよね？ もう1つは、「最近の取引について教えてください」などです。 あくび、私はそれらのものを何十も持っています。 それでは、「私たちから購入していただき、ありがとうございます。 今週の質問に答えていただけませんか？」 右？ お願いしているのは10人だけです。 「ああ、私は10人のうちの1人です。答えます。 それは今週の質問だけです。 優秀な。" ほら？ 目立つでしょう。 少し違います。 それは短いことでしょう。 それは今週の質問です。 それはあなたの人生の歴史か何かのようではありません。
「1人に正しい質問をする方が、10,000人に間違った質問をするよりも便利です」
最近では、非常に多くの小さな調査を送信するための手法があります。これは、はるかに魅力的で、短く、人々の時間を尊重し、はるかに小さなサンプルに送信でき、むしろ、はるかに優れた応答率とデータ品質を得ることができます。この絶え間ない砲撃よりも。 そして、回答率はひどいです。
リアム：それが実際の質問につながると思います。そこであなたが言ったように、「あなたは私たちが尋ねている10人のうちの1人です」とは、単なる毛布ではなく、1人または数人に正しい質問をすることです。百人に聞いて？
キャロライン：私のスライドを読んだことがあると思います。 10,000人に間違った質問をするよりも、1人に正しい質問をする方が便利だというスライドを見たことがありますか。 この種の思考プロセスは、同僚やクライアントに常に見られます。 上級幹部の役割を担う誰かが、「私たちは顧客について知る必要があります」と言います。 偉大な。 それは素晴らしいことです。 10,000個取得する必要があります。 なんで？ 以上です。 これ以上の思考プロセスはありません。 彼らが研究をしているのは素晴らしいことですが、彼らがそれに基づいてどのような決定をしたいのかを知っていれば、彼らは物事をより良く作ることができます。
「なぜ最小のサンプルを作成するのですか？ 作業が少ないため、煩わしさが少なく、最初の作業がうまくいかなかった場合に別の作業を行う機会が与えられます。」
調査方法論者から私が学んだことの1つは、彼らが質の高い結果を得ることができることと一致することができる最小のサンプルを試してみることです。 なぜ最小のサンプルを作成するのですか？ 作業が少ないため、煩わしさが少なく、最初の問題が発生した場合に別の問題を実行する機会が与えられます。これは、私たちの最善の方法で発生する可能性があります。
かなり辛い例をあげましょう。 ロシアの調査方法論者は、人々がドアをバタンと閉めるだけであることを発見しています。 「私はあなたの質問に答えていません。 彼らがウクライナに負わせた戦争のためにロシア国が封鎖されたので、私は刑務所に入れられるかもしれません。」 それで、ブーム、それはあなたのフィールドワークを台無しにするでしょうね？ したがって、小さなサンプルを用意することで、別の日に別のことを行う機会が得られます。また、最初のサンプルから学ぶ機会も得られます。 したがって、明らかにすべての人を対象とする国勢調査を除いて、サンプルを可能な限り小さく、タイトに保つようにしています。
あなたがしたポイントは絶対にとても正確です。 適切な人々の前で適切な質問をする。 なじみのある言葉を使ってなじみのある方法で質問する。 企業の専門用語ではなく、人々が使用する言語、話し方、言い回しで質問する。 これらのすべてが本当に、本当に良い品質の結果を得るのに役立ちます。
調査の価値を維持する
リアム：私の目を引いたもう1つのことは、フィールドワークについて書いたことについて読んだことです。 あなたは招待状の例と招待状がいかに重要であるかを持っていました、そしてあなたが持っていた例の1つは非常に主要な電子メールのスクリーンショットでした。 基本的にレビューを残すことをお勧めし、上部に5つの金色の星が誇らしげに表示されていました。 そして、私はこれらのメールを認識しました。 彼らは彼らがやろうとしていることにとても透明なので、レビューを残すのをやめさせてくれます。
「人々は、 『ああ、調査を行うのはとても迅速で簡単だ』と考えています。これは一種の真実ですが、本当に悪い調査を行うのも迅速で簡単です。」
キャロライン：その通りです。 調査を使用して顧客を操作することは、明らかに私がお勧めできないことです。 そしてもう1つは、フィードバックを使用してスタッフに報酬を与えたり罰したりしています。 だから、あなたは顧客サービス担当者のこれらの統一された話を受け取ります、「ネットプロモータースコアで私に10を与えてください、さもなければ私は罰せられますか？」 そして、それはあなたの組織にとって何の役にも立ちません。 それは方法全体を弱体化させます。 あなたがしているのは、あなたのスタッフがあなたの顧客を罪悪感に駆り立てる能力を測定することだけです。 それは本当に測定したいものですか？ 私はそうは思わない。 これらの日常的な悪い行動のいくつかを排除しようとすることは素晴らしいことです。 日常的に質問したり、取得したり操作したりする方法で質問したり、質問したりしないでください。 それは役に立たないことです。
リアム：まとめる前に、その年の特別な計画やプロジェクトはありますか？
キャロライン：まあ、密かに、私はフォームに戻りたいです。 誤って調査に焦点を合わせ直してしまったので、楽しくて嬉しいですが、本当にフォームが一番好きです。 ですから、もし誰かが私にやってもらいたい形を持っているとしたら、私は非常に興奮します。 しかしまた、本を書くのに多くの時間を費やしたので、調査の質問について人々と話す機会を持てたことをとてもうれしく思います。 たとえば、私はスタジオを頻繁に形成します。これは、特定の形態を検討する会議です。 私はまた、特定の調査問題を抱えている組織と一緒に集まる調査スタジオをかなりたくさんやっています。私たちは、私が言うようなことの内外を見るだけで、1時間ほど一緒に過ごします。その組織が今日見ているものに焦点を合わせます。 彼らはとても楽しいです。 私は確かにそれらの多くもやりたいです。
リアム：もちろんです。 そして、私たちのリスナーはあなたとあなたの仕事についていくためにどこに行くことができますか？
キャロライン：ええと、私のウェブサイトはefortmark.co.ukと呼ばれ、そこにはかなりたくさんのものがあります。 約20年前から色々な記事などを書いています。 また、可能な限り、クリエイティブコモンズライセンスの下で人々が使用できるようにスライドをリリースしようとしています。 だから、もしあなたがそれらを手に取って使いたいのなら、あなたが私のストラップラインと私のクリエイティブ・コモンズをそこに置いておけば、私はあなたがそれらを持っていることをとてもうれしく思います。 私はLinkedInやTwitterにも参加しており、フォームやアンケートの質問について人々とチャットするのを楽しんでいます。 これらは私を見つけるための3つの場所です、そしてもちろん、私の連絡先の詳細は私のウェブサイトにあります。 甥姪と姪に「ググってくれたらゲット」と言って感動します。 彼らはそれが素晴らしいと思います。
リアム：大好きです。 投稿内のすべてにリンクします。 キャロライン、今日はご参加いただきありがとうございます。
キャロライン：ああ、どうもありがとう。 とても楽しかったです。 この機会に本当に感謝しています。
