Специалист по формам Кэролайн Джарретт о разработке эффективных опросов

Создание опроса может быть быстрым и легким, но создание плохого — тоже. Есть ли способ разработать продуманный, эффективный опрос, который даст результаты, не утомляя клиентов до смерти?

В течение многих лет люди злоупотребляли опросами. От скучных тем до неправильных вопросов, от рассылки анкет постфактум до их слишком частой рассылки — многие организации ошибаются в разработке опросов.

Сегодняшний гость борется за сохранение ценности опросов перед лицом всего этого злоупотребления. Кэролайн Джарретт заинтересовалась формами около 30 лет назад, поставляя системы оптического распознавания символов в налоговую службу Великобритании, которая включала обработку налоговых форм. Это не сработало, и оказалось, что это было связано с тем, что люди допускали честные ошибки при заполнении форм, которые технология не могла прочитать.

С тех пор она стала совершенно очарована формами, которые легко заполнять, и мыслительным процессом, который стоит за ними, и по пути она также заинтересовалась опросами. Она является соавтором книги Forms that Work: Designing Web Forms for Usability и работает консультантом по опросам для компаний и государственных учреждений, которые хотят улучшить методы разработки своих опросов. нас в последнее время.

В последнее время мы занимаемся созданием выигрышных форм и опросов. Недавно мы запустили Intercom Surveys, новую функцию, которая позволяет вам общаться с клиентами, где бы они ни находились, получать ценную информацию о клиентах и ​​использовать собранные данные для повышения привлекательности и персонализированного обслуживания клиентов. Но, как отмечает Кэролайн, даже самые лучшие инструменты нужно использовать обдуманно, чтобы получить значимые результаты.

В сегодняшнем выпуске мы поговорим с Кэролайн о ее семиступенчатом процессе разработки, проведения и проведения продуманных опросов, которые дают результаты и не бомбардируют клиентов постоянно.

Если у вас мало времени, вот несколько быстрых выводов:

• Поймать людей в данный момент, а не через несколько дней после события — лучший способ получить быстрые и точные результаты. Спросите людей о чем-то простом и интересном, что приведет их прямо к делу.
• Будьте избирательны в выборке и четко объясните, почему точная обратная связь этого человека важна на этой неделе. Таким образом, вы получите гораздо более высокую скорость отклика и качество данных.
• Используйте наименьшую возможную выборку, которая по-прежнему может давать результаты хорошего качества. Это меньше работы, это менее навязчиво, и это дает вам возможность сделать еще один, если первый пойдет не так.
• Задайте один или два вопроса о языке, стиле речи и формулировках, которые люди используют, а не на вашем корпоративном жаргоне.
• Чтобы сохранить ценность опросов и не утомлять клиентов постоянными вопросами, проводите гораздо меньше опросов.

Если вам нравится наша дискуссия, посмотрите другие выпуски нашего подкаста. Вы можете подписаться на iTunes, Spotify, YouTube или получить RSS-канал в выбранном вами проигрывателе. Далее следует слегка отредактированная стенограмма эпизода.

Задатки специалиста по формам

Лайам Джерати: Кэролайн, всегда пожалуйста. Здорово, что ты на шоу.

Кэролайн Джарретт: О, как здорово быть здесь. Большое спасибо за приглашение.

Лиам: Прежде чем мы углубимся в суть опросов, не могли бы вы немного рассказать нам о том, как вы начали заниматься формами и опросами?

Кэролайн: Ну, совершенно случайно. Раньше я рассказывала людям, что когда другие маленькие девочки играли с Барби, я вырезала формы из бумаги и собирала их вместе, и мне просто нравится оценивать, сколько времени потребуется аудитории, чтобы понять, что это шутка. Но случилось так, что еще в 1990 году у меня появилась возможность стать руководителем проекта, в котором использовались методы оптического распознавания символов. Это был проект Rank Xerox для Европейского патентного ведомства по сбору патентов, что является очень, очень специализированной областью, и идея заключалась в том, чтобы мы сканировали патенты и оцифровывали их.

Оказалось, что оптическое распознавание символов было достаточно хорошим, но с патентами были некоторые проблемы. Мы воображаем, что патенты интересны, но на самом деле это не так. Я имею в виду, что добрых 30% из них — неясные химические названия. Итак, наше OCR, оптическое распознавание символов, должно было сканировать такие вещи, как, о, я не знаю, [A,C-hexifloro[, и достаточно сказать, что проверка орфографии не работала. Нам также приходилось сканировать патенты точно в том виде, в каком они были отправлены. Если были орфографические ошибки, бессмыслица или что-то в этом роде, по юридическим причинам это должно было быть представлено патентному эксперту.

«Меня особенно восхищает то, как люди отвечают на вопросы и продумывают процесс ответов на вопросы»

В Европейское патентное ведомство патенты можно было подавать на английском, французском или немецком языках, и они всегда имели реферат на каждом из трех языков. Таким образом, вы гарантированно будете иметь английский, французский и немецкий языки в каждой заявке. Большинство из них были на английском языке, но их можно было представить на французском или немецком языках. В немецком языке слова длиннее, чем в английском. В обоих языках гораздо больше акцентов, чем в английском. Итак, я случайно узнал довольно много о практических возможностях реализации оптического распознавания символов в довольно сложной среде.

Затем я получил работу у крупного интегратора компьютерных систем в Великобритании. В то время они назывались Bull Information Systems. Они доставляли все офисные персональные компьютеры так называемой налоговой службе, которая заключила сделку с Bull, чтобы попытаться использовать оптическое распознавание символов для обработки некоторых налоговых форм, и я был вовлечен в проект, управляющий поставкой этих оптических системы распознавания символов.

Короче говоря, они вообще не работали, поэтому я получил разрешение от отдела доходов пойти и посмотреть на используемые системы, и оказалось, например, что одна из систем использовалась для обработки форм, которые в целом говоря, заполняется пенсионерами с очень низкими доходами. Оптическое распознавание символов по сей день не может работать с формой, где кто-то написал «см. прилагаемое письмо». Было много изобретательных способов, которыми люди могли испортить форму. Например, у него была одна строка для ваших процентов с вашего счета в банке или строительном обществе. Если бы у людей было две учетные записи, они бы написали две строчки крошечных цифр одну над другой в одном поле, что вполне разумно, но мой OCR-аппарат не мог с этим справиться, а это было где-то в 1992 году. .

«В мире опросов я нашел ведра действительно интересной и полезной литературы, которая помогла мне в работе над формами, и одно привело к другому»

Я начал работать над этим в начале 1992 года, и мы как раз подходим к 30 годам. Я просто очень, очень заинтересовался тем, как мы разрабатываем формы, чтобы люди могли правильно их заполнять, и я не потерял к этому интерес. С тех пор я по-прежнему очарован этим вызовом, и здесь мы все еще очень, очень, очень заинтересованы в нем.

Я специалист по формам и прагматик в отношении опросов. Я не могу назвать себя методистом опросов. Честно говоря, я даже не могу описать себя как человека с таким энтузиазмом в отношении опросов. Случилось так, что я одержимо пытался найти всю научную литературу и книги, написанные на бланках, и по сей день у меня есть одна небольшая книжная полка в моем кабинете, на которой почти все, что я мог найти. Там было немного, поэтому я начал искать другие области, где люди могли бы написать о формах, и опросы пришли мне на ум, потому что одна из действительно интересных задач для меня или вещь, которая меня особенно увлекает, это то, как люди отвечать на вопросы и продумывать процесс ответа на вопросы. Как мы пишем и задаем вопросы таким образом, чтобы получить точные ответы? Это также проблема, которая очень и очень важна для методологов опросов.

И так, я нашел ведра действительно интересной и полезной литературы в мире опросов, которые помогли мне в моей работе над формами, и одно привело к другому. Я начал отвечать на вопросы в списках рассылки об опросах, потому что случайно узнал о них, а потом мой наставник Джинни Редиш сказала мне, что я должен написать книгу об опросах, и вот мы здесь.

Мыслительный процесс, лежащий в основе опроса

Лиам: Для тех, кто слушает, не могли бы вы рассказать нам о процессе создания опроса? Я читал ваши презентации и все такое. Я знаю, что это займет пару дней, но учтите, что у нас есть около 15 или 20 минут.

«Что касается разработки анкеты, вам нужно поместить ее в контекст того, чего вы хотите достичь с помощью опроса в целом».

Кэролайн: Ну, большинство людей приходят ко мне и говорят: «Можете ли вы взглянуть на мой опрос и дать мне анкету?» Теперь, очевидно, эти два слова используются очень взаимозаменяемо. В названии одной из моих любимых книг по дизайну опросов есть всемирная анкета. Это будет книга А. П. Оппенгейма. И одна из моих любимых книг по дизайну вопросников, написанная Миком Купером, и я не могу рекомендовать его работу всем, кто интересуется литературой, называется « Дизайн веб -опросов», но на самом деле она посвящена вопросникам. Теперь позвольте мне уточнить. Я попытался использовать слово «анкета» для вопросов и ответов, которые мы на самом деле ставим перед людьми, и слово «опрос» для всего процесса, начиная с «о, я думаю, мы могли бы провести опрос» до конца. для доставки какого-то числа в качестве результата. Так вот как я его использую. Конечно, в реальной жизни люди часто используют их взаимозаменяемо.

Что касается разработки анкеты, вам нужно поместить ее в контекст того, чего вы хотите достичь с помощью опроса в целом. И у меня есть процесс разработки опроса, состоящий из семи шагов, в котором я начинаю с того, что вы должны разработать цели опроса, выяснить, почему вы хотите его провести, что вы надеетесь получить от этого и какие решения вы принимаете. будет делать на основе результатов опроса, а затем прорабатывать, кому вы хотите ответить, и как вы можете найти выборку из них, потому что, как правило, в большинстве опросов нам гораздо лучше использовать как можно меньшую выборку.

А затем подумайте о вопросах, которые вы хотите задать, которые, очевидно, относятся к целям, но также и к людям, которых вы хотите, потому что вам нужны вопросы, которые имеют для них смысл. Затем встраивание этого материала в анкету. Конечно, в наши дни у нас есть много различных инструментов, которые помогают нам в этом. Но самое сложное — это мыслительный процесс, который входит в это, выводит его наружу. Я позаимствовал слово «полевая работа» из мира маркетинговых исследований — они говорят о размещении анкеты в поле, и я не мог придумать лучшего термина, чем «полевая работа», когда ваши анкеты раздаются людям и возвращаются к ним. .

«Просто иметь ответы недостаточно. Вы должны сделать с ними что-то, чтобы получить эти ответы от лиц, принимающих решения».

В этот момент у вас есть несколько ответов, на которые, надеюсь, ответят люди. Итак, вы должны очистить ответы, подумать о них и проанализировать их различными способами. И затем я вызвал отчеты о последнем шаге, потому что просто иметь ответы недостаточно. Вы должны что-то сделать с ними, чтобы получить эти ответы от лиц, принимающих решения.

Например, однажды я задался вопросом: «Написать ли мне эту статью или эту статью для моей следующей колонки?» Люди в Твиттере, которые следят за мной, в основном являются моей аудиторией того, что я пишу, поэтому я подумал: «Я проведу небольшой опрос в Твиттере». Я предложил им два варианта. Это никоим образом не было чем-то статистическим. Мне просто нужно было быстро принять решение. Выложили, люди нажимали на опрос, и одна тема была популярнее другой. Этого было достаточно для меня. Я просто написал вещь. Наверное, у меня ушло 10 минут на обдумывание и 24 часа на ожидание результатов, и это было лучше, чем ломать голову над тем, какой из них написать.

Это мельчайшая часть всего процесса, а в самом сложном конце у нас есть такие вещи, как 10-летние переписи, а подготовка, планирование и тестирование следующей переписи начинается до того, как будет завершена текущая перепись. На перепись населения уходит от 10 до 15 лет. Это другой конец.

Задать одному человеку правильный вопрос

Лайам: Итак, когда у вас возникнут вопросы, на которые нужны ответы, как вы нацелитесь на правильных людей? И насколько важно уловить их в данный момент?

Кэролайн: Я очень рада, что вы упомянули ловить их в данный момент, потому что я характеризую три разные стратегии для поиска людей, которым вы хотите ответить, и поймать их в данный момент, я думаю, одна из самых эффективных. Многие из нас видят эти всплывающие опросы на веб-сайтах. Итак, вы можете поймать людей в тот момент, когда они заходят на сайт, и у вас есть возможность задать им, может быть, один, может, два интересных вопроса. Кроме того, количество веб-сайтов, которые упускают эту возможность, задавая вопрос: «Готовы ли вы ответить на опрос?» меня просто поражает, потому что мы уже знаем, что все скажут «нет», и все, что мы сделали, — это узнали то, что уже узнали.

Я имею в виду, что если вы собираетесь провести такой опрос, который поможет вам поймать момент, мой профессиональный совет — задать им что-нибудь интересное. Например, «почему вы сегодня пришли на этот сайт?» это то, на что они могут ответить сразу же, не слишком отвлекаясь от того, что они пытаются сделать. Таким образом, поймать их в данный момент — отличная стратегия. Еще один пример, который мне очень нравится, это видеть, как люди выстраиваются в очередь у киосков в конце музейных экспозиций, чтобы высказать свое мнение о выставке, невероятно. Так необычно видеть людей, стоящих в очереди, чтобы ответить на опрос. И не один раз, я его регулярно вижу, если это действительно интересный экспонат и хорошо продуманный обзор. Это одна из стратегий.

«Если вы собираетесь использовать список, постарайтесь быть избирательным и объясните, почему точные отзывы этого человека на этой неделе важнее».

Лиам: Да, сколько раз я получал электронные письма через пару дней после того, как я не совсем уверен, как я к чему-то отношусь, или я не в настроении или не в той зоне, чтобы быть отвечая на вопросы, в то время как я мог бы быть, если бы мне сразу же предложили опрос.

Кэролайн: Абсолютно. И то, что у вас есть, когда вас спрашивают постфактум, — это самый типичный способ, которым люди пытаются найти людей, где у них есть какой-то список. В этом случае организация или бизнес, с которым вы взаимодействовали, включили вас в свою систему в качестве клиента или человека, который связался с ними. У них есть список этих людей, и они используют его для создания выборки. И снова профессиональный совет, не спрашивайте всех. Мы все постоянно засыпаны этим материалом. Если вы собираетесь использовать список, постарайтесь быть избирательным и объясните, почему точный отзыв этого человека на этой неделе важнее. Не могли бы вы вспомнить название любого недавнего письма такого рода, которое вы получили?

Лиам: О боже. Теперь вы спрашиваете кого-то с ужасной памятью об этих вещах.

Кэролайн: Это просто показывает, насколько они незабываемы, верно? Входит еще один: «Расскажите нам о вашей недавней транзакции» или что-то в этом роде. Зеваю, у меня есть десятки таких вещей. Теперь давайте попробуем что-то, что говорит: «Большое спасибо за покупку у нас. Пожалуйста, не могли бы вы ответить на наш вопрос недели?» Верно? Мы просим только 10 человек. «О, я один из 10. Я отвечу. Это всего лишь вопрос недели. Превосходно." Тебе известно? Это бы выделялось. Было бы немного иначе. Это было бы коротко. Это вопрос недели. Это не похоже на историю твоей жизни или что-то в этом роде.

«Задать одному человеку правильный вопрос полезнее, чем задать 10 000 человек неправильный вопрос»

В наши дни у нас есть так много методов для отправки крошечных опросов, которые могут быть гораздо более увлекательными, короткими и уважительными к времени людей, и могут быть отправлены на гораздо меньшие выборки, и мы могли бы получить гораздо более высокие показатели ответов и качество данных, а не чем эта постоянная бомбардировка. И скорость отклика ужасная.

Лайам: Я полагаю, это подводит нас к реальным вопросам, и, как вы там сказали, «вы один из 10 человек, которых мы спрашиваем», речь идет о том, чтобы задать правильный вопрос одному человеку или нескольким людям, а не просто задавать вопросы. спрашивать сто человек?

Кэролайн: Я думаю, вы, возможно, читали мои слайды. Вы видели слайд, в котором говорится, что задать одному человеку правильный вопрос полезнее, чем задать 10 000 человек неправильный вопрос? Я постоянно вижу такой мыслительный процесс у коллег и клиентов. Кто-то из руководителей высшего звена говорит: «Нам нужно узнать о наших клиентах». Большой. Это здорово. Нам нужно получить 10 000 из них. Почему? Вот и все. В этом нет никакого дальнейшего мыслительного процесса. Это прекрасно, что они проводят исследования, но если бы они знали, какие решения они хотят принять на основе этого, они могли бы сделать это намного лучше.

«Почему вы делаете самую маленькую выборку? Потому что это меньше работы, это менее навязчиво, и это дает вам возможность сделать еще один, если первый пойдет не так».

Одна из вещей, которую я узнал от методологов опроса, заключается в том, что они стараются сделать наименьшую выборку, какую только могут, чтобы получить результаты хорошего качества. Почему вы делаете самую маленькую выборку? Потому что это меньше работы, это менее навязчиво, и это дает вам возможность сделать еще один, если первый пойдет не так, как надо, что может случиться с лучшими из нас.

Я приведу вам довольно болезненный пример. Методисты опроса в России обнаруживают, что люди просто захлопывают дверь перед их носом. «Я не отвечаю на ваши вопросы. Меня могут бросить в тюрьму, потому что российское государство закрыто из-за войны, которую они учинили Украине». Итак, бум, это разрушит ваши полевые исследования, не так ли? Таким образом, наличие небольшой выборки дает вам возможность сделать еще одну в другой день, а также дает вам возможность извлечь уроки из первой. Таким образом, за исключением переписей, которые, очевидно, охватывают всех, они стараются сделать выборку как можно меньше и плотнее.

То, что вы сделали, абсолютно точно. задать правильный вопрос нужным людям; задавать вопросы, используя знакомые слова знакомым образом; спрашивайте их на языке, в стиле речи и фразах, которые люди используют, а не на вашем корпоративном жаргоне; все эти вещи действительно, действительно помогают получить качественные результаты.

Сохранение ценности опросов

Лайам: Еще одна вещь, которая привлекла мое внимание, это то, что вы написали о полевых работах. У вас был пример приглашений и того, насколько важны приглашения, и одним из примеров, который у вас был, был скриншот электронного письма, которое было очень наводящим. По сути, это побуждало вас оставить отзыв, а вверху гордо красовались пять золотых звезд. И я узнал эти письма. Они настолько прозрачны в том, что они пытаются сделать, что это отталкивает меня от написания отзыва.

«Люди думают: «О, это так быстро и легко провести опрос», что отчасти верно, но также быстро и легко провести очень плохой опрос».

Кэролайн: Точно. Использование опроса для манипулирования клиентами — это явно то, что я не могу рекомендовать. А затем другой использует обратную связь, чтобы вознаграждать или наказывать ваших сотрудников. Итак, вы получаете эти нелицеприятные истории о представителях службы поддержки клиентов, говорящих: «Пожалуйста, не могли бы вы поставить мне 10 баллов Net Promoter Score, иначе я буду наказан?» И это совсем не хорошо для вашей организации. Это подорвало весь метод. Все, что вы делаете, это измеряете способность ваших сотрудников вызывать чувство вины у ваших клиентов. Это то, что вы действительно хотите измерить? Думаю, нет. Попытка избавиться от некоторых из этих рутинных плохих поступков была бы отличной идеей. Не просто регулярно спрашивайте, спрашивайте и спрашивайте таким образом, чтобы получить выгоду или манипулировать. Это бесполезно.

Лиам: Прежде чем мы закончим, у тебя есть какие-то конкретные планы или проекты на год?

Кэролайн: Ну, втайне, я бы хотела вернуться к формам. Я как бы случайно переориентировал свою работу на опросы, что весело, и я счастлив этим заниматься, но на самом деле я больше всего люблю формы. Так что, если у кого-то есть какие-то формы, которые они хотели бы, чтобы я сделал, я был бы очень взволнован. Но кроме того, потратив много времени на написание книги, я очень рад возможности поговорить с людьми об их вопросах опроса. Например, я часто создаю студии, которые представляют собой встречи, на которых мы рассматриваем конкретную форму. Я также участвую во многих студиях опросов, где я встречаюсь с организацией, у которой есть конкретная проблема с опросом, и мы проводим час или около того вместе, просто изучая все тонкости того, что я говорю, с сосредоточиться на том, что эта организация смотрит на сегодня. Они очень веселые. Я, конечно, хотел бы сделать больше из них, а также.

Лиам: Абсолютно. И куда наши слушатели могут пойти, чтобы не отставать от вас и вашей работы?

Кэролайн: Ну, мой сайт называется усилиеммарк.ко.ук, и у меня там довольно много всего. Я пишу различные статьи и так далее уже около 20 лет. Я также стараюсь, где только могу, выпускать свои слайды для использования людьми под лицензией Creative Commons. Итак, если вы хотите взять их и использовать, при условии, что вы сохраните мой ремешок и мое творческое достояние, я очень рад, что они у вас есть. Я также на LinkedIn и в Twitter, и мне нравится общаться с людьми о формах и вопросах опроса. Это три места, где меня можно найти, и, конечно же, мои контактные данные есть на моем сайте. Я впечатляю своих племянников и племянниц, говоря: «Если вы погуглите меня, вы меня поймете». Они думают, что это потрясающе.

Лиам: Мне это нравится. Мы дадим ссылку на все это в посте. Кэролайн, большое спасибо, что присоединились ко мне сегодня.

Кэролайн: О, большое спасибо. Это было так весело. Я очень ценю эту возможность.