A/B 테스트 지표를 (철저하게) 이해하기 위한 전문 용어 없음 단계별 가이드

훌륭한 콘텐츠는 개인이 만드는 것이 아닙니다. 이 가이드를 가능하게 만든 전문가에게 "안녕하세요"라고 인사하십시오. 80년 이상의 실험 및 A/B 테스트 경험 –분 읽기.

알렉스 버켓

벤 라베이

커티스 스타니어

데보라 오말리

에릭 베른하르트손

저스틴 크리스찬슨

맥스 브래들리

수만다 샹카라나라야나

팀 메타

A/B 테스트 측정항목을 이해하려고 하는 것은 지나치게 복잡한 정의, 전문 용어 및 끝없는 전문가 "의견"의 토끼굴로 들어가는 것과 같습니다.

온라인에서 가치 있는 것을 찾으려고 한 번 이상 격분한 한숨을 쉬었다고 해서 우리는 당신을 비난하지 않습니다.

실험을 하고 싶다고 확신하더라도 아는 사람이 정보를 알고 있는 것처럼 느껴질 수 있습니다.

그러나 우리는 그것을 바꾸기로 결심했습니다. 실험은 모든 사람을 위한 것이며 이 작업이 끝나면 당신도 그것을 믿게 될 것입니다.

실험 시작에 대한 어려운 진실

다양한 렌즈를 통해 측정항목을 보는 방법에 대해 자세히 알아볼 것이지만 먼저 정리해야 합니다.

"A/B 테스트에는 손실이 없으며 학습만 가능합니다."라는 말을 이전에 들어본 적이 있을 것입니다.

이것은 부분적으로 사실입니다.

결정적이지 않은(단순한) 테스트와 손실까지도 대상 고객에게 효과가 없는 항목에 대한 명확한 아이디어를 얻는 데 도움이 될 수 있습니다. 그러나 실험 프로그램을 구축 중이고 아직 C-suite 승인을 받지 못했다면 까다로운 문제를 헤쳐나갈 준비를 하십시오. 지갑 끈을 쥐고 있는 사람들은 상당한 교육 없이 "배움"에 대한 난해한 토론을 하는 것에 대해 특별히 기뻐하지 않을 것임을 이해하십시오.

그들의 승인을 얻으려면 먼저 신속하고 실질적인 성과를 보여야 합니다. A/B 테스트 결과는 관리자가 리더십에 보고할 수 있으므로 대부분 학문적인 과학적 실험 방법이 실제로 비즈니스를 발전시키는 것만큼 실용적인 것을 추진할 수 있다는 사실에 대한 믿음을 보여줍니다.

그리고 가장 쉬운 방법은?

가장 낮은 성과를 내기: 거래 또는 구매에 영향을 미치는 데 합리적으로 가까운 사용자 경험에서 전환율을 향상시키십시오. 예를 들어, 주문이 1000단위 증가하면(테스트 결과에 표시됨) 달러와 이익으로 쉽게 전환됩니다.

그 보고서를 이사회 회의에 가져오면 CRO라고 불리는 또 다른 "인수 채널"을 발견할 때 오는 흥분으로 윙윙거리는 방을 갖게 될 것입니다.

그러나 분기는 약속된 스파이크를 보지 못한 채 왔다가 사라질 것입니다. 당신을 비즈니스의 미래라고 환영했던 경영진은 크게 실망할 것입니다. 예산 삭감이 따를 것입니다. 그리고 높은 곳에 있는 누군가(*기침* 교정할 수 없는 HiPPO *기침*)는 실험이 시간의 시험을 견뎌낸 광고 및 이벤트와 같은 기존 채널을 결코 능가할 수 없는 방법에 대해 말을 할 것입니다.

[HiPPO = 의견이 있는 가장 높은 급여를 받는 사람]

방금 무슨 일이 일어났는지 볼까요? 터널 비전을 활성화함으로써 실험을 CRO로 격하시켰습니다. 테이블에 남아 있는 돈을 회수하기 위한 (거의) 새로운 방식의 획득 채널로 간주되는 것입니다. 그리고 그와 함께? 그에 수반되는 경향이 있는 모든 큰 주장, 사기 및 함정.

A/B 테스트 측정항목을 보는 다양한 방법

실험은 기계입니다. 그러나 대부분의 사람들은 그것이 어떻게 작동하는지에 대한 잘못된 이해를 가지고 있습니다.

그들은 입력이 비즈니스 문제 이고 출력이 통계적으로 유의미한 유효한 비즈니스 솔루션 이라고 생각합니다. 그리고 이것은 이상적인 더 큰 그림일 수 있습니다.

확대하면 실험 기계는 과학적 과정에 대한 학습과 노력을 입력으로 받아들이고 프로그램 메트릭을 출력으로 산출합니다.

그러나 여기에는 큰 IF가 있습니다. 결과가 결국 예상하고 원하는 결과를 산출하려면 실험 프로그램의 품질이 가장 중요합니다.

실험의 질에 집착할 때만 모든 기업이 해결하고자 하는 큰 성장과 효율성 문제에 바늘을 움직일 수 있는 결과를 볼 가능성이 높아집니다.

거기에 도달하는 방법은 결과를 받침대에 두지 않는 메트릭 전략을 사용하는 것입니다.

대신 팀이 입력과 출력(입력은 최적화 프로그램을 완전히 제어하는 ​​유일한 요소임)을 측정 및 추적하고 이를 진행률 측정기로 사용하는 데 도움이 됩니다. 결과를 향한 여정은 단거리 경주가 아니라 좋은 실험의 부산물로 백그라운드에서 달리는 마라톤입니다.

오해하지 마세요. 이것은 말보다 쉽습니다.

종종 실험을 통해 특정 변경 사항을 적용해서는 안 된다는 사실을 알 수 있습니다. 특정 기능은 배송되어서는 안 됩니다! 그리고 실험은 그 자체로 의도적입니다... 선적 우선 전략에서 통찰력 및 학습 우선 전략으로 초점을 이동합니다(올바른 메트릭에 의해 지원됨).

실험을 주저하는 것은 경영진들 사이에서 매우 일반적입니다. 대부분의 창업자들은 수년간 실험 없이 회사를 만들어왔고, 실험은 회사 속도, 제품 마케팅, 문샷 혁신을 가로막는 보수적인 힘처럼 느껴질 수 있습니다.

Modal Labs 설립자 Erik Bernhardsson

Insights First 전략으로 전환하는 경우(올바른 지표 사용)

실제 진행을 하려면 배송 전략에서 측정 전략으로 전환해야 합니다. 이것은 제품 전략을 분산화합니다. 즉, 아이디어를 이상적인 바닥으로 밀어냅니다. 그리고 메트릭 전략을 채택한다는 것은 본질적으로 실험을 의미합니다. 신제품 변경이 비즈니스에 어떤 영향을 미치는지 테스트하는 것을 부끄러워할 수 없습니다.

실험 프로그램의 "이유"는 메트릭 전략에 인코딩되어 있습니다.

• 모든 노력이 빠른 성공과 수익에 집중되어 있습니까?
• 실험이 고객을 이해하고 고객의 라이프사이클 전반에 걸쳐 가치를 제공하는 방법입니까?
• 아니면 더 잘 테스트할수록 더 신뢰할 수 있는 통찰력을 생성하고 기존 경험에 부정적인 영향을 미치지 않으면서 이 바퀴를 계속 움직이게 하는 것이 당신의 책임인 실험 자체가 목표입니까?

이에 대한 자세한 내용은 나중에 Speero의 Ben Labay와 함께 합니다.

실험 대 실험을 기반으로 측정 항목은 (실제) 초점을 강화합니다. 혁신을 가속화하기 위해 비즈니스 DNA에 실험을 포함시키는 것에 대해 이야기하는 10페이지짜리 선언문을 가질 수 있지만, 주요 목표가 항상 전환에 맞춰져 있다면 테스트 프로그램은 본질적으로 CRO 프로그램입니다. 이것이 당신이 달성하고자 하는 것일 수 있지만 A/B 테스트를 획득/수익 미니언으로 생각하는 것을 포함하여 실제로 나타날 제약 조건을 알고 있어야 합니다. 솔직히 말해서 그렇지 않습니다.

다양한 등급의 메트릭을 통해 고위 경영진에게 중요한 지표를 추적하는 동시에 고품질 테스트, 인과 관계 통찰력을 위해 프로그램을 최적화하고 다양한 반복을 통해 기계의 내부 작동을 개선하여 출력이 결과를 주도할 수 있도록 합니다. 장기적으로는.

팀 메타(Tim Mehta)와 함께하는 이 비디오는 전적으로 학습을 중심으로 하는 실험 내러티브가 취해야 하는 실용적인 입장이 아닌 이유에 대한 솔직한 엿보기입니다.

참여 측면에서 이러한 모든 학습을 얻는 것이 정말 멋지다고 생각하지만 비즈니스 소유자가 계속해서 프로그램을 위한 리소스를 구축하고 예산을 확보할 수 있다는 사실을 알 수 있도록 하려면 기본적으로 최소한 비즈니스 관점에서 실험 프로그램이 제공하는 달러 가치를 보여줄 수 있어야 합니다.

그래서 제 생각에는 많은 실험을 하는 것이 일반적인 과학적 방법에 더 가깝다고 생각합니다 우리가 잘하고 있는 일과 함께 우리 대부분은 마케팅 쪽이므로 자연스럽게 계속할 수 있으려면 어떤 유형의 승리 또는 수익 가치를 전달할 수 있어야 합니다.

Tim Mehta, Lucid Software의 성장 마케팅 이사

보다 실용적인 수준에서 메트릭은 학습을 유지합니다. 플랫 테스트를 연속적으로 실행하시겠습니까? 이것은 데이터를 수집하는 방식(도구 중심 문제)이나 실험을 설계하는 방식과 관련된 문제일 수 있습니다. 지표는 건초 더미에서 바늘을 찾고 더 잘하는 데 도움이 됩니다.

TL&DR; 메트릭은 테스터가 실험의 다양한 측면을 포착하고 이해하고 가치를 인정하고 감사하는 언어로 이해 관계자에게 영향을 배포하는 데 도움이 됩니다. 메트릭 전략은 "목표"와 승리한 변형 및 손실이 평가되는 기반의 지분을 훨씬 뛰어넘습니다.

메트릭을 통해 실험 프로그램은 라이브, 성숙, 진화 및 성공(또는 실패)합니다.

입력, 출력 및 결과 메트릭: Ben Labay 및 Alex Birkett의 실험 프로그램 해체

기본, 보조 및 가드레일 메트릭에 대한 많은 정의가 있습니다. 그러나 실험 프로그램을 실행한 사람은 누구나 다양한 수준의 목표를 정의할 수 있는 프레임워크가 있어야 한다는 것을 알고 있습니다.

그래서 우리는 Speero의 전무 이사인 Ben Labay와 Omniscient의 공동 설립자인 Alex Birkett에게 다음과 같은 질문을 했습니다.

측정된 변수를 다층 실험 영향에 매핑 하기 위해 사용하는 측정항목 프레임워크 는 무엇입니까?

벤의 틀

1. 프로그램 메트릭 카테고리

이 '단계별'은 가볍게 받아들여야 합니다. 이 모든 것을 항상 모니터링하고 싶지만 프로그램의 단계에 따라 FOCUS가 약간 다릅니다.

2. 최상위 메트릭 분류법으로 시작합니다. 여기 내 것이 있습니다.

그러면 각각에 대해,

3. 목표 측정항목의 예:

그 다음에

4. 동인 지표의 예

그 다음에

5. 가드레일 측정항목 프로그램

그래서…. 그런 다음 메트릭 전략을 위한 요소가 있습니다.

참고: 초기 단계 실험은 입력 메트릭에 초점을 맞춰야 하지만 올바른 교육, 인력 및 프로세스가 없으면 실현되지 않는 결과를 생성해야 한다는 압력을 처리해야 합니다.

그것은 자기 패배의 사이클입니다. 또한, 특히 "수익"을 예상하는 경우 결과 측정항목을 즉시 축하해서는 안 됩니다.

이를 이해하는 가장 좋은 방법은 Airbnb가 측정 전략으로 전환한 방법을 살펴보는 것입니다.

“게스트는 먼저 호스트가 에어비앤비에 머물도록 허가를 요청해야 했으며 호스트가 예약 요청을 좋아할지 결정하게 됩니다. 이것은 엄청난 마찰을 일으켰고 손님에게 끔찍한 경험이 되었으며 프로세스에 부적절한 편견이 들어갈 수 있는 기회를 제공했습니다.

제품 배송 전략에 따라 배송할 여러 기능이 지정되었을 것입니다. 그러나 Airbnb는 메트릭 전략으로 강력한 팀을 구성했습니다. Airbnb가 100% 즉석 예약에 도달하도록 합니다.

그 결과 시장을 누적적으로 변화시키는 실험 중심의 전략이 탄생했습니다. 제품 변경 사항은 검색 순위, 호스트 온보딩 및 핵심 호스트 기능(예: 게스트 제어, 숙소 규칙, 리드 타임 설정 등)에 걸쳐 있어 게스트가 즉시 집을 예약하는 세상에서 호스트가 성공할 수 있습니다.

에릭 베른하르트손

Alex의 Go-to 프레임워크

실험 메트릭을 매핑하기 위해 사용하는 프레임워크는 입력 및 출력 메트릭이라는 간단한 프레임워크입니다 .

이해 관계자는 출력 메트릭에 관심이 있습니다. 이는 ROI 계산에 사용되며 웹사이트 전환율, 유입경로 전환율, 고품질 리드 등과 같은 프로그램의 가치를 증명합니다.

개인적으로, 나는 이것들이 프로그램 수준에서는 과대평가되고 실험 수준에서는 과소평가된다고 생각합니다. 즉, 분기별로 웹페이지의 전환율을 추적하는 경우 해당 기간 동안 실험만 일어나는 것은 아닙니다. 기금 마련, 거시 경제 동향, 인수 채널의 이동 - 이 모든 것이 엄청난 혼란 요인이 될 수 있습니다. 홀드백 세트를 사용하거나 디지털 경험의 기준 버전을 다시 테스트하여 이러한 문제 중 일부를 해결할 수 있습니다.

사람들이 핵심 실험 KPI를 통해 생각하지 않고 다양한 목표를 포함하고 자신의 이야기에 맞는 목표를 선택하는 경향이 있기 때문에 실험별로 과소 평가되었습니다. 실험을 정의하기 위해 종합적인 평가 기준인 종합적인 목표를 세우는 것은 정말 어렵습니다. 입력 메트릭은 우리 프로그램에 대한 게이지를 얻는 더 좋은 방법입니다. 제가 주로 보는 세가지는
a) 실험 속도
b) 실험 승률 및
c) 실험당 평균 승리.

이 중 하나에서 바늘을 움직이면 출력 메트릭에서 바늘을 움직일 가능성이 큽니다.

목표, 동인 및 가드레일: 범위별 지표

Ben Labay는 자동차의 비유를 사용하여 이러한 지표를 설명합니다.

핵심은 목표 메트릭과 같은 장기 메트릭이 있고 이것이 GPS 또는 내비게이션 시스템, 즉 NSM(북쪽 별 메트릭)이라는 것입니다.

이는 속도계라고도 하는 단기 메트릭인 운전자 메트릭과 대조됩니다. 예를 들어, 평균 주문 가치(AOV)에 대한 전환율 최적화.

이것을 타코미터 또는 열 게이지와 같은 경보 및 정렬 측정항목과 더욱 대조하십시오. 이것은 가드레일 메트릭입니다.

추신 : Ben의 이 비디오를 보고 다음 범주를 더 잘 이해하십시오.

목표 또는 북극성 지표

Ben이 정의한 North Star 메트릭 또는 지연되거나 광범위한 메트릭은 본질적으로 전술적보다 전략적입니다.

예를 들어 Netflix의 A/B 테스트는 참여도를 높이기 위해 만들어진 것이 아니라 유지율을 높이기 위해 만들어졌습니다. 고객을 유지하고 있다는 것은 구독자가 제품에 참여하고 가치를 찾는 것을 의미합니다. 따라서 리텐션은 3개 이상의 콘텐츠를 지불하거나 시청한 사용자의 비율과 같은 몇 가지 전술적 지표를 요약합니다.

동인 지표

이러한 선행 지표는 이탈률 및 전환율과 같이 단기적으로 초점을 맞추는 것입니다. 때로는 단일 메트릭을 갖는 것만으로는 결과를 평가하기에 충분하지 않습니다. 여기에서 전체 평가 기준 또는 OEC 가 작동합니다.

응답 또는 종속 변수, 결과 변수 또는 성과 메트릭이라고도 하는 OEC는 본질적으로 단일 기본 KPI로 가중치가 다른 KPI의 조합입니다.

단일 메트릭은 여러 실험에 대해 한 번만 절충하도록 강제하고 명확한 목표 뒤에 조직을 정렬합니다. 좋은 OEC는 단기에 초점을 맞추지 않아야 합니다(예: 클릭). 반대로 평생가치, 재방문 등 장기 목표를 예측하는 요소를 포함해야 한다.

로니 코하비

가드레일 지표

Ronny Kohavi에 따르면,

가드레일 메트릭은 위반된 가정에 대해 실험자에게 경고하도록 설계된 중요한 메트릭입니다. 가드레일 지표는 Spitzer(2007)가 "정보에 입각한 조치를 유도할 수 있는 능력"이라고 부르는 것을 제공합니다. 처리 효과가 예기치 않게 가드레일 메트릭을 이동하는 경우 결과에 대한 신뢰를 줄이거나 사용자 또는 조직에 해를 끼칠 수 있는 경우 실험을 중지할 수 있습니다.

가드레일 메트릭에는 신뢰 관련 가드레일 메트릭과 조직 가드레일 메트릭의 두 가지 유형이 있습니다. 우리는 모든 실험이 갖추어야 할 가장 중요한 가드레일 메트릭인 Sample Ratio부터 시작하여 다른 가드레일 메트릭과 조직의 가드레일 메트릭으로 후속 조치를 취합니다.

표본 비율 = 통제된 실험에서 표본 비율은 다른 테스트 그룹(대조군과 변이체) 간의 표본 크기 할당 비율과 같습니다.

메트릭에 대한 철학적 관점: 5W

EndlessROI의 설립자인 Sumantha Shankaranarayana는 메트릭을 다르게 봅니다.

Google의 디지털 마케팅 에반젤리스트인 Avinash Kaushik이 측정항목에 대한 또 다른 견해를 제시했습니다.

그의 뉴스레터인 The Marketing <> Analytics Intersect의 최근호에서 그는 좋아요 및 팔로워와 같은 허영 지표와 페이지 조회수 및 "참여"와 같은 거짓 신을 무시할 것을 권장합니다.

대신 뉴스레터 가입 및 작업 완료율과 같은 미시적 결과, 전환 수익 및 수익과 같은 디지털 거시적 결과, 수익 및 평생 가치와 같은 지표에 영향을 미치는 최종 결과에 중점을 둡니다.

전환 옹호자(Conversion Advocates)의 사이먼 지라딘(Simon Girardin)이 측정항목에 대한 또 다른 견해를 제시했습니다.

동인 트리로 차이를 만드는 지표 선택

견고한 메트릭 전략을 만드는 것은 드라이버 트리가 무엇인지 이해하는 것입니다.

동인 트리는 조직의 다양한 메트릭과 지렛대가 어떻게 결합되는지에 대한 맵입니다. 맨 왼쪽에는 추진하고자 하는 가장 중요한 지표가 있습니다. 이것이 모든 팀이 추구하는 궁극적인 목표입니다.

오른쪽으로 이동하면 해당 목표를 달성하는 방법이 더욱 세분화됩니다. 각 분기는 그 위의 "무엇"을 구성하는 구성 요소 부분의 지표를 제공합니다.

Curtis Stanier, Delivery Hero 제품 이사

동인 트리는 메트릭과 결합되어 잠재적인 기회 영역을 식별하고 솔루션을 안내하는 데 도움이 될 수 있습니다.

Curtis는 이를 예를 들어 설명합니다. 예를 들어 이메일 가입 횟수를 늘리는 것이 목표인 경우입니다. 고객의 절반만이 귀하가 보낸 이메일 확인 링크를 성공적으로 클릭했다고 가정해 보겠습니다. 여기에는 고객이 이메일을 수신하지 않거나 클릭하지 않는 두 가지 시나리오가 있습니다. 이러한 동인은 서로 다른 영향 요인을 가질 수 있습니다.

프로세스 흐름을 드라이버 트리에 매핑하면 근본 원인에 도달할 수 있습니다. 사용하는 이메일 제공업체의 오류율이 10%일 수 있습니다. 이는 이메일이 전송되지 않았음을 의미합니다. 이 특정 문제는 팀이 수정할 수 있는 기회가 됩니다.

다음은 Hopin의 제품 분석 책임자인 Bhavik Patel이 제공한 구체적인 예입니다. 테스트 속도(예: 테스트 실행 횟수)와 같은 목표를 운전자 및 가드레일 메트릭에 매핑하는 방법을 설명합니다.

실험 프로그램을 시작하려면 다음 3단계를 따르십시오.

1. 실험 프로그램의 목표 선택

C-suite라고도 불리는 HiPPO를 참여시켜 지도부가 무관심한 북극성을 쫓지 않도록 하십시오. 그렇지 않으면 실험 프로그램이 결코 빛을 보지 못할 것입니다. 큰 문제를 안전하게 처리하는 것이 아니라 혁신적인 솔루션이 필요하다는 것을 이해하는 사람들을 연결하십시오.

일반적으로 Ben Labay는 실험 프로그램의 지연되고 장기적인 목표가 수익, 고객 또는 실험 프로세스 의 세 가지 중 하나일 수 있다고 말합니다.

예를 들어, Booking.com은 북극성 지표로 실험 품질을 사용합니다. 이유는 다음과 같습니다.

우리에게 정말로 중요한 것은 얼마나 많은 제품 결정이 내려지고 얼마나 빨리 결정이 내려지는가가 아니라 그러한 결정이 얼마나 좋은가입니다.

제품 개발 및 의사 결정의 일부로 실험을 사용하는 것이 오늘날 일반적인 관행이지만, 그 자체로 좋은 결정이 내려지는 것을 보장하지는 않습니다. 실험을 올바르게 실행하는 것은 어려울 수 있으며 실험에서 얻은 데이터는 실험 자체를 실행하는 것만큼 신뢰할 수 있습니다. 잘못된 실험을 실행하는 것은 신뢰할 수 없는 결정을 내리는 데 비용이 많이 들고 복잡한 방법일 뿐입니다.

Booking.com의 그룹 제품 관리자인 Christopher Perrin

2. 허용 가능한 Guardrail 메트릭의 로그를 설정합니다.

Tim Mehta는 경고가 있는 가드레일 메트릭으로 테스트 속도를 사용할 것을 권장합니다. 즉, 테스트의 무결성이 양호하거나 표준을 충족하는 경우에만 가능합니다. 품질 테스트를 실행하지 않는 경우 선택한 메트릭은 결국 허영 메트릭이 됩니다.

Tim과 마찬가지로 Ben Labay는 가드레일 메트릭의 작업 세트로 이러한 다른 메트릭과 함께 테스트 속도를 가질 것을 제안합니다.

3. 사례별로 드라이버 지표를 선택하십시오.

모든 지표가 좋은 지표는 아닙니다. 수천 개의 A/B 테스트를 실행한 후 Microsoft는 우수한 A/B 메트릭의 6가지 주요 속성을 식별했습니다.

1. 감광도
2. 신뢰성
3. 능률
4. 디버깅 가능성
5. 해석 가능성 및 실행 가능성
6. 포괄성과 공정성

STEDII를 사용하여 변경 사항을 추적하고 측정할 메트릭을 구체화할 수 있습니다.

Zendesk의 수석 웹 최적화 관리자인 Max Bradley는 상자 안팎에서 생각할 수 있도록 동인 지표에 대해 유연해야 한다고 생각합니다.

하위 도메인 생성 필드(아래 참조)가 방문자를 위한 평가판 등록 절차에서 가장 까다로운 양식 필드라는 것을 알았습니다. 이 분야의 탈락률은 다른 어떤 분야보다 상당히 높았다.

결정적으로, 먼저 양식의 성능을 자세히 조사할 수 있는 추적 기능이 있었습니다. 시작하는 경우 이 수준의 추적은 단기간에 달성할 수 없을 것 같지만 시간이 지남에 따라 추적과 함께 "잡초에 빠지기"를 권장합니다.

문제가 확인되면 테스트하려는 접근 방식을 결정하기 위해 다양한 단계를 수행했습니다. 우리는 하위 도메인이 관련된 다른 회사가 수행한 작업을 살펴보았으며 여기에서 경쟁자 이상을 살펴보는 것이 좋습니다. 우리는 사용자가 하위 도메인을 만드는 데 자신을 걱정할 필요가 없다고 믿었습니다. 사용자가 일시 중지하고 생각할 수 있는 또 다른 영역이 도입되어 인지 부하가 ​​증가했습니다. 이미 제공한 회사 이름에서 하위 도메인을 만들고 사용자에게 하위 도메인 필드를 숨길 수 있습니다.

우리는 이 변경으로 인해 평가판에 성공적으로 등록하는 사용자 수가 증가할 것으로 자연스럽게 예상했으며, 언급된 추적으로 인해 예상되는 증가를 예측할 수 있었습니다.

그러나 이 시점에서 우리는 이것이 비즈니스에 미칠 전반적인 영향을 알지 못했습니다. 평가판 전환이 증가할 것으로 예상했지만 이것이 유입경로를 통해 Win으로 전환됩니까?

또한 하위 도메인 필드를 숨기고 사용자에 대한 하위 도메인을 자동 생성함으로써 이 문제를 비즈니스의 다른 영역으로 단순히 전달하지 않도록 하고 싶었습니다. 여기에는 처음부터 고객 옹호 및 고객 지원이 포함되었습니다.

이 실험의 영향을 결정하는 데 중요하다고 생각한 주요 영역은 다음과 같습니다.

• 양식 방문자의 평가판 등록률
• 리드, MQL, 기회 및 성공
• 가입 후 제품의 하위 도메인 이름에 대한 사용자 변경
• 하위 도메인 이름 변경에 대해 고객 옹호 단체에서 받은 티켓 수입니다."

선택한 목표와 운전자에게 일관되게 접근하는 방법에 따라 실험 페르소나와 프로그램 궤적이 몇 가지 다른 방향으로 갈 수 있습니다. Ben Labay의 이 차트를 살펴보십시오.

멘탈 모델: 전문가가 실제 실험에서 지표를 선택하는 방법

우리는 전문가들에게 문제를 보고, 가설을 설계한 다음, 성공을 측정하고 학습을 통합하기 위한 메트릭을 선택한 예를 통해 우리를 안내하도록 요청했습니다.

그들이 말한 내용은 다음과 같습니다.

Ben Labay와 목표 매핑

사업이 어디로 가고 있는지, 그리고 그 이유를 명확히 하십시오.

비즈니스 성장 전략은 무엇입니까? 더 많은 사용자를 확보하여 내년에 20% 성장합니까? 그들은 신제품에 집중할 것인가 아니면 기존 사용자 기반의 수익화에 집중할 것인가? 이 정보를 통해 최적화 프로그램의 방향을 알 수 있고 유입경로의 어느 위치에 집중해야 하는지 또는 어떤 기본 채널에 집중해야 하는지 알 수 있습니다.

2021년 많은 전자 상거래 회사의 경우 신규 사용자 확보 및 전환이었습니다. 2022년 말에는 수익성과 인수 효율성에 중점을 둔 AOV 중심입니다.

• 지난 몇 년 동안 SaaS를 사용하면 제품 주도 성장에 초점을 맞추는 패턴이 있으므로 평가판에 초점을 맞추고 특히 다운 마켓 부문에 대한 온보딩에 중점을 둡니다.

고객 행동(이탈, 탐색 패턴 등) 및 인식(동기 대 FUD, 두려움, 불확실성 및 의심)에 대한 명확한 이해를 얻으십시오.

우리는 행동과 인식에 대한 데이터를 수집할 뿐만 아니라 우선 순위가 지정된 로드맵을 구축하는 통찰력으로 정보를 통해 데이터를 실행하는 ResearchXL에 대한 훌륭한 데이터 모델을 보유하고 있습니다.

2단계와 3단계를 결합하고 고객 조사에서 생성한 문제/기회 테마를 목표 트리 맵의 비즈니스 목표에 연결합니다.

다음은 이 전자상거래 클라이언트의 초점이었던 결제 페이지 진행 메트릭과 관련된 실험을 볼 수 있는 목표 트리 맵의 근접 촬영입니다.

내가 Workato에 있을 때 우리는 대화형 제품 둘러보기를 구축하는 방법에 대해 가능한 한 많이 배우고 싶었습니다. 프리미엄 버전이 없었기 때문에 많은 잠재 고객이 제품이 실제로 어떻게 작동하는지 살펴보고 싶어했습니다.

여기에서 각 실험의 KPI를 결정하기 위해 우리가 배우기를 희망했습니다.

한 실험에서 우리는 "데모 요청"과 같은 다른 핵심 웹사이트 CTA 버튼과 달리 사람들이 제품 둘러보기 개념에 관심이 있는지 확인하고 싶었습니다. 이것은 우리가 실제로 최소한의 실행 가능한 제품 둘러보기를 이미 구축했지만 일종의 "도장된 문" 테스트였습니다. 이 실험에서는 제품 둘러보기에 대한 클릭의 비율을 추적하고 리드에 대해 비열등성 실험을 사용했습니다.

그런 다음 둘러보기 자체를 최적화할 때 웹사이트 전환율(리드)의 주요 거시적 KPI를 사용하고 제품 둘러보기를 클릭한 사람들을 분류하여 핵심 KPI의 거시적 개선과 높은 상관관계가 있는지 확인했습니다. .”

Deborah O' Malley가 CTR을 높이는 데 도움이 된 방법

메트릭은 종종 클라이언트가 주도합니다. 일반적으로 수익과 관련이 있습니다. 그러나 때때로 고객은 참여를 늘리고 싶어합니다.

이 예에서 교육 부문의 고객은 교육 프로그램에 대해 설명하는 페이지에서 잠재 학생이 프로그램에 대해 자세히 알아보고 적용할 수 있는 페이지로 클릭률(CTR)을 늘리기를 원했습니다.

데이터 기반 분석을 기반으로 한 가설은 페이지에 경쟁 정보가 너무 많아서 사용자가 진행 방법이나 자세한 내용을 보려면 클릭해야 할 위치가 명확하지 않다는 것입니다.

위에서 설명한 5단계 프레임워크를 적용할 때 최적의 형식과 시간 지정 팝업 또는 슬라이드인 알림이 방문자에게 자세한 내용을 보려면 클릭할 위치를 알려주는 것이 가장 효과적이라고 결정했습니다.

따라서 알림 팝업의 최적 형식과 타이밍을 결정하기 위해 일련의 실험이 수행되었습니다. 클릭률을 측정했습니다.

이러한 사례 연구 결과에서 보여주듯이(테스트 1, 테스트 2) 팝업의 배치와 타이밍을 최적화하면 CTR 전환에 엄청난 긍정적인 영향을 미쳤습니다.

그러나 결과는 긍정적인 것으로 판명되었지만 궁극적으로 제출된 지원서는 학교의 바늘을 움직인 지표였습니다. 따라서 신청서 제출을 늘리는 최적의 방법을 결정하기 위해 추가 테스트를 수행해야 합니다.

이 예에서 주요 학습은 고객이 종종 개선하고 싶은 아이디어가 있다는 것입니다. 실험자로서 당신의 임무는 그들의 기대에 부응하되 더 나아가는 것입니다. CTR 증가는 좋습니다. 그러나 유입경로에서 더 깊은 곳에서 전환을 늘리는 것을 목표로 하세요. 완료된 지원 또는 체크아웃 완료와 같은 최종 유입경로의 수익 창출 지표에 대해 가능한 한 아래로 밀어 넣으십시오. 완료를 측정하고 성공을 수량화하십시오.

Justin Christianson이 2차 데이터 포인트를 추가하는 이유

우리는 목표를 중심으로 목표를 설정합니다. 매출과 수익만 생각할 수는 없습니다. 일반적으로 주요 측정항목은 판매 전환수와 RPV이지만 방문자가 상호작용하는 방식에 대한 가장 큰 그림을 항상 그리는 것은 아닙니다.

이를 위해 장바구니에 추가, 요소 클릭, 장바구니 또는 결제와 같은 특정 페이지 방문과 같은 보조 데이터 포인트를 설정하는 것을 좋아합니다. 2차 목표는 페이지나 테스트 유형에 따라 약간씩 변경됩니다. 때로는 매출과 수익이 결과 측면에서 목표로 삼고자 하는 것이 아닙니다.

우리는 실험을 통해 방문자가 무엇을 중요하게 생각하는지, 전체 UX에서 어떤 요소가 중요한지 이해하고 이러한 결과를 기반으로 전략을 수립합니다. 우리의 가설은 일반적으로 상황에서 왜 또는 무엇에 대해 항상 질문하는 것입니다. 홈 페이지에서 섹션을 이동하는 것과 같이 간단할 수 있으며 목표는 해당 섹션의 클릭, 판매, 수익, 제품 페이지 방문이 될 것입니다. 그런 다음 데이터를 해석하는 방법은 방문자가 섹션을 이동하여 더 높은 참여를 보였다면 해당 섹션이 가중치를 유지하므로 방문자가 전체 경로를 선호한다는 것입니다. 이에 대한 예는 전자 상거래 상점 페이지에 실제 제품 블록을 표시하는 것과 컬렉션 분석을 제시하는 것입니다.

CXO: 학습 우선 실험의 정점?

전환율은 허영심 메트릭이 아닙니다. 그러나 그것은 좁은 용어가되었습니다.

Annika Thompson, Speero 고객 서비스 이사

Annika는 문제는 CRO가 중요하지 않다는 것이 아니라 엄청난 양의 수하물이 함께 제공된다는 점이라고 설명합니다. 시간의 스냅샷일 뿐이고 맥락이 없으면 관련이 없고 완전히 위험할 수 있습니다.

반면에 CXO 또는 고객 경험 최적화는 전환 블록 파괴 실험에서 강력한 비즈니스 전략에 이르기까지 모든 것을 제공하여 고객 선호도 및 행동에 대한 품질 통찰력 마이닝에 중점을 둡니다. 테스트 비용이 더 많이 듭니다.