실험의 입력 대 출력 메트릭: 측정 대상을 선택하는 방법

게시 됨: 2022-07-29
실험의 입력 대 출력 메트릭 - 측정할 대상을 선택하는 방법

실험 프로그램에 대해 정의하고 추적하는 측정항목은 매우 중요합니다.

무엇을 측정하느냐에 따라 초점이 결정됩니다. 그들은 "측정하지 않는 것은 관리할 수 없다"고 말합니다.

그리고 그것은 전적으로 사실이지만(저울을 보지 않아도 확실히 살이 빠질 수 있음) 방향적으로나 실질적으로 사실입니다(저울을 보면 체중 감량이 훨씬 쉽습니다).

실험에서 어떤 측정항목이 중요한지 생각하는 데 많은 시간을 할애했습니다.

더 중요한 것은 입력 메트릭과 출력 메트릭 모두에 대해 생각하는 데 많은 시간을 할애했다는 것입니다.

숨다
  • 입력 및 출력 메트릭의 차이점은 무엇입니까?
  • 실험 결과 측정항목
  • 소액 전환과 거시 전환(& 모니터링 측정항목)
    • 매크로 전환
      • 전환율 측정항목(모든 유형)
      • 고객 가치 측정항목
    • 마이크로 전환
  • 실험 입력 측정항목
    • 1. 실험 속도
    • 2. 확정율
    • 3. 승률
    • 4. 승리당 평균 상승률
    • 5. 개발 시간
    • 6. 생산까지의 시간
  • 구성 지표 및 종합 평가 기준
  • 실험 목표 및 KPI를 선택하는 방법
  • 결론

입력 및 출력 메트릭의 차이점은 무엇입니까?

입력 메트릭은 선행 지표이며 직접 제어할 수 있습니다. 일반적으로 노력, 리소스 할당 및 운영 효율성을 추적합니다.

입력 메트릭의 개념은 출력 메트릭과 상관 관계가 있다는 것입니다.

입력 메트릭의 개념은 출력 메트릭과 상관 관계가 있다는 것입니다.
이미지 소스

구체적으로 총 전환율이 얼마가 될지 정확히 예측할 수는 없지만 실행 중인 실험의 수, 성공을 프로덕션으로 끌어올리는 데 얼마나 효율적인지, 그리고 어느 정도는 승률을 제어할 수 있습니다. 평균 승리 크기는 다음과 같습니다.

이러한 것들은 이해 관계자가 관심을 갖는 일반적으로 수치적 비즈니스 메트릭인 출력 메트릭에 매핑될 수 있고 매핑되어야 합니다. 실험에 들이는 모든 노력이 실제로 ROI 관점에서 성과를 거두고 있는지 여부를 보여주는 숫자입니다.

출력 메트릭은 비즈니스 결과에 초점을 맞추기 때문에 먼저 출력 메트릭이 입력 메트릭을 결정해야 하기 때문에 먼저 살펴보겠습니다.

간단히 말해서 출력 메트릭은 비즈니스에 중요한 것이고 입력 메트릭은 이러한 결과를 얻기 위해 제어할 수 있는 수단입니다.

실험 결과 측정항목

출력 메트릭은 상사에게 보여주는 것입니다. 이는 실험 프로그램의 가치와 연결되어 전체적으로 긍정적인 ROI를 산출하고 있음을 보여줍니다.

현실적으로 실험 결과 측정항목은 측정할 수 있는 모든 양적 측정항목이 될 수 있습니다. 대부분의 경우 전환율과 같은 이산 또는 이진 측정항목이지만 방문자당 수익과 같은 연속 측정항목인 경우도 있습니다.

모든 경우에 가장 가치를 나타내는 출력 메트릭을 비즈니스에 매핑하려고 합니다.

실험 측정항목을 분할하는 가장 좋은 방법은 미시 전환과 거시 전환(기본 측정항목 및 보조 측정항목이라고도 함)의 두 가지 카테고리로 나누는 것입니다.

소액 전환과 거시 전환(& 모니터링 측정항목)

A/B 테스트 공간의 일반적인 조언은 매크로 변환을 최적화하는 것입니다.

거시 전환은 귀하와 귀하의 비즈니스에 의해 정의되지만 돈에 가장 가까운 전환입니다. 전자 상거래에서 이것은 방문자당 구매 또는 수익입니다. B2B에서 이것은 고품질 리드 전환 또는 프리미엄 소프트웨어에 대한 제품 등록일 수 있습니다.

어떤 경우이든 마이크로 전환을 수익에 직접 매핑할 수 있으므로 이러한 실험의 ROI는 노력을 측정하고 정당화하기 쉽습니다.

미시 전환은 거시 전환으로 이어지며 거시 전환 완료와 강한 상관 관계가 있는 경향이 있습니다.

미시 전환은 거시 전환으로 이어지는 작업입니다.
이미지 소스

전자 상거래에서 마이크로 전환은 장바구니에 담기, 배너 클릭 또는 이메일 목록 가입이 될 수 있습니다. B2B에서는 가격 책정 페이지 클릭, CTA 클릭 또는 이메일 목록 가입이 될 수 있습니다.

모니터링 메트릭 또는 가드레일 메트릭 도 있습니다. 이것은 개선을 목표로 하지 않을 수 있지만 해를 끼치 지 않는 것을 목표로 하는 품질 지표입니다. 따라서 실험에서 전환율이 증가하지만 제품 반품 또는 환불 비율도 증가하는 경우 해당 실험을 프로덕션 단계로 푸시할 수 없습니다.

명백한 단층선이 있지만 두 범주 사이에 보편적이고 객관적인 분할은 없습니다. 즉, 전환이 비즈니스 수익으로 직접 연결됩니까?

여기서는 18개의 출력 메트릭을 살펴보고 이를 매크로 및 마이크로 변환으로 분할합니다. 마지막으로 비즈니스에 적합한 출력 목표를 선택하는 방법에 대해 논의합니다.

매크로 전환

전환율 측정항목(모든 유형)

전환율은 가장 일반적인 출력 메트릭이지만 다양한 유형의 비즈니스에 많은 의미를 가질 수 있습니다.

기본적인 수준에서 이는 경험을 본 다음 해당 경험을 본 후 원하는 작업을 완료하는 사람들의 비율을 늘리려고 한다는 것을 의미합니다.

1. 리드 전환율

가장 일반적인 전환율 유형 중 하나는 리드 전환율입니다.

이것은 리드가 되기 위해 가입한 웹사이트 방문자의 비율입니다. 물론 "리드"의 정의는 비즈니스에 따라 다릅니다. 어떤 경우에는 데모를 요청하기 위해 가입한 사람입니다.

때때로 기업은 데이터 강화 또는 다양한 차원의 필터링을 기반으로 누군가가 제품에 적합한지 여부를 결정하는 "적격" 리드만 추가로 드릴다운하고 계산합니다.

웹 세미나에 등록하거나 백서를 다운로드하는 방문자와 같은 다른 비즈니스는 마케팅 자격을 갖춘 리드를 계산합니다.

2. 제품 가입 또는 구매

제품 등록은 명백한 거시 전환입니다. 물리적 상품을 판매하는 경우 이 상품을 구매하는 사람입니다. 프리미엄 SaaS 회사인 경우 제품에 처음 진입하는 사람입니다.

이것을 핵심 실험 KPI로 추적하지 않는 마케팅 실험 프로그램은 상상하기 어렵습니다.

3. 활성화율

제품 실험에 들어갈 때 제품 주도 성장 기업이 가장 먼저 염두에 두어야 할 것 중 하나는 활성화율입니다.

누군가가 가입한 후 의미 있고 사용자가 참여했음을 보여주는 제품의 첫 번째 작업은 무엇입니까?

일부 회사는 이것을 특정 행동 또는 행동 수로 매핑했습니다(Facebook에는 7일 동안 유명한 7명의 친구가 있다는 규칙이 있습니다).

이 순간을 일반적으로 "하 모멘트"라고 하며, 사용자가 제품의 가치를 이해하게 만드는 순간 또는 행동입니다. 이 순간은 일반적으로 질적 피드백과 이 행동을 더 긴 유지 또는 더 나은 수익 창출 비율과 연관시키는 정량적 능력을 통해 발견됩니다.

아하 순간 예
이미지 소스

4. 수익화율

활성화 비율과 마찬가지로 수익 창출 비율은 프리미엄 사용자가 많은 제품 주도 성장 회사 또는 적어도 여러 단계의 제품 계층에서 일반적으로 사용됩니다.

프리미엄 모델에서 이 메트릭은 개별적입니다. 무료 사용자가 유료 사용자가 되기 위한 장벽을 통과합니까? 다른 모델에서 이 지표는 연속적일 수 있습니다. 예를 들어 회사가 AWS와 같은 사용량을 기준으로 요금을 청구하는 경우 "유료" 계정과 "무급" 계정을 구분하는 것만큼 간단하지 않습니다.

5. 이메일 목록 등록

이 시점에서 대부분의 기업은 이메일 마케팅의 가치를 깨닫고 견고한 이메일 목록을 구축합니다. 특히 콘텐츠 마케터와 블로거에게 가장 흥미로운 매크로 전환은 독자를 이메일 구독자로 전환하는 것일 수 있습니다.

이것을 달러 가치로 그리려면 약간의 분석 작업이 필요하지만, 충분한 과거 데이터가 있는 경우 일반적으로 수집한 특정 이메일에 평균 수익 가치를 할당할 수 있습니다.

6. 이메일 활성화 비율

이메일 활성화율은 과소평가된 마케팅 지표입니다. 누군가가 귀하의 이메일 목록에 등록했다고 해서 그들이 참여하거나 가치가 있다는 의미는 아닙니다.

이것은 이메일 마케팅의 "적합한 리드" 버전과 같습니다.

여기에서 "활성화"를 원하는 방식으로 정의할 수 있지만 많은 경우 "처음 세 개의 이메일 중 하나를 열었습니다." 또는 그 사람이 실제로 귀하의 이메일을 읽고 여는 것을 보여주는 다른 방법이 포함될 것입니다.

고객 가치 측정항목

고객 가치 측정항목은 일반적으로 연속 변수이므로 실험 측정항목으로 사용하기가 조금 더 어렵습니다. 그러나 그것들은 거의 항상 실제 비즈니스 가치에 가장 가까운 근사치이며 작업의 훌륭한 후행 지표로 작용할 수 있습니다.

7. 방문자당 수익

방문자당 수익은 전자상거래를 위한 최고의 종합 측정항목 중 하나입니다. 모든 사람이 무언가를 구매하는 것은 아니지만 일부는 구매할 것입니다. 그리고 구매하시는 분들 중 일부는 대량의 제품을 구매하게 됩니다.

방문자당 수익은 각 웹사이트 방문자의 평균 가치를 계산하므로 이 방정식에 구매 규모와 구매하는 고객 수를 모두 포함합니다.

8. 평균 주문 금액

평균 주문 금액은 구매한 사람들 중 평균 구매 규모가 얼마인지 계산합니다. 이것은 사이트에서 직접 구매할 수 있는 전자 상거래 웹사이트와 관련이 있습니다. B2B 거래에서 ASP(평균 판매 가격)일 수도 있습니다.

평균 주문 금액 계산 방법
이미지 소스

9. 구매 건수

전자 상거래에 대한 일종의 유지 메트릭으로 지정된 기간(월, 분기, 연도)의 구매 수를 추적할 수 있습니다.

이는 반복 구매를 추적하고 웹사이트 특성과 더 많은 반복 구매자를 유도하는 마케팅 채널(일반적으로 이메일 마케팅 및 유료 광고)을 나타냅니다. 이것은 판매 최적화뿐만 아니라 두 번째 및 세 번째 판매를 위한 전체론적 메트릭입니다.

10. 보유

SaaS 제품에서 고객 유지는 성장의 핵심입니다. 수천 명의 사용자가 가입하도록 유도할 수 있지만 그들이 지불하지 않고 계속 지불하면 시간이 지남에 따라 비즈니스에서 수익이 누출됩니다.

많은 것들이 제품 자체를 넘어 리텐션에 영향을 미치지만 실험은 리텐션에 대한 바늘을 움직이는 데 도움이 될 수도 있습니다. 유지를 실험으로 추적하는 것은 많은 기업에서 다소 어려운 일이지만 피드백 주기가 길기 때문입니다.

Facebook 동영상 보유 그래프
이미지 소스

11. 고객평생가치

마지막으로, 복합 메트릭과 관련하여 피라미드의 신비한 꼭대기인 고객 평생 가치.

이는 수익 창출 또는 평균 판매 가격, 유지(유료 고객을 유지하는 기간) 및 평균 전환율과 같은 이전의 모든 측정항목을 고려한 다음 고객평생가치 공식을 사용하여 복합 측정항목을 작성하여 평균적으로 고객은 귀하의 비즈니스에 가치가 있습니다.

이것은 실험별로 측정하기가 매우 어려운 것이지만 비즈니스 KPI로서 아는 것이 중요합니다.

이를 통해 제품 가치를 높이는 방법을 파악하고 특정 마케팅 채널과 광고 캠페인이 얼마나 실현 가능한지 알 수 있습니다.

마이크로 전환

1. 클릭률(다양한 유형)

클릭률은 마이크로 전환의 주요 유형입니다. 광고에서 방문 페이지로 또는 방문 페이지에서 요청 데모 페이지로 이동합니다.

전자 상거래에서 이는 종종 제품 페이지에 대한 클릭률로 추적되거나 '장바구니에 추가' 동작 또는 장바구니 보기로 추적됩니다. 이것은 또한 이메일 마케팅 담당자를 위한 이메일 공개율 또는 이메일 클릭률과 같은 것일 수 있습니다. 이메일 마케팅 도구는 이 정보를 쉽게 제공할 뿐만 아니라 다양한 버전을 A/B 테스트할 수 있는 기능을 제공해야 합니다.

물론 다음 위치로 이동하려면 한 위치에서 클릭해야 하므로 클릭률은 더 높은 구매 또는 전환 볼륨과 상관 관계가 있어야 합니다.

하지만 클릭률만 실험 KPI로 추적하는 경우 복사 또는 UX 속임수를 통해 이를 게임에 적용할 수 있습니다.

Lukas Vermeer가 말했듯이,

CTR은 호텔 예약 최적화에 끔찍합니다(예: "FREE BEER"라는 제목의 EMK는 CTR을 향상시키지만 고객이 사이트에 맥주가 없다는 사실을 알게 되면 분명히 무료 맥주가 아닌) 판매가 감소할 수 있습니다.

Andrew Chen은 이것을 의도의 보존이라고 부르며 이것이 A/B 테스트 결과가 상위 ​​라인으로 변환되지 않는 한 가지 이유라고 가정합니다.

2. 링크 클릭

링크 클릭은 말 그대로 주어진 링크를 클릭한 사람들의 수입니다. 이것은 또 다른 클릭률 측정항목이지만 특정 비즈니스(예: 제휴사)의 경우 아웃바운드 링크를 클릭하는 것이 의도의 중요한 지표입니다.

나는 항상 내가 작업하는 웹사이트에서 링크 클릭 추적을 설정합니다. 주로 웹사이트 사용자 행동과 최적화 기회를 나타낼 수 있기 때문입니다.

일부 실험은 또한 사용자 행동의 방향을 전환할 목적으로 설정됩니다(때로는 매크로 전환에 매핑되지만 때로는 새 모듈로 더 많은 클릭을 유도할 수 있는지 확인하기 위함).

3. 동영상 재생

방문 페이지에 동영상이 있는 경우 실제로 동영상을 보거나 재생하는 사람 수를 추적하는 것이 중요합니다.

그러나 실제로 많은 방문자가 비디오 자체를 보지 않고도 비디오를 추가하는 것만으로도 전환이 증가하는 실험을 보았습니다. 따라서 이를 추적하는 경우에도 페이지의 매크로 전환에 실험을 매핑하는 것이 좋습니다.

4. 동영상 완성

얼마나 많은 사람들이 비디오를 재생했는지, 얼마나 멀리 사람들이 비디오를 시청했는지가 있습니다. 비디오 완료 또는 비디오 완료율은 평균적인 사람이 비디오를 통해 도달하는 정도를 보여줍니다.

이것은 특히 교육 페이지에서 중요할 수 있지만 리드 전환율과 같은 더 적절한 비즈니스 KPI를 선택하는 것이 좋습니다. 동영상 완료를 계속 추적할 수 있고 추적해야 할 수도 있지만 누군가가 전체 동영상을 시청한다고 해서 반드시 전환 가능성이 더 높다는 의미는 아닙니다.

5. 제품 둘러보기

프리미엄 또는 무료 평가판 플랜이 없는 많은 B2B 회사의 경우 제한된 대화형 제품 둘러보기가 방문자에게 제품의 실제 모양과 느낌을 보여줄 수 있는 좋은 방법입니다.

다음은 Pendo의 제품 둘러보기의 예입니다.

펜도 제품 투어 예시

KPI로서 이를 동영상 조회수 또는 모든 종류의 홍보 모듈 조회수처럼 취급해야 합니다. 전환율과 같은 보다 비즈니스 중심적인 KPI와 상관관계가 있을 수 있고 자주 발생하지만 항상 그런 것은 아닙니다. 따라서 이 항목을 추적하고 매크로 전환을 기본 실험 KPI로 측정하십시오.

6. 상품투어 완료율

다시 말하지만, 상품 둘러보기를 보고 바로 바운스하는 사람들이 있고, 그 방문자들은 상품 둘러보기를 보고 완료하는 방문자와 다릅니다. 제품 둘러보기 완료율과 전환율 사이에는 상관관계가 있을 수 있지만 없을 수도 있습니다.

제품 둘러보기를 그 자체로 제품처럼 취급한다면 물론 얼마나 많은 사람들이 완료하는지 확인하는 것이 중요합니다. 이것은 제품 둘러보기에 좋은 UX 메트릭입니다.

7. 가격 책정 페이지 조회수

대부분의 B2B 구매자는 구매하기 전에 가격 페이지를 방문하지만 고객 여정에서 이 페이지를 방문하는 시점이 중요합니다. 많은 마케터가 가격 페이지에 대한 클릭률을 마이크로 전환으로 추적합니다.

전자 상거래 최적화에 존재하는 장바구니에 추가 버전과 비슷합니다.

실험 입력 측정항목

실험 프로그램의 입력 메트릭은 프로그램 수준에서 정의됩니다. 수익을 직접 추적하지는 않지만 출력 메트릭의 개선과 상관 관계가 있는 작업입니다.

대부분의 경우 실험 입력 측정항목은 실험 수익을 높이거나 실험 실행 비용을 줄이려고 시도합니다(효율 향상을 통해).

여기서는 6개의 실험 입력 측정항목을 살펴보겠습니다.

1. 실험 속도

실험 속도는 주어진 기간 동안 얼마나 많은 실험을 시작했는지 측정합니다.

일반적으로 ROI의 기초를 형성하는 3가지 입력 메트릭은 실행한 실험의 수, 실험의 성공률, 평균 성공률입니다.

간단히 말해서 더 많은 실험(또는 실험당 더 많은 변형)을 실행하면 승자가 될 가능성이 높아집니다(좋은 품질의 실험인 경우).

실험 속도를 높이는 것도 강제 함수로 좋습니다. 개발 및 프로덕션 병목 현상이 발생하는 위치와 추가 리소스가 필요한 위치를 확인하는 데 도움이 됩니다.

2. 확정율

나에게 결정적이지 않은 일련의 실험보다 더 실망스러운 것은 없습니다. 나는 결정적이지 않은 테스트보다 때로는 결정적인 손실을 보고 싶습니다. 적어도 내가 테스트하는 것이 사용자 경험에 중요하다는 것을 암시할 수 있기 때문입니다.

따라서 일부 사람들은 결정적인 비율, 즉 귀하가 실행하는 모든 실험 중 결정적인 실험의 수를 추적하기 시작했습니다.

프로그램이 초기 단계에 있거나 학습이 거의 없이 결정적이지 않은 실험을 많이 실행하는 것 같으면 이러한 틀에서 벗어나게 하는 좋은 지표가 될 수 있습니다.

3. 승률

우리 모두는 성공적인 실험을 하고 싶어합니다. 실험의 일부는 그들이 모두 승자가 되지는 않을 것이라는 사실을 받아들이는 것입니다(만약 승자가 된다면, 새롭고 혁신적인 것을 시도하는 것에 비해 얼마나 낮은 성과를 거두고 있는지 질문할 필요가 있습니다).

승률은 귀하가 실행한 실험 중 몇 개나 승자가 되었는지를 보여줍니다.

실험 수를 늘리고 승률을 유지하면 ROI가 증가합니다(더 많은 실험을 실행하기 위한 한계 비용 가정). 실험 속도를 유지하면서 승률을 높이면 ROI도 증가합니다.

이것은 실험 ROI를 개선하는 핵심 수단입니다.

4. 승리당 평균 상승률

마지막으로, 귀하가 실행한 성공적인 실험 중 그들이 승리한 평균 상승도는 얼마입니까?

이것은 통제하기가 매우 어렵습니다. 왜냐하면 우리가 실험의 규모를 예측할 수 있다면 그것을 실행할 필요가 없기 때문입니다.

그러나 실험 속도 및 승률과 같이 실험 프로그램의 가치를 나타내는 분명한 선행 지표이기 때문에 추적하는 것이 좋습니다.

또한 더 큰 성공에 대한 인센티브를 제공하면 종종 마케터와 제품 마케터가 기존의 틀에서 벗어나 더 크고 혁신적인 실험을 시도하게 될 수 있습니다.

5. 개발 시간

나는 실험 과정을 별개의 단계로 나눕니다.

일반적으로 워크플로는 다음과 같습니다.

실험 아이디어 > 실험 문서 > 와이어프레임 > 디자인 > 개발 > QA > 테스트 실행 > 분석 > 문서 > 프로덕션으로 푸시

계획 단계에서 각 단계별로 예상 납기일을 설정하고 예상 납기일과 실제 납기일 사이의 델타를 계산합니다. 차이가 너무 크면 프로세스 병목 현상이 있을 수 있음을 나타냅니다.

대부분의 경우 이는 설계 또는 개발 단계에서 이루어집니다.

이러한 단계를 개선할 수 있다면 실험 처리량을 늘릴 수 있으며 이는 우리가 살펴보는 주요 입력 KPI 중 하나입니다.

6. 생산까지의 시간

개발 시간과 유사하게 생산까지의 시간은 실험 프로세스의 단계를 측정합니다. 즉, 성공적인 실험을 분석한 후 제품이나 웹사이트에 라이브로 구현하는 데 걸리는 시간입니다.

이 단계는 종종 과소 평가됩니다. 실험자들은 승리를 축하하고 다음 단계로 넘어갈 것이지만, 얼마나 빨리 구현하는 것이 중요합니다. 하나는 차선책으로 작업하는 시간인 후회를 줄여줍니다.

둘째, 이 단계에서 개선하면 후속 실험을 설정하는 데 개발자 시간을 더 많이 집중할 수 있습니다.

구성 지표 및 종합 평가 기준

실험에는 종합 평가 기준이라는 개념이 있습니다. 북극성 지표라고 부를 수도 있습니다.

종합평가기준
이미지 소스

이것은 가드레일 메트릭을 고려하는 메트릭입니다(즉, 해를 입히거나 사용자 경험 손실을 암시할 수 있는 감시 및 설명할 메트릭). 가드레일 측정항목에는 이탈률, 이탈률 또는 NPS 또는 CSAT와 같은 태도 점수와 같은 항목이 포함될 수 있습니다.

전체 평가는 때때로 몇 가지 다른 출력 메트릭을 하나의 단일 성공 메트릭으로 결합합니다.

이러한 측정항목은 클릭과 같은 단기 지표가 아니라 일부 거시적 비즈니스 목표를 추적합니다.

Ronny Kohavi는 "구매 단위, 수익, 이익, 예상 평생 가치 또는 이들의 가중치 조합"을 예로 들었습니다.

전반적인 평가 기준을 만드는 것이 바람직하지만 일반적으로 많은 데이터 엔지니어링 작업이 필요합니다. 특히 비즈니스 모델이 시장이거나 전자 상거래보다 간단하지 않은 경우(이 경우에도 고객 평생 가치를 추적하기는 어렵습니다. 실험 기준).

그러나 더 넓은 의미는 다음과 같습니다. 하나의 포괄적인 성공 지표(장기 비즈니스 가치와 가드레일 지표를 고려하는 지표)를 형성하는 데 가까울수록 실험 프로그램과 목표가 더 명확해집니다.

실험 목표 및 KPI를 선택하는 방법

좋습니다. 우리는 12개 정도의 출력 메트릭과 여러 입력 메트릭을 살펴보았습니다.

그렇다면 문제는 귀하와 귀하의 비즈니스가 초점을 맞출 대상을 선택하는 방법입니다. 왜냐하면 그것은 *선택사항*이고 그 선택에서 모든 종류의 인센티브, 행동 및 행동이 나올 것이기 때문입니다.

메트릭, 목표 및 KPI를 선택하는 가장 좋은 방법은 목표 트리를 만드는 것입니다.

Speero는 다음과 같은 목표 트리 시각화의 좋은 예를 보여줍니다.

Speero에는 목표 트리 시각화의 좋은 예가 있습니다.
이미지 소스

여기에서 고객 만족도 메트릭을 포함하는 회사 수준의 목표로 시작합니다. 이는 성공적인 기능 개발에 중점을 둔 팀 수준 목표로 이어집니다. 그런 다음 새로운 기능 제안을 테스트하고 아이디어를 내는 데 초점을 맞춘 개인 수준 목표로 속도를 늦춥니다.

저는 모든 팀 및 개인 목표가 회사 목표를 직접 반영하고 기여해야 한다고 믿습니다. 이것은 정렬이며, 회사 목표에 기여하는 결과를 달성할 때 회사 사명에 대한 실제 ROI를 보여주기 때문에 프로그램에 대해 훨씬 더 흥분할 것입니다.

이것이 회사에서 어떻게 보일지는 많은 요인에 달려 있습니다. 중요한 것은 이 연습을 통해 어떤 목표를 선택하는지 비판적으로 생각하는 것입니다.

결론

실험에서 목표를 정의하는 방법은 해당 목표의 다운스트림에 있는 거의 모든 작업에 영향을 줍니다.

이론적으로 출력 및 입력 수준 모두에서 추적할 수 있는 수천 개의 메트릭이 있습니다. 추적뿐만 아니라 실험이나 프로그램의 효과를 측정하기 위해 올바른 측정항목을 선택하는 것은 프로그램의 성공에 매우 중요합니다.

따라서 실제로는 가능한 한 적은 수의 측정항목에 집중해야 한다고 생각합니다. 이를 통해 집중할 수 있지만 몇 개월 또는 몇 년에 걸쳐 이를 개선할 시간도 얻을 수 있습니다.

내 목표를 입력 및 출력 측정항목의 두 가지 범주로 나누는 것을 좋아합니다. 출력 메트릭은 개별 실험 또는 실험 프로그램의 결과를 판단하는 기준입니다. 내가 팀과 경영진에게 보고하는 내용입니다.

입력 메트릭은 더 효과적인 프로그램을 구축하는 데 도움이 됩니다. 그것들은 내가 내 자신의 노력과 내 팀의 노력을 판단하는 기준입니다.

프로그램에 대한 실험 측정항목을 어떻게 정의합니까? 입력 메트릭 또는 출력 및 결과에만 중점을 두십니까?