วิธีอ่านและตีความรายงานประสบการณ์การแปลงอย่างถูกต้องแม่นยำ

หากคุณเป็นผู้ใช้ที่ทำให้เกิด Conversion คุณจะรู้ว่ารายงานของคุณเต็มไปด้วยข้อมูลที่มีค่า แต่ตัวเลขและกราฟทั้งหมดเหล่านี้แสดงถึงอะไร? และคุณทราบได้อย่างไรว่าข้อสรุปใดที่คุณสามารถดึงออกมาได้และคุณใช้ข้อมูลนั้นเพื่อปรับปรุงการทดสอบของคุณ

ง่ายเหมือนการใช้เครื่องคำนวณนัยสำคัญทางสถิติเพื่อตรวจสอบประสบการณ์หรือไม่

การเรียกการทดสอบ A/B ประสบผลสำเร็จหรือไม่ หากผลการทดสอบแสดงเป็นสีเขียวในรายงานการทดสอบเพียงพอ หรือเราควรดูปัจจัยอื่นๆ ด้วย

แม้ว่าเครื่องคำนวณนัยสำคัญทางสถิติเป็นสิ่งจำเป็นสำหรับการทดสอบที่แม่นยำ แต่ก็ไม่ได้บอกเล่าเรื่องราวทั้งหมด เพื่อให้ได้รับประโยชน์สูงสุดจากรายงาน Conversion คุณต้องมีความเข้าใจอย่างถ่องแท้เกี่ยวกับสถิติการทดสอบ A/B

และทำไมถึงเป็นอย่างนั้น?

เนื่องจากการทดสอบ A/B เป็นวิธีการวิเคราะห์ทางสถิติโดยพื้นฐาน คุณไม่สามารถมีได้โดยไม่มีคนอื่น

การทดสอบ A/B หรือประสบการณ์เป็นตัวอย่างของการทดสอบสมมติฐานทางสถิติ ซึ่งมีการพัฒนาสมมติฐานเกี่ยวกับความสัมพันธ์ระหว่างชุดข้อมูลสองชุดและเปรียบเทียบเพื่อดูว่ามีนัยสำคัญทางสถิติหรือไม่

ดังนั้น ไม่ว่าคุณจะเป็นมือใหม่หรือผู้ใช้ที่มีประสบการณ์ อ่านเพื่อทำความเข้าใจเกี่ยวกับสถิติการทดสอบทั้งหมดที่มีอยู่ในรายงานของคุณ และรับผลลัพธ์ที่ดีขึ้นจากการทดสอบ A/B ของคุณ!

คุณทำอะไรกับรายงานการทดสอบ A/B ได้บ้าง ลองดูตัวอย่างที่ใช้งานได้จริงสองตัวอย่าง

ตัวอย่าง 1

ธุรกิจอีคอมเมิร์ซกำลังวางแผนที่จะเพิ่มประสิทธิภาพหน้าผลิตภัณฑ์เพื่อปรับปรุงอัตราการแปลง

ในสถานการณ์เฉพาะนี้

อัตราการแปลงหน้าผลิตภัณฑ์ = จำนวนการสั่งซื้อ / จำนวนผู้เข้าชมหน้าผลิตภัณฑ์

ทีมการตลาดกำลังประเมินการออกแบบหน้าผลิตภัณฑ์ใหม่สามแบบ พวกเขาต้องการเลือกหนึ่งที่มีประสิทธิภาพมากที่สุดจากสี่ความเป็นไปได้: การออกแบบที่มีอยู่และสามใหม่ พวกเขาจะใช้รายงาน Convert Experiences และวิธีการทางสถิติในการระบุตัวดำเนินการที่ดีที่สุดได้อย่างไร โดยพิจารณาจากอัตราการแปลงเป็นปัจจัยหนึ่ง

ตัวอย่าง 2

ด้วยการเปลี่ยนหน้าการกำหนดราคา เว็บไซต์ SaaS หวังที่จะขยายฐานสมาชิก

สำหรับพวกเขา,

อัตราการแปลงหน้าราคา = จำนวนการสมัคร / จำนวนผู้เข้าชมหน้าราคา

การตลาดกำลังประเมินการออกแบบที่แตกต่างกันสามแบบเพื่อดูว่ามีแบบใดที่สามารถดึงดูดผู้ติดตามได้มากกว่ารุ่นปัจจุบัน

การใช้รายงาน Convert Experiences และวิธีการทางสถิติ จะเปรียบเทียบโดยใช้อัตราการแปลงเป็นเกณฑ์ในการเลือกได้อย่างไร

บทความนี้จะอธิบายว่ารายงาน Convert Experiences ประกอบด้วยอะไรบ้าง คุณสามารถใช้รายงานดังกล่าวเพื่อปรับปรุงเว็บไซต์ของคุณได้อย่างไร และวิธีตีความการวิเคราะห์โดยละเอียดของประสบการณ์ของผู้เยี่ยมชมเพื่อให้คุณสามารถดำเนินการได้

อ่านคำแนะนำที่ทำตามได้ง่ายเพื่อช่วยให้คุณเข้าใจสถิติเบื้องหลังรายงานการทดสอบ A/B ของ Conversion

แผนที่โดยละเอียดของทุกส่วนของรายงานประสบการณ์การเปลี่ยนใจเลื่อมใส

ในฐานะผู้ใช้ Convert คุณสามารถเข้าถึงข้อมูลโดยละเอียดเกี่ยวกับประสิทธิภาพของเว็บไซต์ของคุณผ่านรายงาน มาดูองค์ประกอบทั้งหมดของรายงาน Conversion กันอย่างครอบคลุม เพื่อที่คุณจะได้เข้าใจอย่างถ่องแท้ว่าข้อมูลใดกำลังนำเสนอ และวิธีที่ดีที่สุดที่จะใช้เพื่อปรับปรุงประสิทธิภาพของเว็บไซต์ของคุณ

คุณสามารถเข้าถึงรายงานโดยเลือกประสบการณ์ที่คุณต้องการดูและคลิกแท็บรายงาน

ในส่วนนี้ คุณจะเห็นสี่ส่วนที่แตกต่างกัน:

• เมนูยอดนิยม
• สรุป
• รูปแบบต่างๆ
• เป้าหมาย

➢ เมนูยอดนิยม

เมนูด้านบนช่วยให้เข้าถึงข้อมูลต่อไปนี้ได้อย่างรวดเร็ว:

• Start Date : วันที่เริ่มประสบการณ์
• Days Running : ระยะเวลาที่ประสบการณ์ทำงานเพื่อ
• ช่วงรายงาน : ตัวกรองวันที่ช่วยให้คุณสามารถกรองข้อมูลในช่วงเวลาที่กำหนด
• กลุ่ม : กรองรายงานตามกลุ่มผู้เข้าชม
• ผู้ใช้ทดสอบทั้งหมด : จำนวนผู้ใช้ที่เข้าร่วมการทดสอบ
• จำนวน Conversion ทั้งหมด : จำนวน Conversion เป้าหมายทั้งหมด แปลงแทร็กเฉพาะ Conversion เป้าหมายเดียวต่อผู้เข้าชมที่ไม่ซ้ำ ตรวจสอบหน้านี้สำหรับการแปลงเป้าหมายหลายรายการ
• เป้าหมาย : จำนวนประตูที่ประสบการณ์ที่กำหนดมี

ตัวกรองสำหรับช่วงวันที่เฉพาะ

สามารถกรองข้อมูลสำหรับช่วงวันที่ที่ระบุได้โดยใช้ช่วงรายงาน สามารถระบุช่วงวันที่ที่กำหนดเองได้โดยใช้ตัวเลือกที่มีอยู่หรือตัวควบคุมปฏิทิน

กรองเฉพาะกลุ่ม

คุณสามารถกรองรายงานตามกลุ่มผู้เข้าชมโดยเลือกจากช่องแบบเลื่อนลง "ผู้ใช้ทั้งหมด" คุณสามารถใช้เพื่อตอบคำถามเช่น

• การเข้าชมจากแหล่งที่มาต่างๆ มีพฤติกรรมอย่างไรในประสบการณ์นี้
• รูปแบบที่ชนะบนมือถือกับเดสก์ท็อปคืออะไร?
• รูปแบบใดดึงดูดผู้ใช้ใหม่มากที่สุด

คุณควรกำหนดเป้าหมายผู้ชม/กลุ่มที่มีความสำคัญต่อองค์กรของคุณและมีแนวโน้มที่จะแสดงพฤติกรรมผู้ใช้และสัญญาณความตั้งใจที่หลากหลาย

ตรวจสอบคะแนนการปรับปรุงและความมั่นใจสำหรับผู้ชมแต่ละรายเพื่อดูว่าแต่ละรูปแบบทำงานเป็นอย่างไร ขึ้นอยู่กับผลการวิเคราะห์ของคุณ คุณสามารถตัดสินใจได้ว่าจะเปิดตัวรูปแบบที่ชนะสำหรับการเข้าชมทั้งหมดของคุณหรือปรับการจัดสรรของคุณ

รายงานประสบการณ์การแปลงประกอบด้วยกลุ่มต่อไปนี้:

• เบราว์เซอร์ที่ใช้
• อุปกรณ์ที่ใช้,
• ผู้เยี่ยมชมใหม่เทียบกับผู้เยี่ยมชมเก่า
• ประเทศผู้ใช้
• แหล่งที่มาของการเข้าชม
• ทวีปและ
• 10 ส่วนที่กำหนดเอง

คุณยังสามารถใช้เมนูสามจุดและดำเนินการเพิ่มเติมบางอย่างได้:

แบ่งปันรายงาน

การคลิกแชร์รายงานจะเปิดป๊อปอัปพร้อมตัวเลือกต่อไปนี้สำหรับการดาวน์โหลดข้อมูลประสบการณ์:

ดูรหัส

ดูโค้ดเป็นตัวเลือกที่สอง ซึ่งให้คุณเข้าถึงโค้ดติดตามการแปลงของคุณ:

การตั้งค่าสถิติ

ตัวเลือกที่สาม การตั้งค่าสถิติ ช่วยให้คุณสามารถกำหนดค่าต่อไปนี้:

• ระดับความเชื่อมั่น (นัยสำคัญทางสถิติ) — อธิบายไว้ที่นี่
• ค่าผิดปกติของธุรกรรม — อธิบายไว้ที่นี่
• ระบบอัตโนมัติ — อธิบายไว้ที่นี่
• ปุ่มรีเซ็ตสถิติเพื่อรีเซ็ตข้อมูลประสบการณ์

หยุดประสบการณ์

ตัวเลือกที่สี่ช่วยให้คุณหยุดประสบการณ์ได้ชั่วคราว

➢ สรุป

ในส่วนสรุปของรายงานประสบการณ์การแปลง คุณจะพบข้อมูลสรุปของพื้นที่ไซต์และเงื่อนไขของผู้ชมที่นำไปใช้กับประสบการณ์ของคุณ นอกจากนี้ยังมีคำแนะนำที่ชาญฉลาด:

เปิดใช้งานคำแนะนำอัจฉริยะ

ไปที่การกำหนดค่าโปรเจ็กต์ การตั้งค่าเพิ่มเติม เพื่อเปิดใช้งานคำแนะนำอัจฉริยะ:

ดูคำแนะนำอัจฉริยะ

คุณสามารถดูคำแนะนำอันชาญฉลาดเหล่านี้ได้ในสองที่

1. ในรายงานสรุป:

ข้อความต่อไปนี้อาจปรากฏขึ้นตามผลลัพธ์ของคุณ:

• ค่าลบที่ มีนัยสำคัญ & การเพิ่มเชิงลบ : เรากำลังสังเกตว่าตัวแปร ${variant_name} เป็นตัวแปรที่ทำงานได้ดีที่สุดโดยมีการเพิ่มเชิงลบเป็น ${lift}% การทดสอบเป้าหมาย ${primary_goal_name} มีความสำคัญ เราขอแนะนำให้แยกการเรียนรู้และออกแบบสมมติฐานใหม่
• การเพิ่มขึ้นอย่างมีนัยสำคัญและเป็นบวก : ยินดีด้วย! สำหรับ ${primary_goal_name} ${variant_name} กำลังชนะด้วยการปรับปรุง ${lift}% การทดลองมีความสำคัญ”
• การเพิ่มขึ้นในเชิงบวกที่ไม่มีนัยสำคัญ : จำเป็นต้องมีผู้เข้าชมมากขึ้นเพื่อสรุปผลที่ถูกต้องสำหรับ ${primary_goal_name} เราเห็นว่ามีเพียง ${variant_name} ที่ทำงานได้ดีที่สุดโดยมีการเพิ่ม ${lift}% แต่ต้องการผู้เยี่ยมชมมากขึ้นก่อนที่จะได้ข้อสรุปที่ชัดเจน
• การเพิ่มเชิงลบที่ไม่มีนัยสำคัญ : จำเป็นต้องมีผู้เข้าชมมากขึ้นเพื่อสรุปผลที่ถูกต้องสำหรับ ${primary_goal_name} โปรดทำการทดสอบต่อไปก่อนที่จะสรุปผลได้

2. ในกล่องขยายเป้าหมาย:

ต่อไปนี้เป็นข้อความที่เป็นไปได้บางส่วนที่คุณอาจเห็นโดยอิงจากผลลัพธ์ของคุณ:

• ขอแสดงความยินดี {variation.name} เป็นผู้ชนะ เรามั่นใจว่ามีความมั่นใจทางสถิติ 00%
• ขออภัย {variation.name} ทำได้แย่กว่า {baselineText} เรามั่นใจด้วยความมั่นใจทางสถิติ 00%
• ดูเหมือนว่า {variation.name} จะทำงานได้ดีกว่า {baselineText} แต่เรายังไม่แน่ใจ
• ยังเร็วเกินไปที่จะตัดสินเรื่อง {variation.name}

ภาพหน้าจอพื้นฐาน

หากคุณวางเมาส์เหนือภาพหน้าจอพื้นฐาน คุณจะเห็นตัวเลือกเพิ่มเติม:

• ดูสแนปชอตขนาดจริง
• ดูตัวอย่าง
• ถ่ายสแนปชอตรูปแบบใหม่อีกครั้ง

ดูตัวอย่างแบบสดและบังคับลิงก์รูปแบบต่างๆ

รูปแบบการแสดงตัวอย่างจะเปิดป๊อปอัปซึ่งคุณสามารถรับ URL การแสดงตัวอย่างแบบสดและบังคับรูปแบบ

➢ รูปแบบต่างๆ

ส่วนที่เรียกว่า รูปแบบ จะให้รายละเอียดเกี่ยวกับรูปแบบประสบการณ์ของคุณ แต่ละคอลัมน์หลังคอลัมน์สถานะแสดงถึงเป้าหมายประสบการณ์ของคุณ:

คุณสามารถเปิด/ปิดคอลัมน์หรือจัดเรียงใหม่ได้โดยคลิกเมนูสามจุด:

เมื่อเปิดใช้งานปุ่มสถานะ คุณจะสามารถหยุดรูปแบบต่างๆ ชั่วคราวได้:

มีตัวเลือกพิเศษบางอย่างเมื่อคุณคลิกเมนูสามจุดในแถวรูปแบบต่างๆ:

• เปิด URL รูปแบบบังคับ
• หยุดการเปลี่ยนแปลง
• แปลงเป็น Deploy ใหม่
• แปลงเป็นต้นฉบับในการทดลองใหม่
• แก้ไขรูปแบบ
• ดูตัวอย่างสด

➢ เป้าหมาย

คำอธิบายสั้น ๆ ของเป้าหมายประสบการณ์แต่ละอย่างมีอยู่ในส่วนนี้ เช่นเดียวกับสถิติและกราฟที่น่าสนใจบางส่วนที่เราจะวิเคราะห์ในหัวข้อถัดไป ก่อนที่เราจะดำเนินการต่อ เรามาอธิบายคำศัพท์สองสามคำที่คุณอาจไม่คุ้นเคยกันก่อน

• เป้าหมายเริ่มต้น : หากคุณเห็นคำว่า เป้าหมายเริ่มต้น ถัดจากเป้าหมายของคุณ แสดงว่าเป็นหนึ่งใน 2 เป้าหมายเริ่มต้นที่เราเพิ่มให้กับทุกประสบการณ์
• เป้าหมายหลัก : มีเป้าหมายหลักได้เพียงเป้าหมายเดียวเท่านั้น ซึ่งคุณต้องเป็นผู้ตัดสินใจ เป็นเป้าหมายที่สำคัญที่สุดสำหรับประสบการณ์ของคุณ สิ่งนี้จะแสดงเป็นอันดับแรกในรายการเป้าหมายและสถานะประสบการณ์จะเปลี่ยนไปตามสิ่งนี้
• SRM : ตรวจพบอัตราส่วนตัวอย่างที่เป็นไปได้ไม่ตรงกันในการทดสอบของคุณ ตรวจสอบการตั้งค่าประสบการณ์หรือติดต่อ [email protected] หากคุณพบสิ่งนี้
• พื้นฐาน : นี่คือพื้นฐานประสบการณ์เริ่มต้นของคุณ

ตอนนี้ มาดูองค์ประกอบแต่ละอย่างในรายงานนี้กัน

ชื่อรูปแบบ

นี่คือชื่อรูปแบบของคุณ มีช่องทำเครื่องหมายข้างๆ ซึ่งคุณสามารถเปิด/ปิดเพื่อแสดงและซ่อนสถิติรูปแบบต่างๆ

การปรับปรุง

คุณสามารถดูประสิทธิภาพของหน้าเว็บเดิมและรูปแบบต่างๆ ในแง่ของอัตราการแปลงได้ที่นี่ เปอร์เซ็นต์ความแตกต่างอาจเป็นค่าบวกหรือค่าลบ เมื่อความเชื่อมั่นที่คำนวณได้มีค่ามากกว่าความเชื่อมั่นที่กำหนดไว้ในการตั้งค่าสถิติ สีจะเปลี่ยนไปดังนี้:

• สีแดงสำหรับ –
• สีเขียวสำหรับ +
• สีเทาสำหรับอื่นๆ

ผู้เข้าชม

นี่คือจำนวนผู้เข้าชมที่ฝากข้อมูลทั้งหมดกับประสบการณ์ ผู้เข้าชมที่ไม่ซ้ำแสดงอยู่ที่นี่

การแปลง

ซึ่งแสดงถึงจำนวน Conversion ทั้งหมดสำหรับแต่ละเป้าหมาย/รูปแบบต่างๆ การกระทำใดๆ ที่คุณต้องการให้ผู้ใช้ทำเรียกว่า Conversion ขึ้นอยู่กับเว็บไซต์ของคุณ ซึ่งอาจรวมถึงทุกอย่างตั้งแต่การคลิกปุ่มไปจนถึงการซื้อ

อัตราการแปลง

คอลัมน์นี้แสดงเปอร์เซ็นต์ของผู้เข้าชมที่เปลี่ยนเป็น Conversion

ระดับความเชื่อมั่น (นัยสำคัญทางสถิติ)

เมื่อตีความผลลัพธ์ A/B ของคุณ นัยสำคัญทางสถิติเป็นแนวคิดที่สำคัญที่สุด

คอลัมน์นี้ระบุว่าช่วงความเชื่อมั่นของอัตรา Conversion สำหรับรูปแบบการทดสอบแตกต่างจากเดิมอย่างไร หากความเชื่อมั่นไม่แสดงตัวเลขใดๆ นั่นเป็นเพราะ (โดยค่าเริ่มต้น) มี Conversion เป้าหมายขั้นต่ำ 5 รายการที่จำเป็นสำหรับรูปแบบแต่ละรูปแบบในการคำนวณ นอกจากนี้ยังต้องตรงตามจำนวนผู้เข้าชมขั้นต่ำที่กำหนดไว้สำหรับแต่ละรูปแบบ หากคุณเปลี่ยนการแปลงขั้นต่ำ จะต้องเป็นไปตามขั้นต่ำที่คุณเลือก

คอลัมน์นี้มีจุดสีเทา/เขียวที่ระบุว่า:

• 1 จุดสีเขียวสำหรับความมั่นใจ 75%-85%
• 2 จุดสีเขียวสำหรับความมั่นใจ 85%-95%
• 3 จุดสีเขียวเพื่อความมั่นใจ 95%-96%
• 4 จุดสีเขียวเพื่อความมั่นใจ 96%-97%
• 5 จุดสีเขียวสำหรับ 97% ขึ้นไป

กล่องพล็อต (ช่วงความเชื่อมั่น)

กล่องพล็อตหรือช่วงความเชื่อมั่นระบุช่วงของค่าที่อัตราการแปลงที่แท้จริงลดลง

เป็นความคิดที่ดีที่จะแสดงความแตกต่างที่สังเกตได้ของมูลค่าอัตรา Conversion สำหรับหน้าเดิมและหน้ารูปแบบใหม่เมื่อกล่าวถึงผลลัพธ์ และช่วงที่อัตรา Conversion สามารถลดลงได้จริง ช่วงความแตกต่างคือช่วงที่เป็นไปได้ของค่าที่ลงจุดบนมาตราส่วนเส้นจำนวน

ช่วงอัตราการแปลงสูงสุดที่เป็นไปได้จะถูกทำเครื่องหมายด้วยขีดจำกัดบนของมาตราส่วนตัวเลข และช่วงอัตราการแปลงที่น้อยที่สุดที่เป็นไปได้จะถูกทำเครื่องหมายด้วยขีดจำกัดล่างบนมาตราส่วนตัวเลข

บนมาตราส่วน คุณสามารถดูสีต่อไปนี้:

• พื้นที่สีเทา: บ่งชี้ว่าการทดสอบยังสรุปไม่ได้หรือจำเป็นต้องมีบุคคลเพิ่มเติมเพื่อประกาศผลที่ถูกต้อง
• รูปแบบที่ชนะจะถูกระบุด้วย สีเขียว
• ความแปรปรวนที่สูญเสียจะแสดงด้วย สีแดง

ในกล่องพล็อต ให้จับตาดูการทับซ้อนระหว่างอัตรา Conversion ดั้งเดิมและรูปแบบต่างๆ

สมมติว่าอัตราการแปลงสำหรับต้นฉบับมีช่วงความเชื่อมั่นที่ 10-20% และอัตราการแปลงสำหรับรูปแบบที่ 1 มีช่วงความเชื่อมั่นที่ 15-25% เป็นที่น่าสังเกตว่าช่วงความเชื่อมั่นทั้งสองคาบเกี่ยวกันคือ 5% และอยู่ระหว่าง 15-20% ในบริบทนี้ เป็นไปไม่ได้ที่จะบอกได้ว่าการเปลี่ยนแปลงใน B เป็นการปรับปรุงที่สำคัญจริงหรือไม่ ด้วยเหตุนี้ หากมีการทับซ้อนของกล่องแปลง Convert จะไม่ประกาศผู้ชนะ

สถานะ

นี่จะแสดงรายงานสถานะเกี่ยวกับรูปแบบต่างๆ

กราฟ

จากที่นี่ คุณจะเข้าถึงกราฟได้สามประเภท

ด้านล่างนี้คือคำอธิบายของแต่ละรายการ:

การแปลง

• อัตราการแปลงเมื่อเวลาผ่านไป : แกน Y แสดงอัตราการแปลง แกน X แสดงเวลา แต่ละบรรทัดแสดงถึงรูปแบบต่างๆ (อัตรา Conversion สะสม) + หนึ่งรายการสำหรับอัตรา Conversion ของการทดสอบทั้งหมด (ค่าเฉลี่ยของรูปแบบทั้งหมด) + แกนที่สอง Y ทางด้านขวา ซึ่งแสดงถึงจำนวนผู้เข้าชมสะสมภายในการทดสอบทั้งหมด
• Conversions Over Time : แกน Y แสดง Conversion, แกน X แสดงเวลา แต่ละบรรทัดแสดงถึงรูปแบบต่างๆ (Conversion) + บรรทัดหนึ่งสำหรับ Conversion ของการทดสอบทั้งหมด (Conversion เฉลี่ยของรูปแบบทั้งหมด) + แกนที่สอง Y ทางด้านขวา ซึ่งแสดงถึงจำนวน Conversion สะสมภายในการทดสอบทั้งหมด
• อัตรา Conversion รายวันเมื่อเวลาผ่านไป : อัตรา Conversion ที่ไม่สะสม – คล้ายกับกราฟอัตรา Conversion เมื่อเวลาผ่านไป ยกเว้นแกน Y ไม่แสดงผู้เข้าชมสะสม และใช้ API แบบไม่สะสม
• การปรับปรุงเมื่อเวลาผ่านไป : การปรับปรุงอัตรา Conversion ในแต่ละวันบนแกน X และกำหนดเส้นแต่ละรูปแบบ (แต่ไม่ใช่รูปแบบเดิม)
• ผู้เข้าชมรายวันเมื่อเวลาผ่านไป

สินค้า

• ผลิตภัณฑ์ต่อผู้เข้าชม : ผลิตภัณฑ์ที่สั่งซื้อเฉลี่ยสะสมต่อผู้เข้าชม – แกน Y แสดงผลิตภัณฑ์ที่สั่งซื้อโดยเฉลี่ยต่อผู้เข้าชม แกน X แสดงเวลา แต่ละบรรทัดแสดงถึงรูปแบบต่างๆ (ผลิตภัณฑ์ที่สั่งซื้อโดยเฉลี่ยสะสมต่อผู้เข้าชม) + บรรทัดหนึ่งสำหรับผลิตภัณฑ์ที่สั่งซื้อโดยเฉลี่ยต่อผู้เข้าชมของการทดสอบทั้งหมด (ค่าเฉลี่ยของรูปแบบทั้งหมด) + แกนที่สอง Y ทางด้านขวาซึ่งแสดงถึงจำนวนผู้เข้าชมสะสมภายในการทดสอบทั้งหมด .
• สินค้ารายวันต่อผู้เข้าชม : สินค้าสั่งซื้อเฉลี่ยไม่สะสมต่อผู้เข้าชม
• การปรับปรุงเมื่อเวลาผ่านไป : การปรับปรุงผลิตภัณฑ์ตามวันบนแกน X และเรียงเส้นแต่ละรูปแบบ (แต่ไม่ใช่ต้นฉบับ)
• ผู้เข้าชมรายวันเมื่อเวลาผ่านไป

รายได้

• รายได้ในช่วงเวลา : รายได้เฉลี่ยสะสมต่อผู้เข้าชม – แกน Y แสดงรายได้เฉลี่ยต่อผู้เข้าชม แกน X แสดงเวลา แต่ละบรรทัดแสดงถึงหนึ่งรูปแบบ (รายได้เฉลี่ยต่อผู้เข้าชม) + หนึ่งรายการสำหรับรายได้เฉลี่ยต่อผู้เข้าชมของการทดสอบทั้งหมด (ค่าเฉลี่ยของรูปแบบทั้งหมด) + แกนที่สอง Y ทางด้านขวา ซึ่งแสดงถึงจำนวนผู้เข้าชมสะสมภายในการทดสอบทั้งหมด
• รายได้รายวันต่อผู้เข้าชม : รายได้เฉลี่ยไม่สะสมต่อผู้เข้าชม
• การปรับปรุงเมื่อเวลาผ่านไป : การปรับปรุงรายได้ตามวันบนแกน X และกำหนดรูปแบบแต่ละรูปแบบ (แต่ไม่ใช่ต้นฉบับ)
• ผู้เข้าชมเมื่อเวลาผ่านไป

วางเมาส์เหนือกราฟ

การวางเมาส์เหนือกราฟจะแสดงอัตรา Conversion ของรูปแบบต่างๆ ทั้งหมดในวันนั้นและอัตรา Conversion ของรูปแบบต่างๆ เมื่อเทียบกับรูปแบบเดิม:

ค่าเบี่ยงเบนมาตรฐานของจอแสดงผล

คุณยังสามารถเลือกช่องทำเครื่องหมายเพื่อแสดงค่าเบี่ยงเบนมาตรฐาน (เรียกอีกอย่างว่าข้อผิดพลาดมาตรฐาน):

สูตรทางสถิติ แปลงการใช้

หมายเหตุ: คำศัพท์ทางสถิติครอบคลุม อยู่ในบล็อก อื่น ดังนั้นเราจะไม่ทำซ้ำที่นี่ จุดประสงค์ของเราคือพูดถึงการใช้สูตรทางคณิตศาสตร์ที่ Convert ใช้

Convert ใช้การทดสอบ Z แบบสองทางที่ใช้บ่อยที่ระดับความเชื่อมั่น .05 (95%) นั่นคือ 0.025 สำหรับแต่ละหางที่มีการแจกแจงสมมาตรปกติพร้อมตัวเลือกในการเปลี่ยนแปลงระหว่าง 80% -99%

เราจะเพิ่ม สถิติแบบเบย์ ในรายงานการแปลงในเร็วๆ นี้ คอยติดตามข้อมูลเพิ่มเติม

ควรใช้การทดสอบแบบสองด้านเมื่อเราต้องการหาความแตกต่างที่มีนัยสำคัญทางสถิติ ในทุกทิศทาง (การยกขึ้นหรือลดลง) เป้าหมายในที่นี้คือการพิจารณาว่ารูปแบบดังกล่าวทำให้ Conversion เพิ่มขึ้นหรือลดลงอย่างมีนัยสำคัญทางสถิติหรือไม่

อัตราการแปลง

สูตรนี้ใช้ในการคำนวณอัตราการแปลงสำหรับแต่ละรูปแบบ:

(จำนวนรวมของเป้าหมายการแปลง / จำนวนผู้เข้าชมที่ไม่ซ้ำ) * 100

อัตราการแปลงการเปลี่ยนแปลงสำหรับรูปแบบต่างๆ

เปอร์เซ็นต์การเปลี่ยนแปลงของอัตราการแปลงระหว่างรูปแบบประสบการณ์และรูปแบบเดิมคำนวณดังนี้:

ช่วงความเชื่อมั่น

ใช้วิธีการทางสถิติในการคำนวณช่วงความเชื่อมั่นรอบอัตรา Conversion สำหรับแต่ละรูปแบบ

ข้อผิดพลาดมาตรฐาน (สำหรับ 1 ส่วนเบี่ยงเบนมาตรฐาน) คำนวณโดยใช้วิธี Wald สำหรับการแจกแจงแบบทวินาม ดังนั้น สำหรับอัตราการแปลงที่กำหนด ( p ) และขนาดตัวอย่าง (จำนวนผู้เข้าชมที่ไม่ซ้ำ) ข้อผิดพลาดมาตรฐานจะถูกคำนวณเป็น

ข้อผิดพลาดมาตรฐานคำนวณโดยใช้สูตรนี้ ซึ่งถือว่าการแจกแจงแบบทวินามสามารถประมาณได้ด้วยการแจกแจงแบบปกติ (เนื่องจากทฤษฎีบทขีดจำกัดกลาง ). การกระจายตัวอย่างสามารถประมาณได้ด้วยการแจกแจงแบบปกติเมื่อมี Conversion มากกว่า 10 รายการในเป้าหมายเฉพาะ

ในการกำหนดช่วงความเชื่อมั่นสำหรับอัตราการแปลง ให้คูณข้อผิดพลาดมาตรฐานกับเปอร์เซ็นไทล์ที่ 95 ของการแจกแจงแบบปกติมาตรฐาน (ค่าคงที่เท่ากับ 1.65)

กล่าวอีกนัยหนึ่ง คุณสามารถมั่นใจด้วยความมั่นใจ 90% ว่าอัตราการแปลงที่แท้จริงของคุณ p อยู่ในช่วงนี้:

Z-Score

เมื่อใช้คะแนน Z เราสามารถระบุได้ว่าผลลัพธ์มีนัยสำคัญหรือไม่ (อัตราการแปลงไม่แตกต่างกันเนื่องจากการแปรผันแบบสุ่ม):

Z-Score คือจำนวนส่วนเบี่ยงเบนมาตรฐานระหว่างค่าเฉลี่ยดั้งเดิมและค่าความแปรปรวน เมื่อใช้การแจกแจงแบบปกติมาตรฐาน นัยสำคัญ 95% ถูกกำหนดเมื่อจำนวนเหตุการณ์การดูมากกว่า 1,000 และตรงตามเกณฑ์ข้อใดข้อหนึ่งต่อไปนี้:

• ความน่าจะเป็น (ZScore) > 95%
• ความน่าจะเป็น (ZScore) < 5%

การปรับปรุง

โอกาสที่จะแตกต่าง (แสดงในรายงาน) มาจากค่าความน่าจะเป็น (Z-Score) โดยที่:

• ถ้า
  
  ความน่าจะเป็น (ZScore) <= 0.5
  
  แล้ว
  การปรับปรุง = 1- ความน่าจะเป็น (ZScore)
  

• ถ้า
  
  ความน่าจะเป็น (ZScore) > 0.5
  
  แล้ว
  การปรับปรุง = ความน่าจะเป็น (ZScore)

สิ่งที่ต้องมองหาเมื่อแปลรายงานประสบการณ์

เมื่อคุณคุ้นเคยกับส่วนรายงานประสบการณ์การแปลงทั้งหมดและสูตรทางสถิติแล้ว ให้ลองตีความรายงานประสบการณ์ที่แตกต่างกันสองสามฉบับและดูว่าคุณจะได้อะไรจากสิ่งเหล่านี้

ข้อมูลประสบการณ์มีความสำคัญหรือไม่?

ก่อนที่คุณจะประเมินผลลัพธ์และตัดสินใจว่าจะทำอย่างไรต่อไป ตรวจสอบให้แน่ใจว่าข้อมูลประสบการณ์มีความสำคัญ เมื่อใช้ "ระดับความเชื่อมั่น" ในรายงานประสบการณ์การแปลง คุณจะระบุได้ว่าสิ่งที่ค้นพบนั้นเกิดจากโอกาสหรือผลสะท้อนที่แท้จริงของพฤติกรรมของผู้ใช้

ระดับนัยสำคัญ 95% หมายความว่าคุณมั่นใจ 95% ว่าข้อสรุปที่สังเกตได้ไม่ได้เกิดจากความบังเอิญ มันยังบอกเป็นนัยว่ามีโอกาส 5% ที่คุณคิดผิด

อีกวิธีหนึ่ง คุณอาจนึกถึงระดับความมั่นใจว่ามีโอกาสได้ผลลัพธ์ที่ต่างออกไป หากคุณทำการทดสอบซ้ำ

หากคุณได้รับคะแนนความมั่นใจ 90% มีความเป็นไปได้ 1 ใน 10 ที่คุณจะได้รับคำตอบที่ต่างออกไปหากคุณทำแบบทดสอบซ้ำ ด้วยความมั่นใจ 95% มีโอกาส 1 ใน 20 ในขณะที่ความมั่นใจ 99% มีโอกาส 1 ใน 100

รูปแบบที่ชนะ: ผลกระทบเชิงบวก

นี่คือตัวอย่างการเปลี่ยนแปลงที่สำคัญซึ่งทำได้ดีกว่ารูปแบบเดิมและส่งผลให้มีการปรับปรุงในเชิงบวก

สำหรับเป้าหมาย "ปรับแต่งการสมัครรับข้อมูล - การดูหน้าเว็บขั้นตอนที่ 1" รูปแบบที่ 1 มีโอกาส 98.7% ที่จะเอาชนะรูปแบบ 0 (ดั้งเดิม) ในประสบการณ์นี้ แผนภาพกล่องแสดงให้เห็นว่าการเลือกรูปแบบ 1 สามารถส่งผลให้มีการปรับปรุงมากกว่าเดิม 13.73% +- 0.6%

ในประสบการณ์นี้ บอกได้เลยว่าการปรับปรุงคือ +7.20% แต่มีโอกาสเท่ากันที่อัตราการแปลงจะอยู่ระหว่าง 13.73% +- 0.6% ไม่ว่าสถานการณ์จะเป็นเช่นไร Variation 1 จะปรับปรุงให้ดีขึ้นกว่า Original ดังนั้นนี่จึงเป็นข้อบ่งชี้ที่ชัดเจนในการนำไปใช้!

ทำไม

หากประสบการณ์เดิมซ้ำ 10,000 ครั้งภายใต้เงื่อนไขที่เหมือนกัน รูปแบบที่ 1 จะยังคงชนะ 9,870 ครั้งจาก 10,000 ครั้ง

การสูญเสียการเปลี่ยนแปลง: ผลกระทบเชิงลบ

มาดูผลลัพธ์ของประสบการณ์สำคัญๆ กันดีกว่า ซึ่งรูปแบบที่ 1 ไม่ได้ส่งผลให้มีการปรับปรุงในเชิงบวก แต่กลับมีอิทธิพลในทางลบต่ออัตรา Conversion ของรูปแบบ 0 (ดั้งเดิม) แทน

จากประสบการณ์นี้ มีโอกาส 98.87% ที่รูปแบบ 1 จะสูญเสียอัตรา Conversion มากกว่ารูปแบบ 0 ผลกระทบด้านลบต่ออัตรา Conversion ของรูปแบบเดิมระหว่าง 4.5% +- 1% สามารถคาดหวังได้ด้วยรูปแบบที่ 1

ผลลัพธ์ที่สรุปไม่ได้: ผลกระทบที่เป็นกลาง

ทีนี้มาดูประสบการณ์ที่ไม่สำคัญกัน จากประสบการณ์ด้านล่าง ไม่มีรูปแบบใดที่มีโอกาสสูงพอที่จะชนะหรือมีโอกาสมากกว่า 95%

ความน่าจะเป็นของรูปแบบที่ 1 ที่จะชนะรูปแบบ 0 นั้นมีเพียง 84.58% ในประสบการณ์นี้

ขั้นตอนต่อไปที่คุณสามารถทำได้คืออะไร?

มีตัวเลือกมากมายให้เลือก ซึ่งทั้งหมดขึ้นอยู่กับสมมติฐานและเป้าหมายสูงสุดของประสบการณ์ ไม่ว่าในกรณีใด จะมีตัวเลือกสองสามอย่างบนโต๊ะเสมอ:

• ขยายกลุ่มเป้าหมายของคุณ หากกลุ่มผู้เข้าชมของคุณมีจำกัด ให้ลองเน้นที่กลุ่มที่มีผู้ชมจำนวนมากขึ้น
• ลบรูปแบบบางส่วนออก ตัวอย่างเช่น หากคุณได้พัฒนารูปแบบต่างๆ สี่รูปแบบ ให้ลองใช้ประสบการณ์เดียวกันกับรูปแบบต่างๆ สองหรือสามรูปแบบ
• ปล่อยให้มันทำงานเป็นเวลานานขึ้น
• ทำตามสัญชาตญาณและเลือกสิ่งที่สอดคล้องกับแบรนด์ของคุณมากที่สุด หากผลลัพธ์มีความคล้ายคลึงกันในสองรูปแบบ และเพื่อนร่วมงานของคุณเห็นด้วยว่ารูปแบบหนึ่งสอดคล้องกับความต้องการของแบรนด์ของคุณมากกว่ารูปแบบอื่น คุณอาจเลือกที่จะเลือกรูปแบบหนึ่งเป็นผู้ชนะ
• เปิดประสบการณ์ใหม่อีกครั้ง การรันการทดสอบเดียวกันสองครั้งเพื่อตรวจสอบความถูกต้องหรือทำให้ผลลัพธ์เริ่มต้นเป็นโมฆะเป็นแนวทางปฏิบัติที่ชาญฉลาด เนื่องจากสถานการณ์ไม่น่าจะเหมือนเดิม (ช่วงเวลาที่แตกต่างกัน ความผันผวนของการจราจร ฯลฯ ) ผลลัพธ์อาจแตกต่างกันไป!
• ปล่อยให้มันเป็น เป็นไปได้ว่าต้นฉบับของคุณได้รับการปรับให้เหมาะสมแล้ว

มีการกระจายปริมาณการใช้งานที่สม่ำเสมอหรือไม่?

เมื่อคุณตั้งค่าประสบการณ์ A/B คุณจะกำหนดเปอร์เซ็นต์ของการเข้าชมให้กับแต่ละรูปแบบ (โดยค่าเริ่มต้น 50/50)

จำนวนผู้เข้าชมควรแสดงถึงการแยกการเข้าชมที่คาดการณ์ไว้

ในกรณีที่มีความแตกต่างอย่างมีนัยสำคัญ เกือบจะแน่นอนว่ามีอัตราส่วนตัวอย่างที่ไม่ตรงกัน (SRM)

ในการแบ่งแบบ 50/50 หากคุณมีผู้เข้าชม 400 คนในด้านหนึ่งและอีก 600 คนในอีกด้านหนึ่ง ผลลัพธ์จะไม่น่าเชื่อถือ เมื่อสิ่งนี้เกิดขึ้น ก็ถึงเวลาพิจารณาการตั้งค่าประสบการณ์ A/B ของคุณ ผลลัพธ์อาจบิดเบือนโดยค่าผิดปกติ เช่น ที่อยู่ IP ภายในหรือบ็อตภายนอก

จำไว้ว่าข้อมูลนั้นดีพอๆ กับการวิเคราะห์ที่คุณทำกับมันเท่านั้น ใช้ประโยชน์จากเครื่องมือทั้งหมดที่คุณมี รวมถึงการรายงานเชิงลึกของ Convert Experiences เพื่อให้ได้ข้อมูลเชิงลึกที่ถูกต้องและนำไปปฏิบัติได้

หากคุณยังไม่มีบัญชี ลงทะเบียนเพื่อทดลองใช้งานฟรีและทดลองใช้งานเป็นเวลา 15 วัน คุณจะสามารถเข้าถึงคุณสมบัติเจ๋ง ๆ ทั้งหมดที่เราพูดถึงในโพสต์นี้ และอีกมากมาย และหากคุณมีคำถามหรือต้องการความช่วยเหลือในการเริ่มต้น ทีมงานของเราพร้อมให้ความช่วยเหลือ