การทดสอบประเภทต่างๆ ทั้งหมดที่คุณสามารถเรียกใช้บนไซต์ของคุณ (+ เมื่อใดควรเรียกใช้)

เผยแพร่แล้ว: 2022-09-20
การทดสอบประเภทต่างๆ ทั้งหมดที่คุณสามารถเรียกใช้บนไซต์ของคุณ (+ เมื่อใดควรเรียกใช้)

โลกของการทดลองได้ก้าวไปไกลกว่าการทดสอบ A/B แบบสีปุ่มธรรมดา

พวกเขาอาจมีที่ในพอร์ตโฟลิโอของการทดสอบที่คุณดำเนินการอยู่ แต่หวังว่า ณ จุดนี้ สิ่งเหล่านี้จะไม่มีความหมายเหมือนกันกับการทดลองหรือ CRO

การทดลองอาจยิ่งใหญ่กว่านั้นมาก

ด้วยการใช้การทดสอบประเภทต่างๆ เราสามารถเรียนรู้เกี่ยวกับความแปรปรวนในเว็บไซต์ของเรา ทดสอบประสบการณ์แปลกใหม่ ค้นพบเส้นทางของหน้าใหม่ ก้าวกระโดดครั้งใหญ่หรือก้าวเล็กๆ และระบุองค์ประกอบที่ผสมผสานกันอย่างเหมาะสมบนหน้าเว็บ

สิ่งที่คุณหวังว่าจะได้เรียนรู้จากการทดลองควรสะท้อนให้เห็นในการออกแบบ และการออกแบบการทดลองทำได้มากกว่าแค่การทดสอบ A กับ B โดยใช้สมมติฐานที่เป็นรูปธรรม

อันที่จริง มีสาขาย่อยทั้งหมดของการศึกษาที่เรียกว่าการออกแบบการทดลอง (DoE) ซึ่งครอบคลุมเรื่องนี้

ซ่อน
  • การออกแบบการทดลอง: บทนำสู่การออกแบบการทดลอง
  • การทดลองทั่วไป 16 ประเภท
    • 1. การทดสอบ A/A
    • 2. การทดสอบ A/B อย่างง่าย
    • 3. แบบทดสอบ A/B/n
    • 4. การทดสอบหลายตัวแปร
    • 5. การทดสอบการกำหนดเป้าหมาย
    • 6. การทดสอบโจร
    • 7. อัลกอริธึมวิวัฒนาการ
    • 8. การทดสอบเส้นทางแยกหน้า
    • 9. การทดสอบการดำรงอยู่
    • 10. การทดสอบประตูทาสี
    • 11. การทดสอบการค้นพบ
    • 12. การทดสอบซ้ำ
    • 13. การทดสอบนวัตกรรม
    • 14. การทดสอบที่ไม่ด้อยกว่า
    • 15. ฟีเจอร์แฟล็ก
    • 16. การทดลองเสมือน
  • บทสรุป

การออกแบบการทดลอง: บทนำสู่การออกแบบการทดลอง

การออกแบบการทดลอง (DoE) เป็นวิธีการทางวิทยาศาสตร์ที่ใช้ในการกำหนดความสัมพันธ์ระหว่างปัจจัยที่ส่งผลต่อกระบวนการและผลลัพธ์ของกระบวนการนั้น

การออกแบบการทดลอง
ที่มาของภาพ

Design of Experiments เป็นแนวคิดที่ Ron Fisher นักสถิตินิยมในช่วงทศวรรษที่ 1920 และ 1930

DoE ช่วยให้เราเข้าใจว่าตัวแปรอินพุตต่างๆ ส่งผลต่อเอาต์พุตของกระบวนการอย่างไร โดยการเปลี่ยนอินพุตอย่างเป็นระบบและสังเกตการเปลี่ยนแปลงผลลัพธ์ในเอาต์พุต แนวทางนี้สามารถใช้เพื่อเพิ่มประสิทธิภาพกระบวนการ พัฒนาผลิตภัณฑ์หรือคุณลักษณะใหม่ หรือเรียนรู้ว่าองค์ประกอบใดทำงานร่วมกันได้ดีที่สุด

ในด้านการตลาด เราใช้ DoE เพื่อปรับปรุงความเข้าใจว่าองค์ประกอบต่างๆ ในเพจ (ปัจจัย) ส่งผลต่ออัตราการแปลง (ผลลัพธ์) อย่างไร ด้วยการออกแบบการทดสอบอย่างมีประสิทธิภาพ เราสามารถระบุได้ว่าองค์ประกอบใดที่มีผลกระทบมากที่สุดต่ออัตราการแปลง

มีการทดสอบหลายประเภท และแต่ละประเภทสามารถใช้เพื่อเรียนรู้สิ่งต่าง ๆ เกี่ยวกับเว็บไซต์หรือแอปของคุณ

ในบทความนี้ ผมจะพูดถึงการทดลอง 16 ประเภท

Nitpickers อาจสังเกตว่าสิ่งเหล่านี้ไม่ใช่การออกแบบการทดลองที่แตกต่างกันโดยพื้นฐานทั้งหมด ค่อนข้างจะ "ประเภท" ที่แตกต่างกันเนื่องจากวิธีสร้างสมมติฐานของคุณหรือกรอบงานใดที่สนับสนุนเหตุผลของคุณในการทำการทดสอบ

นอกจากนี้ บางส่วนยังไม่ใช่ "การทดลอง" แต่อย่างใด แต่เป็นกฎการปรับให้เหมาะสมที่สร้างจากโมเดลการเรียนรู้ของเครื่อง

อย่างไรก็ตาม แต่ละข้อต่อไปนี้มีจุดประสงค์ที่แตกต่างกันและสามารถดูได้ว่าเป็นเครื่องมือพิเศษในชุดเครื่องมือของผู้ทดลอง

การทดลองทั่วไป 16 ประเภท

มีการทดสอบที่มีการควบคุมหลายประเภทที่คุณสามารถเรียกใช้บนเว็บไซต์ของคุณได้ แต่ต่อไปนี้คือการทดสอบทั่วไป 16 แบบ:

1. การทดสอบ A/A
2. การทดสอบ A/B อย่างง่าย
3. การทดสอบ A/B/n
4. การทดสอบหลายตัวแปร
5. การทดสอบการกำหนดเป้าหมาย
6. การทดสอบโจร
7. อัลกอริธึมวิวัฒนาการ
8. แยกหน้าทดสอบเส้นทาง
9. การทดสอบการดำรงอยู่
10. การทดสอบประตูทาสี
11. การทดสอบการค้นพบ
12. การทดสอบที่เพิ่มขึ้น
13. การทดสอบนวัตกรรม
14. การทดสอบที่ไม่ด้อยกว่า
15. คุณสมบัติแฟล็ก
16. การทดลองเสมือน

1. การทดสอบ A/A

การทดสอบเพื่อใช้งานบนเว็บไซต์ของคุณ การทดสอบ A/A

การทดสอบ A/A เป็นแนวคิดง่ายๆ คุณกำลังทดสอบหน้าเว็บสองเวอร์ชันที่เหมือนกัน

ทำไมคุณถึงทำเช่นนี้?

มีเหตุผลหลายประการ ส่วนใหญ่คือการแสวงหาการสอบเทียบและทำความเข้าใจข้อมูลพื้นฐาน พฤติกรรมผู้ใช้ และกลไกการสุ่มของเครื่องมือทดสอบของคุณ การทดสอบ A/A สามารถช่วยคุณได้:

  • กำหนดระดับความแปรปรวนในข้อมูลของคุณ
  • ระบุข้อผิดพลาดในการสุ่มตัวอย่างภายในเครื่องมือทดสอบของคุณ
  • กำหนดอัตรา Conversion พื้นฐานและรูปแบบข้อมูล

การทำการทดสอบ A/A นั้นเป็นเรื่องที่ถกเถียงกันอย่างน่าประหลาด บางคนสาบานด้วยมัน บ้างก็ว่าเสียเวลา

ใช้เวลาของฉัน? มันอาจจะคุ้มค่าที่จะเรียกใช้อย่างน้อยหนึ่งครั้ง ด้วยเหตุผลทั้งหมดที่กล่าวมา อีกเหตุผลหนึ่งที่ฉันชอบทำการทดสอบ A/A คือการอธิบายสถิติสำหรับมือใหม่ในการทดสอบ

เมื่อคุณแสดงการทดลองที่ "สำคัญ" ให้กับผู้อื่นโดยรวบรวมข้อมูลเป็นเวลาสองวัน เพียงเพื่อเปิดเผยในภายหลังว่าเป็นการทดสอบ A/A ผู้มีส่วนได้ส่วนเสียมักจะเข้าใจว่าเหตุใดคุณจึงควรเรียกใช้การทดสอบจนเสร็จสิ้น

หากคุณต้องการอ่านเพิ่มเติมเกี่ยวกับการทดสอบ A/A (จริงๆ แล้วเป็นหัวข้อที่ใหญ่มาก) Convert มีคำแนะนำเชิงลึกเกี่ยวกับการทดสอบ

กรณีใช้งาน: การสอบเทียบและการพิจารณาความแปรปรวนของข้อมูล การตรวจสอบข้อบกพร่องของแพลตฟอร์มการทดลอง การกำหนดอัตราการแปลงพื้นฐาน และข้อกำหนดของตัวอย่าง

2. การทดสอบ A/B อย่างง่าย

การทดสอบเพื่อรันบนเว็บไซต์ของคุณ การทดสอบ A/B

ทุกคนรู้ดีว่าการทดสอบ A/B แบบง่ายๆ คืออะไร: คุณกำลังทดสอบหน้าเว็บสองเวอร์ชัน เวอร์ชันหนึ่งมีการเปลี่ยนแปลงและอีกเวอร์ชันหนึ่งไม่มี

การทดสอบ A/B คือขนมปังและเนยของการทดลอง ตั้งค่าได้ง่ายและเข้าใจง่าย แต่ยังใช้เพื่อทดสอบการเปลี่ยนแปลงครั้งใหญ่ได้อีกด้วย

การทดสอบ A/B มักใช้เพื่อทดสอบการเปลี่ยนแปลงบนอินเทอร์เฟซผู้ใช้ และเป้าหมายของการทดสอบ A/B แบบง่ายๆ คือการปรับปรุงอัตราการแปลงในหน้าที่กำหนดเกือบทุกครั้ง

อย่างไรก็ตาม อัตราการแปลงเป็นตัวชี้วัดทั่วไปที่ครอบคลุมทุกสัดส่วน เช่น อัตราการเปิดใช้งานของผู้ใช้ผลิตภัณฑ์ใหม่ อัตราการสร้างรายได้ของผู้ใช้ freemium อัตราการแปลงลูกค้าเป้าหมายบนเว็บไซต์ และอัตราการคลิกผ่าน

ด้วยการทดสอบ A/B แบบง่ายๆ คุณจะมีสมมติฐานเอกพจน์และเปลี่ยนองค์ประกอบทีละรายการเพื่อเรียนรู้เกี่ยวกับองค์ประกอบเชิงสาเหตุของการเปลี่ยนแปลงให้มากที่สุด นี่อาจเป็นบางอย่างเช่นการเปลี่ยนพาดหัว สีของปุ่มหรือการเปลี่ยนขนาด การเพิ่มหรือลบวิดีโอ หรืออะไรก็ได้

ภาพประกอบการทดสอบ A/B

เมื่อเราพูดว่า "การทดสอบ A/B" เรามักใช้คำทั่วไปเพื่อรวมประเภทการทดสอบที่เหลือส่วนใหญ่ที่ฉันจะแสดงในโพสต์นี้ มักใช้เป็นคำศัพท์ในร่มเพื่อหมายถึง "เราเปลี่ยน *บางสิ่ง* - องค์ประกอบใหญ่ เล็ก หรือหลายองค์ประกอบ - เพื่อปรับปรุงเมตริก"

ใช้กรณี: มากมาย! ปกติแล้วจะเป็นการทดสอบการเปลี่ยนแปลงของประสบการณ์ดิจิทัลโดยอาศัยสมมติฐานที่เป็นรูปธรรม โดยทั่วไปแล้วการทดสอบ A/B จะดำเนินการโดยมีจุดประสงค์เพื่อปรับปรุงเมตริก แต่ยังเพื่อเรียนรู้เกี่ยวกับการเปลี่ยนแปลงใดๆ ที่เกิดขึ้นในพฤติกรรมของผู้ใช้ด้วยการแทรกแซง

3. แบบทดสอบ A/B/n

การทดสอบ A/B/n

การทดสอบ A/B/n นั้นคล้ายกับการทดสอบ A/B มาก แต่แทนที่จะทดสอบหน้าเว็บสองเวอร์ชัน คุณกำลังทดสอบหลายเวอร์ชัน

การทดสอบ A/B/n มีความคล้ายคลึงกัน ในบางวิธี การทดสอบหลายตัวแปร (ซึ่งฉันจะสำรวจต่อไป) อย่างไรก็ตาม แทนที่จะเป็นการทดสอบแบบ "หลายตัวแปร" ฉันจะพิจารณาว่านี่เป็นการทดสอบแบบหลายตัวแปร

การทดสอบหลายตัวแปรมีประโยชน์ในการทำความเข้าใจความสัมพันธ์ระหว่างองค์ประกอบต่างๆ ในหน้า ตัวอย่างเช่น หากคุณต้องการทดสอบพาดหัว รูปภาพ และคำอธิบายต่างๆ ในหน้าผลิตภัณฑ์ และต้องการดูว่าชุดค่าผสมใดที่ดูเหมือนว่าจะโต้ตอบได้ดีที่สุด คุณจะต้องใช้การทดสอบหลายตัวแปร

การทดสอบ A/B/n มีประโยชน์สำหรับการทดสอบองค์ประกอบเดียวหลายเวอร์ชัน และไม่สนใจผลการโต้ตอบระหว่างองค์ประกอบมากนัก

ตัวอย่างเช่น หากคุณต้องการทดสอบพาดหัวที่แตกต่างกันสามรายการในหน้า Landing Page คุณจะต้องใช้การทดสอบ A/B/n หรือคุณอาจทดสอบหน้าเว็บเจ็ดเวอร์ชันที่ต่างกันโดยสิ้นเชิงก็ได้ เป็นเพียงการทดสอบ A/B ที่มีการทดสอบมากกว่าสองครั้ง

การทดสอบ A/B/n เป็นทางเลือกที่ดีเมื่อคุณมีการเข้าชมจำนวนมาก และต้องการทดสอบตัวแปรต่างๆ อย่างมีประสิทธิภาพ แน่นอนว่าต้องแก้ไขสถิติสำหรับตัวแปรหลายตัว นอกจากนี้ยังมีการถกเถียงกันมากมายเกี่ยวกับจำนวนตัวแปรที่ควรรวมไว้ในการทดสอบ A/B/n

บ่อยครั้ง คุณสามารถผลักดันตัวแปรที่เป็นต้นฉบับและสร้างสรรค์มากขึ้นเมื่อทดสอบประสบการณ์หลายๆ อย่างพร้อมกัน แทนที่จะทำซ้ำในการทดสอบ A/B ง่ายๆ หลายๆ รายการ

กรณีใช้งาน: เมื่อคุณมีปริมาณการใช้งาน ตัวแปรหลายแบบก็เหมาะสำหรับการทดสอบประสบการณ์ที่หลากหลายหรือการทำซ้ำองค์ประกอบหลายๆ อย่าง

4. การทดสอบหลายตัวแปร

การทดสอบหลายตัวแปรหรือ MVT

การทดสอบหลายตัวแปรคือการทดสอบที่มีการเปลี่ยนแปลงหลายอย่าง ในกรณีที่การทดสอบ A/B/n เป็นการทดสอบเวอร์ชันผสมของตัวแปรแต่ละตัวเทียบกับตัวแปรอื่นๆ การทดสอบหลายตัวแปรยังมีจุดมุ่งหมายเพื่อกำหนดผลการโต้ตอบระหว่างองค์ประกอบที่ทดสอบ

ตัวอย่างเช่น ลองนึกภาพว่าคุณกำลังออกแบบหน้าแรกใหม่ คุณได้ทำการวิจัยเกี่ยวกับคอนเวอร์ชั่นและพบปัญหาความชัดเจนในหัวข้อข่าวของคุณ แต่คุณก็มีสมมติฐานบางอย่างเกี่ยวกับระดับคอนทราสต์และความชัดเจนใน CTA ของคุณ

คุณไม่เพียงแต่สนใจที่จะปรับปรุงองค์ประกอบทั้งสองอย่างแยกกันเท่านั้น แต่ประสิทธิภาพขององค์ประกอบเหล่านี้ยังอาจขึ้นอยู่กับ ดังนั้น คุณจึงต้องการดูว่าชุดค่าผสมของหัวข้อใหม่และ CTA ใดทำงานได้ดีที่สุด

ภาพประกอบการทดสอบหลายตัวแปร

การออกแบบการทดลองมีความซับซ้อนมากขึ้นเมื่อคุณเข้าสู่อาณาเขตหลายตัวแปร มีการตั้งค่าการทดสอบหลายตัวแปรหลายประเภท รวมถึงการออกแบบแฟกทอเรียลแบบเต็ม การออกแบบแฟกทอเรียลบางส่วนหรือเศษส่วน และการทดสอบ Taguchi

และในแง่ของสามัญสำนึกทางสถิติ การทดสอบหลายตัวแปรนั้นแทบจะต้องมีการรับส่งข้อมูลมากกว่าการทดสอบ A/B แบบธรรมดา องค์ประกอบหรือประสบการณ์เพิ่มเติมแต่ละรายการที่คุณเปลี่ยนแปลงจะเพิ่มปริมาณการเข้าชมที่คุณต้องการเพื่อให้ได้ผลลัพธ์ที่ถูกต้อง

กรณีใช้งาน: การทดลองหลายตัวแปรดูเหมือนจะเป็นประโยชน์อย่างยิ่งต่อการเพิ่มประสิทธิภาพประสบการณ์โดยการปรับเปลี่ยนตัวแปรเล็กๆ หลายตัว เมื่อใดก็ตามที่คุณต้องการกำหนดชุดองค์ประกอบที่เหมาะสมที่สุด ควรพิจารณาการทดสอบหลายตัวแปร

5. การทดสอบการกำหนดเป้าหมาย

การทดสอบการกำหนดเป้าหมาย

การทดสอบการกำหนดเป้าหมาย หรือที่รู้จักกันดีในชื่อการปรับเปลี่ยนในแบบของคุณ ล้วนเกี่ยวกับการแสดงข้อความที่ถูกต้องไปยังบุคคลที่ใช่ในเวลาที่เหมาะสม

ด้วยการทดสอบการกำหนดเป้าหมาย คุณสามารถสร้างเวอร์ชันต่างๆ ของเพจและแสดงแต่ละเวอร์ชันต่อกลุ่มคนที่แตกต่างกัน โดยปกติแล้ว เป้าหมายคือการเพิ่มอัตราการแปลงโดยการแสดงเนื้อหาที่เกี่ยวข้องให้ผู้ใช้แต่ละคนเห็น

โปรดทราบว่าการปรับเปลี่ยนในแบบของคุณและการทดลองไม่ใช่คำพ้องความหมาย คุณสามารถปรับเปลี่ยนประสบการณ์ในแบบของคุณโดยไม่ต้องถือว่าเป็นการทดลอง ตัวอย่างเช่น คุณสามารถตัดสินใจโดยไม่มีข้อมูลหรือตั้งใจที่จะรวบรวมข้อมูล ว่าคุณจะใช้โทเค็นชื่อในอีเมลของคุณเพื่อปรับแต่งข้อความด้วยชื่อผู้รับในแบบของคุณ

ส่วนบุคคล? ใช่. การทดลอง? เลขที่

แต่คุณยังสามารถเรียกใช้การทดสอบที่กำหนดเป้าหมายกลุ่มผู้ใช้เฉพาะได้อีกด้วย โดยเฉพาะอย่างยิ่งในการทดลองผลิตภัณฑ์ ซึ่งคุณสามารถแยกกลุ่มตามระดับราคา เวลาในการสมัคร แหล่งที่มาของการสมัคร ฯลฯ

สถิติเดียวกันนี้ใช้กับการทดสอบการปรับเปลี่ยนในแบบของคุณ ดังนั้นการเลือกกลุ่มที่มีความหมายเพื่อกำหนดเป้าหมายจึงเป็นเรื่องสำคัญ หากคุณเข้าใจได้ละเอียดเกินไป เช่น กำหนดเป้าหมายไปยังผู้ใช้ Chrome สำหรับมือถือในแคนซัสในชนบทซึ่งมีเซสชันระหว่าง 5 ถึง 6 เซสชัน ไม่เพียงแต่จะเป็นไปไม่ได้ที่จะหาจำนวนผลกระทบทางสถิติเท่านั้น แต่ยังไม่น่าจะมีผลกระทบทางธุรกิจที่มีความหมายเช่นกัน

โดยทั่วไปแล้ว การปรับเปลี่ยนในแบบของคุณจะถูกมองว่าเป็นส่วนขยายตามธรรมชาติของการทดสอบ A/B อย่างง่าย แต่ในหลาย ๆ ด้าน การปรับเปลี่ยนนี้จะทำให้เกิดความซับซ้อนใหม่ๆ มากมาย สำหรับกฎการปรับให้เป็นส่วนตัวใหม่ที่คุณใช้ นั่นคือ "จักรวาล" ใหม่ที่คุณสร้างขึ้นเพื่อให้ผู้ใช้จัดการ อัปเดต และเพิ่มประสิทธิภาพ

เครื่องมือปรับตั้งค่าส่วนบุคคลแบบคาดการณ์ล่วงหน้าช่วยให้คุณระบุกลุ่มเป้าหมายรวมถึงประสบการณ์ที่ดูเหมือนว่าจะทำงานได้ดีขึ้นกับพวกเขา มิฉะนั้น กฎการปรับให้เป็นส่วนตัวมักจะถูกระบุโดยการแบ่งส่วนหลังการทดสอบ

กรณีการใช้งาน: แยกการรักษาไปยังกลุ่มเฉพาะของฐานผู้ใช้ของคุณ

6. การทดสอบโจร

การทดสอบโจรคืออะไร?

การทดสอบโจรหรือการใช้อัลกอริธึมของโจรนั้นค่อนข้างจะเป็นเรื่องทางเทคนิค แต่โดยพื้นฐานแล้วมันแตกต่างจากการทดสอบ A/B เนื่องจากพวกเขากำลังเรียนรู้และเปลี่ยนแปลงตัวแปรที่จะแสดงต่อผู้ใช้อยู่เสมอ

การทดสอบ A/B มักจะเป็นการทดสอบ "ขอบฟ้าคงที่" (โดยมีข้อแม้ทางเทคนิคในการใช้การทดสอบตามลำดับ) ซึ่งหมายความว่าคุณกำหนดระยะเวลาทดลองใช้ไว้ล่วงหน้าเมื่อคุณทำการทดสอบ เมื่อเสร็จสิ้น คุณจะตัดสินใจเปิดตัวตัวแปรใหม่หรือเปลี่ยนกลับเป็นเวอร์ชันดั้งเดิม

การทดสอบโจรเป็นไดนามิก พวกเขาอัปเดตการจัดสรรการรับส่งข้อมูลไปยังตัวแปรแต่ละตัวอย่างต่อเนื่องตามประสิทธิภาพ

ทฤษฎีเป็นดังนี้: คุณเดินเข้าไปในคาสิโนและสะดุดกับเครื่องสล็อตหลายเครื่อง (โจรหลายอาวุธ) สมมติว่าเครื่องแต่ละเครื่องมีรางวัลต่างกัน ปัญหาโจรจะช่วย "ตัดสินใจว่าจะเล่นเครื่องไหน เล่นแต่ละเครื่องกี่ครั้ง และลำดับที่จะเล่น และจะเล่นต่อกับเครื่องปัจจุบันหรือลองใช้เครื่องอื่น"

กระบวนการตัดสินใจที่นี่แบ่งออกเป็น "การสำรวจ" ซึ่งคุณพยายามรวบรวมข้อมูลและข้อมูล และ "การแสวงหาผลประโยชน์" ซึ่งใช้ประโยชน์จากความรู้นั้นเพื่อสร้างผลตอบแทนที่สูงกว่าค่าเฉลี่ย

ดังนั้นการทดสอบแบนด์บนเว็บไซต์จึงพยายามค้นหาตัวแปรที่เหมาะสมที่สุดในแบบเรียลไทม์ และส่งปริมาณการใช้งานไปยังตัวแปรนั้นมากขึ้น

กรณีใช้งาน: การทดลองสั้น ๆ ที่มี "ความเน่าเสียง่าย" สูง (หมายถึงการเรียนรู้จากผลลัพธ์จะไม่ขยายออกไปอีกไกลในอนาคต) และการเพิ่มประสิทธิภาพแบบไดนามิกในระยะยาว "ตั้งค่าและลืมมัน"

7. อัลกอริธึมวิวัฒนาการ

อัลกอริทึมวิวัฒนาการ

อัลกอริธึมวิวัฒนาการเป็นการผสมผสานระหว่างการทดสอบหลายตัวแปรและการทดสอบแบบแบนด์ ในบริบทของการทดลองทางการตลาด อัลกอริธึมวิวัฒนาการช่วยให้คุณทดสอบตัวแปรจำนวนมากได้พร้อมกัน

เป้าหมายของอัลกอริธึมวิวัฒนาการคือการค้นหาองค์ประกอบที่ลงตัวบนหน้า พวกมันทำงานโดยการสร้าง "ประชากร" ของตัวแปรต่างๆ แล้วทดสอบพวกมันทั้งหมดเปรียบเทียบกันเอง จากนั้นตัวแปรที่ทำงานได้ดีที่สุดจะถูกนำมาใช้เป็นจุดเริ่มต้นสำหรับคนรุ่นต่อไป

ตามชื่อที่แนะนำ มันใช้การวนซ้ำแบบวิวัฒนาการเป็นแบบจำลองสำหรับการเพิ่มประสิทธิภาพ คุณมีพาดหัวข่าว ปุ่ม เนื้อหาและวิดีโอเวอร์ชันต่างๆ มากมาย และคุณรวมแต่ละเวอร์ชันเข้าด้วยกันเพื่อสร้างการกลายพันธุ์ใหม่ และพยายามกำจัดรูปแบบที่อ่อนแอออกไปแบบไดนามิก และส่งการเข้าชมไปยังรูปแบบที่แข็งแกร่งยิ่งขึ้น

มันเหมือนกับการทดสอบหลายตัวแปรกับสเตอรอยด์ แม้ว่าจะมีความโปร่งใสในเอฟเฟกต์การโต้ตอบน้อยกว่า (ดังนั้นจึงมีศักยภาพในการเรียนรู้ที่ต่ำกว่า)

การทดลองเหล่านี้ต้องการการเข้าชมเว็บไซต์เพียงเล็กน้อยจึงจะทำงานได้ดี

กรณีใช้งาน: การทดสอบหลายตัวแปรจำนวนมาก การรวมโฆษณาหลายเวอร์ชันเข้าด้วยกัน และค้นหาผู้ชนะที่โผล่ออกมาท่ามกลางชุดค่าผสมทั้งหมด

8. การทดสอบเส้นทางแยกหน้า

ภาพประกอบการทดสอบเส้นทางแยกหน้า

การทดสอบเส้นทางของหน้าแยกเป็นประเภทการทดสอบ A/B ทั่วไปเช่นกัน

แทนที่จะเปลี่ยนองค์ประกอบในหน้าเดียว คุณกำลังเปลี่ยนเส้นทางทั้งหมดที่ผู้ใช้ใช้ผ่านเว็บไซต์ของคุณ

ต้นฉบับและรูปแบบในภาพประกอบการทดสอบเส้นทางแยกหน้า

ด้วยการทดสอบเส้นทางของหน้าแยก คุณจะต้องทดสอบเว็บไซต์ ผลิตภัณฑ์ หรือช่องทางที่แตกต่างกันสองเวอร์ชัน โดยปกติแล้ว เป้าหมายคือการค้นหาเวอร์ชันที่ส่งผลให้มี Conversion หรือยอดขายเพิ่มขึ้น นอกจากนี้ยังสามารถช่วยระบุจุดออกจากกระบวนการในช่องทาง ซึ่งสามารถวิเคราะห์พื้นที่โฟกัสเพื่อการเพิ่มประสิทธิภาพเพิ่มเติมได้

โดยทั่วไป แทนที่จะเปลี่ยนสำเนาของปุ่ม คุณจะเปลี่ยนหน้าถัดไปที่ปุ่มจะส่งถึงคุณหากคุณคลิก เป็นวิธีที่มีประสิทธิภาพในการทดสอบเส้นทางของลูกค้า

กรณีใช้งาน: ระบุและปรับปรุงเส้นทางของหน้าและช่องทางผู้ใช้ในผลิตภัณฑ์หรือบนเว็บไซต์

9. การทดสอบการดำรงอยู่

ภาพประกอบการทดสอบการดำรงอยู่

การทดสอบการดำรงอยู่เป็นแนวคิดที่น่าสนใจ สิ่งที่คุณพยายามจะทำคือหาปริมาณผลกระทบ (หรือขาดสิ่งนี้) ขององค์ประกอบที่กำหนดในผลิตภัณฑ์หรือเว็บไซต์ของคุณ

ตามบทความ CXL "พูดง่ายๆ เราลบองค์ประกอบของไซต์ของคุณและดูว่าเกิดอะไรขึ้นกับอัตราการแปลงของคุณ"

กล่าวคือ คุณกำลังทดสอบเพื่อดูว่าการเปลี่ยนแปลงมีผลใดๆ หรือไม่

ในเชิงกลยุทธ์ นี่เป็นกลยุทธ์ที่ประเมินค่าต่ำเกินไป เรามักจะสมมติผ่านการวิเคราะห์พฤติกรรมของเราเองหรือผ่านการวิจัยเชิงคุณภาพ ซึ่งองค์ประกอบที่สำคัญที่สุดบนหน้าเว็บ

แน่นอนว่าวิดีโอสาธิตผลิตภัณฑ์มีความสำคัญ การทดสอบการดำรงอยู่เป็นวิธีการตั้งคำถามกับความเชื่อนั้นและได้คำตอบอย่างรวดเร็ว

คุณเพียงแค่ลบวิดีโอและดูว่าเกิดอะไรขึ้น

อัตราการแปลงเพิ่มขึ้นหรือลดลง? น่าสนใจ นั่นหมายถึงองค์ประกอบหรืออสังหาริมทรัพย์ที่ครอบครองนั้นมีผลกระทบในทางใดทางหนึ่ง

ไม่มีผลกระทบ? ที่น่าสนใจเช่นกัน ในกรณีนั้น ฉันจะเน้นที่ทีมของฉันในส่วนอื่นๆ ของประสบการณ์ดิจิทัล โดยรู้ว่าแม้การลบองค์ประกอบออกทั้งหมดก็ไม่มีผลอะไรกับ KPI ของเรา

ใช้กรณี: “การทำแผนที่สัญญาณการแปลง” โดยพื้นฐานแล้ว ข้อมูลนี้สามารถบอกคุณถึงความยืดหยุ่นขององค์ประกอบบนเว็บไซต์ของคุณ หรือที่เรียกกันว่าองค์ประกอบเหล่านี้มีความสำคัญมากพอที่จะมุ่งเน้นความพยายามในการเพิ่มประสิทธิภาพของคุณหรือไม่

10. การทดสอบประตูทาสี

การทดสอบประตูทาสี

การทดสอบประตูทาสีคล้ายกับการทดสอบการมีอยู่ในทางใดทางหนึ่ง เป็นเรื่องปกติในการทดสอบข้อเสนอใหม่ๆ และการทดสอบความต้องการคุณลักษณะของผลิตภัณฑ์ใหม่

โดยพื้นฐานแล้ว การทดสอบประตูทาสีเป็นการทดลองเพื่อดูว่าผู้คนจะใช้ฟีเจอร์ใหม่จริงหรือไม่ คุณไม่ได้ใช้เวลาและทรัพยากรเพื่อ *สร้าง* ข้อเสนอหรือคุณลักษณะใหม่ แต่คุณสร้าง "ประตูทาสี" เพื่อดูว่าผู้คนที่เดินผ่านไปมาจะพยายามเปิดมันหรือไม่ (เช่น คุณสร้างปุ่มหรือหน้า Landing Page และดูว่ามีคนคลิกเข้าไปหรือไม่ ซึ่งแสดงถึงความสนใจ)

เป้าหมายของการทดสอบประตูทาสีคือเพื่อดูว่ามีความต้องการสำหรับสิ่งที่คุณกำลังทดสอบหรือไม่ หากผู้คนใช้คุณสมบัติใหม่นี้จริงๆ คุณก็รู้ว่ามันคุ้มค่าที่จะทำตาม ถ้าไม่เช่นนั้น คุณก็รู้ว่ามันไม่คุ้มกับเวลาของคุณและสามารถทิ้งความคิดนี้ได้

พวกเขายังเป็นที่รู้จักกันในนาม การทดสอบควัน

การทดสอบประตูแบบทาสีเป็นวิธีที่ยอดเยี่ยมในการทดสอบแนวคิดใหม่ๆ โดยไม่ต้องลงทุนเวลาหรือเงินเป็นจำนวนมาก

เนื่องจากคุณไม่มีข้อเสนอหรือประสบการณ์ในการสร้าง คุณจึงมักใช้ KPI เช่น อัตรา Conversion ไม่ได้ แต่คุณต้องจำลองเกณฑ์ขั้นต่ำของมูลค่าที่คาดไว้ ตัวอย่างเช่น การสร้างคุณลักษณะ X จะมีค่าใช้จ่าย Y ดังนั้นจากข้อมูลพื้นฐานที่มีอยู่ เราจะต้องเห็นอัตราการคลิกผ่าน Y เพื่อรับประกันว่าจะสร้างประสบการณ์ "จริง"

ในบางกรณี รายชื่อรอก่อนการเปิดตัวคือการทดสอบประตูทาสี (ตัวอย่างที่มีชื่อเสียงคือมีดโกนของแฮร์รี่)

ตัวอย่างรายการรอการทดสอบประตูทาสีก่อนเปิดตัว
ที่มาของภาพ

กรณีการใช้งาน: พิสูจน์กรณีศึกษาทางธุรกิจสำหรับการทุ่มเทเวลาและทรัพยากรเพื่อสร้างคุณลักษณะ ข้อเสนอ หรือประสบการณ์ใหม่

11. การทดสอบการค้นพบ

การทดสอบการค้นพบ

การทดสอบการค้นพบซึ่งฉันดึงมาจากวิธีการทดสอบตามวินัยของ Andrew Anderson ล้วนเป็นการเพิ่มช่วงของตัวเลือกที่เป็นไปได้

เกือบทุกครั้งเป็นเวอร์ชันของการทดสอบ A/B/n ที่มีตัวแปรหลายแบบ แต่ไม่จำเป็นต้องได้รับการออกแบบแบบนั้นเสมอไป จุดประสงค์ที่ใหญ่ขึ้นของสิ่งเหล่านี้คือการทดสอบตัวเลือกที่อยู่นอกขอบเขตของสิ่งที่คุณมักจะคิดว่าสมเหตุสมผล สิ่งนี้ช่วยลดอคติของคุณ ซึ่งสามารถจำกัดขอบเขตของตัวเลือกที่คุณเคยพิจารณา

แทนที่จะกำหนดสมมติฐานอย่างแคบ ๆ คุณหวังที่จะหลุดพ้นจากอคติของคุณเองและอาจเรียนรู้บางสิ่งที่แปลกใหม่เกี่ยวกับสิ่งที่ได้ผลกับผู้ชมของคุณ

ในการทดสอบการค้นพบ คุณจะต้องนำอสังหาริมทรัพย์ชิ้นหนึ่งไปใช้กับผลิตภัณฑ์หรือเว็บไซต์ของคุณ และสร้างตัวเลือกสินค้าที่หลากหลาย เป้าหมายคือแต่ละรูปแบบจะค่อนข้างแตกต่างจากรุ่นก่อน ทำให้คุณมีตัวเลือกที่แตกต่างกันมากมาย เป้าหมายคือค้นหาสิ่งที่ใช้ได้ผล แม้ว่าคุณจะไม่รู้ว่าอะไรจะเกิดขึ้นก่อนเวลาก็ตาม

ในการทดสอบการค้นพบ สิ่งสำคัญคือต้องจับคู่การทดสอบของคุณกับ KPI มาโคร และไม่เพิ่มประสิทธิภาพสำหรับ Conversion ย่อย การทดสอบประสบการณ์การใช้งานที่มีความหมายและมีปริมาณการใช้งานสูงเป็นสิ่งสำคัญเช่นกัน เนื่องจากคุณจะต้องการพลังทางสถิติที่เหมาะสมเพื่อเปิดเผยการยกระดับจากตัวแปรต่างๆ

หากต้องการดูตัวอย่างของการทดลองเช่นนี้ ให้ดูตัวอย่างของ Andrew Anderson จาก Malwarebytes ที่พวกเขาทดสอบ 11 รูปแบบที่แตกต่างกันอย่างมากมาย

กรณีใช้งาน: เลิกจำกัดความพยายามในการทดลองของคุณจากสมมติฐานที่มีอคติและค้นหาวิธีแก้ปัญหานอกกรอบที่แม้มันจะขัดกับสัญชาตญาณของคุณ แต่ท้ายที่สุดแล้วขับเคลื่อนผลลัพธ์ทางธุรกิจ

12. การทดสอบซ้ำ

การทดสอบซ้ำ

มีแนวคิดที่รู้จักในวิทยาการคอมพิวเตอร์ว่า "ปัญหาการปีนเขา" โดยพื้นฐานแล้ว อัลกอริธึมการปีนเขาจะพยายามหาจุดสูงสุดในแนวนอนโดยเริ่มจากด้านล่างและเลื่อนขึ้นไปเรื่อยๆ

แนวคิดเดียวกันนี้สามารถนำไปใช้กับการทดลองทางการตลาดได้

ด้วยการทดสอบแบบวนซ้ำ คุณจะเริ่มต้นด้วยการเปลี่ยนแปลงเล็กๆ น้อยๆ แล้วทำให้ใหญ่ขึ้นเรื่อยๆ จนกว่าจะถึงจุดที่ผลตอบแทนลดลง จุดผลตอบแทนที่ลดลงนี้เรียกว่า "ค่าสูงสุดในพื้นที่" ค่าสูงสุดในพื้นที่คือจุดสูงสุดในภูมิประเทศที่สามารถเข้าถึงได้จากจุดเริ่มต้นของคุณ

maxima และ minima
ที่มาของภาพ

เป้าหมายของการทดสอบซ้ำคือการหาค่าสูงสุดในพื้นที่สำหรับการเปลี่ยนแปลงที่กำหนด วิธีนี้อาจเป็นวิธีที่มีประสิทธิภาพมากในการทดสอบสิ่งต่างๆ เช่น การเปลี่ยนแปลงข้อเสนอหรือการเปลี่ยนแปลงราคา ตลอดจนองค์ประกอบใดๆ ที่คุณพบว่ามีผลกระทบจากการวิจัยหรือผ่านการทดสอบการมีอยู่

โดยพื้นฐานแล้ว คุณรู้ว่าองค์ประกอบ X มีความสำคัญ และคุณรู้ว่ายังมีช่องว่างเพิ่มเติมในการปรับปรุง KPI Y โดยการปรับปรุงองค์ประกอบ X ดังนั้น คุณจึงใช้การแทงเล็กๆ ซ้ำๆ หลายครั้งในการเปลี่ยนองค์ประกอบ X จนกว่าจะปรากฏว่าคุณไม่สามารถปรับปรุงเมตริกได้อีกต่อไป (หรือ มันยากมากที่จะทำอย่างนั้น)

ตัวอย่างง่ายๆ ของการทดสอบซ้ำๆ มาจากเว็บไซต์ของฉันเอง ฉันเรียกใช้ป๊อปอัปแม่เหล็กนำ ฉันรู้ว่าพวกเขาขับเคลื่อนอีเมล และมีแนวโน้มว่าผลตอบแทนจะลดลง แต่ฉันไม่คิดว่าฉันจะทำสำเร็จ ดังนั้นทุก ๆ สองสามเดือน ฉันจะเปลี่ยนตัวแปรหนึ่งตัว ไม่ว่าจะเป็นพาดหัว ตัวข้อเสนอ หรือรูปภาพ ด้วยความหวังว่าจะได้ผลลัพธ์เพียงเล็กน้อย

ตัวอย่างการทดสอบซ้ำบนเว็บไซต์

กรณีการใช้งาน: ปรับองค์ประกอบหรือประสบการณ์เป้าหมายให้เหมาะสมโดยการทดสอบการทำซ้ำเล็กๆ หลายๆ ครั้งอย่างต่อเนื่องเพื่อให้ได้รับประสบการณ์สูงสุดในพื้นที่

13. การทดสอบนวัตกรรม

ประเภทของการทดสอบนวัตกรรมการทดสอบแบบสุ่มควบคุม

การทดสอบที่เป็นนวัตกรรมใหม่นั้นตรงกันข้ามกับการทดสอบซ้ำๆ เพื่อค้นหาเนินใหม่ที่สมบูรณ์เพื่อปีน

ตามบทความของ CXL การทดสอบเชิงนวัตกรรมนั้น “ออกแบบมาเพื่อสำรวจดินแดนที่ไม่คุ้นเคยและค้นหาโอกาสใหม่ ๆ”

การทดสอบเชิงนวัตกรรมทั้งหมดเกี่ยวกับการลองสิ่งใหม่ทั้งหมด โดยปกติแล้วจะมีความเสี่ยงมากกว่าการทดสอบประเภทอื่นๆ เล็กน้อย แต่ก็สามารถให้รางวัลได้เช่นกัน หากคุณกำลังมองหาชัยชนะที่ยิ่งใหญ่ การทดสอบนวัตกรรมเป็นวิธีที่จะไป

การออกแบบหน้าแรกหรือหน้า Landing Page ใหม่ทั้งหมดอยู่ภายใต้หมวดหมู่นี้ การทดสอบการค้นพบเป็นรูปแบบหนึ่งของการทดสอบเชิงนวัตกรรม การทดสอบสีของปุ่มจะตรงกันข้ามกับการทดสอบเชิงนวัตกรรม

การทดสอบที่เป็นนวัตกรรมใหม่ควรทำให้คุณหรือผู้มีส่วนได้ส่วนเสียของคุณรู้สึกไม่สบายใจเล็กน้อย (แต่อย่าลืมว่าการทดลองที่สวยงามมีระยะเวลาจำกัดและจำกัดข้อเสียของคุณ)

CXL ได้ยกตัวอย่างของการทดสอบเชิงนวัตกรรมที่พวกเขาดำเนินการให้กับลูกค้าที่นี่:

ตัวอย่างการทดสอบนวัตกรรมจาก CXL
ที่มาของภาพ

ใช้กรณี: แกว่งใหญ่และหา "เนิน" ใหม่เพื่อปีน รวบรวมสมมติฐานหลายข้อและเปลี่ยนแปลงประสบการณ์อย่างมาก

14. การทดสอบที่ไม่ด้อยกว่า

การทดสอบที่ไม่ด้อยกว่า

การทดสอบที่ไม่ด้อยกว่าใช้เพื่อตรวจสอบว่าการรักษาใหม่ไม่ได้แย่กว่าการรักษามาตรฐานหรือไม่

เป้าหมายของการทดสอบที่ไม่ด้อยกว่าคือการแสดงให้เห็นว่าการรักษาแบบใหม่มีประสิทธิภาพอย่างน้อยเท่ากับการรักษามาตรฐาน

ทำไมคุณถึงทำการทดสอบแบบนี้?

หลายเหตุผล. สิ่งที่ดีที่สุดที่ฉันคิดได้คือถ้าคุณมีตัวแปรที่ "ดีกว่า" ในอีกมิติหนึ่ง (ค่าบำรุงรักษาถูกกว่า ปฏิบัติตามมาตรฐานแบรนด์ได้ดีกว่า ฯลฯ) แต่คุณต้องการให้แน่ใจว่าไม่เป็นอันตรายต่อคุณ KPI ของธุรกิจหลัก

หรือในมุมมองของการทดลองทางคลินิกทางการแพทย์ ลองนึกภาพว่ามีการพัฒนายาที่มีราคา 1/10 เท่าของยาที่ใช้กันทั่วไป ตราบใดที่มันไม่ได้มีประสิทธิภาพ *แย่กว่ายาที่มีอยู่* ความสามารถในการจ่ายได้หมายความว่าเป็นตัวเลือกที่ดีกว่ามากในการเปิดตัว

อีกเหตุผลหนึ่งที่ฉันดำเนินการเหล่านี้คือถ้าการรักษาเป็นที่ชื่นชอบอย่างมากจากผู้บริหารหรือผู้มีส่วนได้ส่วนเสีย เกลียดที่จะทำลายมันให้คุณ แต่เพียงเพราะเราสามารถเข้าถึงข้อมูลได้ในฐานะผู้เชี่ยวชาญด้านการทดลอง ไม่ได้หมายความว่าเราจะหลีกเลี่ยงความยุ่งเหยิงของการคิดแบบลำเอียงและการเมืองของมนุษย์

ฉันยินดีที่จะทำการทดสอบที่ส่งโดย HiPPO เป็นครั้งคราวและดำเนินการผ่านเกณฑ์ความแน่นอนที่ต่ำกว่า เช่น การทดสอบที่ไม่ด้อยกว่า ตราบใดที่มันไม่ได้ทำให้ KPI ของ *ของฉัน* ยุ่งเหยิง การเผยแพร่ออกมาก็ไม่เสียหาย และมันจะได้รับความโปรดปรานทางการเมือง

กรณีการใช้งาน: ข้อจำกัดด้านลบของการทดลองที่มีมิติอื่นที่เหนือกว่า (ความคุ้มค่า ความพึงพอใจของผู้มีส่วนได้ส่วนเสีย ประสบการณ์ผู้ใช้ แบรนด์ ฯลฯ)

15. ฟีเจอร์แฟล็ก

การทดสอบคุณสมบัติธง

แฟล็กคุณลักษณะเป็นเทคนิคการพัฒนาซอฟต์แวร์ที่ช่วยให้คุณสามารถสลับเปิดหรือปิดคุณลักษณะหรือฟังก์ชันบางอย่าง และทดสอบคุณลักษณะใหม่ในการผลิตได้

โดยไม่ต้องลงรายละเอียดทางเทคนิคมากมาย พวกเขาอนุญาตให้คุณทดสอบฟีเจอร์ในการผลิตหรือเริ่มใช้งานอย่างช้าๆ ให้กับผู้ใช้กลุ่มย่อย ในขณะที่ยังคงความสามารถในการปรับขนาดกลับอย่างรวดเร็วหรือปิดฟีเจอร์หากใช้งานไม่ได้

เป็นวิธีการประกันคุณภาพในหลาย ๆ ด้าน แต่ในหลายๆ ด้าน การทดสอบ A/B ก็เช่นกัน

คำว่า "ฟีเจอร์แฟล็ก" เป็นคำที่ใช้ทั่วไปซึ่งรวมถึงฟังก์ชัน "สลับ" ที่เกี่ยวข้องมากมาย เช่น เวอร์ชันคานารี การทดสอบในการผลิต การพัฒนาอย่างต่อเนื่อง การย้อนกลับ และเกทคุณลักษณะ

กรณีการใช้งาน: ทดสอบคุณลักษณะหรือประสบการณ์ใหม่ก่อนปรับใช้โค้ดใหม่ในการผลิต

16. การทดลองเสมือน

การทดลองเสมือน

สุดท้าย ประเภทของการทดลองที่ซับซ้อน กว้างที่สุด และยากที่สุดที่จะกำหนด: การทดลองเสมือน

การทดลองเสมือนมักใช้เมื่อไม่สามารถสุ่มกำหนดผู้ใช้ให้กับกลุ่มทดสอบได้

ตัวอย่างเช่น หากคุณกำลังทดสอบคุณลักษณะใหม่บนเว็บไซต์ คุณสามารถเรียกใช้การทดสอบ A/B ตั้งค่าสถานะคุณลักษณะ หรือแม้แต่แขนส่วนบุคคล

แต่ถ้าคุณต้องการทดสอบการเปลี่ยนแปลง SEO หลายๆ อย่าง และดูผลกระทบที่มีต่อทราฟฟิกล่ะ? หรือยิ่งไปกว่านั้น ผลกระทบต่อการแปลงบล็อก? จะทำอย่างไรถ้าคุณต้องการทดสอบประสิทธิภาพของโฆษณาป้ายโฆษณากลางแจ้ง?

ในกรณีจำนวนมากอย่างน่าประหลาดใจ เป็นเรื่องยากหากเป็นไปไม่ได้ที่จะจัดการทดสอบที่มีการจัดการอย่างเข้มงวดและควบคุมได้อย่างแท้จริง

ในกรณีเหล่านี้ เราออกแบบการทดลองเสมือนเพื่อทำสิ่งที่เรามี

ในกรณีของการเปลี่ยนแปลง SEO เราสามารถใช้เครื่องมือเช่น Causal Impact เพื่อวัดปริมาณการเปลี่ยนแปลงในอนุกรมเวลา โดยเฉพาะอย่างยิ่ง หากเราควบคุมการทดสอบของเราโดยพิจารณาจากหน้าเว็บหรือมิติข้อมูลที่สามารถระบุได้อื่นๆ ซึ่งจะทำให้เรามีแนวคิดที่ดีในระยะยาวว่าการแทรกแซงของเราได้ผลหรือไม่

ในกรณีของโฆษณาทางวิทยุหรือป้ายโฆษณา เราสามารถลองเลือกตำแหน่งทางภูมิศาสตร์ที่เป็นตัวแทนและหาจำนวนผลกระทบเมื่อเวลาผ่านไปโดยใช้สถิติแบบเบย์ที่คล้ายคลึงกัน

นี่เป็นหัวข้อที่ซับซ้อน ดังนั้นฉันจะเชื่อมโยงไปยังแหล่งข้อมูลที่ยอดเยี่ยมสองแห่ง:

  • วิธีการทำงานของ Netflix แบบกึ่งทดลอง
  • Shopify ดำเนินการทดลองเสมือนอย่างไร

กรณีใช้งาน: การหาปริมาณผลกระทบเมื่อการทดลองแบบสุ่มควบคุมไม่สามารถทำได้หรือเป็นไปไม่ได้

บทสรุป

ฉันหวังว่าสิ่งนี้จะทำให้คุณเชื่อมั่นว่าการทดสอบ A/B ทำได้มากกว่าการเปลี่ยนบรรทัดแรกหรือปุ่ม CTA เพื่อเพิ่มประสิทธิภาพอัตราการแปลง

เมื่อคุณขยายขอบเขตของการทดลองที่สามารถทำได้ คุณจะรู้ว่ามันเป็นเครื่องมือการเรียนรู้ที่เหลือเชื่อ

เราสามารถแมปองค์ประกอบที่มีผลกระทบบนหน้า Landing Page ระบุส่วนผสมที่เหมาะสม หาเส้นทางหน้าผู้ใช้ใหม่ที่ได้รับการปรับปรุง พัฒนาคุณลักษณะและประสบการณ์ใหม่โดยไม่ต้องเสี่ยงกับหนี้ทางเทคนิคหรือประสบการณ์ผู้ใช้ที่ไม่ดี หรือแม้แต่ทดสอบช่องทางการตลาดใหม่ และการแทรกแซงจากเว็บไซต์ของเราหรือภายนอกผลิตภัณฑ์ของเรา

CRO Master
CRO Master