كيفية قراءة تقرير تحويل التجارب وتفسيره بدقة

إذا كنت من مستخدمي التحويل ، فأنت تعلم أن تقاريرك مليئة بالبيانات القيمة. ولكن ما الذي تمثله كل هذه الأرقام والرسوم البيانية؟ وكيف تعرف الاستنتاجات التي يمكنك استخلاصها منها وتستخدم هذه المعلومات لتحسين الاختبار؟

هل الأمر بسيط مثل استخدام حاسبة الدلالة الإحصائية للتحقق من تجربة؟

هل يعتبر استدعاء اختبار A / B ناجحًا إذا كان يظهر باللون الأخضر في تقرير التجربة بشكل كافٍ - أم يجب علينا النظر في عوامل أخرى أيضًا؟

في حين أن حاسبات الدلالة الإحصائية ضرورية للاختبار الدقيق ، إلا أنها لا تروي القصة كاملة. من أجل تحقيق أقصى استفادة من تقارير التحويل ، يجب أن يكون لديك فهم قوي لإحصاءات اختبار A / B.

ولما ذلك؟

لأن اختبار A / B هو في الأساس طريقة للتحليل الإحصائي. لا يمكنك الحصول على واحد دون الآخر.

يعد اختبار أو تجربة A / B مثالاً على اختبار الفرضيات الإحصائية ، حيث يتم تطوير فرضية حول العلاقة بين مجموعتي بيانات ومقارنتها لمعرفة ما إذا تم العثور على دلالة إحصائية.

لذا ، سواء كنت مبتدئًا أو مستخدمًا متمرسًا ، تابع القراءة لفهم النطاق الكامل لإحصاءات الاختبار المتوفرة في تقاريرك والحصول على نتائج أفضل من اختبارات A / B الخاصة بك!

إذن ماذا يمكنك أن تفعل بتقرير اختبار A / B؟ دعنا نلقي نظرة على مثالين عمليين.

مثال 1

تخطط شركة تجارة إلكترونية لتحسين صفحات المنتج لتحسين معدلات التحويل.

في هذه الحالة بالذات ،

معدل تحويل صفحة المنتج = عدد الطلبات / عدد زوار صفحة المنتج

يقوم فريق التسويق بتقييم ثلاثة تصميمات جديدة لصفحة المنتج. إنهم يريدون اختيار الأكثر فاعلية من بين أربعة احتمالات: تصميم حالي وثلاثة جديدة. كيف يمكنهم استخدام تقرير "تحويل الخبرات" وطرقه الإحصائية لتحديد أفضل أداء ، بالنظر إلى أن معدل التحويل يعد عاملاً؟

مثال 2

من خلال تغيير صفحة التسعير الخاصة به ، يأمل موقع SaaS في تنمية قاعدة أعضائه.

بالنسبة لهم ،

معدل تحويل صفحة التسعير = عدد الاشتراكات / عدد زوار صفحة التسعير

يقوم التسويق بتقييم ثلاثة تصميمات مختلفة لمعرفة ما إذا كان أي منها يمكنه جذب المزيد من المشتركين أكثر من التصميم الحالي.

باستخدام تقرير تحويل الخبرات وطرقه الإحصائية ، كيف يمكنهم إجراء مثل هذه المقارنة باستخدام معدل التحويل كمعيار للاختيار؟

تشرح هذه المقالة ما يحتويه تقرير تحويل الخبرات ، وكيف يمكنك استخدامه لتحسين موقع الويب الخاص بك ، وكيفية تفسير التحليل التفصيلي لتجارب زوارك حتى تتمكن من اتخاذ إجراء.

تابع القراءة للحصول على دليل سهل المتابعة لمساعدتك على فهم الإحصائيات الكامنة وراء تقارير اختبار تحويل A / B.

خريطة مفصلة لكل قسم من تقرير تجربة التحويل

بصفتك مستخدم تحويل ، يمكنك الوصول إلى معلومات مفصلة حول أداء موقع الويب الخاص بك من خلال التقارير. دعنا نلقي نظرة شاملة على جميع عناصر تقرير التحويل حتى تتمكن من فهم المعلومات التي يتم تقديمها بالضبط ، وأفضل طريقة لاستخدامها لتحسين أداء موقع الويب الخاص بك.

يمكنك الوصول إلى التقارير عن طريق تحديد التجربة التي ترغب في عرضها والنقر فوق علامة التبويب تقرير.

في هذا القسم ، سترى أربعة أقسام مختلفة:

• القائمة العلوية
• ملخص
• الاختلافات
• الأهداف

➢ أعلى القائمة

توفر القائمة العلوية وصولاً سريعًا إلى المعلومات التالية:

• تاريخ البدء : تاريخ بدء التجربة
• أيام الجري : طول الفترة الزمنية التي تستغرقها التجربة
• نطاق التقرير : يسمح لك عامل تصفية التاريخ بتصفية البيانات لفترة زمنية محددة
• التقسيم : تصفية التقرير حسب شرائح الزائرين
• جميع المستخدمين المختبرين : عدد المستخدمين الذين شاركوا في الاختبار
• إجمالي التحويلات : إجمالي عدد تحويلات الهدف. تحويل المسارات تحويل هدف واحد فقط لكل زائر فريد. تحقق من هذه الصفحة للتحويلات متعددة الأهداف.
• الأهداف : عدد الأهداف التي تمتلكها تجربة معينة

تصفية لنطاق زمني محدد

يمكن تصفية البيانات لنطاق زمني محدد باستخدام نطاق التقرير. يمكن تحديد نطاقات التواريخ المخصصة باستخدام الخيارات الموجودة أو عنصر التحكم في التقويم.

تصفية لقطعة معينة

يمكنك تصفية التقرير حسب شرائح الزائرين عن طريق تحديدهم من المربع المنسدل "جميع المستخدمين". يمكنك استخدام هذا للإجابة على أسئلة مثل

• كيف كان سلوك الزيارات من مصادر مختلفة في التجربة؟
• ما هو الاختلاف الفائز على الهاتف المحمول مقابل سطح المكتب؟
• ما الاختلاف الذي جذب معظم المستخدمين الجدد؟

يجب أن تستهدف الجماهير / الشرائح التي تهم مؤسستك والتي من المحتمل أن تعرض مجموعة متنوعة من سلوكيات المستخدم وإشارات النوايا.

افحص درجات التحسين والثقة لكل جمهور لمعرفة كيفية أداء كل شكل. بناءً على نتائج تحليلك ، يمكنك أن تقرر ما إذا كنت تريد تشغيل الشكل الفائز لكل حركة المرور الخاصة بك أو تعديل تخصيصك.

يتضمن تقرير تجربة التحويل الشرائح التالية:

• المتصفح المستخدم ،
• الجهاز المستخدم ،
• الزوار الجدد مقابل القدامى ،
• بلد المستخدم ،
• مصدر المرور،
• القارة و
• 10 شرائح مخصصة.

يمكنك أيضًا استخدام قائمة النقاط الثلاث وتطبيق بعض الإجراءات الأخرى:

تقرير المشاركة

سيؤدي النقر فوق مشاركة التقرير إلى فتح نافذة منبثقة تحتوي على الخيارات التالية لتنزيل بيانات التجربة:

مشاهدة الكود

عرض الشفرة هو الخيار الثاني ، والذي يمنحك الوصول إلى تحويل رمز التتبع الخاص بك:

إعدادات الإحصائيات

يتيح لك الخيار الثالث ، إعدادات الإحصائيات ، تهيئة ما يلي:

• مستوى الثقة (دلالة إحصائية) - موصوف هنا
• القيم المتطرفة للصفقة - موصوفة هنا
• الأتمتة - موصوفة هنا
• زر إعادة تعيين الإحصائيات لإعادة تعيين بيانات التجربة

تجربة وقفة

يتيح لك الخيار الرابع إيقاف التجربة مؤقتًا.

➢ ملخص

في قسم الملخص في تقرير تجربة التحويل ، ستجد ملخصًا لمنطقة الموقع وشروط الجمهور التي تنطبق على تجربتك. كما يقدم بعض التوصيات الذكية:

تمكين التوصيات الذكية

انتقل إلى تكوين المشروع ، المزيد من الإعدادات ، لتمكين التوصيات الذكية:

عرض التوصيات الذكية

يمكنك عرض هذه التوصيات الذكية في مكانين.

1. في ملخص التقرير:

قد تظهر الرسائل التالية بناءً على نتائجك:

• مهم وتأثير سلبي : نلاحظ أن المتغير $ {variant_name} هو الأفضل أداءً مع تأثير سلبي قدره $ {lift}٪. تجربة الهدف $ {primary_goal_name} مهمة. نقترح استخلاص الدروس وتصميم فرضية جديدة.
• رفع كبير وإيجابي : مبروك! بالنسبة إلى $ {primary_goal_name} ، يفوز $ {variant_name} حاليًا بتحسين $ {lift}٪. التجربة مهمة ".
• تأثير إيجابي غير مهم : هناك حاجة إلى المزيد من الزائرين للتوصل إلى نتيجة صحيحة لـ $ {primary_goal_name}. نرى فقط أن $ {variant_name} هو الأفضل أداءً مع زيادة قدرها $ {lift}٪ ، ولكنه يحتاج إلى المزيد من الزائرين قبل التمكن من التوصل إلى نتيجة نهائية.
• تأثير سلبي غير مهم : هناك حاجة إلى المزيد من الزائرين للتوصل إلى نتيجة صحيحة لـ $ {primary_goal_name}. يرجى الاستمرار في تشغيل الاختبار قبل استخلاص نتيجة.

2. في مربع الأهداف الموسعة:

فيما يلي بعض الرسائل المحتملة التي قد تراها بناءً على نتائجك:

• تهانينا ، {variation.name} فائز ، ونحن على يقين من أن لدينا ثقة إحصائية بنسبة 00٪.
• لسوء الحظ ، كان أداء {variation.name} أسوأ من {baselineText} ، ونحن على يقين من الثقة الإحصائية بنسبة 00٪.
• يبدو أن أداء {variation.name} أفضل من أداء {baselineText} ، لكن لا يمكننا التأكد بعد
• من المبكر الحكم على {variation.name}

لقطة شاشة أساسية

إذا قمت بالمرور فوق لقطة الشاشة الأساسية ، فسترى بعض الخيارات الإضافية:

• عرض لقطة بالحجم الحقيقي
• معاينة الشكل
• أعد أخذ لقطة التباين

المعاينة المباشرة وفرض روابط التنويعات

سيفتح Preview Variation نافذة منبثقة حيث يمكنك الحصول على Live Preview و Force Variation URLs.

➢ الاختلافات

يوفر قسم يسمى Variations تفاصيل حول الاختلافات في تجربتك. يمثل كل عمود بعد عمود الحالة أهداف تجربتك:

يمكنك تمكين / تعطيل الأعمدة أو إعادة ترتيبها بالنقر فوق قائمة النقاط الثلاث:

مع تمكين زر الحالة ، ستتمكن من إيقاف التغييرات مؤقتًا:

تتوفر بعض الخيارات الإضافية عند النقر فوق قائمة النقاط الثلاث في أحد صفوف التنويعات:

• فتح عنوان URL للتباين المفروض
• وقف التغيير
• قم بالتحويل إلى نشر جديد
• قم بالتحويل إلى نسخة أصلية في تجربة جديدة
• تحرير التباين
• المعاينة الحية

➢ الأهداف

يمكن العثور على وصف موجز لكل هدف من أهداف التجربة في هذا القسم بالإضافة إلى بعض الإحصائيات والرسوم البيانية المثيرة للاهتمام التي سنقوم بتحليلها في القسم التالي. قبل المضي قدمًا ، دعنا نشرح بعض المصطلحات التي قد لا تكون على دراية بها.

• الهدف الافتراضي : إذا رأيت مصطلح "الهدف الافتراضي" بجوار أحد أهدافك ، فهذا يعني أنه أحد الهدفين الافتراضيين اللذين نضيفهما إلى كل تجربة.
• الهدف الأساسي : يمكن أن يكون هناك هدف أساسي واحد فقط ، والذي يجب أن تحدده أنت. إنه أهم هدف لتجربتك. سيظهر هذا أولاً في قائمة الأهداف وسيتم تغيير حالة الخبرة بناءً على ذلك.
• SRM : تم اكتشاف عدم تطابق محتمل في نسبة العينة في اختبارك. تحقق من إعداد التجربة أو اتصل بـ [email protected] إذا لاحظت ذلك.
• الأساس : هذا هو الأساس الافتراضي لتجربتك.

الآن ، دعنا نستعرض كل عنصر من العناصر في هذا التقرير.

اسم الاختلاف

هذا هو اسم الاختلاف الخاص بك. يوجد بجانبه مربع اختيار يمكنك تمكينه / تعطيله لإظهار وإخفاء إحصائيات التنويعات.

تحسين

يمكنك أن ترى هنا كيف تعمل النسخة الأصلية والمتنوعة لصفحة الويب الخاصة بك من حيث معدلات التحويل. يمكن أن يكون الفرق بالنسبة المئوية موجبًا أو سالبًا. عندما تكون الثقة المحسوبة أكبر من الثقة المحددة في إعدادات الإحصائيات ، يتغير اللون على النحو التالي:

• أحمر لـ -
• اللون الأخضر لـ +
• الرمادي للآخر

الزائرين

هذا هو إجمالي عدد زوار التجربة. الزوار الفريدون مدرجون هنا.

التحويلات

يمثل هذا العدد الإجمالي للتحويلات لكل هدف / شكل. يشار إلى أي إجراء تريد أن يتخذه المستخدم على أنه تحويل. اعتمادًا على موقع الويب الخاص بك ، قد يشمل هذا كل شيء من النقر فوق الزر إلى إجراء عملية شراء.

معدل التحويل

يعرض هذا العمود النسبة المئوية للزائرين الذين تحولوا إلى تحويلات.

مستوى الثقة (دلالة إحصائية)

عند تفسير نتائج A / B الخاصة بك ، فإن الأهمية الإحصائية هي المفهوم الأكثر أهمية.

يشير هذا العمود إلى مدى اختلاف فاصل الثقة لمعدل التحويل لشكل التجربة عن الأصلي. إذا كانت الثقة لا تعرض أي رقم ، فذلك لأنه (افتراضيًا) هناك ما لا يقل عن 5 تحويلات أهداف مطلوبة لكل شكل لحسابه. كما يجب أن تفي بالحد الأدنى من الزوار المعين لكل اختلاف. إذا قمت بتغيير الحد الأدنى للتحويلات ، فيجب تلبية الحد الأدنى الذي حددته.

يحتوي هذا العمود على نقاط رمادية / خضراء تشير إلى:

• نقطة خضراء واحدة لثقة 75٪ -85٪
• نقطتان خضراء للحصول على ثقة بنسبة 85٪ -95٪
• 3 نقاط خضراء للحصول على ثقة بنسبة 95٪ -96٪
• 4 نقاط خضراء للحصول على ثقة بنسبة 96٪ -97٪
• 5 نقاط خضراء بنسبة 97٪ فما فوق

مخطط المربع (فترة الثقة)

يشير مخطط المربع أو فاصل الثقة إلى نطاق من القيم حيث ينخفض ​​معدل التحويل الحقيقي.

من المستحسن إظهار الاختلاف الملحوظ في قيمة معدل التحويل للصفحة الأصلية وصفحات الأشكال عند مناقشة النتائج ، والنطاق الذي يمكن أن تقع فيه معدلات التحويل بالفعل. فاصل الاختلاف هو نطاق ممكن من القيم المرسومة على مقياس خط الأعداد.

يتم تمييز أعلى نطاق ممكن لمعدل التحويل بالحد الأعلى على مقياس الأرقام ، ويتم تمييز أقل نطاق ممكن لمعدل التحويل بالحد الأدنى على مقياس الأرقام.

على المقياس ، يمكنك رؤية الألوان التالية:

• المنطقة الرمادية: تشير إلى أن التجربة لا تزال غير حاسمة أو أن هناك حاجة لأشخاص إضافيين للإعلان عن نتيجة صحيحة.
• يتم الإشارة إلى الاختلاف الفائز باللون الأخضر .
• يشار إلى التباين الخاسر باللون الأحمر .

في مخطط المربع ، ترقب التداخل بين معدلات التحويل الأصلية والتباين.

افترض أن معدلات التحويل للأصل لها فاصل ثقة من 10 إلى 20٪ وأن معدلات التحويل للشكل 1 لها فاصل ثقة من 15-25٪. تجدر الإشارة إلى أن التداخل بين فترتي الثقة هو 5٪ ، ويتراوح ما بين 15-20٪. في هذا السياق ، من المستحيل معرفة ما إذا كان التباين في B هو في الواقع تحسن كبير. لهذا السبب ، إذا كان هناك تداخل في مخططات الصندوق ، فلن تعلن أداة التحويل عن الفائز.

حالة

يعرض لك هذا تقرير حالة عن التباين.

الرسوم البيانية

من هنا ، يمكنك الوصول إلى ثلاثة أنواع مختلفة من الرسوم البيانية.

فيما يلي شرح لكل:

التحويلات

• معدل التحويل بمرور الوقت : يُظهر المحور ص معدل التحويل ، بينما يُظهر المحور س الوقت. يمثل كل سطر شكلًا مختلفًا (معدل التحويل التراكمي) + واحد لمعدل التحويل للتجربة بأكملها (متوسط ​​جميع الأشكال) + المحور الثاني Y على اليمين والذي يمثل العدد التراكمي للزوار داخل التجربة بأكملها
• التحويلات بمرور الوقت : يُظهر المحور Y التحويلات ، بينما يُظهر المحور X الوقت. يمثل كل سطر تباينًا (تحويلات) + واحدًا لتحويلات التجربة بأكملها (متوسط ​​تحويلات جميع الأشكال) + محور ثاني Y على اليمين يمثل العدد التراكمي للتحويلات داخل التجربة بأكملها.
• معدل التحويل اليومي بمرور الوقت : معدل التحويل غير التراكمي - مشابه لمعدل التحويل في الرسم البياني بمرور الوقت ، باستثناء أن المحور ص لا يعرض الزوار التراكميين ويتم استخدام غير التراكمي لواجهة برمجة التطبيقات.
• التحسين بمرور الوقت : التحسن في معدل التحويل يومًا بعد يوم على المحور X وسطر كل شكل (ولكن ليس أصليًا).
• زوار يوميا بمرور الوقت

منتجات

• المنتجات لكل زائر : المتوسط ​​التراكمي للمنتجات المطلوبة لكل زائر - يُظهر المحور Y متوسط ​​المنتجات المطلوبة لكل زائر ، بينما يُظهر المحور X الوقت. يمثل كل سطر تباينًا (المتوسط ​​التراكمي للمنتجات المطلوبة لكل زائر) + واحد لمتوسط ​​المنتجات المطلوبة لكل زائر للتجربة بأكملها (متوسط ​​جميع الاختلافات) + المحور الثاني Y على اليمين والذي يمثل العدد التراكمي للزوار داخل التجربة بأكملها .
• المنتجات اليومية لكل زائر : متوسط ​​غير تراكمي من المنتجات المطلوبة لكل زائر
• التحسين بمرور الوقت : تحسين المنتجات يومًا بعد يوم على المحور X وسطر كل شكل (ولكن ليس أصليًا)
• زوار يوميا بمرور الوقت

ربح

• العائد بمرور الوقت : متوسط ​​الإيرادات التراكمية لكل زائر - يوضح المحور ص متوسط ​​الإيرادات لكل زائر ، ويعرض المحور س الوقت. يمثل كل سطر تباينًا واحدًا (متوسط ​​الإيرادات لكل زائر) + واحد لمتوسط ​​العائد لكل زائر للتجربة بأكملها (متوسط ​​جميع الأشكال) + المحور الثاني ص على اليمين والذي يمثل العدد التراكمي للزوار داخل التجربة بأكملها
• العائد اليومي لكل زائر : متوسط ​​العائد غير التراكمي لكل زائر
• التحسن بمرور الوقت : تحسين الإيرادات يومًا بعد يوم على المحور "س" وسطر كل شكل (ولكن ليس أصليًا)
• الزوار بمرور الوقت

تحوم بالماوس فوق الرسم البياني

سيؤدي التمرير فوق الرسم البياني إلى الكشف عن معدل تحويل كل شكل في ذلك اليوم ومعدل تحويل الشكل مقارنةً بالصيغة الأصلية:

عرض الانحراف المعياري

يمكنك أيضًا تحديد المربع لعرض الانحراف المعياري (يسمى أيضًا الخطأ القياسي):

الصيغ الإحصائية تحول الاستخدامات

ملاحظة: تمت تغطية المصطلحات الإحصائية في مدونة مختلفة ، لذلك لن نكررها هنا. هدفنا هنا هو ذكر استخدامات تحويل الصيغ الرياضية.

يستخدم التحويل اختبار Z متكررًا ثنائي الذيل بمستوى ثقة 0.05 (95٪). هذا هو .025 لكل ذيل يمثل توزيعًا متماثلًا عاديًا مع خيار تغيير هذا بين 80٪ -99٪.

سنقوم قريبًا بإضافة إحصائيات بايزية لتحويل التقارير. لا تنزعج لمزيد من المعلومات.

يجب استخدام اختبار ثنائي الذيل عندما نريد إيجاد فرق ذي دلالة إحصائية في أي اتجاه (صعود أو هبوط). الهدف هنا هو تحديد ما إذا كان الاختلاف أدى إلى زيادة أو نقصان مهمان من الناحية الإحصائية في التحويلات.

معدل التحويل

تُستخدم هذه الصيغة لحساب معدل التحويل لكل شكل:

(إجمالي عدد تحويلات الهدف / عدد الزوار الفريدين) * 100

تغيير معدل التحويل للاختلافات

يتم حساب النسبة المئوية للتغير في معدل التحويل بين صيغة التجربة والأصل على النحو التالي:

فترات الثقة

يتم استخدام طريقة إحصائية لحساب فاصل الثقة حول معدل التحويل لكل شكل.

يتم حساب الخطأ المعياري (لانحراف معياري واحد) باستخدام طريقة والد للتوزيع ذي الحدين. وبالتالي ، بالنسبة لمعدل تحويل معين ( ع ) وحجم العينة (عدد الزوار الفريدين) ، يتم حساب الخطأ القياسي على النحو التالي

يتم حساب الخطأ القياسي باستخدام هذه الصيغة ، والتي تفترض أنه يمكن تقريب التوزيع ذي الحدين مع التوزيع الطبيعي (بسبب نظرية الحد المركزي ). يمكن تقريب توزيع العينة بالتوزيع الطبيعي عندما يكون هناك أكثر من 10 تحويلات على الهدف المحدد.

لتحديد فاصل الثقة لمعدل التحويل ، اضرب الخطأ القياسي في النسبة المئوية 95 للتوزيع العادي القياسي (قيمة ثابتة تساوي 1.65).

بعبارة أخرى ، يمكنك التأكد بثقة 90٪ من أن معدل التحويل الحقيقي p يقع ضمن هذا النطاق:

Z- نقاط

باستخدام Z-Score ، يمكننا تحديد ما إذا كانت النتائج مهمة (أن معدلات التحويل لا تختلف بسبب الاختلاف العشوائي):

النتيجة Z هو عدد الانحرافات المعيارية بين القيم الأصلية والمتغيرة. باستخدام التوزيع العادي القياسي ، يتم تحديد أهمية 95٪ عندما يكون عدد أحداث المشاهدة أكبر من 1000 ويتم استيفاء أحد المعايير التالية:

• الاحتمال (ZScore)> 95٪
• الاحتمال (ZScore) <5٪

تحسين

تُستمد فرصة الاختلاف (المعروضة في التقرير) من قيمة الاحتمال (Z-Score) حيث:

• إذا
  
  الاحتمال (ZScore) <= 0.5
  
  ومن بعد
  التحسين = 1- الاحتمال (ZScore)
  

• إذا
  
  الاحتمال (ZScore)> 0.5
  
  ومن بعد
  التحسين = الاحتمال (ZScore)

ما الذي تبحث عنه عند تفسير تقارير الخبرة

الآن بعد أن أصبحت على دراية بجميع أقسام تقرير تجربة التحويل وصيغها الإحصائية ، دعنا نحاول تفسير بعض تقارير التجربة المختلفة ومعرفة ما يمكنك الاستفادة منه.

هل بيانات الخبرة مهمة؟

قبل تقييم النتائج وإصدار أحكام حول ما يجب القيام به بعد ذلك ، تأكد من أهمية بيانات التجربة. باستخدام "مستوى الثقة" في تقرير تجربة التحويل ، يمكنك تحديد ما إذا كانت النتائج ناتجة عن صدفة أو انعكاس حقيقي لسلوك المستخدمين.

يعني مستوى الأهمية بنسبة 95٪ أنك متأكد بنسبة 95٪ من أن الاستنتاجات التي تمت ملاحظتها ليست نتيجة صدفة. كما يعني أيضًا أن هناك فرصة بنسبة 5٪ لكونك مخطئًا.

بدلاً من ذلك ، يمكنك التفكير في مستوى الثقة على أنه احتمال الحصول على نتائج مختلفة إذا كررت التجربة.

إذا حصلت على تقييم ثقة بنسبة 90٪ ، فهناك احتمال واحد من كل 10 أن تحصل على إجابات مختلفة إذا كررت الاختبار. مع ثقة 95٪ ، هناك فرصة 1 من 20 ، بينما مع ثقة 99٪ ، هناك فرصة 1 من 100.

الاختلاف الفائز: التأثير الإيجابي

فيما يلي مثال على تباين كبير تفوق في الأداء على النسخة الأصلية وأدى إلى تحسن إيجابي.

بالنسبة لهدف "تخصيص الاشتراك - عرض صفحة الخطوة 1" ، فإن الشكل 1 لديه فرصة بنسبة 98.7٪ للتغلب على الشكل 0 (الأصلي) في هذه التجربة. يوضح مخطط الصندوق أن اختيار الشكل 1 يمكن أن يؤدي إلى تحسين على الأصل بنسبة 13.73٪ + - 0.6٪

في هذه التجربة ، من الآمن أن نقول إن التحسن هو + 7.20٪ ، ولكن هناك فرصة متساوية أن يكون معدل التحويل بين 13.73٪ + - 0.6٪. بغض النظر عن الموقف ، فإن الشكل 1 سوف يتحسن عن الأصل ، لذلك يعد هذا مؤشرًا قويًا لتنفيذه!

لماذا ا؟

إذا تم تكرار نفس التجربة 10000 مرة في ظل ظروف مماثلة ، فسيظل الشكل 1 يفوز بـ 9870 مرة من أصل 10000 مرة.

الاختلاف الخاسر: الأثر السلبي

دعنا نلقي نظرة فاحصة على نتائج تجربة مهمة لا يؤدي فيها الشكل 1 إلى تحسن إيجابي ولكن بدلاً من ذلك له تأثير سلبي على معدل تحويل التباين 0 (الأصلي).

في هذه التجربة ، هناك احتمال بنسبة 98.87٪ أن يخسر الشكل 1 على معدل التحويل على التباين 0. ويمكن توقع تأثير سلبي على معدل التحويل الأصلي بين 4.5٪ + - 1٪ مع الشكل 1.

نتائج غير حاسمة: تأثير محايد

الآن دعونا نلقي نظرة على تجربة ليست مهمة. في التجربة أدناه ، ليس لدى أي من المتغيرات فرصة عالية بما يكفي للفوز أو احتمال أكبر من 95٪.

احتمال فوز Variation 1 على Variation 0 هو 84.58٪ فقط في هذه التجربة.

ما هي الخطوة التالية التي يمكنك اتخاذها؟

هناك العديد من الخيارات للاختيار من بينها ، وكلها تعتمد على الفرضية والهدف النهائي للتجربة. مهما كانت الحالة ، هناك دائمًا عدد قليل من الخيارات على الطاولة:

• وسّع نطاق جمهورك. إذا كانت شريحة الزائرين محدودة للغاية ، فحاول التركيز على شريحة بها جمهور أكبر.
• أزل بعض الصيغ. إذا قمت بتطوير أربعة أشكال ، على سبيل المثال ، فحاول تشغيل نفس التجربة مع صيغتين أو ثلاثة.
• اتركه يعمل لفترة أطول من الوقت.
• اتبع حدسك واختر أكثر ما يتوافق مع علامتك التجارية. إذا كانت النتائج متشابهة عبر شكلين مختلفين ، واتفق زملاؤك على أن أحدهما يتماشى بشكل أفضل مع متطلبات علامتك التجارية من الآخر ، فيمكنك اختيار أحدهما ليكون الفائز.
• أعد إطلاق التجربة. يعد إجراء نفس الاختبار مرتين للتحقق من صحة النتائج الأولية أو إبطالها ممارسة ذكية. نظرًا لأنه من غير المحتمل أن تكون الظروف هي نفسها (فترة زمنية مختلفة ، وتقلبات حركة المرور ، وما إلى ذلك) ، فقد تختلف النتائج!
• اسمح لها أن تكون. من الممكن أن يكون الأصل قد تم تحسينه بالفعل.

هل يوجد توزيع متساوٍ للحركة؟

عندما تقوم بإعداد تجربة A / B ، فإنك تقوم بتعيين نسبة مئوية من حركة المرور لكل شكل (افتراضيًا ، 50/50).

يجب أن يمثل عدد الزوار تقسيم عدد الزيارات المتوقع.

في حالة وجود اختلاف كبير ، من شبه المؤكد أن هناك عدم تطابق في نسبة العينة (SRM)

في حالة التقسيم بنسبة 50/50 ، إذا حصلت على 400 زائر من جهة و 600 زائر من جهة أخرى ، فإن النتائج لا يمكن الاعتماد عليها. عندما يحدث هذا ، فقد حان الوقت للنظر في إعداد تجربة A / B. يمكن أن تكون النتائج مشوهة بالقيم المتطرفة مثل عناوين IP الداخلية أو برامج الروبوت الخارجية.

تذكر أن جودة البيانات لا تقل عن جودة التحليل الذي تستخدمه بها. استفد من جميع الأدوات المتاحة لك ، بما في ذلك التقارير المتعمقة لـ Convert Experiences ، للحصول على رؤى دقيقة وقابلة للتنفيذ.

إذا لم يكن لديك حساب بالفعل ، فقم بالتسجيل للحصول على نسخة تجريبية مجانية وجربها لمدة 15 يومًا. ستتمكن من الوصول إلى جميع الميزات الرائعة التي ناقشناها في هذا المنشور ، بالإضافة إلى العديد من الميزات الأخرى. وإذا كانت لديك أي أسئلة أو كنت بحاجة إلى مساعدة للبدء ، فإن فريقنا هنا لمساعدتك.