ملفات Robots.txt: ما سر أهميتها بالنسبة لتحسين محركات البحث

تعد ملفات Robots.txt ، والمعروفة باسم بروتوكول استبعاد الروبوت ، أداة لا غنى عنها لتحسين محركات البحث. يُعلم هذا الملف النصي برامج زحف محركات البحث بالصفحات التي يمكن الوصول إليها وفهرستها لاحقًا. تمنع ملفات Robots.txt أيضًا برامج الزحف من الوصول إلى أجزاء معينة من موقع الويب الخاص بك. هذا مفيد إذا كنت تريد منع فهرسة الصفحات غير العامة. قد يشمل ذلك الصفحات التي لا تزال قيد التطوير أو صفحات تسجيل الدخول عبر الإنترنت. إذا كان موقع الويب الخاص بك واسع النطاق بشكل خاص ، فإن ملف Robots.txt مفيد أيضًا في ضمان فهرسة صفحاتك الأكثر صلة.

من خلال تحديد طلباتك في ملف Robots.txt ، لن تتمكن محركات البحث إلا من الوصول إلى الصفحات التي تريدها إليها. لا يوفر لك هذا درجة عالية من الخصوصية فحسب ، بل يزيد أيضًا من ميزانية الزحف الخاصة بك. مهتم بمعرفة المزيد؟ تابع القراءة للحصول على دليل متعمق حول سبب أهمية ملفات Robots.txt لتحسين محركات البحث.

شرح ملف robots.txt

ترسل محركات البحث الرئيسية مثل Google و Bing ما يسمى بـ "برامج الزحف" للبحث من خلال مواقع الويب. بخلاف ذلك ، تُعرف باسم "الروبوتات" أو "العناكب" ، توفر برامج الزحف هذه معلومات حيوية لمحركات البحث بحيث يمكن فهرسة موقعك بشكل صحيح في صفحات نتائج محرك البحث (SERPs). هذا يسهل على مستخدمي الإنترنت اكتشاف موقعك عن طريق إدخال استعلامات في محركات البحث. يحدد ملف Robots.txt بوضوح الصفحات التي يمكن البحث فيها والصفحات التي يجب على الروبوتات تجنبها.

هل تتطلع إلى منع جميع برامج زحف محركات البحث من الوصول إلى صفحة تسجيل دخول العميل؟ يمكن استخدام الأمر Robots.txt التالي:

وكيل المستخدم: *
Disallow: websitename.com/customer-login

يمكنك أيضًا تخصيص أوامر للتركيز على محرك بحث معين. إذا كنت تريد فقط منع برامج الزحف من Google من الوصول إلى صفحاتك ، فيمكن استخدام الأمر التالي:

وكيل المستخدم: Googlebot
Disallow: websitename.com/customer-login

لتسهيل حياتك ، يمكنك إضافة العديد من الصفحات كما تريد إلى قائمة عدم السماح. بمجرد إنشاء ملف Robots.txt ، يجب وضعه في الدليل الرئيسي لموقع الويب الخاص بك. باستخدام الأمثلة أعلاه كدليل ، يجب أن يقرأ عنوان URL لملف Robots.txt شيئًا كالتالي:

https://www.websitename.com/robots.txt

لماذا تمنع الوصول إلى صفحات الويب؟

سيساعد حظر الوصول إلى صفحات ويب معينة في تعزيز جهود تحسين محركات البحث. على هذا النحو ، ستحتاج إلى فهم وقت تشغيل ملف Robots.txt. إذا كان موقع الويب الخاص بك يحتوي على صفحات مكررة ، فيجب ألا تسمح لبرامج الزحف بفهرستها. لماذا ا؟ يمكن أن تضر فهرسة المحتوى المكرر بـ SEO الخاص بك.

على الرغم من أن Google ومحركات البحث الأخرى لن تفرض عليك عقوبات بسبب المحتوى المكرر ، إلا أن الفهرسة غير الضرورية للصفحات المكررة يمكن أن تجعل من الصعب ترتيب الصفحات الأكثر قيمة لديك بشكل جيد.

تسهل ملفات Robots.txt أيضًا تحقيق أقصى استفادة من ميزانية الزحف. يعد زحف الروبوت سلعة ثمينة يمكن أن تعزز أداء تحسين محركات البحث لديك. ومع ذلك ، يمكن أن تكون عمليات الزحف المتزامنة مربكة للمواقع الأصغر. تميل المواقع الأكبر حجمًا أو تلك التي تتمتع بسلطة عالية إلى السماح بالزحف بشكل أكبر.

ومع ذلك ، يجب أن تعمل المواقع الأقل رسوخًا بميزانيات متواضعة نسبيًا. يعني تثبيت Robots.txt أنه يمكنك تحديد أولويات الصفحات الأكثر أهمية في موقعك على الويب ، مما يضمن عدم إهدار ميزانية الزحف في الصفحات الثانوية والمحتوى الزائد.

قد تكون هناك أيضًا صفحات ويب لا تريد أن يتمكن كل مستخدم من الوصول إليها. إذا كان موقع الويب الخاص بك يقدم خدمة أو يتضمن مسار مبيعات ، فهناك العديد من الصفحات التي لن ترغب في عرضها للعملاء إلا بعد أن يكملوا إجراءً معينًا. إذا قمت بتحفيز هذه الإجراءات برموز الخصم أو مكافآت الولاء ، فستحتاج فقط إلى المستخدمين الذين أكملوا رحلة عميل للوصول إليها. من خلال حظر هذه الصفحات ، فإنك تمنع المستخدمين العاديين من التعثر على هذه المعلومات عبر استعلامات محرك البحث.

تعد ملفات Robots.txt مفيدة أيضًا في ضمان منع محركات البحث من فهرسة مواد معينة ، مثل الصور الخاصة. يمكن استخدامها أيضًا لتحديد موقع ملف Sitemap ، وكذلك منع الخوادم من التحميل الزائد إذا حاولت برامج الروبوت فهرسة الصور في وقت واحد.

كيفية إنشاء ملف Robots.txt

لقد اكتشفنا الآن أسباب احتياجك إلى ملف Robots.txt ، يمكننا التحقيق في كيفية إنشاء واحد. أسهل طريقة لإنشاء ملف Robots.txt هي استخدام أدوات مشرفي المواقع من Google. بمجرد إنشاء حساب ، انقر فوق "وصول الزاحف" ثم توجه إلى "تكوين الموقع". بمجرد وصولك إلى هذا الجزء من القائمة ، انقر فوق "إنشاء ملف robots.txt". تسرع هذه الأداة في إنشاء ملف Robots.txt.

لحظر صفحات الوصول إلى الزاحف ، ما عليك سوى تحديد خيار "الحظر". يمكنك بعد ذلك تحديد "وكيل المستخدم" لتحديد برامج الزحف لمحركات البحث التي تريد حظرها. الآن ، يمكنك كتابة أدلة الموقع التي تريد تقييد الوصول إليها. بدلاً من كتابة عنوان URL الكامل للصفحة الهدف ، ما عليك سوى إضافة الامتداد في "الدلائل والملفات". بمعنى آخر ، إذا كنت تريد منع وصول الزاحف إلى صفحة تسجيل دخول العميل ، فكل ما عليك هو كتابة:

/ تسجيل دخول العميل

بمجرد الانتهاء من تحديد الصفحات التي ترغب في حظرها ، يمكنك النقر فوق "إضافة قاعدة" لإنشاء ملف Robots.txt. يمنحك ملف Robots.txt الذي تم إنشاؤه أيضًا خيار "السماح" بالاستثناءات ، وهو أمر مفيد إذا كنت تريد فقط تقييد محركات بحث معينة من فهرسة موقعك.

بعد اكتمال كل شيء ، يمكنك الآن النقر فوق رمز التنزيل لإنتاج ملف Robots.txt نهائي.

كيف أقوم بتثبيت ملف Robots.txt؟

الآن يتم الاهتمام بك كل العمل الشاق ، حان الوقت لتثبيت ملف Robots.txt الخاص بك. يمكنك القيام بذلك بنفسك عن طريق تحميل ملفك باستخدام حل FTP. ومع ذلك ، إذا كانت هناك فجوات قليلة في معرفتك بالبرمجة ، فقد يكون من الأفضل إحضار خدمات خبير. إذا كنت تقوم بتعيين المهمة إلى مبرمج ، فتأكد من تحديد الصفحات التي تريد حظرها بالضبط وتحديد أي استثناءات.

ملفات Robots.txt: أشياء أساسية يجب تذكرها

لضمان تحقيق أقصى استفادة من ملفات Robots.txt ، هناك بعض أفضل الممارسات التي يجب وضعها في الاعتبار. قد يبدو الأمر واضحًا ، ولكن تأكد من تقييم صفحاتك وعدم حظر الوصول إلى الصفحات عالية القيمة التي تريد الزحف إليها وفهرستها.

على الرغم من أن العديد من المستخدمين يلجأون إلى ملف robots.txt لمنع عرض المعلومات الحساسة على صفحات نتائج محرك البحث ، إلا أنها ليست أفضل طريقة لإبعاد هذه المواد عن أعين الجمهور. إذا كانت هناك صفحات أخرى مرتبطة بالصفحات التي حظرتها ، فهناك دائمًا احتمال أن ينتهي الأمر بالفهرسة. استخدم طريقة بديلة لإخفاء المعلومات الحساسة عن الأنظار.

افكار اخيرة

للتأكد من أن ملف Robots.txt الخاص بك لا يؤثر سلبًا على مُحسنات محركات البحث لديك ، يجب عليك تحديثه باستمرار. في كل مرة تقوم فيها بإضافة صفحات أو أدلة أو ملفات جديدة إلى موقع الويب الخاص بك ، ستحتاج إلى تحديث ملف Robots.txt وفقًا لذلك. على الرغم من أن هذا ضروري فقط إذا كنت تضيف محتوى يحتاج إلى تقييد ، فإن مراجعة ملف Robots.txt يعد ممارسة جيدة. فهو لا يضمن فقط أن يكون محتوى موقعك آمنًا قدر الإمكان ولكن يمكنه أيضًا الاستفادة من إستراتيجية تحسين محركات البحث الخاصة بك.

من خلال تنفيذ ملف Robots.txt بشكل فعال ، يمكنك زيادة ميزانية الزحف إلى الحد الأقصى وتحديد أولويات صفحاتك الأكثر أهمية ، ومنع فهرسة المحتوى المكرر ، وتقليل فرصة عمليات الزحف المتزامنة التي تجبر الخوادم الخاصة بك على التوقف.

المؤلف السيرة الذاتية:

جريج توهي هو العضو المنتدب لشركة Docutec ، وهي طابعة أعمال ومزود برامج أتمتة المكاتب. تم تعيين جريج مديراً إدارياً في يونيو 2011 وهو القوة الدافعة وراء الفريق في مجموعة Cantec. فور حصوله على درجة علمية في جامعة كاليفورنيا في عام 1995 ، انضم جريج إلى شركة آلات التصوير / الطابعات العائلية. تصنع Docutec أيضًا طابعات للمنازل العائلية أيضًا مثل الطابعات متعددة الوظائف.