منجز
معلومة جديدة كل يوم

شاهد اكتر

إعداد ملف robots.txt لمدونة الوردبريس

يتحدث الجزء الثاني من مقالنا حول “دليل أفضل الممارسات وأمثلة Robots.txt” حول كيفية إعداد ملف robots.txt الذي تم إنشاؤه حديثًا.

إذا لم تكن متأكدًا من كيفية إنشاء ملف robots.txt الخاص بك أو لم تكن متأكدًا من نوعه ، فانتقل إلى الجزء الأول من سلسلة المقالات هذه ، ” دليل أفضل ممارسات Robots.txt + أمثلة ” إذا كنت ستتمكن من تعرّف على تفاصيل ملف robots.txt وكيفية إعداده بشكل صحيح. حتى إذا كنت في لعبة تحسين محركات البحث لبعض الوقت ، فإن المقالة تقدم دورة تنشيطية رائعة.

ملف robots.txt كيفية التثبيت على موقعك

كيفية إضافة ملف robots.txt إلى موقعك

عادةً ما يتم تخزين ملف Robots.txt في جذر موقع الويب الخاص بك للعثور عليه. على سبيل المثال ، إذا كان موقعك https://www.mysite.com ، فسيتم العثور على ملف robots.txt هنا: https://www.mysite.com/robots.txt. من خلال وضع الملف في المجلد الرئيسي أو الدليل الجذر لموقعك ، ستتمكن بعد ذلك من التحكم في الزحف إلى جميع عناوين url ضمن https://www.mysite.com.

من المهم أيضًا معرفة أن ملف robots.txt حساس لحالة الأحرف ، لذا تأكد من تسمية الملف “robots.txt” وليس شيئًا مثل Robots.txt أو ROBOTS.TXT أو robots.TXT أو أي شكل آخر بأحرف كبيرة.

سبب أهمية ملف robots.txt

إن ملف Robots.txt هو مجرد ملف نصي عادي ، ولكن هذا الملف النصي “العادي” مهم للغاية حيث يتم استخدامه للسماح لمحركات البحث بمعرفة أين يمكنها ولا يمكنها الانتقال إلى موقعك بالضبط. هذا هو السبب في أنها جزء استيراد للغاية من موقع الويب الخاص بك.

بمجرد إضافة ملف robots.txt الجديد الخاص بك إلى موقعك أو مجرد إجراء تحديثات على ملف robots.txt الحالي الخاص بك ، من المهم اختباره للتأكد من أنه يعمل بالطريقة التي تريدها.

على الرغم من وجود الكثير من المواقع والأدوات المختلفة التي يمكنك استخدامها لاختبار ملف robots.txt الخاص بك ، فلا يزال بإمكانك استخدام أداة اختبار ملف robots.txt في الإصدار القديم من Search Console. ما عليك سوى تسجيل الدخول إلى Search Console لموقعك ، والتمرير لأسفل إلى أسفل الصفحة والنقر على ← الانتقال إلى الإصدار القديم

 

مثال على وحدة تحكم بحث Google لكيفية تثبيت الإصدار القديم من ملف robots.txt

ثم انقر على الزحف ← اختبار robots.txt

الخطوة الثانية في Google Search Console ، أداة اختبار لملف robots.txtمن هنا ، ستتمكن من اختبار ملف robots.txt لمواقعك عن طريق إضافة الرمز من ملفك إلى المربع ، ثم النقر فوق الزر “اختبار”.

أداة اختبار وحدة تحكم بحث Google لاختبار ملف robots.txt الخاص بالموقع

إذا سارت الأمور على ما يرام ، يجب أن يكون زر الاختبار الأحمر الآن باللون الأخضر ويجب أن يتحول إلى “مسموح به” ، بمجرد حدوث ذلك ، فهذا يعني أن ملف robots.txt الجديد الذي تم إنشاؤه أو تعديله صالح. يمكنك الآن تحميل ملف robots.txt الخاص بك إلى الدليل الجذر لمواقعك.

تحديثات Google لمعايير ملف robots.txt اعتبارًا من 1 سبتمبر

أعلنت Google مؤخرًا أن التغييرات ستطرأ على كيفية فهم Google لبعض التوجيهات غير المدعومة في ملف robots.txt.

اعتبارًا من 1 سبتمبر ، ستتوقف Google عن دعم القواعد غير المدعومة وغير المنشورة في بروتوكول استبعاد الروبوتات. وهذا يعني أن Google لن تدعم ملفات robots.txt بعد ذلك باستخدام أمر noindex المدرج في الملف.

إذا كنت قد استخدمت أمر noindex في ملف robots.txt في الماضي للتحكم في الزحف ، فهناك عدد من الخيارات البديلة التي يمكنك استخدامها:

Noindex في العلامات الوصفية لبرامج الروبوت: كلتا العلامتين مدعومتان في رؤوس استجابة HTTP وفي HTML. ومع ذلك ، فإن توجيه noindex هو الطريقة الأكثر فعالية لإزالة عناوين URL من الفهرس عند السماح بالزحف.

404 و 410 رموز حالة HTTP

يعني كلا رمزي الحالة هذين أن الصفحة غير موجودة ، مما سيؤدي إلى إسقاط أي عناوين URL تُرجع هذا الرمز من فهرس Google بمجرد الزحف إليها ومعالجتها.

حماية كلمة المرور

تعد إضافة الحماية بكلمة مرور طريقة رائعة لمنع Google من رؤية الصفحات الموجودة في موقعك أو الزحف إليها تمامًا (التفكير في نسخة مطورة من الموقع) سيؤدي إخفاء صفحة خلف تسجيل الدخول إلى إزالتها بشكل عام من فهرس Google لأنها غير قادرة لملء المعلومات المطلوبة للمضي قدما لمعرفة ما وراء تسجيل الدخول. يمكنك استخدام ترميز الاشتراك والمحتوى المحمي بنظام حظر الاشتراك غير المدفوع لهذا النوع من المحتوى ، ولكن هذا موضوع آخر تمامًا لوقت آخر.

عدم السماح بملف robots.txt

يمكن لمحركات البحث فهرسة الصفحات التي تعرف عنها فقط (يمكن البحث عنها والزحف إليها) ، لذا فإن حظر الصفحة أو الصفحات من الزحف يعني عادة عدم فهرسة محتواها . من المهم أن تتذكر أن Google قد تستمر في العثور على هذه الصفحات وفهرستها ، من خلال صفحات أخرى ترتبط بها مرة أخرى.

أداة Search Search Remove URL URL

و حدة البحث أداة إزالة  العروض وسيلة سريعة وسهلة بالنسبة لك لتكون قادرة على إزالة URL مؤقتا من نتائج بحث Google. نقول مؤقتًا لأن هذا الخيار صالح لمدة 90 يومًا فقط. بعد ذلك ، يمكن أن يظهر عنوان url الخاص بك مرة أخرى في نتائج بحث Google.

لجعل عملية الإزالة دائمة ، ستحتاج إلى اتباع الخطوات المذكورة أعلاه

  • حظر الوصول إلى المحتوى (يتطلب كلمة مرور)
  • إضافة علامة تعريف noindex
  • أنشئ رمز حالة http 404 أو 410

استنتاج

يمكن أن يكون لإجراء تعديلات صغيرة في بعض الأحيان تأثيرات كبيرة على مواقع تحسين محركات البحث الخاصة بك وباستخدام ملف robots.txt هو أحد تلك التعديلات التي يمكن أن تحدث فرقًا كبيرًا.

تذكر أنه يجب تحميل ملف robots.txt الخاص بك إلى جذر موقعك ويجب أن يطلق عليه “robots.txt” ليتم العثور عليه. هذا الملف النصي الصغير يجب أن يكون لكل موقع ويب ، وإضافة ملف robots.txt إلى المجلد الجذر لموقعك عملية بسيطة للغاية

آمل أن تكون هذه المقالة قد ساعدتك على تعلم كيفية إضافة ملف robots.txt إلى موقعك ، بالإضافة إلى أهمية وجود ملف. إذا كنت تريد معرفة المزيد عن ملفات robots.txt ولم تقم بذلك بالفعل ، فيمكنك قراءة الجزء الأول من سلسلة المقالات هذه ” دليل أفضل الممارسات Robots.txt + أمثلة “.