منجز
معلومة جديدة كل يوم

ملف Robots.txt المخصص في Blogger – أضفه إلى Blogger

ملف Robots.txt المخصص في Blogger – أضفه إلى Blogger

يعد ملف Robots.txt مهمًا جدًا لموقع ما للتحكم في نشاط الزاحف في محرك البحث. سنجد ملف robots.txt المخصص في Blogger في قسم الإعدادات. تسهل Blogger إضافة ملف robots.txt مخصص. لهذا السبب اليوم سأتحدث عن هذا.

إذا كنت تدير موقعًا إلكترونيًا ، فلا يمكنك تجنب أي مشكلة واحدة يمكن أن تعيق ترتيب موقعك في محركات البحث. نحن نعتبر ملف robots.txt دائمًا جزءًا رئيسيًا من موقعنا. لذلك يجب أن نعرف ما هو ملف robots.txt وكيفية استخدامه بشكل صحيح على موقعنا؟

من بين العديد من منصات التدوين التابعة لجهات خارجية ، تعد Blogger (Blogspot) الأكثر شهرة. يمكنك بطبيعة الحال بناء مدونتك المهنية على مدون بسرعة كبيرة. CMS of Blogger سهل الاستخدام للغاية. يمكن للمرء بناء وتشغيل موقعه على المدون دون أي تكلفة. يتم تشغيل Blogger بواسطة Google ، وبالتالي فإن جودة منصة التدوين المجانية هذه هي بلا شك قياسية.

الشيء الوحيد الذي يجب أن نعرفه هو الاستخدام الصحيح للمدون. لا يزال العديد من المدونين الجدد لا يعرفون كيفية استخدام ملف robots.txt هذا في Blogger. كما قلت هذا ، من المهم جدًا معرفة أن ملف robots.txt في مدونتك يعمل بشكل صحيح أم لا وكيف يمكنك إضافته إلى مدونتك ، لذلك دعونا نرى.

ما هو ملف Robots.txt؟

ملف Robots.txt هو ملف نصي بسيط يتحكم في نشاط متتبع ارتباطات محرك البحث. دعني أوضح الأمر. يتم إنشاء برامج الروبوت للزحف إلى موقع ويب مباشر على الويب ويحصل على التحديث من هذا الموقع لإخطار محركات البحث بذلك. هل فكرت يومًا كيف تحصل Google أو محركات البحث الأخرى على معلومات موقع الويب الخاص بك وتخدم ذلك أمام الآلاف؟

الإجابة هي: تقوم محركات البحث بإرسال الروبوتات للزحف إلى موقعك مرارًا وتكرارًا. يزحف الزاحف إلى موقعك ويحصل على التحديثات إلى موقعك ويرسل البيانات إلى قاعدة بيانات محرك البحث. وبهذه الطريقة ، يتعرف محرك البحث على المعلومات التي تقدمها في مدونتك ومتى يتم تقديمها لمتطلبات المستخدم. الزاحف لديه العديد من الأسماء. شخص يسميها الروبوت ، شخص يطلق عليه الروبوت ، شخص ما قد يطلق عليه العنكبوت لذلك لا تشعر بالارتباك.

ملف Blogger Robots.txt

إذن ما هي العلاقة بين هذا الزاحف وملف robots.txt؟ إذا كان موقع الويب الخاص بك يحتوي على ملف robots.txt ، فسيأتي متتبع ارتباطات محركات البحث إلى موقعك ويبحث عنه. بعد العثور على ملف robots.txt ، سيتعرف الزاحف على الصفحات أو عناوين URL التي يجب أن يزحف إليها ويفهرسها والصفحات التي ليست كذلك.

إذا تم حظر بعض الصفحات أو عناوين URL للزواحف من خلال ملف robots.txt ، فلن يقوم الزاحف في محرك البحث بالزحف إلى تلك الصفحات أو عناوين URL وفهرستها. بهذه الطريقة ، يتحكم ملف robots.txt في نشاط الروبوتات على موقعك. لذلك سيساعد استخدام ملف robots.txt الزاحف في محرك البحث على الزحف إلى موقعك وفهرسته بشكل أكثر دقة.

يمكنك أيضًا حماية بياناتك السرية من فهرستها بواسطة محركات البحث من خلال ملف robots.txt الصغير. كما كنت أقول لك ، ليس فقط محركات البحث لديها الزاحف. تتوفر أيضًا العديد من برامج الزحف العشوائية على الويب. يمكنك حماية برامج زحف البريد العشوائي هذه من زيارة موقعك وحفظ النطاق الترددي الخاص بك باستخدام ملف robots.txt في مدونتك.

حول ملف Blogger Robots.txt:

نحن واضحون بشأن أهمية ملف robots.txt لموقعنا. حتى الآن إذا كنت تستخدم blogger فكيف تجد ملف Blogger robots.txt؟ هل لدى Blogger بالفعل ملف robots.txt؟ هل يمكننا استخدام ملف robots.txt الخاص بنا في Blogger؟

أعلم أن هذا النوع من الأسئلة يلعب في عقلك. الجواب البسيط هو نعم لجميع هذه القضايا. يوفر Blogger ملف robots.txt لكل مدونة Blogspot تم إنشاؤها. يمكنك التحقق من ملف robots.txt الخاص بمدونة Blogger من خلال زيارة عنوان URL هذا:

http://www.yoursite.blogspot.com/robots.txt أو إذا كنت تستخدم أي مجال مخصص في مدونة Blogger الخاصة بك ، فقم بزيارة: http://yourdomainname.com/robots.txt. ستتمكن من مشاهدة ملف robots.txt الافتراضي مباشرة. هذا سيبدو:

وكيل المستخدم: Mediapartners-Google
عدم السماح:
وكيل المستخدم: *
عدم السماح: / البحث
السماح: /
ملف Sitemap: http://www.blogornate.com/sitemap.xml

هذا هو ملف robots.txt الافتراضي في Blogger الذي كنا نتحدث عنه. سوف أشرح الآن ملف robots.txt هذا. كيف تعمل وما معنى هذه الرموز؟

شرح ملف Blogger Robots.txt؟

User-agent: – نحن نشاهد في ملف robots.txt الافتراضي الخاص بـ blogger. السطر الأول يحتوي على شيء مثل “وكيل المستخدم”. نستخدم “وكيل المستخدم” في ملف robots.txt الخاص بنا لاستهداف روبوت معين. يمكنك أن ترى أن هذا يستهدف الروبوت “Mediapartner-Google” ويخبر حد وصوله في مدونتنا من خلال “Disallow:”

User-agent: * – نحن نستخدم “User-agent: *” في ملف robots.txt الخاص بنا لاستهداف جميع الروبوتات لمعرفة حدود إمكانية الوصول إليها على مدونتنا. هنا يمكنك رؤية المدون وهو يحمي دليل “/ بحث” لجميع أنواع الروبوتات. لذلك لن تكون عناوين URL التي تم إنشاؤها من خلال هذا الدليل متاحة لأي روبوتات.

Disallow: – إذا كنت تريد أن تخبر زاحف محرك البحث بعدم الزحف إلى أي مجلد / دليل / عنوان URL معين لمدونتك ، فيمكنك استخدام هذا Disallow: part. لاستبعاد مجلد من فهرسته بواسطة محركات البحث ، يمكنك استخدام هذا الجزء غير المسموح به مثل هذا: “Disallow: / search”. هذا يعني أنه لا يُسمح للزاحف بالزحف إلى هذا المجلد وفهرسته.

السماح: – هذا الجزء “السماح: /” يخبر الزاحف بالزحف إلى كل شيء في مدونتك وفهرستها باستثناء المسار غير المسموح به.

ملف Sitemap: – يعد ملف Sitemap مكونًا مهمًا آخر لموقع الويب. يخبر ملف Sitemap برامج الزحف عن أولوية المحتوى. هذا مهم جدا لكبار المسئولين الاقتصاديين. يحتوي ملف Blogger robots.txt على ملف Sitemap افتراضيًا للسماح لمحركات البحث الروبوتات بمعرفة محتوى موقع الويب الخاص بك.

Mediapartner-Google – هذا برنامج زاحف أو وكيل مستخدم لـ Google AdSense. بشكل افتراضي ، لا يقوم ملف robots.txt الخاص بـ blogger بتعطيل أي مجلدات أو عناوين URL لهذا الروبوت. بهذه الطريقة ، سيكون Adsense قادراً على الحصول على معلومات واضحة عن مدونتك.

سيكون أيضًا قادرًا على عرض إعلانات أكثر صلة في مدونتك نظرًا لأن برنامج الزاحف Adsense يتمتع بإمكانية الوصول الكامل إلى مدونتك. إذا لم تسمح لبرنامج التتبع في AdSense من خلال ملف robots.txt هذا ، فلن يتمكن Adsense من عرض الإعلانات في مدونتك.

هل يمكنني استخدام ملف Robots.txt المخصص في Blogger؟

من الواضح ، يمكنك استخدام ملف robots.txt مخصص في Blogger. ستتيح لك خدمة Blogger القيام بذلك بسهولة خلال نقرات قليلة. ولكن الشيء المهم هو أنك إذا لم تفهم استخدام ملف robots.txt ، فلا يجب عليك إضافة ملف robots.txt الافتراضي أو تحريره لأن وجود خطأ واحد في ملف robots.txt الخاص بك والذي قمت به قد يؤدي إلى منع إمكانية وصول الروبوتات .

لذلك ، اقتراحي هو أنه إذا لم يكن هناك سبب قوي لتحرير ملف robots.txt ، فيجب أن تتركه افتراضيًا. يوفر Blogger ملف robots.txt قياسي افتراضيًا وسيعمل بشكل جيد من أجلك.

قبل بضعة أيام ، لم يحتوي ملف robots.txt الافتراضي الخاص بـ blogger على خريطة الموقع ، وكان من المهم بالنسبة لنا تعديل ملف robots.txt هذا لوضع ملف Sitemap الخاص بنا هناك ولكن بحلول هذا الوقت ، أصبح ملف robots.txt الخاص بـ blogger ملائمًا لـ Robots و SEO.

كيفية إضافة ملف Robots.txt مخصص في Blogger؟

للمدونات المستضافة ذاتياً ، نقوم عادةً بإنشاء ملف robots.txt وتحميله إلى دليل جذر خادمنا. لكن المدون يوفر ملف robots.txt افتراضيًا. يمكننا تعديل ملف robots.txt هذا بالطريقة التي نريدها. لذا ، إذا كنت ترغب في وضع قاعدة مخصصة للروبوتات الخاصة بمدونتك الإلكترونية في Blogger ،

1. تسجيل الدخول إلى حساب مدون الخاص بك.
2. انتقل إلى قسم ” الإعدادات ” في مدونتك.
3. انقر فوق قسم ” تفضيلات البحث “.
4. قم بالتمرير لأسفل وابحث عن Custom Robots.txt .
5. قم بتمكينه ووضع نص القاعدة المخصصة للسماح بشيء من مدونتك أو عدم السماح به مباشرةً بعد السطر “User-agent: *”.

كيفية إضافة ملف Robots.txt مخصص في Blogger؟

الآن انقر على زر ” حفظ التغييرات ” وستنتهي.

عدم السماح للملف أو الصفحات باستخدام ملف Blogger Robots.txt؟

لقد أخبرتك بالفعل أنه يمكنك عدم السماح لتلك الصفحات التي لا تريد فهرستها عبر محركات البحث. لذلك الأمر متروك لك تمامًا. مثل يمكنك منع صفحة سياسة الخصوصية الخاصة بك أو الاتصال بنا على الصفحة من خلال ملف robots.txt المخصص في blogger لأن هذه الصفحات ليست إلزامية للفهرسة في محركات البحث.

يمكنك أيضًا عدم السماح لتلك الصفحات الموجودة في موقع الويب الخاص بك والتي تحتوي على بياناتك الشخصية أو أي بيانات سرية. لنفترض أنك لا تريد فهرسة صفحة الاتصال الخاصة بموقعك. في هذه الحالة ، يمكنك وضع سطر في ملف robots.txt الخاص بالمدون مثل: Disallow: /p/contact.html مباشرة بعد السطر “User-agent: *”.

كيفية التحقق من ملف Robots.txt المخصص في Blogger؟

إذا كنت ترغب في التحقق من ملف robots.txt الخاص بـ blogger بعد التحرير ، فما عليك سوى وضع ملف robots.txt بعد اسم نطاقك. سيبدو هذا كما يلي: yourdomain.com/robots.txt أو yourdomain.blogspot.com/robots.txt

كيفية التحقق من ملف Robots.txt المخصص في Blogger؟

كل شيء يبدو على حق؟ آمل أن تتمكن من إضافة ملف robots.txt المخصص الخاص بك بنجاح في مدونة Blogger الخاصة بك. إذا كانت هناك أي مشكلة للقيام بالمهمة بأكملها ، فالرجاء إخبارنا بذلك من خلال تعليق. يمكنك أيضا مشاركة ملاحظاتك هناك. إذا كانت هذه المقالة مفيدة ، فلا تنس المشاركة.

اترك تعليقا