robots.txt ماهو ، هو ملف نصي الغرض منه التحكم فى حركة روبوتات البحث والتى ترد لمدونتك من خلال محركات البحث والتى تقوم بفهرسة مواضيع مدونتك مثل جوجل أو بينج أو خلافه ، حيث يمكنك من خلال بعض الأوامر البسيطه التى تقوم بكتابتها بملف الروبوتس التحكم فى كل شىء بمدونتك بخصوص الروابط التي لا يجب تضمينها في نتائج البحث.
يعني ذلك أنه يمكنك تقييد برامج روبوت محرك البحث للزحف إلى بعض الصفحات أو المواضيع بمدونتك.
والان تعالوا سويا لنفهم ملف robots.txt من البدايه وشرح أوامره وكيفية كتابته وفهم أوامره:-
1- ملف robots.txt الافتراضى فى مدونات بلوجر بلوحة تحكم بلوجر القديمة هو على الشكل التالى :
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://#############.blogspot.com/sitemap.xml
2- ملف robots.txt الافتراضى فى مدونات بلوجر فى لوحة تحكم بلوجر الجديدة هو على الشكل التالى :
Sitemap: https://#############.blogspot.com/sitemap.xml User-agent: * Disallow: /search Allow: / User-agent: Mediapartners-Google* Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: /
1-كيف نقوم بتفعيل ملف الروبوتس المخصص فى بلوجر فى لوحة تحكم بلوجر الجديدة 2020؟
يتم ذلك عبر خطوة واحده بسيطة من خلال لوحة تحكم مدونتك بلوجر .
1- اضغط اعدادات او Setting
2- من خلال القائمة حرك مؤشر الصفحة إلى اسفل حتى تصل الى برامج الزحف والفهرسة.
3- امام تفعيل محتوى ملف robots.txt مخصص حرك المؤشر الرمادى بالماوس حتى يصبح لونة أخضر ..كما بالصورة التالية.
وهكذا تم تفعيل محتوى ملف robots.txt مخصص فى مدونتك ووفقا للوحة تحكم بلوجر الجديدة.
4- اضغط على جملة ملف robots.txt مخصّص ستفتح معك نافذه منبثقة ، تستطيع من خلالها التعديل على ملف الروبوتس سواء بتعديلة كاملا او بالحذف او بالإضافة ثم حفظ… شاهد الصورة
وبهذه الطريقة يتم تعديل ملف الروبوتس لمدونات بلوجر.
2-ماهى أوامر ملف الروبوتس لمدونات بلوجر ومافائدتها ؟
أ1- User-agent: Mediapartners-Google
وهذا هو البوت الخاص بجوجل ادسنس وهو قيمه ثابته فى كل المدونات أو المواقع التى تستخدم اعلانات جوجل ادسنس.
2- Disallow:
وهي تعنى السماح لروبوت جوجل ادسنس بإستكشاف الصفحات والاطلاع عليها لعرض اعلانات متوافقه مع محتوى موقعك أو مدونتك.
3- User-agent: *
وهو أمر كل روبوتات البحث جوجل ،بينج ، ……الخ طالما ينتهى بعلامة ” * ” النجمه ، اما لو حذفت النجمه فأنت مضطر بأن تذكر كل روبوت لوحده ،مثل روبوت جوجل User-agent: googlebot أو روبوت تويتر مثلا User-agent: Twitterbot وكل روبوت حينها مضطر أن تضع تحته مجموعة الأوامر بالسماح والرفض لمحتويات موقعك للإطلاع عليه وفهرسته.
4- Allow: /
وهي تعني السماح بالفهرسة ويتم استخدام هذا الأمر فى حالة استخدامك المنع لأجزاء من صفحات او مواضيع مدونتك ثم بعدها تعطى الأمر بالسماح بالباقى .
5- Disallow: /search
وهى تعنى منع روابط البحث search
6- Sitemap: https://www.—– .com/sitemap.xml
وهي الخريطة التي تحتوي على روابط المواضيع لموقعك حيث https://www.—– .com/ هو رابط موقعك .
والان لنتفهم أكثر لتلك الأوامر لكى تستطيع بنقسك كتابة ملف الروبوتس الخاص بمدونتك اذا كنت تريد ارشقة مواضيع دون غيرها او منع صفحات الارشيف والبحث وكذلك صفحات الأقسام من الارشفه وذلك لتفادى المحتوى المكرر من الويب ماستر فى جوجل .
فمثلا شاهد تلك الأوامر وحاول أن تفهمها لأننى سأبسطها لك :
3-شرح أوامر ملف الروبوتس لمدونات بلوجر
وهذا الأمر التالى معناه عدم أرشفة موقعى تماما من كل محركات البحث.
User-agent: *
Disallow: /
وهذا الأمر التالى معناه السماح لكل محركات البحث بأرشفة موقعى دون أى قيود
User-agent: *
Disallow:
وهذا الأمر التالى معناه عدم السماح لروبوت جوجل بفهرسة موقعى
User-agent: Googlebot
Disallow: /
وهذا الأمر التالى معناه السماح لروبوت جوجل بفهرسة موقعى دون أى قيود
User-agent: Googlebot
Disallow:
وهذا الأمر التالى معناه السماح لروبوت جوجل بفهرسة موقعى ماعدا مجلد admin أو أى رابط يبدأ بكلمة admin.
User-agent: Googlebot
Disallow: /admin
وهذا الأمر التالى معناه السماح لروبوت جوجل بفهرسة موقعى ماعدا مجلد admin و photos أو أى رابط يبدأ بكلمة admin أو photos.
User-agent: Googlebot
Disallow: /admin
Disallow: /photos
والان لابد أن نتعرف على كتابة أوامر القيد أى المنع وأوامر السماح واضافة ملف الروبوتس المعدل او المخصص لجوجل ويب ماستر ( أدوات مشرفى المواقع ).
عند كتابة تلك الأوامر لابدان تعرف أين تضع أمر القيد أو المنع Disallow: / وأمر السماح او الاستثناء Allow: / … شاهد الصوره التاليه لتعرف أين توضع تلك الأوامر :
4- إنشاء ملف robots txt بالتفصيل للمبتدئين أو شرح عمل ملف robots مخصص لمدونات بلوجر 2019
1- اذا اردت أن تمنع أقسام المدونه من الظهور فى نتائج البحث فعليك بكتابة الامر هكذا
Disallow: /search/label/ أو هكذا Disallow: /search
وقم بإختبار الرابط عبر جوجل ويب ماستر لموقعك كما بالصوره التاليه :
2- اذا اردت ان تمنع الصفحات من الارشفه مثل سياسة الخصوصيه أو اتصل بنا …الخ ،فيتم كتابة الأمر هكذا
Disallow: /p/ وأختبر أى صفحه وطالما يعطى محظور فأنت تسير بطريقه صحيحه .
3-اذا اردت ان تمنع روابط الموضوعات والتى تنتهى هكذا .html?m=1 وهى روابط الموضوعات والتى تظهر عبر الجوال أو الموبايل فهى تعتبر محتوى مكرر لايجوز أرشفة الموضوع برابطين وهنا يجب عليك حظر الرابط عبر ملف الروبوتس ويتم عبر الأمر التالى :
Disallow: /2019/*.html?m=1
كمثال على تلك الروابط شاهد الأتى :-
https://learnwebseo.com/2019/03/how-to-add-anti-adblock-script-for-blogger-2019.html?m=1
https://learnwebseo.com/2019/03/how-to-add-anti-adblock-script-for-blogger-2019.html
لو وضعت هذين الرابطين فى متصفحك فسيعطيك نفس النتيجه ،وبالتالى انت مطالب برابط واحد تسمح بأرشفته لكى تمنع المحتوى المكرر لديك.
ولكن هذا الأمر وحده يوقف كافة روابط المدونه التى تنتهى بــ .html ،وهنا يجب عليك السماح بكافة الروابط التى تنتهى بــ .html عبر الأمر التالى :
Allow: /2019/*.html
أى انك سمحت لكافة الروابط للموضوعات والتى تنتهى بــ .html وبالطبع كرر هذا الأمر بملف الروبوتس لكافة سنوات مدونتك كما تلاحظه فى ملف الروبوتس الخاص بمدونتى ،أى تمنع سنوات للجوال وتمنح نفس السنوات وذلك لروابط الموضوعات بمدونتك.
Disallow: /2019/*.html?m=1
4- صفحات الجوال تنتهى ايضا بــ ?m=0 وهنا يجب عليك منع الصفحه الرئيسيه لموقعك من الظهور بهذا الرابط وذلك عبر الأمر التالى
Disallow: /?m=0
والسماح للرئسيه بالظهور فى بحث الجوال عبر اضافة الأمر التالى
Allow: /?m=1
وأنا أخترت لكم ملف robots.txt والخاص بمدونتى بلوجر قبل النقل على منصة ووردبريس ، انسخه وقم بتغيير مايلزم من الروابط واستبدال رابط مدونتى www.learnwebseo.com برابط مدونتك :-
ويمكنك ايضا الاطلاع على هذا الشرح من جوجل للإفادة.
تحميل ملف robots.txt بلوجر والخاص بمدونتى على منصة بلوجر سابقا. ملف ممتاز ويغطى كافة الجوانب وخالى من الأخطاء.
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /p/privacy-policy.html Disallow: /p/terms-and-conditions.html Disallow: /p/contact-us.html Disallow: /p/about-us.html Disallow: /search Disallow: /2023/*.html?m=1 Disallow: /2022/*.html?m=1 Disallow: /2021/*.html?m=1 Disallow: /2020/*.html?m=1 Disallow: /2019/*.html?m=1 Disallow: /2018/*.html?m=1 Disallow: /2017/*.html?m=1 Disallow: /2020/*.html?m=0 Disallow: /2019/*.html?m=0 Disallow: /2018/*.html?m=0 Disallow: /2017/*.html?m=0 Disallow: /?m=0 Disallow: /*archive.html Disallow: /2020 Disallow: /2019 Disallow: /2018 Disallow: /2017 Allow: / Allow: /2023/*.html Allow: /2022/*.html Allow: /2021/*.html Allow: /2020/*.html Allow: /2019/*.html Allow: /2018/*.html Allow: /2017/*.html Allow: /?m=1 Sitemap:https://learnwebseo.com/atom.xml?redirect=false&start-index=1&max-results=500
وهو ملف محدث حتى 2020. ماعليك سوى نسخة مع تغيير رابط موقعى برابط مدونتك .
5-طريقة تركيب ملف ملف robots.txt مخصص لمدونات بلوجر بدلا من ملف الروبوتس الافتراضى
يتم ذلك عبر الخطوات التاليه :
1- أدخل على لوحة تحكم مدونتك بلوجر ثم إضغط على اعدادات.
2- أختار من القائمة التى تظهر لك تفضيلات البحث.
3- في نهاية الصفحة ستجد ملف robots.txt مخصص.
4- من خلال ملف robots.txt مخصص اضغط على خانة تعديل.
5- اضغط على زر تحرير الموجود بجانبها ثم اختر نعم لتمكين ملف Robots.txt المخصص.
6- ضع ملف الروبوتس المخصص الموجود بالمقالة هنا وغير مايلزم من روابط برابط مدونتك ثم قم بحفظ التغييرات.
شاهد الصوره التاليه
ثم ضع ملف الروبوتس المخصص الذى وضعته لكم بالأعلى وغير مايلزم بخصوص رابط مدونتك أو مسميات الأقسام والصفحات .
اتمنى أن أكون وفقت فى الشرح وسأوالى هذا الموضوع بكل اضافه جديده اراها مكمله له .
6-تحديث هام
لاحظت بعد فتره من تركيب ملف الروبوتس الجديد بأن جوجل قد قامت بحذفه وقامت بتركيب ملف الروبوتس الإفتراضى الخاص بمدونات بلوجر وهو الذى ذكرته فى بداية المقال.
لذلك اعتبر ان موضوعى هذا هو شرح لملف الروبوتس ولا ألزمك بأن تستخدمه ويستمر معك فى مدونتك بلوجر وذلك لإن جوجل تتحكم كليا فى المدونه من خلال لوحة التحكم .
لكن هنا انا شرحت لك طبيعة عمل ملف الروبوتس وكذلك الأوامر الخاصه به وماهو معناها ، لذلك لامانع من التجربة ولكن لاتتفاجأ عندما ترى ان جوجل قد قامت بحذفه.
تستطيع فقط التحكم فى موقعك أو مدونتك بدون سيطرة الآخرين إلا إذا توجهت نحو المنصات الأخرى لإدارة المحتوى مثل الرائعة الووردبريس او WIX أو vBulletin Forums .
أرجوا أن أكون وفقت فى شرح عمل ملف robots مخصص لمدونات بلوجر.
مع خالص تحياتى لك
اى سؤال حول هذا الموضوع اتركة لى بخانة التعليقات للرد عليه
عن مدير الموقع
مهندس مدنى واهوى التدوين عن #السيو للمواقع والمدونات المختلفه وتهيئتها لمحركات البحث ، وكذلك شرح ماهو السيو وماهى فائدتة لمدونات بلوجر وكذلك دروس حول بلوجر ونشر قوالب بلوجر الأجنبية والعربية وشروحات حول جوجل ادسنس .