ملفات الروبوت (robots.txt):
هل وسيلة لمنع محركات البحث أو بالأحرى (روبوتات البحث) من الوصول الى بعض الملفات التي لا تريد تضمينها في محركات البحث تم تعريف بروتوكول ملفات تقييد الوصول او الروبوتات من قبل Martijn Koster عام 1994, والروبوتات هي ملفات نصية ذات الامتداد txt توضع في الجذر الرئيسي لموقعك وهي مفيدة حقا في منع تضمين بعض الملفات أو (المجلدات الفرعية) الخاصة, ويمكن وجود ملفات الروبوت وخرائط الموقع سوياً.
يمكن لملفات الروبوت أن تقوم بتغطية دومين فرعي واحد فقط (sub.domain.com) ولو كان لديك دومين فرعي أخر (sub2.domain.com) يجب عليك إنشاء ملف روبوت أخر والصيغة العامة لكتابة ملفات الروبوت:
المثال التالي يسمح لجميع محركات البحث بالولوج لجميع الملفات وفهرستها:
User-agent: *
Disallow:
هذه الصيغة تجعل جميع محركات البحث تستثني جميع ملفات موقعك من الفهرسة:
User-agent: *
Disallow: /
المثال التالي يجعل محرك البحث يستثني مجلد الصور من موقعك:
User-agent: *
Disallow: /images/
هذا المثال يخبر محرك البحث بمكان وجود ملف خريطة الموقع:
User-agent: *
Sitemap: http://www.example.com/sitemap.xml
المثال التالي يسمح لملف للفهرسة داخل مجلد محظور:
Allow: /folder/new.html
Disallow: /folder/
مع ملاحظة أن ملف الروبوت يكون بالصيغة robots.txt وليس Robots.txt.
ترويسات الوصف والكلمات الدلالية (description and keywords) :
كما تم شرحها سابقاً وتوضيح الشكل الافضل لأستخدام هذه الترويسات.
تعد
هذه العوامل الاساسية والضرورية لتحسين موقعك لمحركات البحث والى اصحاب
المواقع يمكنهم الأطلاع دائما على حالة الفهرسة لموقعهم والتحكم بروبوتات
الوصول عن طريق اداة Webmaster tools من جوجل فأنا شخصياً استخدمها واجدها
اكثر من رائعة حية تمكنك من السيطرة الكامله على "صحة موقعك" كما يسميها
جوجل :)
اتمنى ان حققت
هذه الدروس اكبر فائدة للمطورين واصحاب المواقع وسأكون سعيدا بالاجابة عن
تساؤلاتكم حول الدروس أو اي استفسار اخر يتعلق بالموضوع.
|
تعليقات