ملفات الروبوت ( robots.txt ): هل وسيلة لمنع محركات البحث أو بالأحرى (روبوتات البحث) من الوصول الى بعض الملفات التي لا تريد تضمينها في محركات البحث تم تعريف بروتوكول ملفات تقييد الوصول او الروبوتات من قبل Martijn Koster عام 1994, والروبوتات هي ملفات نصية ذات الامتداد txt توضع في الجذر الرئيسي لموقعك وهي مفيدة حقا في منع تضمين بعض الملفات أو (المجلدات الفرعية) الخاصة, ويمكن وجود ملفات الروبوت وخرائط الموقع سوياً. يمكن لملفات الروبوت أن تقوم بتغطية دومين فرعي واحد فقط ( sub.domain.com ) ولو كان لديك دومين فرعي أخر ( sub2.domain.com ) يجب عليك إنشاء ملف روبوت أخر والصيغة العامة لكتابة ملفات الروبوت: المثال التالي يسمح لجميع محركات البحث بالولوج لجميع الملفات وفهرستها: User-agent : * Disallow : هذه الصيغة تجعل جميع محركات البحث تستثني جميع ملفات موقعك من الفهرسة: User-agent : * Disallow : / المثال التالي يجعل محرك البحث يستثني مجلد الصور من موقعك: User-agent : * Disallow : /images/ هذا المثال يخبر محرك البحث بمكان وجود ملف ...
مدونة عراقية عربية تقنية تهتم بمجال تطوير الويب ودعم المطور العربي