7.0k 👁️
بواسطة منذ في كمبيوتر وإنترنت
ما هو عمل ملف robots.txt بالنسبة لمحركات البحث ؟

1 إجابة

+1 تصويت
بواسطة منذ
ملف robots.txt يستخدم لتحسين عمل محركات البحث , وهوعبارة عن مجموعة من الإرشادات توجه محركات البحث الى روابط صفحات الويب المراد فهرستها أو العكس .
على سبيل المثال :
User-agent: *
Allow: /
 توجيه بفهرسة كامل روابط الموقع اذا ترك ما تحته فارغ ,, أو يحدد تحته مايراد فهرسته مثل رابط خارطة الموقع وغيره .
User-agent: *
Disallow: /
توجيه بمنع فهرسة كل الروابط بالموقع اذا ترك ما تحته فارغ ,, أو يحدد تحته مايراد منع فهرسته .

المزيد من التفاصيل : developers.google.com
 https://tinyurl.com/eshvfjnc
...