فایل robots.txt: تعریف و کاربرد

فایل robots.txt یک فایل متنی ساده در ریشه دامنه است که به خزنده‌ها می‌گوید کدام بخش‌های سایت را می‌توانند درخواست کنند یا نه.

تعریف دقیق

این فایل از پروتکل محرومیت روبات‌ها پیروی می‌کند: خطوط «کاربر-عامل» ربات‌های خاصی را هدف قرار می‌دهند و قوانین «عدم اجازه»/«مجاز» مسیرهای مسدود یا مجاز را تعریف می‌کنند. همچنین می‌تواند مکان نقشه سایت XML را اعلام کند. مهمتر از همه، robots.txt خزیدن را کنترل می‌کند، نه ایندکس کردن - یک URL مسدود شده همچنان می‌تواند در نتایج ظاهر شود، اگر سایت‌های دیگر به آن لینک دهند، فقط بدون توضیح. رعایت اختیاری است. ربات‌های خوش رفتار از آن اطاعت می‌کنند، اما خراش‌ها اغلب این کار را نمی‌کنند.

مثال

یک کافی شاپ آنلاین در تهران ممکن است مسیرهای سبد خرید و مدیریت خود را مسدود کند:

عامل کاربر: * غیر مجاز: /cart/ غیر مجاز: /admin/ نقشه سایت: https: //example. ir/sitemap.xml

چرا اهمیت دارد

یک robots.txt صحیح از بودجه خزیدن محافظت می‌کند و صفحات ابزار را از مسیر خزنده‌ها دور نگه می‌دارد، در حالی که یک «عدم اجازه: /» می‌تواند کل سایت را از جستجو پاک کند.