فایل robots.txt: تعریف و کاربرد

فایل robots.txtrobots.txt/ˈroʊ.bɑːts dɑːt ˌtiː.eksˈtiː/روباتس دات تی‌اکس‌تی
۷ محتوا · آخرین به‌روزرسانی:

فایل robots.txt یک فایل متنی ساده در ریشه دامنه است که به خزنده‌ها می‌گوید کدام بخش‌های سایت را می‌توانند درخواست کنند یا نه.

تعریف دقیق

این فایل از پروتکل محرومیت روبات‌ها پیروی می‌کند: خطوط «کاربر-عامل» ربات‌های خاصی را هدف قرار می‌دهند و قوانین «عدم اجازه»/«مجاز» مسیرهای مسدود یا مجاز را تعریف می‌کنند. همچنین می‌تواند مکان نقشه سایت XML را اعلام کند. مهمتر از همه، robots.txt خزیدن را کنترل می‌کند، نه ایندکس کردن - یک URL مسدود شده همچنان می‌تواند در نتایج ظاهر شود، اگر سایت‌های دیگر به آن لینک دهند، فقط بدون توضیح. رعایت اختیاری است. ربات‌های خوش رفتار از آن اطاعت می‌کنند، اما خراش‌ها اغلب این کار را نمی‌کنند.

مثال

یک کافی شاپ آنلاین در تهران ممکن است مسیرهای سبد خرید و مدیریت خود را مسدود کند:

عامل کاربر: * غیر مجاز: /cart/ غیر مجاز: /admin/ نقشه سایت: https: //example. ir/sitemap.xml

چرا اهمیت دارد

یک robots.txt صحیح از بودجه خزیدن محافظت می‌کند و صفحات ابزار را از مسیر خزنده‌ها دور نگه می‌دارد، در حالی که یک «عدم اجازه: /» می‌تواند کل سایت را از جستجو پاک کند.

محتواهای این برچسب ۷ محتوا

سوالات متداول

آیا robots.txt صفحه‌ای را از Google حذف می‌کند؟

خیر. Robots. txt فقط Google را از خزیدن در URL متوقف می‌کند. صفحه همچنان می‌تواند از پیوندهای خارجی ایندکس شود و بدون قطعه نمایش داده شود. برای حذف یک صفحه از جستجو، خزیدن را مجاز کنید و از متا تگ noindex استفاده کنید، یا از ابزار حذف Search Console برای موارد فوری استفاده کنید.

اگر سایت من فایل robots.txt نداشته باشد چه اتفاقی می‌افتد؟

هیچ چیز بدی نیست - خزنده‌ها به سادگی فرض می‌کنند که کل سایت ممکن است خزیده شود. یک فایل از دست رفته یک 404 را برمی‌گرداند که موتورهای جستجو آن را به عنوان مجوز کامل در نظر می‌گیرند. شما فقط زمانی به فایل نیاز دارید که بخواهید مسیرها را محدود کنید یا نقشه سایت خود را اعلام کنید.