متا ربات چیست؟

متا ربات یک تگ HTML است که به خزنده‌های موتورهای جستجو می‌گوید چگونه با یک صفحه خاص رفتار کنند - آیا آن را ایندکس کنند و آیا پیوندهای آن را دنبال کنند.

تعریف دقیق

این تگ در «» صفحه زندگی می‌کند و دستورالعمل‌هایی مانند «index»، «noindex»، «دنبال کردن»، و «nofollow» به‌علاوه موارد اضافی مانند «noarchive» یا «max-snippet» را دریافت می‌کند. برخلاف robots.txt، که خزیدن در کل سایت را کنترل می‌کند، ربات‌های متا در سطح صفحه کار می‌کنند و نمایه سازی را کنترل می‌کنند. همین دستورالعمل‌ها را می‌توان به عنوان یک هدر X-Robots-Tag HTTP برای فایل‌های غیرHTML مانند PDF ارسال کرد.

مثال

یک فروشگاه آنلاین ایرانی ممکن است "" را به صفحات نتایج جستجوی داخلی خود اضافه کند. Google هنوز پیوندها را روی آنها می‌خزد، اما صفحات نازک و تکراری از فهرست خارج می‌شوند.

چرا اهمیت دارد

ربات‌های متا ابزار اصلی شما برای دور نگه داشتن صفحات کم ارزش از نتایج جستجو، محافظت از کارایی خزیدن و جلوگیری از رتبه‌بندی محتوای تکراری یا خصوصی است.