خزنده / کراولر چیست؟

خزنده / کراولرCrawler/ˈkrɔː.lər/کراوِلر
۷ محتوا · آخرین به‌روزرسانی:

خزنده / کراولر (که عنکبوت یا ربات نیز نامیده می‌شود) یک برنامه خودکار است که موتورهای جستجو از آن برای مرور وب و کشف صفحات استفاده می‌کنند.

تعریف دقیق

یک خزنده از URLs شناخته شده شروع می‌کند، هر صفحه را واکشی می‌کند، پیوندهای آن را استخراج می‌کند، و آنها را دنبال می‌کند تا صفحات بیشتری را پیدا کند - بی‌پایان در سراسر وب تکرار می‌شود. Googlebot خزنده Google است. Bing از Bingbot استفاده می‌کند. خزنده‌ها به قوانین موجود در فایل robots.txt شما احترام می‌گذارند و از نقشه سایت XML شما به عنوان نقشه‌ای از مواردی که باید بازدید کنید استفاده می‌کنند. چیزی که یک خزنده نمی‌تواند به آن برسد، موتور جستجو نمی‌تواند ایندکس کند.

مثال

یک خبرگزاری فارسی ظهر آگهی تبلیغاتی یک مشتری را منتشر می‌کند. از آنجایی که مقاله از صفحه اصلی شلوغ پیوند شده است، Googlebot - که چندین بار در روز از سایت بازدید می‌کند - ظرف چند ساعت URL جدید را پیدا کرده و واکشی می‌کند و آن را برای نمایه سازی به جلو می‌فرستد.

چرا اهمیت دارد

اگر خزنده‌ها نتوانند به محتوای شما دسترسی داشته باشند، هرگز نمی‌توانند رتبه‌بندی شوند. خزیدن پایه‌ای است که هر تلاش دیگر SEO روی آن استوار است.

محتواهای این برچسب ۷ محتوا

سوالات متداول

Googlebot چیست؟

Googlebot خزنده وب Google است — برنامه‌ای که صفحات را برای نمایه Google کشف و واکشی می‌کند. این دارای انواع دسکتاپ و گوشی‌های هوشمند است و از آنجایی که Google از نمایه سازی موبایل اول استفاده می‌کند، نسخه گوشی هوشمند بیشتر خزیدن را انجام می‌دهد. می‌توانید با بررسی عامل کاربر و محدوده IP، بازدیدهای واقعی Googlebot را در گزارش‌های سرور خود تأیید کنید.

چگونه یک خزنده را از سایت خود مسدود کنم؟

یک قانون غیرمجاز برای عامل کاربر آن خزنده در فایل robots.txt خود اضافه کنید، که ربات‌های خوش رفتار به آن احترام می‌گذارند. برای اینکه یک صفحه به‌طور کامل از نتایج جستجو دور بماند، به جای آن از یک متا تگ noindex استفاده کنید — robots.txt فقط خزیدن را متوقف می‌کند، نه لزوماً نمایه سازی URLs که از طریق پیوندها کشف می‌شود.