خزش: تعریف و کاربرد

خزش فرآیندی است که در آن ربات‌های موتورهای جستجو به‌طور سیستماتیک از صفحات وب بازدید می‌کنند تا محتوای جدید را کشف کنند و به‌روز رسانی صفحات موجود را شناسایی کنند.

تعریف دقیق

خزیدن از URLs شروع می‌شود که موتور قبلاً می‌داند - صفحاتی که قبلاً خزیده شده و نقشه‌های سایت XML - و با دنبال کردن پیوندها گسترش می‌یابد. هر چند وقت یک‌بار خزیدن یک سایت به اعتبار، سرعت سرور و تعداد دفعات تغییر آن بستگی دارد: یک سایت خبری شلوغ ممکن است هر چند دقیقه یک‌بار خزیده شود، یک سایت بروشور ثابت هر چند هفته یکبار. منابع مسدود شده، لینک‌های شکسته و پاسخ‌های آهسته همگی مانع از خزیدن می‌شوند.

مثال

یک سایت تجارت الکترونیک ایرانی 200 محصول جدید را قبل از فروش فصلی اضافه می‌کند. با پیوند دادن آن‌ها از صفحات دسته‌بندی و به‌روزرسانی نقشه سایت XML در همان روز، تیم Googlebot را دریافت می‌کند تا URLs جدید را در عرض چند روز به جای چند هفته بخزد.

چرا اهمیت دارد

خزیدن اولین مرحله از خط لوله جستجو است - صفحه‌ای که هرگز خزیده نمی‌شود هرگز نمی‌تواند ایندکس شود و هرگز رتبه‌بندی نمی‌شود.