بودجه خزش: چیست و چرا اهمیت دارد؟

بودجه خزشCrawl Budget/krɔːl ˈbʌdʒ.ɪt/کراول باجت
۴ محتوا · آخرین به‌روزرسانی:

بودجه خزش تعداد صفحاتی است که موتور جستجو در یک بازه زمانی معین در سایت شما می‌خزد.

تعریف دقیق

Google آن را از دو عامل تنظیم می‌کند: محدودیت نرخ خزیدن (تعداد درخواست‌هایی که سرور شما می‌تواند بدون کاهش سرعت انجام دهد) و تقاضای خزیدن (بر اساس محبوبیت و تازگی، Google چقدر صفحات شما را می‌خواهد). بودجه خزیدن عمدتاً برای سایت‌های بزرگ مهم است - ده‌ها هزار URLs یا بیشتر. در صفحات تکراری، فیلتر بی‌پایان URLs، زنجیره‌های تغییر مسیر و soft-404 تلف می‌شود.

مثال

یک بازار ایرانی میلیون‌ها فیلتر-ترکیب URLs مانند /mobile?brand=x&color=y&sort=z تولید می‌کند. Googlebot با خزیدن در این موارد تقریباً تکراری، بودجه خود را می‌سوزاند، بنابراین فهرست بندی محصولات جدید اضافه شده هفته‌ها طول می‌کشد. مسدود کردن پارامترهای فیلتر در robots.txt و پاکسازی canonicals، بودجه را به صفحاتی که درآمد کسب می‌کنند هدایت می‌کند.

چرا اهمیت دارد

در سایت‌های بزرگ، بودجه خزیدن هدر رفته فهرست‌بندی صفحات جدید و به‌روز شده را به تأخیر می‌اندازد – که مستقیماً ترافیک آنها را به تأخیر می‌اندازد.

محتواهای این برچسب ۴ محتوا

بهترین زمان انتشار رپورتاژ برای کنترل سرعت ایندکس و دریافت بیشترین ترافیک ارگانیک

راهنمای فنی انتخاب ساعت و روز انتشار رپورتاژ: چرا ساعت انتشار روی خزنده‌های گوگل تاثیر مستقیم ندارد، چطور از خروج زودهنگام از صفحه اصلی جلوگیری کنیم و چگونه با لینک داخلی و ترافیک اولیه، ایندکس شدن را تضمین کنیم.

اخبار مرتبط

سوالات متداول

آیا وب‌سایت‌های کوچک باید نگران بودجه خزیدن باشند؟

معمولا نه. Google بیان می‌کند که سایت هایی با کمتر از چند هزار URLs تقریباً همیشه بدون هیچ تلاش خاصی به‌طور موثر خزیده می‌شوند. بودجه خزیدن به یک نگرانی واقعی برای سایت‌های تجارت الکترونیک بزرگ، بازارها و ناشران با ده‌ها هزار تا میلیون‌ها URLs یا سایت‌هایی که صفحات پارامتری بی‌نهایت تولید می‌کنند، تبدیل می‌شود.

چگونه می‌توانم بودجه خزیدن خود را بهینه کنم؟

ابتدا ضایعات را حذف کنید: پارامتر بی‌ارزش را مسدود کنید و URLs را در robots.txt فیلتر کنید، زنجیره‌های تغییر مسیر و soft-404s را اصلاح کنید، و نقشه سایت XML خود را محدود به canonical، صفحات قابل فهرست‌سازی کنید. سپس سرعت پاسخگویی سرور خود را بهبود ببخشید — یک سایت سریعتر به Google اجازه می‌دهد تا صفحات بیشتری را در همان زمان بخزد.