بودجه خزش: چیست و چرا اهمیت دارد؟

بودجه خزشCrawl Budget/krɔːl ˈbʌdʒ.ɪt/کراول باجت

بودجه خزش تعداد صفحاتی است که موتور جستجو در یک بازه زمانی معین در سایت شما می‌خزد.

تعریف دقیق

Google آن را از دو عامل تنظیم می‌کند: محدودیت نرخ خزیدن (تعداد درخواست‌هایی که سرور شما می‌تواند بدون کاهش سرعت انجام دهد) و تقاضای خزیدن (بر اساس محبوبیت و تازگی، Google چقدر صفحات شما را می‌خواهد). بودجه خزیدن عمدتاً برای سایت‌های بزرگ مهم است - ده‌ها هزار URLs یا بیشتر. در صفحات تکراری، فیلتر بی‌پایان URLs، زنجیره‌های تغییر مسیر و soft-404 تلف می‌شود.

مثال

یک بازار ایرانی میلیون‌ها فیلتر-ترکیب URLs مانند /mobile?brand=x&color=y&sort=z تولید می‌کند. Googlebot با خزیدن در این موارد تقریباً تکراری، بودجه خود را می‌سوزاند، بنابراین فهرست بندی محصولات جدید اضافه شده هفته‌ها طول می‌کشد. مسدود کردن پارامترهای فیلتر در robots.txt و پاکسازی canonicals، بودجه را به صفحاتی که درآمد کسب می‌کنند هدایت می‌کند.

چرا اهمیت دارد

در سایت‌های بزرگ، بودجه خزیدن هدر رفته فهرست‌بندی صفحات جدید و به‌روز شده را به تأخیر می‌اندازد – که مستقیماً ترافیک آنها را به تأخیر می‌اندازد.

محتواهای این برچسب ۰ محتوا

هنوز محتوایی با این برچسب منتشر نشده است.

سوالات متداول

آیا وب‌سایت‌های کوچک باید نگران بودجه خزیدن باشند؟

معمولا نه. Google بیان می‌کند که سایت هایی با کمتر از چند هزار URLs تقریباً همیشه بدون هیچ تلاش خاصی به‌طور موثر خزیده می‌شوند. بودجه خزیدن به یک نگرانی واقعی برای سایت‌های تجارت الکترونیک بزرگ، بازارها و ناشران با ده‌ها هزار تا میلیون‌ها URLs یا سایت‌هایی که صفحات پارامتری بی‌نهایت تولید می‌کنند، تبدیل می‌شود.

چگونه می‌توانم بودجه خزیدن خود را بهینه کنم؟

ابتدا ضایعات را حذف کنید: پارامتر بی‌ارزش را مسدود کنید و URLs را در robots.txt فیلتر کنید، زنجیره‌های تغییر مسیر و soft-404s را اصلاح کنید، و نقشه سایت XML خود را محدود به canonical، صفحات قابل فهرست‌سازی کنید. سپس سرعت پاسخگویی سرور خود را بهبود ببخشید — یک سایت سریعتر به Google اجازه می‌دهد تا صفحات بیشتری را در همان زمان بخزد.