استفاده از کد وضعیت 304 برای بهینه‌سازی بودجه خزش گوگل

گوگل اسناد راهنمای خود در مورد بودجه خزش را با توصیه‌ای جدید برای وب‌سایت‌ها به‌روزرسانی کرده است: برای صفحاتی که محتوای آن‌ها تغییری نکرده، کد وضعیت سرور 304 را برگردانید.

این به‌روزرسانی در بخش «بهینه‌سازی بودجه خزش» اضافه شده که عمدتاً برای وب‌سایت‌های بسیار بزرگ (بیش از یک میلیون صفحه) و وب‌سایت‌های متوسط (بیش از ۱۰ هزار صفحه) با تغییرات سریع در نظر گرفته شده است. با این حال، اطلاعات ارائه‌شده برای درک بهتر نحوه عملکرد خزش برای همه وب‌مسترها مفید است.

توصیه اصلی گوگل، استفاده از کد وضعیت «304 Not Modified» است. این کد به خزنده‌های گوگل اطلاع می‌دهد که یک صفحه از آخرین بازدید آن‌ها هیچ تغییری نکرده است. در نتیجه، سرور دیگر نیازی به ارسال مجدد کل محتوای صفحه ندارد و گوگل می‌تواند از نسخه کش‌شده خود استفاده کند. این فرآیند به شکل قابل توجهی در مصرف پهنای باند و منابع سرور صرفه‌جویی می‌کند و به گوگل اجازه می‌دهد تا بودجه خزش خود را روی صفحات جدید یا به‌روز‌شده متمرکز کند.

در اسناد گوگل آمده است: «از کش HTTP استفاده کنید: از کدهای وضعیت HTTP 304 (Not Modified) پشتیبانی کنید. اگر صفحه‌ای از آخرین باری که گوگل آن را خزش کرده تغییری نکرده باشد، بازگرداندن کد 304 به گوگل می‌گوید که از نسخه کش‌شده استفاده کند و در پهنای باند و منابع سرور شما صرفه‌جویی می‌کند.»

نکته مهم دیگر که در این به‌روزرسانی به آن اشاره شده، این است که تمام خزنده‌های مختلف گوگل (مانند Googlebot برای صفحات وب و Googlebot-Image برای تصاویر) از یک «ظرفیت خزش» مشترک برای وب‌سایت شما استفاده می‌کنند. این بدان معناست که اگر خزش تصاویر در سایت شما بسیار زیاد باشد، می‌تواند ظرفیت موجود برای خزش صفحات متنی را کاهش دهد.

برای وب‌سایت‌های ایرانی، به‌ویژه پورتال‌های خبری بزرگ، فروشگاه‌های آنلاین با محصولات متعدد و پلتفرم‌های محتوایی، این توصیه بسیار کاربردی است. پیاده‌سازی صحیح کد 304 از طریق تنظیمات سرور، که معمولاً توسط تیم فنی انجام می‌شود، به این سایت‌ها کمک می‌کند تا اطمینان حاصل کنند محتوای جدید و تغییرات مهم آن‌ها (مانند موجودی کالا یا اخبار فوری) با سرعت بیشتری توسط گوگل شناسایی و ایندکس می‌شود. این یک بهینه‌سازی فنی استاندارد است که مستقیماً بر کارایی سئو در بازار ایران تأثیر می‌گذارد.