تحلیل لاگ فایل: تعریف و کاربرد

تحلیل لاگ فایل تمرینی است که در آن لاگ‌های دسترسی خام سرور وب بررسی می‌شود تا ببینید دقیقاً چگونه ربات‌های موتور جستجو در یک سایت می‌خزند.

تعریف دقیق

هر درخواست به یک سرور - از کاربران و خزنده‌هایی مانند Googlebot - در یک ورودی گزارش با URL، مهر زمانی، عامل کاربر و کد وضعیت ثبت می‌شود. با فیلتر کردن این گزارش‌ها برای ربات‌های موتور جستجوی تأیید شده، SEOs یاد می‌گیرند که کدام صفحات، هر چند وقت یک‌بار و با چه کدهای پاسخی خزیده می‌شوند. برخلاف شبیه‌سازهای خزیدن، گزارش‌ها رفتار واقعی خزنده را به جای پیش‌بینی آن نشان می‌دهند.

مثال

یک بازار بزرگ با صدها هزار محصول URLs یک ماه گزارش‌ها را تجزیه و تحلیل می‌کند و کشف می‌کند که Googlebot 40٪ از درخواست‌های خود را صرف صفحات فیلتر منقضی می‌کند و 404s را برمی‌گرداند، در حالی که صفحات محصول جدید روزها منتظر خزیدن هستند. مسدود کردن پارامترهای فیلتر آن فعالیت خزیدن را به صفحاتی که درآمد کسب می‌کنند هدایت می‌کند.

چرا اهمیت دارد

برای سایت‌های بزرگ، تجزیه و تحلیل گزارش مطمئن‌ترین راه برای تشخیص اتلاف بودجه خزیدن، یافتن بخش‌های یتیم یا بیش از حد خزیدن، و تأیید اینکه آیا اصلاحات فنی واقعاً رفتار ربات را تغییر داده است، است.