اسپم جستجوی داخلی سایت: چگونه گوگل با آن برخورد می‌کند و راهکارهای جلوگیری

جان مولر و مارتین اسپلیت از گوگل در گفتگویی به بررسی سوءاستفاده اسپمرها از قابلیت جستجوی داخلی وب‌سایت‌ها برای ایجاد هزاران صفحه اسپم پرداختند. آن‌ها تأکید کردند که در چنین شرایطی، گوگل ممکن است با این صفحات مانند صفحات یک سایت هک‌شده برخورد کند.

تقریباً هر وب‌سایتی یک قابلیت جستجو دارد. نکته‌ای که اغلب نادیده گرفته می‌شود این است که هر جستجو در سایت، یک صفحه نتایج با URL منحصربه‌فرد ایجاد می‌کند. این ویژگی می‌تواند توسط اسپمرها مورد سوءاستفاده قرار گیرد تا هزاران صفحه وب حاوی نام برند، URL یا کلمات کلیدی اسپم در دامنه شما ایجاد کنند.

به گفته جان مولر، اگر این صفحات اسپم قابل ایندکس شدن باشند، به یک مشکل کیفی برای سایت تبدیل می‌شوند. او توضیح می‌دهد: «زمانی که به کاربران اجازه می‌دهید عباراتی کاملاً نامرتبط با وب‌سایت شما را جستجو کنند و آن عبارات در صفحه نتایج قابل ایندکس نمایش داده شوند، با مشکل کیفی مواجه می‌شوید. این به معنای هک شدن سایت شما نیست، زیرا سایت شما این کار را آزادانه انجام می‌دهد. اما چون این قابلیت برای هر عبارت جستجویی در دسترس است، ناگهان به یک نقطه ضعف و ابزاری برای اسپم دیگران تبدیل می‌شود.»

اطلاعات مهم دیگری که مولر و اسپلیت به اشتراک گذاشتند این بود که گوگل ممکن است این نوع صفحات اسپم را به عنوان «هک‌شده» در سرچ کنسول علامت‌گذاری کند. مولر می‌گوید: «ما دیده‌ایم که افراد این کار را در مقیاس بزرگ انجام می‌دهند. آن‌ها CMSهای رایجی را که صفحات جستجوی خود را مسدود نکرده‌اند، شناسایی کرده و به هزاران سایت با میلیون‌ها صفحه لینک می‌دهند. هدف آن‌ها این است که در نتایج جستجوی گوگل، کاربران برای عباراتی مانند داروهای خاص، شماره تلفن یا آدرس تلگرام آن‌ها را ببینند. وقتی ما متوجه این موضوع شویم، ممکن است سایت را به عنوان هک‌شده علامت‌گذاری کنیم.»

اگرچه الگوریتم‌های گوگل می‌توانند این نوع صفحات را شناسایی و از نمایش آن‌ها در نتایج جلوگیری کنند، اما مولر هشدار می‌دهد که صاحبان سایت نباید با این تصور که گوگل مشکل را حل کرده، از آن چشم‌پوشی کنند.

این مسئله برای وب‌سایت‌های ایرانی که اغلب از سیستم‌های مدیریت محتوای آماده مانند وردپرس یا جوملا بدون پیکربندی صحیح سئو استفاده می‌کنند، بسیار حائز اهمیت است. اسپمرها اغلب سایت‌های غیرانگلیسی را هدف قرار می‌دهند، بنابراین بررسی فایل robots.txt و مسدود کردن مسیرهای جستجو (مانند /search یا /?s=) یک اقدام پیشگیرانه ضروری برای متخصصان سئو در ایران است.

برای جلوگیری از این مشکل، مولر و اسپلیت دو رویکرد اصلی را توصیه می‌کنند: جلوگیری از خزش (Crawling) و جلوگیری از ایندکس شدن (Indexing).

توصیه اصلی استفاده از فایل robots.txt برای جلوگیری از خزش صفحات نتایج جستجوی داخلی توسط گوگل و سایر موتورهای جستجو است. این کار چهار دلیل اصلی دارد: گوگل نیازی به خزش این صفحات ندارد، از خزش بی‌نهایت (infinite crawl) جلوگیری می‌کند، بار سرور را کاهش می‌دهد و از هدر رفتن بودجه خزش (Crawl Budget) جلوگیری می‌کند.

مارتین اسپلیت توضیح می‌دهد که برخی پیاده‌سازی‌های جستجو می‌توانند به یک «فضای خزش بی‌نهایت» تبدیل شوند؛ جایی که ربات گوگل با دنبال کردن لینک‌هایی مانند «آیا منظور شما ... بود؟» به طور مداوم صفحات جدیدی تولید و خزش می‌کند. این امر باعث افزایش بار سرور و هدر رفتن بودجه خزش می‌شود که باید صرف صفحات مهم سایت شما شود.

راهکار دیگر استفاده از دستور noindex است، اما مولر و اسپلیت تأکید دارند که استفاده از robots.txt روشی ساده‌تر و تمیزتر برای مدیریت این صفحات است. آن‌ها توصیه می‌کنند که یک قانون کلی و جامع در فایل robots.txt برای مسدود کردن تمام انواع صفحات جستجوی تولید شده توسط سایت خود ایجاد کنید.