مسدودسازی ربات‌های هوش مصنوعی در robots.txt یا سرور؛ راهنمای انتخاب روش مناسب

تصمیم به مسدود کردن خزنده‌های هوش مصنوعی یک تصمیم تجاری است و بسیاری از متخصصان جست‌وجو این روزها روی آن بحث می‌کنند. اما پس از گرفتن این تصمیم، پرسش اصلی این است: مسدودسازی را در robots.txt انجام دهیم یا در سطح سرور؟ هر دو روش مزایا و معایب خود را دارند.

روش robots.txt تفاوتی با مسدود کردن هر ربات دیگری ندارد. هر خزنده هوش مصنوعی یک نام شناسایی مشخص دارد، مثلاً GPTBot از اوپن‌ای‌آی (OpenAI). برای جلوگیری از دسترسی کامل این ربات به سایت، قانون User-agent: GPTBot و بعد Disallow: / را اضافه می‌کنید. اگر فقط قرار است بخشی از سایت، مثلاً پوشه محصولات، مسدود شود، مسیر آن به شکل Disallow: /products/ درج می‌شود.

روش سطح سرور و CDN

در روش سطح سرور، سرور درخواست ورودی مانند IP و هدر ربات را بررسی و قوانین از پیش تعیین‌شده یعنی رد، اجازه یا تغییر مسیر را اعمال می‌کند. در CDN این بررسی زودتر و پیش از رسیدن درخواست به سرور انجام می‌شود؛ در نتیجه پهنای باند سرور مصرف نمی‌شود. کلادفلر (Cloudflare) از جمله نمونه‌هایی است که قابلیت مسدودسازی آماده ربات‌ها را به‌صورت بومی ارائه می‌دهد. فایروال اپلیکیشن وب (WAF) هم لایه امنیتی عمیق‌تری است که رفتار درخواست را تحلیل می‌کند و می‌تواند ربات‌هایی را که با جعل user-agent وارد می‌شوند شناسایی کند.

مهم‌ترین مزیت robots.txt دسترسی آسان متخصصان سئو به آن است. علاوه بر این، سازوکار Disallow در این فایل رسماً از سوی بزرگ‌ترین شرکت‌های معتبر حوزه هوش مصنوعی پشتیبانی می‌شود؛ از جمله GPTBot و OAI-SearchBot از اوپن‌ای‌آی (OpenAI)، ClaudeBot، Claude-User و Claude-SearchBot از آنتروپیک (Anthropic)، Google-Extended از گوگل و PerplexityBot از پرپلکسیتی (Perplexity). این روش امکان بلاک انتخابی صفحه‌ها و تنظیم مجزا برای هر خزنده را هم فراهم می‌کند.

robots.txt فقط یک درخواست است

ریسک اصلی این روش، داوطلبانه بودن رعایت robots.txt است. این فایل فقط مجموعه‌ای از درخواست‌هاست، نه یک بلاک واقعی؛ درست مانند تابلو «ورود ممنوع» جلوی دروازه‌ای باز. یک اشتباه ساده در تنظیم قوانین هم می‌تواند آسیب جدی ایجاد کند؛ مثلاً قانون User-agent: * و Disallow: / می‌تواند همه خزنده‌ها از جمله ربات‌های موتور جست‌وجو را از سایت دور کند. همچنین فهرست خزنده‌های مسدودشده به‌صورت خودکار به‌روز نمی‌شود و هر ربات تازه باید دستی به ربات‌ها.تکس اضافه شود.

در سمت سرور و لایه‌های CDN و WAF، درخواست ربات پیش از رسیدن به سرور متوقف می‌شود و پهنای باند ذخیره می‌شود. بزرگ‌ترین برتری این روش‌ها، قطعی بودن بلاک است: اگر robots.txt نشانه «ورود ممنوع» باشد، بلاک در این لایه‌ها قفلی روی دروازه است و به احترام ربات وابسته نیست. این ابزارها معمولاً گزارش ربات‌های مسدودشده را هم ارائه می‌دهند و می‌توان از این گزارش‌ها در تحلیل دسترسی‌ها و حتی گفت‌وگوهای حقوقی با مالکان ربات‌ها استفاده کرد.

هزینه‌ی اصلی: دشواری نگهداری

هزینه اصلی این روش‌ها، دشواری نگهداری است. دسترسی به تنظیمات سرور، CDN یا WAF معمولاً محدود است و هر تغییری باید توسط توسعه‌دهنده انجام شود؛ این موضوع زمان، منابع و هزینه به همراه دارد، به‌ویژه وقتی زیرساخت توسط یک شرکت بیرونی مدیریت می‌شود. جعل هویت ربات‌ها هم در هر لایه ممکن است؛ اگرچه WAF مقاوم‌ترین لایه است، هیچ روشی به‌طور کامل ضدخطا نیست.

برای انتخاب روش، پاسخ واحد و همیشگی وجود ندارد و به ساختار سایت، هزینه‌ها و نحوه مدیریت فنی بستگی دارد. در حالت ایده‌آل، بلاک در همه لایه‌ها اجرا می‌شود. اگر نیاز جدی به مسدودسازی دارید، توصیه این است که تا جای ممکن به لایه بالاتر بروید: نخست WAF، سپس CDN و در نهایت سرور. اگر فقط یکی دو ربات شناخته‌شده و معتبر مزاحم شما هستند، robots.txt به‌عنوان عامل بازدارنده احتمالاً کافی است، اما بهتر است لاگ‌های سرور را هم بررسی کنید تا مطمئن شوید رباتی از این قانون عبور نمی‌کند.