هشدار: قابلیت مسدودسازی ربات‌های هوش مصنوعی کلادفلر ممکن است گوگل‌بات را بلاک کند

گزارشی غیررسمی ادعا می‌کند که مسدود کردن ربات‌های آموزش‌دهنده هوش مصنوعی با استفاده از سرویس کلادفلر (Cloudflare)، مانع از ایندکس شدن وب‌سایت‌ها توسط گوگل‌بات (Googlebot) می‌شود.

بر اساس این گزارش، فعال‌سازی قابلیت جدید کلادفلر برای جلوگیری از دسترسی ربات‌های هوش مصنوعی، به طور همزمان ربات‌های قانونی گوگل (Googlebot) و بینگ (Bingbot) را نیز مسدود می‌کند. کلادفلر اخیراً اعلام کرده بود که این تغییر از ماه سپتامبر اعمال خواهد شد. هنوز مشخص نیست که این مشکل یک نقص فنی است یا خطای کاربری، اما به عنوان هشداری جدی برای مدیران وب‌سایت‌ها عمل می‌کند تا از این تغییر قریب‌الوقوع آگاه باشند و تنظیمات خود را متناسب با آن بازبینی کنند.

یک کاربر در جامعه r/SEO در ردیت (Reddit) پرسیده است که آیا شخص دیگری نیز با مسدود شدن گوگل‌بات توسط کلادفلر به عنوان یک ربات آموزش‌دهنده هوش مصنوعی مواجه شده است یا خیر. او توضیح داد: «وقتی گزینه AI Training را روی Block تنظیم می‌کنم، هم گوگل‌بات و هم بینگ‌بات هنگام تلاش برای دسترسی به نقشه سایت من با خطای HTTP 403 مواجه می‌شوند. به محض غیرفعال کردن این گزینه، نقشه سایت دوباره در دسترس قرار می‌گیرد. این موضوع من را در یک دوراهی قرار می‌دهد: یا به ربات‌های هوش مصنوعی اجازه آموزش دهم تا موتورهای جستجو بتوانند به نقشه سایت من دسترسی داشته باشند، یا آموزش هوش مصنوعی را مسدود کنم و ریسک دریافت خطای 403 توسط گوگل/بینگ را بپذیرم.»

در پاسخ به این گزارش، جان مولر (John Mueller) از گوگل درخواست اطلاعات بیشتری برای بررسی دقیق‌تر کرد. کاربر اصلی در ادامه توضیح داد که این مشکل به ربات‌های جعلی گوگل مربوط نیست، بلکه خود داشبورد کلادفلر نشان می‌دهد که گوگل‌بات و بینگ‌بات به صورت خودکار مسدود شده‌اند و به نظر می‌رسد این مشکل با قابلیت «Bot Fight Mode» در ارتباط باشد.

در اسناد رسمی کلادفلر آمده است که از تاریخ ۱۵ سپتامبر ۲۰۲۴، این شرکت شروع به مسدود کردن ربات‌های با «کاربری ترکیبی» خواهد کرد؛ ربات‌هایی مانند گوگل‌بات که همزمان وب‌سایت‌ها را برای موتور جستجو ایندکس کرده و هم برای آموزش هوش مصنوعی داده جمع‌آوری می‌کنند. این بدان معناست که فعال‌سازی گزینه مسدودسازی ربات‌های هوش مصنوعی، عملاً منجر به مسدود شدن گوگل‌بات نیز خواهد شد. با اینکه این سیاست قرار بود از سپتامبر اجرایی شود، گزارش فعلی نشان می‌دهد که ممکن است برخی کاربران زودتر از موعد با آن درگیر شده باشند.

با توجه به استفاده گسترده از کلادفلر در ایران برای افزایش امنیت و سرعت وب‌سایت‌ها، این موضوع برای متخصصان سئو ایرانی اهمیت ویژه‌ای دارد. اگر از این سرویس استفاده می‌کنید و قصد دارید قابلیت جدید مسدودسازی ربات‌های هوش مصنوعی را فعال کنید، باید بسیار محتاط باشید. گوگل موتور جستجوی غالب در ایران است و هرگونه اختلال در دسترسی گوگل‌بات می‌تواند به شدت به رتبه و بازدید سایت شما آسیب بزند. توصیه می‌شود پس از فعال‌سازی این گزینه، گزارش‌های بخش Crawl Stats در سرچ کنسول گوگل (Google Search Console) را به دقت زیر نظر بگیرید تا از بروز خطاهای دسترسی (مانند خطای 403) برای گوگل‌بات مطمئن شوید. در حال حاضر، بهترین راهکار، نظارت دقیق و یا به تعویق انداختن فعال‌سازی این قابلیت تا زمان شفاف‌سازی بیشتر از سوی کلادفلر است.