پیش‌بینی کلادفلر: آیا ترافیک ربات‌ها واقعا ۱۰۰۰ برابر انسان‌ها می‌شود؟

توماس سایفرت (Thomas Seifert)، مدیر ارشد مالی کلادفلر (Cloudflare)، اخیراً در یک جلسه با تحلیلگران اعلام کرد که با ادامه روندهای فعلی، ترافیک غیرانسانی در اینترنت می‌تواند تا پنج سال آینده به ۱۰۰۰ برابر ترافیک انسانی برسد. او افزود: «انسان‌ها به یک خطای گردکردن در اینترنت تبدیل خواهند شد، نه به این دلیل که ترافیک انسانی کاهش می‌یابد، بلکه به این دلیل که سرعت رشد ترافیک غیرانسانی بسیار زیاد است.»

این پیش‌بینی تکان‌دهنده است، اما آیا واقعاً تمام این ترافیک ماشینی مفید است؟ یک بررسی دقیق روی لاگ‌های یک وب‌سایت، داستان متفاوتی را روایت می‌کند.

نویسنده مقاله اصلی، با بررسی لاگ‌های ۲۴ ساعته وب‌سایت خود در کلادفلر، متوجه شد که بزرگترین «خزنده هوش مصنوعی» که حدود ۱۵۰۰ بار به سایت او سر زده، ربات CCBot متعلق به پروژه Common Crawl بوده است. اما این ربات به جای بررسی محتوای مقالات، به دنبال فایل‌های حساس امنیتی می‌گشت.

درخواست‌های این ربات به جای صفحات وبلاگ، روی مسیرهایی مانند /.ssh/known_hosts، /phpinfo.php، /.env.production و ده‌ها فایل پیکربندی و کلید خصوصی دیگر متمرکز بود. این رفتار، مشخصه یک اسکنر امنیتی است که به دنبال آسیب‌پذیری‌ها و اطلاعات محرمانه می‌گردد، نه یک خزنده که برای مدل‌های هوش مصنوعی داده جمع‌آوری می‌کند. در واقع، این ربات مخرب در داشبورد کلادفلر به اشتباه به عنوان یک خزنده تحقیقاتی معتبر برچسب‌گذاری شده بود.

نکته نگران‌کننده‌تر این است که این اسکنرها اکنون به دنبال فایل‌های پیکربندی ابزارهای هوش مصنوعی (Agent Tooling) مانند /.mcp.json و /.continue/config.json نیز می‌گردند. این فایل‌ها معمولاً حاوی کلیدهای API و توکن‌های دسترسی هستند که به ایجنت‌های هوش مصنوعی اجازه اتصال به سرویس‌های مختلف را می‌دهند. این نشان می‌دهد که مهاجمان به سرعت در حال تطبیق روش‌های خود با فناوری‌های جدید هستند.

این یافته‌ها یک سوال مهم را در مورد مدل کسب‌وکار شرکت‌هایی مانند کلادفلر مطرح می‌کند: آن‌ها ابتدا با ارائه آمار، مشکل ترافیک ربات‌ها را بزرگ‌نمایی می‌کنند و سپس راه‌حل‌هایی برای مدیریت همین مشکل می‌فروشند. به عبارت دیگر، شرکتی که هم «شمارنده» و هم «شیر کنترل» را در اختیار دارد، می‌تواند روایت را به نفع محصولات خود شکل دهد.

این درس برای بازار ایران که گوگل در آن حاکم است، اهمیت ویژه‌ای دارد. وب‌مسترهای ایرانی، چه از کلادفلر استفاده کنند و چه از CDNهای داخلی مانند ابرآروان، باید بدانند که آمار کلی ترافیک ربات‌ها به تنهایی معیار خوبی نیست. ربات‌های مخرب که به دنبال فایل wp-login.php یا فایل‌های .env می‌گردند، در همه جا حضور دارند. تحلیل لاگ‌های سرور (از طریق cPanel، DirectAdmin یا ابزارهای دیگر) برای تفکیک ربات‌های مفید مانند Googlebot از ربات‌های مخرب که منابع سرور را هدر می‌دهند و امنیت سایت را به خطر می‌اندازند، یک ضرورت است.

بنابراین، توصیه نهایی این است: به گزارش‌های کلی و اعداد بزرگ اکتفا نکنید. لاگ‌های وب‌سایت خود را باز کنید و به جای تعداد درخواست‌ها، مسیرهای درخواستی (Paths) را تحلیل کنید. این کار به شما نشان می‌دهد که بزرگترین بازدیدکنندگان ماشینی سایت شما واقعاً به دنبال چه چیزی هستند: محتوای شما یا اطلاعات محرمانه شما.