تغییرات کلادفلر، ایندکس ChatGPT و گوگل آنالیتیکس: راهنمای سئوکاران

در هفته‌ای که گذشت، چندین تغییر کلیدی در حوزه دسترسی ربات‌های جستجو، ایندکس هوش مصنوعی و داده‌های تحلیلی رخ داد که هر متخصص سئو باید از آن‌ها آگاه باشد. مهم‌ترین خبر مربوط به کلادفلر است که می‌تواند بر نحوه خزش سایت شما توسط گوگل تأثیر بگذارد.

شرکت کلادفلر (Cloudflare) اعلام کرده است که از ۱۵ سپتامبر ۲۰۲۶، ربات‌هایی مانند گوگل‌بات و بینگ‌بات را به عنوان خزنده‌هایی شناسایی می‌کند که هم برای جستجو و هم برای جمع‌آوری داده‌های آموزشی هوش مصنوعی فعالیت می‌کنند. در نتیجه، اگر در گذشته قابلیت «مسدودسازی ربات‌های هوش مصنوعی» (Block AI bots) را در کلادفلر فعال کرده باشید، این تنظیمات به طور خودکار گوگل‌بات را نیز مسدود خواهد کرد. این یک هشدار جدی برای وب‌سایت‌های ایرانی است که به طور گسترده از کلادفلر برای امنیت و بهبود سرعت استفاده می‌کنند. مسدود شدن گوگل‌بات به معنای توقف ایندکس شدن و از دست دادن ترافیک ارگانیک است، بنابراین بازبینی این تنظیمات قبل از تاریخ ذکر شده ضروری است.

خبر مهم دیگر مربوط به نحوه عملکرد ایندکس داخلی ChatGPT است. یک تحقیق توسط شرکت Resoneo نشان داد که ایندکس اختصاصی اوپن‌ای‌آی (OpenAI) برای پاسخ‌دهی در ChatGPT، محتوای وب‌سایت‌ها را بدون توجه به اینکه آیا قرارداد محتوایی با آن‌ها دارد یا نه، به یک شکل نمایش می‌دهد.

نکته کلیدی برای سئوکاران و تولیدکنندگان محتوا در ایران این است که این ایندکس تنها عنوان صفحه و حدود ۲۰۰ کاراکتر ابتدایی آن را ذخیره می‌کند. این یعنی هر محتوای تکراری یا کد قالبی که قبل از پاراگراف اول شما نمایش داده می‌شود، عملاً این فضای ارزشمند را اشغال می‌کند. برای دیده شدن بهتر در سیستم‌های هوش مصنوعی، باید مهم‌ترین اطلاعات را در همان ابتدای محتوای خود قرار دهید.

شاید سخت‌ترین بخش جستجوی هوش مصنوعی، مدل زبان بزرگ (LLM) نباشد، بلکه ایندکس جستجو است.

— رادو استویان (Radu Stoian)

در حوزه تحلیل داده‌ها، گوگل آنالیتیکس (Google Analytics) قرار است یک قابلیت جدید به نام «مشاور پرسش» (Ask Advisor) اضافه کند. این ابزار هوش مصنوعی عملکرد کمپین‌های تبلیغاتی شما را با میانگین ناشناس کسب‌وکارهای مشابه مقایسه می‌کند.

ارزش این معیارها به میزان شباهت گروه همتا (peer group) به کسب‌وکار شما بستگی دارد. گوگل آنالیتیکس در حال حاضر بر اساس دسته‌بندی صنعتی و سیگنال‌های سایت، شما را در یک گروه قرار می‌دهد که قابل تغییر است. برای بازاریابان دیجیتال در ایران، این قابلیت زمانی مفید خواهد بود که بتوانند گروه مقایسه‌ای خود را به درستی تنظیم کنند تا داده‌های مرتبط با بازار داخلی دریافت کنند. با این حال، همانطور که کارشناسان هشدار می‌دهند، دقت این ابزار به صحت داده‌های ردیابی شما بستگی دارد.

یک دستیار هوشمند که بر اساس داده‌های ردیابی ناقص کار می‌کند، فقط پاسخ‌های اشتباه را سریع‌تر تولید می‌کند.

— مریم صفری (Maryam Safari)

در یک تحول حقوقی، گوگل شکایت خود علیه ابزار SerpApi را با افزودن شرایط قراردادهای مجوز محتوا، مجدداً تنظیم کرده است. این پرونده مشخص خواهد کرد که چه کسانی می‌توانند نتایج جستجوی گوگل را در مقیاس بزرگ جمع‌آوری کنند. پیروزی گوگل می‌تواند کار را برای ابزارهای رصد رتبه و تحلیل SERP که در ایران نیز استفاده می‌شوند، دشوارتر و گران‌تر کند.

در مجموع، موضوع اصلی این هفته «دسترسی» بود: دسترسی خزنده‌ها به سایت شما، دسترسی هوش مصنوعی به محتوای شما و دسترسی ابزارها به داده‌های نتایج جستجو. این‌ها مسائلی هستند که قبلاً با یک فایل robots.txt یا یک قرارداد حل می‌شدند، اما اکنون در حال بازنگری هستند و نیازمند توجه دقیق متخصصان بازاریابی دیجیتال هستند.