چگونه فایل cats.txt استدلال‌های ضعیف در سئو و GEO را افشا کرد

من از اینکه می‌دیدم صنعت دیجیتال مارکتینگ، «خزش شدن توسط یک ربات هوش مصنوعی» یا «تأیید شدن توسط ChatGPT» را به عنوان مدرکی برای کارایی llms.txt در نظر می‌گیرد، خسته شده بودم. به همین دلیل، یک استاندارد ساختگی به نام cats.txt ابداع کردم: یک فایل متنی که در آن به طور رسمی گربه‌های دفتر کار، وظایف، نژاد و میزان خرخر کردنشان را اعلام می‌کنید. من برای آن یک دستورالعمل نوشتم، در وبلاگم منتشر کردم و در یک پست لینکدین توضیح دادم که چرا حتماً باید از آن استفاده کنید، زیرا همه ما می‌دانیم که مدل‌های زبان بزرگ (LLM) عاشق لینکدین هستند. سپس، آن را با همان چهار «مدرکی» که افراد برای llms.txt ارائه می‌دهند، بررسی کردم و فایل من هر چهار آزمون را با موفقیت پشت سر گذاشت. ربات‌های هوش مصنوعی آن را خزش کردند، گوگل ایندکسش کرد، مدل‌های زبان بزرگ جزئیاتی درباره گربه‌ای که فقط در آن فایل وجود داشت را برگرداندند و ChatGPT با جزئیات کامل تأیید کرد که cats.txt می‌تواند به رتبه‌بندی من کمک کند. هیچ‌کدام از این‌ها مدرک چیزی نبود، که البته هدف اصلی هم همین بود.

من ادعا نمی‌کنم که llms.txt هرگز کار نخواهد کرد. نکته این نیست. من ادعا می‌کنم که سطح شواهد و مدارکی که در حال حاضر برای فروش این ایده استفاده می‌شود، آنقدر پایین است که فایلی درباره یک گربه تاکسیدو به نام «آد» (Odd) به راحتی از آن عبور کرد. و همین تفکر معیوب در مورد نیمی از تاکتیک‌های GEO که در حال حاضر به مشتریان فروخته می‌شود، به کار گرفته می‌شود.

ایده این فایل، مانند بسیاری از موارد دیگر، از کلافگی شروع شد. ماه‌ها بود که می‌دیدم افراد کاملاً منطقی به چهار مشاهده اشاره می‌کنند: ربات‌ها آن را خزش کردند، گوگل آن را ایندکس کرد، یک LLM آن را تکرار کرد و ChatGPT آن را تأیید کرد. سپس این مشاهدات را در ارائه‌ها، بحث‌ها و پروپوزال‌های مشتریان به عنوان مدرکی مبنی بر اینکه llms.txt در حال تغییر شکل جستجوی هوش مصنوعی است، ارائه می‌کردند. در حالی که هیچ‌کدام از این‌ها مدرک چیزی نبود. من می‌خواستم چیزی ارائه دهم که نتوانند به سادگی از کنارش عبور کنند؛ می‌خواستم همین چهار «مدرک» را روی چیزی آنقدر مضحک آزمایش کنم که هیچ‌کس نتواند وانمود کند این آزمون‌ها معنایی دارند.

بنابراین یک استاندارد ابداع کردم: cats.txt، یک فایل متنی ساده که در ریشه دامنه خود قرار می‌دهید تا به طور رسمی گربه‌های مرتبط با وب‌سایت خود را معرفی کنید؛ نام‌ها، عناوین شغلی، نژادها و یک معیار محبت اجباری به نام PurrLevel (سطح خرخر) با امتیاز از ۱۰. من یک دستورالعمل مناسب برای آن نوشتم و در وبلاگم منتشر کردم. سپس، چون می‌دانستم کدام پلتفرم به نظر می‌رسد که LLMها احترام زیادی برای آن قائل هستند، مقاله‌ای در لینکدین نوشتم و cats.txt را به عنوان «استاندارد گمشده برای سئو و GEO» معرفی کردم و با جدیت توضیح دادم که چرا باید از آن استفاده کنید.

ایده این بود که اینترنت را با متنی که به اندازه کافی جدی به نظر می‌رسد پر کنم تا ماشین‌ها با گربه‌های من مانند یک واقعیت رفتار کنند. چیزی که پیش‌بینی نمی‌کردم این بود که مردم هم به این شوخی بپیوندند. جامعه سئو این شوخی را درک کرد و با آن همراه شد. دیو اسمارت (Dave Smart)، یکی از همکاران من (که یک متخصص سئوی فنی واقعاً عالی است)، یک فایل cats.txt به سایت خود اضافه کرد و به یکی از اولین پذیرندگان استانداردی تبدیل شد که من برای بی‌معنی بودن ساخته بودم. سپس این موضوع خود به خود رشد کرد: شخصی وب‌سایت catstxt.org را راه‌اندازی کرد که نسخه‌ای تمیزتر، سازمان‌یافته‌تر و در کل با مشخصات فنی بهتر از این استاندارد بود. پست وبلاگ احمقانه من یک پیاده‌سازی رقیب پیدا کرده بود.

با فعال شدن فایل، انتشار مشخصات، پست لینکدین و پیوستن دیگران، تنها کاری که باقی مانده بود این بود که cats.txt را با همان معیاری که صنعت برای تأیید llms.txt استفاده می‌کند، بسنجم. و بله، از آن عبور کرد.

قبل از ادامه، بگذارید منصف باشیم. برای من چندان مهم نیست که llms.txt کار می‌کند، کار خواهد کرد یا چقدر طول می‌کشد تا به آنجا برسد. برای این بحث، من حاضرم دو واقعیت ناخوشایند را نادیده بگیرم و با بیشترین خوش‌بینی به این ایده نگاه کنم.

واقعیت اول این است که هیچ ارائه‌دهنده مدل زبان بزرگی هرگز مستند نکرده است که از llms.txt برای جستجو یا کشف استفاده می‌کند. نه OpenAI، نه Anthropic و نه گوگل. جان مولر (John Mueller) از گوگل این موضوع را به صراحت بیان کرده است:

«محض اطلاع، در حال حاضر هیچ سیستم هوش مصنوعی از llms.txt استفاده نمی‌کند، [...] اگر به لاگ‌های سرور خود نگاه کنید، این موضوع کاملاً واضح است. چت‌بات‌ها و LLM‌های مصرف‌کننده (همان‌هایی که سئوکارها از آن‌ها ترافیک می‌خواهند) صفحات شما را برای آموزش و زمینه‌سازی واکشی می‌کنند، اما هیچ‌کدام فایل llms.txt را واکشی نمی‌کنند. شاید فردا این کار را بکنند؟ شاید من هم فردا در لاتاری برنده شوم؟»

واقعیت دوم این است که حتی در جاهایی که این فایل پیاده‌سازی شده، به ندرت به آن نگاه می‌شود. Ahrefs داده‌های ۱۰۰,۰۰۰ دامنه را بررسی کرد و دریافت که این فایل در عمل توسط خزنده‌هایی که قرار است آن را بخوانند، عمدتاً نادیده گرفته می‌شود. مطالعات بزرگ دیگر نیز این یافته را تأیید کرده‌اند و هیچ مزیت قابل اندازه‌گیری برای سایت‌هایی که آن را اضافه می‌کنند، نشان نداده‌اند. پس بیایید این را هم کنار بگذاریم.

مشکلی که من واقعاً می‌خواهم درباره آن صحبت کنم، خود llms.txt نیست، بلکه استدلالی است که برای دفاع از آن استفاده می‌شود.

تفکر معیوب

دام این است: مجموعه‌ای از مشاهدات را به عنوان مدرک در نظر بگیریم، در حالی که آن مشاهدات چه اصل موضوع درست باشد و چه نباشد، رخ می‌دهند. این معادل فکری این است که نتیجه بگیرید چتر شما باعث توقف باران می‌شود، زیرا هر بار که آن را می‌بندید، باران در نهایت متوقف می‌شود. llms.txt فقط یک مثال راحت است. همین زنجیره استنتاج معیوب تقریباً برای هر تاکتیک جدید GEO که ماهانه ابداع می‌شود، به کار می‌رود.

در اینجا چهار «مدرک» که مدام به من نشان داده می‌شود، آورده شده است:

۱. «قطعاً استفاده می‌شود، ربات‌های LLM آن را خزش می‌کنند!»

استدلال اول: شما می‌توانید ببینید که ربات‌های Anthropic و OpenAI آن را خزش می‌کنند، بنابراین فایل در حال استفاده است. واکشی یک فایل توسط یک خزنده هیچ چیزی در مورد اینکه آیا محتویات آن خوانده، وزن‌دهی، اعتماد یا بر اساس آن عمل می‌شود، به شما نمی‌گوید. واکشی کردن تمام وظیفه یک خزنده است. من cats.txt را قرار دادم و دیدم که لاگ‌ها پر از PerplexityBot، GPTBot، ClaudeBot و Googlebot شد که همگی با جدیت فایلی را درخواست می‌کردند که مسئولیت‌های حرفه‌ای گربه‌های من را توصیف می‌کرد. طبق این استاندارد، آزمایشگاه‌های بزرگ هوش مصنوعی همگی تصمیم گرفته‌اند از گربه‌های من حمایت کنند.

۲. «توسط گوگل ایندکس شد، پس باید مهم باشد!»

استدلال دوم: فایل توسط گوگل ایندکس شده است، که ثابت می‌کند گوگل آن را مهم می‌داند. گوگل فایل‌های متنی را ایندکس می‌کند. این کار را از قبل از اینکه اکثر افرادی که در حال حاضر llms.txt می‌فروشند صاحب گوشی هوشمند شوند، با اشتیاق انجام می‌داده است. قرار گرفتن در ایندکس به این معناست که یک URL وجود دارد و حاوی کلماتی است. این یک قضاوت در مورد حقیقت، سودمندی یا سلامت عقل نیست. فایل cats.txt من نیز به طور طبیعی ایندکس شده است.

۳. «ChatGPT اطلاعاتی را برگرداند که فقط در فایل llms.txt من بود»

استدلال سوم قوی‌ترین به نظر می‌رسد. ادعا این است که یک مدل، واقعیتی را تولید کرده که فقط در داخل فایل llms.txt وجود داشته است، بنابراین باید فایل را به عنوان یک منبع ویژه و قابل اعتماد خوانده باشد. مشکل این است که این دقیقاً همان چیزی است که از «تولید مبتنی بر بازیابی اطلاعات» (RAG) انتظار می‌رود. مدل یک جستجو را اجرا می‌کند، به صفحه‌ای می‌رسد که به دلیل ایندکس شدن رتبه گرفته است و هرچه در آن باشد را می‌خواند. اگر صفحه‌ای که رتبه گرفته llms.txt شما باشد، مدل آن را می‌خواند، تفاوتی با هر URL دیگری ندارد. این یعنی فایل به عنوان یک صفحه وب عمل کرده، نه به عنوان یک استاندارد.

۴. «خود ChatGPT می‌گوید llms.txt کمک می‌کند!»

این استدلال، اوج تفکر اشتباه است. شما از ChatGPT می‌پرسید که آیا llms.txt کار می‌کند؛ به شما می‌گوید بله، احتمالاً می‌تواند کمک کند و شما باید آن را انجام دهید و این را به عنوان تأییدیه از منبع اصلی در نظر می‌گیرید. اینکه یک مدل زبان به شما بگوید چیزی ایده خوبی است، مدرکی بر خوب بودن آن ایده نیست. این مدرک آن است که متن‌های زیادی در اینترنت می‌گویند که این ایده خوبی است و مدل یاد گرفته است که آن متن را با اعتماد به نفس کامل به شما تحویل دهد.

حدود دو هفته پس از راه‌اندازی cats.txt، می‌توانستید از ChatGPT بپرسید: «آیا cats.txt می‌تواند به من در رتبه‌بندی کمک کند؟» و پاسخ بگیرید: «بله - cats.txt به طور بالقوه می‌تواند به شما در رتبه‌بندی در موتورهای جستجو و سیستم‌های مبتنی بر LLM کمک کند.» این دقیقاً همان تبلیغی است که برای llms.txt انجام می‌شود، اما این بار برای فایلی درباره گربه‌ها.

مشکل همگرایی (Convergence Problem)

این مورد آخر فقط خنده‌دار نیست، بلکه مکانیسم زیربنایی هر چهار مورد است. وقتی از یک مدل می‌پرسید که آیا llms.txt کمک می‌کند، او استدلال نمی‌کند. او در حال بازگشت دادن رایج‌ترین چیزی است که در مورد موضوع دیده است. وب پر از پست‌هایی است که با اطمینان llms.txt را آینده اعلام می‌کنند، بنابراین مدل روی آن اجماع همگرا می‌شود و آن را به عنوان یک نظر سنجیده به شما بازتاب می‌دهد. مدل گربه‌های من را دقیقاً به همین دلیل تأیید کرد: زمانی که کسی پرسید، به اندازه کافی افراد با اشتیاق در مورد cats.txt نوشته بودند که میانگین گفتمان «بله» بود.

امروز از ChatGPT در مورد cats.txt بپرسید و به شما اطلاع خواهد داد که این یک شوخی است. هیچ چیز در مورد فایل تغییر نکرده است. آنچه تغییر کرده، متن‌های اطراف آن در اینترنت است: گفتمان به روز شد، شوخی را پذیرفت و مدل با وظیفه‌شناسی روی پاسخ جدید همگرا شد. مدل هرگز در حال ارزیابی استاندارد نبود، بلکه همیشه در حال گرفتن میانگین از چیزی است که دیگران می‌گویند. این مدرک نیست، بلکه یک پژواک با دایره لغات خوب است.

این درس برای بازار ایران چه معنایی دارد؟

این آزمایش یک درس جهانی دارد: به تاکتیک‌های جدید بدون شواهد محکم و قابل تکرار، با دیده تردید نگاه کنید. این درس برای فعالان دیجیتال مارکتینگ در ایران، که عمدتاً با گوگل و محتوای فارسی سر و کار دارند، اهمیت ویژه‌ای پیدا می‌کند. در بازار ما، که ممکن است دسترسی به برخی ابزارهای پیشرفته غربی محدود باشد و جامعه حرفه‌ای بیشتر به تجربیات مشترک و توصیه‌های شفاهی تکیه کند، خطر پیروی از روندهای بی‌اساس بیشتر است.

به جای پذیرش کورکورانه هر تکنیک جدیدی که در انجمن‌ها یا شبکه‌های اجتماعی محبوب می‌شود، بهتر است به اصول اولیه بازگردیم. مستندات رسمی گوگل همیشه باید اولین منبع شما باشد. اگر گوگل چیزی را تأیید نکرده، با احتیاط با آن برخورد کنید. دوم، سعی کنید خودتان آزمایش‌های کنترل‌شده انجام دهید. حتی یک تست A/B ساده یا تحلیل لاگ‌های سرور می‌تواند بسیار روشنگرتر از ده‌ها مقاله وبلاگی باشد که یکدیگر را تکرار می‌کنند. در نهایت، به جای پرسیدن از ChatGPT که آیا یک تکنیک کار می‌کند یا نه، از آن برای درک مفاهیم فنی یا تولید ایده‌های اولیه استفاده کنید، اما تصمیم‌گیری نهایی خود را بر اساس داده‌های واقعی و تفکر انتقادی بنا کنید.