تحلیل تفاوت‌های کلود و کلود کد: رفتار جستجو و استراتژی بهینه‌سازی

بر اساس داده‌های جدید شرکت پروفاوند (Profound)، که در زمینه رصد برندها در پاسخ‌های هوش مصنوعی فعالیت می‌کند، مدل‌های کلود (Claude) و کلود کد (Claude Code) به پرامپت‌های یکسان، پاسخ‌های متفاوتی می‌دهند.

در آزمایش‌های این شرکت، کلود کد تنها در ۱۳٪ از پاسخ‌های خود از جستجوی وب استفاده کرده، در حالی که این آمار برای کلود استاندارد ۹۳٪ بوده است. همچنین، به‌طور متوسط، تنها ۲۰٪ از برندهای ذکر شده در پاسخ هر دو مدل برای یک پرامپت مشابه، مشترک بوده‌اند. گفتنی است که شرکت پروفاوند در گزارش خود به تبلیغ پلتفرم ردیابی دیده‌شدن در هوش مصنوعی خود نیز می‌پردازد.

بین ۱۳ تا ۲۳ ژوئیه، این شرکت ۱,۷۲۴ پرامپت را روی هر دو محصول آزمایش کرد و ۲۴,۱۳۵ پاسخ با قابلیت جستجوی وب فعال تولید نمود. نکته جالب این بود که تکرار یک پرامپت در یک محصول، نتایج سازگارتری نسبت به مقایسه نتایج دو محصول با یکدیگر داشت. برای مثال، دو پاسخ از کلود به یک پرامپت، حدود نیمی از برندهایشان مشترک بود، در حالی که این میزان برای کلود کد حدود ۴۰٪ بود.

تفاوت پاسخ‌های Claude و Claude Code از نظر برند و ساختار

با وجود جستجوی کمتر، کلود کد تقریباً به همان تعداد برند در هر پاسخ اشاره کرده است (۶.۶ برند در مقابل ۵.۲ برند برای کلود). در پرامپت‌های مربوط به برنامه‌نویسی، کلود بیشتر به ویرایشگرهای کد و محیط‌های توسعه یکپارچه (IDE) تمایل داشت، در حالی که کلود کد اغلب ابزارهای کیفیت‌سنجی کد و گردش کار را معرفی می‌کرد.

علاوه بر این، پاسخ‌های کلود کد کوتاه‌تر و ساختارمندتر بودند؛ میانگین ۳۲۲ کلمه در برابر ۴۵۹ کلمه برای کلود. بیش از نیمی از پاسخ‌های کلود کد شامل جدول بودند، در حالی که این رقم برای کلود تنها ۱۱٪ بود.

Claude Code به مستندات می‌رود؛ Claude به صفحات کشف سایت

مجموعه داده دوم، ۱۰۰۰ صفحه برتری را که هر عامل هوش مصنوعی بین ۱۸ ژوئیه و ۱۸ اوت بازدید کرده، نشان می‌دهد. تقریباً سه‌چهارم بازدیدهای مشاهده‌شده از کلود کد به صفحات مستندات، اطلاعات فنی و قیمت‌گذاری اختصاص داشته، در حالی که تنها ۵٪ از بازدیدهای کلود چنین ماهیتی داشته است.

در مقابل، ۶۰٪ از بازدیدهای کلود مربوط به فایل‌های robots.txt، نقشه‌های سایت و صفحات اصلی بوده است، در مقایسه با تنها ۴٪ برای کلود کد. تحلیلگران این گزارش معتقدند که عامل کلود به دنبال کشف محتوای کلی یک سایت است، در حالی که عامل کلود کد به دنبال جزئیات خاص در انواع صفحات شناخته‌شده می‌گردد.

صفحه‌های فنی را برای جست‌وجوی عامل‌ها چگونه آماده کنیم؟

بر اساس این یافته، گزارش توصیه می‌کند که در چنین صفحاتی، حقایق به صورت واضح بیان شوند (مانند «پشتیبانی از پایتون ۳.۱۰ تا ۳.۱۳، نود.جی‌اس ۲۰+ و گو ۱.۲۲+») و پاسخ‌ها مستقیماً زیر عنوان‌هایی با فرمت سؤالی قرار گیرند. البته در گزارش ذکر شده که برچسب‌گذاری انواع صفحات توسط یک مدل هوش مصنوعی انجام شده و به بازبینی انسانی یا نحوه تفکیک ترافیک دو عامل اشاره‌ای نشده است.

این داده‌ها نشان می‌دهد که هنگام ارزیابی عملکرد، باید کلود کد را به صورت جداگانه از کلود استاندارد سنجید. در یک مجموعه داده، عامل‌های هوش مصنوعی الگوهای بازدید متفاوتی از صفحات نشان دادند و در مجموعه داده دیگر، همپوشانی نام برندها به‌طور متوسط تنها ۲۰٪ بود.

ضرورت سنجش مستقل دیده‌شدن در Claude Code

نویسندگان گزارش پیشنهاد می‌کنند که جزئیات فنی و قیمت‌گذاری به وضوح در صفحاتی که توسط عامل کلود کد بازدید می‌شوند، فهرست شوند؛ هرچند آن‌ها به صراحت آزمایش نکرده‌اند که آیا این تغییرات باعث افزایش ذکر نام برند یا دیده‌شدن آن می‌شود یا خیر.

در آینده، ممکن است محصولات هوش مصنوعی که از مدل‌های مشترک استفاده می‌کنند، با جذب ترافیک قابل توجه کاربران، نیازمند ارزیابی و اندازه‌گیری مستقل خود باشند. کلود کد نمونه‌ای از این نوع محصولات است. بحث پیرامون بازدید صفحات بر اساس داده‌های ترافیک یک‌ماهه عامل‌ها در دامنه‌هایی است که پروفاوند به صورت داخلی رصد می‌کند.