تشخیص مشکلات دیده‌شدن برند در هوش مصنوعی: فراتر از شمارش منشن‌ها

درک دنیای مبهم دیده‌شدن در هوش مصنوعی (AI Visibility) نیازمند بررسی دقیق پژوهش‌های علمی است. این مطالعات پرسش‌های جزئی‌تری نسبت به سوالات رایج ما در دنیای سئو مطرح می‌کنند، اما در کنار هم، به ما کمک می‌کنند تا توضیحات ارائه‌شده را بهتر به چالش بکشیم.

یک نمونه اخیر، مطالعه‌ای به نام مم‌تو‌سی (MemToC) است که رفتار مدل‌های زبان را در شرایطی بررسی می‌کند که پاسخ خودشان با اطلاعات دریافتی از یک ابزار خارجی در تضاد است. در این پژوهش، ابتدا از مدل‌ها خواسته شد تا بدون ابزار به سوالات واقعی پاسخ دهند. سپس، همان سوالات با اطلاعات کنترل‌شده و نادرست از یک ابزار خارجی دوباره پرسیده شد.

نتایج شگفت‌انگیز بود. در مواردی که مدل قبلاً پاسخ صحیح را داده بود، پس از دریافت اطلاعات نادرست از ابزار، میزان حفظ پاسخ صحیح بین ۶.۵٪ تا ۱۷.۱٪ متغیر بود. این یعنی مدل با اینکه پاسخ درست را «می‌دانست»، در اکثر موارد تسلیم اطلاعات اشتباه شد. این یافته به تنهایی توضیح «ندانستن» مدل را زیر سوال می‌برد.

حال تصور کنید که شما فقط پاسخ نهایی را می‌بینید و واقعیت حذف‌شده، مربوط به برند شماست. در گزارش دیده‌شدن برند، یک سلول قرمز دریافت می‌کنید و شخصی باید در جلسه بعدی با مشتری آن را توضیح دهد. آیا این مشکل به دلیل ضعف محتواست یا مسئله‌ای دیگر در کار است؟

پژوهشگران MemToC دریافتند که در نمونه‌ای از پاسخ‌ها، هیچ‌یک از مدل‌ها به صراحت به تضاد بین دانش خود و اطلاعات دریافتی اشاره نکردند. البته این آزمایش‌ها روی مدل‌های متن-باز با پارامترهای ۷ تا ۹ میلیارد کنترل شده بودند و نتایجشان مستقیماً به جستجوی چت‌جی‌پی‌تی (ChatGPT) یا نمای کلی هوش مصنوعی گوگل (Google AI Overviews) قابل تعمیم نیست. با این حال، یک پیچیدگی مهم را آشکار می‌کنند: مدل می‌تواند پاسخ صحیح را بداند اما همچنان به اطلاعات نادرست یک ابزار دیگر اعتماد کند.

مطالعات دیگری نیز این پیچیدگی را تأیید می‌کنند. پژوهش «قفسه‌های خالی یا کلیدهای گمشده؟» (Empty Shelves or Lost Keys?) تفاوت بین «باز تولید» یک واقعیت (با سرنخ‌های قوی) و «پاسخ‌دهی قابل اعتماد» به سوالات مرتبط با آن را بررسی می‌کند. نتایج نشان داد که حتی مدل‌های پیشرفته‌ای مانند جی‌پی‌تی-۵ (GPT-5) و جمینای-۳ (Gemini-3) که ۹۵-۹۸٪ واقعیت‌ها را در حافظه دارند، در بازیابی قابل اعتماد آن‌ها، به‌ویژه برای واقعیت‌های نادر، ضعیف‌تر عمل می‌کنند.

حتی با دسترسی به محاسبات داخلی مدل، تشخیص علت نهایی یک پاسخ دشوار است. پژوهش «از پارامترها تا پاسخ‌ها» (From Parameters to Answers) نشان می‌دهد که نتیجه‌گیری درباره نحوه بازیابی اطلاعات توسط مدل، به نحوه اندازه‌گیری سیگنال‌های داخلی آن بستگی دارد و هیچ نمودار جهانی برای توضیح این فرآیند وجود ندارد.

برای درک بهتر این موضوع، نویسنده مقاله، پدرو دیاس (Pedro Dias)، آزمایشی شخصی انجام داد. او دو ماه پیش در لینکدین (LinkedIn) خود را «مشهورترین متخصص دیده‌شدن در هوش مصنوعی در جهان» معرفی کرد.

نتیجه این شد که جستجو برای عبارت [worlds most renowned ai visibility expert] در نمای کلی هوش مصنوعی گوگل، همچنان به پست اصلی او استناد می‌کند.

بسیاری آزمایش‌های مشابهی را امتحان کرده‌اند. ادوارد استورم (Edward Sturm) از نویسنده پرسید که آیا این آزمایش بدون تجربه ۲۰ ساله او در سئو موفق می‌شد؟

از من پرسید که آیا این کار بدون بیش از ۲۰ سال تجربه من در سئو و بازیابی اطلاعات هم جواب می‌داد؟

— ادوارد استورم (Edward Sturm)

پاسخ نویسنده منفی بود، اما این تنها یک قضاوت شخصی است. نکته مهم اینجاست که پاسخ هوش مصنوعی می‌تواند به صراحت این عنوان را یک شوخی خودخوانده توصیف کند، اما همچنان نام او را ذکر کرده و به پستش استناد کند. یک ابزار شمارش‌گر ساده، این پاسخ را به عنوان یک «منشن» مثبت ثبت می‌کند، در حالی که ماهیت آن کاملاً متفاوت است.

این آزمایش نشان می‌دهد که صرفاً شمارش دفعات نمایش نام برند کافی نیست. فرض کنید نمایش برند شما در پاسخ‌های هوش مصنوعی این ماه کاهش یافته است. این یک تغییر در نتیجه را نشان می‌دهد، اما علت آن را مشخص نمی‌کند. آیا مدل تغییر کرده؟ آیا منابعی که استفاده می‌کند عوض شده‌اند؟ یا نوع سوالات کاربران متفاوت بوده است؟

تشخیص اشتباه می‌تواند منجر به صرف هفته‌ها زمان و بودجه توسط یک تیم متخصص برای کاری شود که هرگز مشکل اصلی را حل نمی‌کند. اگر ادعا شود که محتوا ناکافی است، بودجه به سمت تولید محتوای بیشتر می‌رود. اگر گفته شود مدل برند را «یاد نگرفته»، بحث به سمت داده‌های آموزشی کشیده می‌شود.

یک تیم ممکن است دلایل خوبی برای آزمایش یک راه‌حل قبل از توضیح کامل داشته باشد. اما اگر به شما برای آن سلول قرمز در گزارش، راه‌حلی فروخته می‌شود، باید بپرسید: چه شواهدی به شما می‌گوید که مشکل من دقیقاً چیست؟ همان‌طور که این مقالات علمی محدودیت‌های خود را مشخص می‌کنند، ادعاهای تجاری نیز باید با شواهد پشتیبانی شوند.