خطای جایگزینی در هوش مصنوعی؛ وقتی مدل به جای برند شما رقیبتان را توصیف میکند

وقتی مدل زبانی درباره شرکتی داده کافی ندارد، سکوت نمی‌کند؛ نه می‌گوید «نمی‌دانم» و نه اعلام می‌کند شواهدش تمام شده است. مدل به نزدیک‌ترین موضوع مستند و پرتکرار پناه می‌برد؛ معمولاً به رقیب، میانگین همان صنعت یا نسخه‌ای از همان شرکت که سال‌ها پیش درست بوده و همان را با لحنی کاملاً مطمئن درباره شما تحویل می‌دهد.

نکته نگران‌کننده برای مدیران بازاریابی این است که چنین خطایی از مسیر ممیزی محتوای خود شرکت دیده نمی‌شود. همه ممیزی‌های محتوا چیزهایی را بررسی می‌کنند که وجود دارند: صفحات، ساختار، پوشش، صحت و تازگی. این خطا در بخشی زندگی می‌کند که وجود ندارد و در فضایی رخ می‌دهد که مالکیت آن در دست شما نیست؛ فقط در لحظه‌ای دیده می‌شود که کاربری پرسشی می‌پرسد که شما هرگز آن را نمی‌بینید.

بنابراین نتیجه ممیزی تمیز برمی‌گردد: صفحات خوب‌اند، اسکیما (Schema) معتبر است و پوشش محتوا در مقایسه با رقبا منطقی به نظر می‌رسد؛ اما مدل همچنان درباره شرکت شما چیزی می‌گوید که هیچ صفحه‌ای از سایت شما آن را پشتیبانی نمی‌کند و هیچ صفحه‌ای هم نمی‌توانست جلوی آن را بگیرد.

ضعف مدل‌ها در دانش کم‌طرفدار

علت این رفتار به ساختار دانش مدل‌ها برمی‌گردد. پژوهش‌های مالن (Mallen) و همکاران نشان داده است که مدل‌ها در دانش واقعی کم‌طرفدار ضعف جدی دارند و بزرگ‌تر کردن آن‌ها دانش پرمخاطب را تقویت می‌کند، نه دنباله کمرمق اطلاعات را. در همین بخش کم‌اطلاع، پژوهش لانگ‌پر و همکاران (Longpre et al.) در کنفرانس EMNLP 2021 درباره «تعارض دانش» نشان می‌دهد که مدل‌ها به‌جای خواندن متن حاضر، به اطلاعات حفظ‌شده در وزن‌های خود تکیه می‌کنند. رفتار آن‌ها پرهیز از پاسخ نیست؛ تولید مطمئن از هر چیزی است که در حافظه مدل وجود دارد.

این پدیده با «توهم» رایج یکی نیست. در توهم رایج، مدل گاهی پاسخ‌های تصادفی و جعلی تولید می‌کند، مثل ارجاع به پرونده‌ای که وجود ندارد یا آماری که ساخته شده است و مدل‌های بهتر این نوع خطا را کاهش می‌دهند. اما جایگزینی تصادفی نیست؛ جهت‌دار و قابل پیش‌بینی است: وقتی یک موجودیت داده کمی دارد و همسایه نزدیک آن پر از داده است، مدل همیشه به سمت آن همسایه می‌لغزد، چون این شیب به ساختار داده‌های آموزشی برمی‌گردد، نه به یک نقص تصادفی. به همین دلیل اطمینان‌بخش بودن نسخه‌های جدید درباره «توهم کمتر» در اینجا کار نمی‌کند؛ مدل‌ها بهتر شده‌اند که چیزی اختراع نکنند، نه اینکه بهتر درباره شرکت‌هایی بدانند که کسی درباره‌شان ننوشته است.

نمونه‌ای عینی از ژوئن امسال

نویسنده یک نمونه عینی از ژوئن امسال می‌آورد: مقاله‌ای بازاریابی که به تیم‌های برند هشدار می‌داد مدل‌ها درباره محصولات‌شان ادعاهای ساختگی می‌سازند. مقاله با نقل‌قولی از پرسی لیانگ (Percy Liang)، مدیر مرکز پژوهش مدل‌های بنیادی استنفورد (Stanford Center for Research on Foundation Models)، آغاز می‌شد؛ اما این نقل‌قول در هیچ مقاله، سخنرانی یا مصاحبه‌ای پیدا نشد. دو نقل‌قول منسوب به چهره‌های رسانه‌ای شناخته‌شده هم در همین مقاله قابل ردیابی نبود.

همین مقاله نرخ توهم را به شاخص هوش مصنوعی HAI استنفورد (Stanford HAI AI Index) نسبت می‌داد، اما لینک به صفحه اصلی گزارش می‌رفت، نه به صفحه‌ای که آن عدد را نشان دهد. این الگو ده‌ها بار تکرار شده است: گزارش اعتماد مصرف‌کننده نیلسن (Nielsen)، گزارش ریسک گارتنر (Gartner)، گزارش کارگروه آی‌ای‌بی (IAB) و مطالعه ارزیابی MIT Sloan. عنوان‌ها دقیقاً شبیه گزارش‌های واقعی بودند؛ لینک‌ها فقط به خانه سازمان‌ها می‌رسیدند.

معنای این مثال روشن است: مقاله‌ای که هشدار می‌داد هوش مصنوعی درباره برندها ادعاهای مطمئن و بی‌پشتوانه می‌سازد، خودش درباره پژوهشگران و نهادها چنین ادعاهایی ساخته بود. مکانیسم خطا فقط در ماشین نماند؛ از مدل بیرون آمد، منتشر و فهرست‌بندی شد و حالا وارد داده‌هایی شده است که نسل بعدی مدل‌ها از آن یاد خواهند گرفت.

دیوار پرداخت و شاخص رایگان استنفورد

نمی‌توان گفت بیشتر این پژوهش‌ها پشت دیوار پرداخت‌اند و نویسنده امکان لینک دادن به نسخه اصلی را ندارد. این توجیه بخشی از فهرست را می‌پوشاند، اما شاخص استنفورد رایگان است، آرشیو متن‌باز ACL (ACL Anthology) رایگان و باز است و مقاله طبقه‌بندی توهم برند که در آن مقاله به آن ارجاع داده شده، در این آرشیو پیدا نمی‌شود. درباره نقل‌قول هم هیچ اشتراکی کمک نمی‌کند؛ یا یک نفر سخنی را در ملأ عام گفته است یا نگفته است. رسم درست برای منابع پشت دیوار پرداخت، ذکر نام گزارش، نویسنده و تاریخ است تا خواننده بتواند اصالت آن را بررسی کند؛ اما در آن مقاله فقط عنوانی وجود داشت که به ادعا می‌خورد و چیزی زیر آن نبود.

نویسنده عمداً نام آن فروشنده را نمی‌برد، چون درس این مثال به شرکت خاص ربطی ندارد. نکته مهم این است که این دقیقاً همان خطای جایگزینی است که یک سطح بالاتر رخ داده است: برای ادعاهای بزرگ درباره نرخ توهم برندها، شواهد کافی وجود نداشت؛ بنابراین فضا با چیزهایی شبیه مدرک پر شد؛ نام نهادهای واقعی، عنوان گزارش‌های محتمل و لینک‌هایی که به سازمان‌های واقعی می‌رسند. در ظاهر همه نشانه‌های دقت علمی دیده می‌شود، اما زیر آن هیچ محتوایی نیست. مدیر بازاریابی که این مقاله را می‌خواند و همان عددها را در ارائه هیئت‌مدیره تکرار می‌کند، عملاً جایگزینی را از مدل به مقاله، از مقاله به انسان و از انسان به تصمیم منتقل کرده است؛ بدون اینکه هیچ‌کس در این زنجیره کار نادرست آشکاری انجام داده باشد.

شکل نخست: قیاس صامت

این رفتار همیشه یک شکل نیست و معمولاً با خطاهای دیگر اشتباه گرفته می‌شود. شکل نخست، قیاس صامت است: مدل نزدیک‌ترین همسایه مستند را انتخاب می‌کند و آن را به‌عنوان شما توصیف می‌کند؛ مثلاً مدل قیمت‌گذاری شما به مدل قیمت‌گذاری بزرگ‌ترین رقیب تبدیل می‌شود و زمان اجرای پروژه شما به میانگین صنعت. شکل دوم، اطلاعات کهنه با لحن تازه است: محصولات حذف‌شده، مدیران جدا شده، جایگاه‌سازی قدیمی یا بازارهایی که ترک کرده‌اید در زمان حال گفته می‌شوند. شکل سوم، شواهد بسیار کم با اعتمادبه‌نفس شواهد زیاد است؛ یک یادداشت تجاری تنها و چهل منبع مستقل، پاسخ‌هایی شبیه به هم تولید می‌کنند. شکل چهارم هم دانش کلی درباره صنعت است که به یک شرکت خاص وصل می‌شود؛ مدل درباره صنعت شما زیاد می‌داند و درباره خودِ شما کم، پس به پرسش صنعتی پاسخ می‌دهد و نام شما را بالای آن می‌گذارد.

هیچ‌کدام از این چهار شکل در ممیزی محتوا رد پایی ندارد، چون ممیزی فقط صفحات شما را با معیارهای مشخص مقایسه می‌کند. شواهدی که می‌توانست جلوی هر چهار شکل را بگیرد، عمدتاً توسط دیگران و در طول سال‌ها نوشته شده است. بازبینی محتوای خودتان نمی‌تواند این کسری را نشان دهد، چون کسری در محتوای شما نیست.

چرا انتشار بیشتر جواب نمی‌دهد

واکنش طبیعی این است که محتوای بیشتری منتشر کنید تا مدل پاسخ را از متن بازیابی کند و وزن‌های کم‌عمق جبران شود؛ اما پژوهش شیاولینو و همکاران (Sciavolino et al.) در EMNLP 2021 نشان داده است که بازیاب‌های متراکم در پرسش‌های موجودیت‌محور عملکرد ضعیفی دارند و فقط برای موجودیت‌های رایج قابل اتکا هستند. همان گرادیان محبوبیت که حضور شما را در وزن مدل کمرنگ کرده، در بازیابی هم تکرار می‌شود؛ یعنی بازیابی نه اصلاح‌کننده این سوگیری، که کاربرد دوم آن است.

تنها راه دیدن این خطا، تماشای خروجی‌هاست، نه بازبینی ورودی‌ها. باید دنبال ادعایی بگردید که هیچ منبع منتشرشده توسط شما یا درباره شما آن را پشتیبانی نکند؛ قابلیتی که ندارید اما با جزئیات توصیف شده، زمان‌بندی که هرگز نگفته‌اید و مقایسه رقابتی با معیارهایی که شما تعیین نکرده‌اید. همچنین از مدل نخواهید که «شرکت شما را توصیف کند»، چون آوردن نام برند در خودِ پرسش، یک سرنخ بازیابی است و همان اطلاعات کم را به بافت پاسخ می‌آورد. این جایگزینی در پرسش‌هایی دیده می‌شود که نام برند غایب است و مدل باید خودش آن را حدس بزند: پرسش درباره یک دسته با قید خاص، مقیسه‌ای که فقط رقیب در آن نام برده شده یا پرسش درباره یک قابلیت به‌جای یک شرکت. این آزمایش‌ها را باید روی پرسش‌های واقعی خریداران و چندبار تکرار کنید، چون پاسخ‌ها جابه‌جا می‌شوند؛ سپس نتیجه را نه فهرستی از صفحات برای اصلاح، بلکه نقشه‌ای از توصیف‌های غایب ببینید.

نویسنده صراحتاً اعلام کرده است که شرکتی در سمت اندازه‌گیری همین پدیده اداره می‌کند و از این حیث ذی‌نفع است؛ اما این موضوع نکته اصلی را تغییر نمی‌دهد. رویکردی که فقط محتوای متعلق به خودتان را ممیزی می‌کند، از نظر ساختاری نسبت به خطایی که بیرون از قلمرو شما رخ می‌دهد کور است. شاید تمیزترین ممیزی محتوایی که تا به حال انجام داده‌اید، هیچ چیز درباره این مسئله نگوید؛ و هیچ‌وقت هم نمی‌گفته است.