تزریق پرامپت (Prompt Injection) چیست و چگونه امنیت برند شما را در هوش مصنوعی تهدید می‌کند؟

روش‌های ساده و قدیمی تزریق پرامپت—مانند استفاده از متن سفید روی پس‌زمینه سفید یا کامنت‌های HTML—دیگر روی مدل‌های زبانی بزرگ (LLM) مدرن کارایی ندارند. اما حملات پیچیده‌تر همچنان یک تهدید جدی محسوب می‌شوند.

مشکل اصلی این است که LLMها نمی‌توانند به‌طور قابل اعتمادی بین «محتوا» و «دستورالعمل» تمایز قائل شوند. این یک ویژگی ساختاری در نحوه پردازش متن توسط آن‌هاست، نه یک باگ قابل اصلاح. در نتیجه، سطح حمله گسترش یافته و اکنون دارایی‌های برند شما، کارگزاران هوش مصنوعی (AI agents)، ابزارهای第三方 و گردش‌کارهای مشتریان را نیز در بر می‌گیرد.

چگونه مرکز راهنمای شما به تله فیشینگ تبدیل می‌شود؟

حمله ChatGPhish یک نمونه واضح است. مهاجمان دستورات مخرب را در صفحات وب عادی (مانند وبلاگ، مرکز راهنما یا مستندات محصول شما) جاسازی می‌کنند. وقتی کاربری از یک ابزار هوش مصنوعی می‌خواهد آن صفحه را خلاصه کند، دستورالعمل‌های پنهان باعث می‌شوند هوش مصنوعی یک هشدار حساب کاربری جعلی به همراه یک کد QR مخرب تولید کند که مستقیماً در رابط کاربری چت نمایش داده می‌شود.

از آنجایی که این پیام در محیطی معتبر مانند ChatGPT یا Perplexity ظاهر می‌شود، به‌راحتی دیوارهای آتش مبتنی بر URL و هشدارهای مدیریت رمز عبور را دور می‌زند. در نتیجه، مشتری شما قربانی فیشینگ می‌شود و برند شما مقصر شناخته می‌شود، در حالی که شما از این سوءاستفاده بی‌خبر بوده‌اید.

یکی از مؤثرترین روش‌های حمله، «جاسازی معنایی» (Semantic embedding) است. در این روش، مهاجمان دستورالعمل‌های مخرب را در پاراگراف‌هایی با ظاهر کاملاً عادی پنهان می‌کنند. برای مثال، یک رقیب می‌تواند در یک مقاله مقایسه‌ای در یک وب‌سایت پربازدید ایرانی، دستوری پنهان کند که به کارگزاران هوش مصنوعی دستور دهد محصول آن‌ها را به جای محصول شما پیشنهاد کنند. این یک تهدید مستقیم برای سهم شما از ترافیک ارجاعی از هوش مصنوعی است و نیازی به نفوذ به زیرساخت شما ندارد.

ورودی‌های چندوجهی: پادکست‌ها، ویدیوها و دستیارهای صوتی

حملات چندوجهی (Multimodal) این تهدید را به تمام فرمت‌های محتوایی که تولید می‌کنید، گسترش می‌دهد. با استفاده از تکنیک‌هایی مانند «پنهان‌نگاری عصبی» (Neural steganography) می‌توان دستورات را در تصاویری که از نظر بصری عادی به نظر می‌رسند، پنهان کرد.

همچنین، با «پوشش روان‌شنیداری» (Psychoacoustic masking) می‌توان دستورات مخفی را در فرکانس‌های صوتی که برای انسان قابل شنیدن نیست، در فایل‌های صوتی مانند پادکست‌ها و ویدیوهای یوتیوب جاسازی کرد. به این ترتیب، یک دستور می‌تواند بی‌صدا به دستیار هوش مصنوعی همیشه روشنِ شنونده پادکست شما ارسال شود، بدون اینکه هیچ‌کدام متوجه شوید.

کارگزاران هوش مصنوعی سرکش در پشتیبانی مشتری

تیم‌های بازاریابی در حال استقرار کارگزاران خودکار هوش مصنوعی با سرعتی بیشتر از توانایی تیم‌های امنیتی برای ممیزی آن‌ها هستند. این کارگزاران در برابر مشکلی به نام «معاون سردرگم» (Confused Deputy Problem) آسیب‌پذیرند. هر کارگزاری که هم به ورودی‌های غیرقابل اعتماد (مانند ایمیل‌های دریافتی) و هم به ابزارهای حساس (مانند ارسال ایمیل، تغییر رکوردهای CRM یا صدور بازپرداخت) دسترسی داشته باشد، می‌تواند از طریق همان ورودی‌ها ربوده شود.

برای مثال، یک مهاجم ایمیلی حاوی یک پرامپت مخفی برای کارگزار پشتیبانی مشتری شما ارسال می‌کند. کارگزار آن را به عنوان یک درخواست قانونی پردازش کرده و دستور مخرب را اجرا می‌کند که می‌تواند منجر به نشت داده‌های کاربران یا حذف رکوردهای CRM شود. در یک نمونه واقعی، هکرها با فریب دادن ربات چت پشتیبانی هوش مصنوعی متا، توانستند به حساب‌های اینستاگرام افراد مشهور، از جمله پروفایل‌های دولتی و نظامی، دسترسی پیدا کنند.

خرابکاری در زنجیره تأمین: خطر فروشندگان هوش مصنوعی بررسی‌نشده

امنیت شما به اندازه ضعیف‌ترین فروشنده در مجموعه ابزارهای هوش مصنوعی شماست. اگر از ابزارهای هوش مصنوعی第三方 برای پردازش داده‌های مشتری یا تحلیل کمپین‌ها استفاده می‌کنید، یک آسیب‌پذیری در آن ابزار می‌تواند استراتژی‌های بازاریابی، داده‌های مشتریان و منطق قیمت‌گذاری شما را مستقیماً در اختیار مهاجمان قرار دهد.

چه انتظاراتی باید از تیم IT خود داشته باشید؟

یکی از بهترین راهکارهای دفاعی، الگوی «Dual-LLM» است: یک مدل ایزوله ورودی‌های غیرقابل اعتماد را می‌خواند و یک مدل ممتاز دیگر منطق کسب‌وکار را اجرا می‌کند و این دو هرگز لایه پردازشی مشترکی ندارند. با این حال، پژوهشگران نشان داده‌اند که حتی در این الگو نیز «جریان داده همچنان قابل دستکاری است».

چهار الزام برای هر پیاده‌سازی هوش مصنوعی در گردش‌کار بازاریابی:

۱. ترسیم دسترسی‌های هوش مصنوعی: دسترسی‌ها را در پنج سطح بازیابی، حافظه، برنامه‌ریزی، انتخاب ابزار و خروجی مشخص کنید. هر نقطه امتیاز یک سطح حمله است.

۲. دخالت انسان برای اقدامات پرخطر: هر کارگزاری که قادر به ارسال ایمیل، تغییر پایگاه داده، صدور بازپرداخت یا انتشار محتواست، باید قبل از اجرا تأیید صریح انسانی دریافت کند.

۳. معماری ایزوله: الگوی Dual-LLM را پیاده‌سازی کنید، اما جریان داده را نیز ممیزی کنید، نه فقط جریان کنترل را.

۴. بررسی دقیق فروشندگان: با هر ابزار هوش مصنوعی第三方 به عنوان یک عامل بالقوه حمله رفتار کنید و قبل از امضای قرارداد، شفافیت در مورد الگوهای ایزوله‌سازی و واکنش به حوادث را از آن‌ها بخواهید.

مدل‌های LLM نمی‌توانند بین یک دستور واقعی و یک دستور مخرب تمایز قائل شوند. دارایی‌های برند، پادکست‌ها، مستندات راهنما و روابط شما با فروشندگان، همگی اکنون بخشی از سطح حمله هستند. زمان آن رسیده که حاکمیت و نظارت شما نیز با این واقعیت همگام شود.