اقتصاد کاذب ابزارهای تشخیص هوش مصنوعی: چرا نباید به آن‌ها اعتماد کرد؟

در ده سال گذشته، هوش مصنوعی در تمام کارهای من، از جمله تولید محتوا، یک دستیار بوده است. هفته پیش تصمیم گرفتم برای مدتی آن را کنار بگذارم. یک مقاله را به روش سنتی و بدون هیچ کمکی نوشتم. پس از اتمام، کار واضحی انجام دادم و دوباره به سراغ هوش مصنوعی رفتم؛ مقاله‌ام را در چند ابزار معروف تشخیص محتوای هوش مصنوعی بررسی کردم. نتایج کاملاً پراکنده و متناقض بودند:

یکی از ابزارها آن را ۱۰۰٪ تولیدشده توسط هوش مصنوعی تشخیص داد.

دیگری امتیاز ۷۸٪ هوش مصنوعی را ثبت کرد.

ابزار سوم به عدد ۴۲٪ رسید.

و یکی هم تشخیص داد که یک انسان آن را نوشته است.

چند ابزار دیگر هم تا زمانی که هزینه‌ای پرداخت نمی‌کردم، نتیجه را نشان نمی‌دادند.

یک مقاله، با کلمات یکسان، اما هر بار نتایج متفاوت. این موضوع یک سؤال ساده برای من ایجاد کرد: اگر این ابزارها نمی‌توانند بر سر متنی که من می‌دانم کاملاً انسانی است به توافق برسند، دقیقاً چه چیزی را تشخیص می‌دهند؟ و اگر کسب‌وکارها، ویراستاران و کارفرمایان بر اساس این امتیازها تصمیم‌گیری می‌کنند، وقتی هر ابزار پاسخ متفاوتی به آن‌ها می‌دهد چه اتفاقی می‌افتد؟

هدف من در اینجا زیر سؤال بردن یک ابزار خاص نیست. مشکل بزرگ‌تر از یک محصول است و به کل ایده ابزارهای تشخیص محتوای انسانی در مقابل هوش مصنوعی و اقتصاد کاذب مبتنی بر ترسی که پیرامون آن شکل گرفته، بازمی‌گردد.

برای آزمایشی دقیق‌تر، به سراغ نوشته‌های قدیمی‌ترم رفتم؛ مقالاتی که سال‌ها قبل از ظهور هوش مصنوعی مولد مانند چت‌جی‌پی‌تی (ChatGPT) نوشته بودم. اگر این ابزارها واقعاً کار می‌کنند، باید بتوانند به راحتی محتوای انسانی خالص را تشخیص دهند.

اولین مقاله‌ای که بررسی کردم مربوط به سال ۲۰۱۴ بود، هشت سال قبل از عرضه ChatGPT. بیشتر ابزارها آن را انسانی تشخیص دادند، اما یکی از آن‌ها احتمال انسانی بودن آن را فقط ۶۶٪ اعلام کرد. در آزمایشی دیگر روی مقاله‌ای که در سال ۲۰۱۹ برای سرچ انجین جورنال (Search Engine Journal) نوشته بودم، نتایج باز هم ناامیدکننده بود. یک ابزار آن را ۳۵٪ و دیگری ۱۶٪ محصول هوش مصنوعی دانست. عجیب‌تر اینکه یکی از آن‌ها ادعا کرد ردپایی از GPT در متن پیدا کرده، محصولی که در آن زمان اصلاً وجود نداشت!

این نتایج نشان می‌دهد که نمی‌توان به امتیازهای این ابزارها اعتماد کرد. اگر آن‌ها حتی نمی‌توانند نوشته‌های پیش از دوران هوش مصنوعی مولد را به درستی شناسایی کنند، چطور می‌توان به تحلیل‌های امروزی‌شان اطمینان داشت؟

تحقیقات آکادمیک نیز این یافته‌ها را تأیید می‌کند. پژوهشگران دانشگاه استنفورد (Stanford) دریافتند که این ابزارها در تشخیص نوشته‌های انگلیسی‌زبانان غیربومی عملکرد ضعیف‌تری دارند و اغلب به اشتباه آن‌ها را به‌عنوان محتوای هوش مصنوعی برچسب می‌زنند. همزمان، مطالعه دیگری نشان داد که با چند ویرایش انسانی جزئی، می‌توان محتوای تولیدشده توسط هوش مصنوعی را به راحتی از دید این ابزارها پنهان کرد.

این مسئله برای فعالان دیجیتال مارکتینگ در ایران اهمیت ویژه‌ای دارد. چه در حال تولید محتوای فارسی برای بازار داخلی باشید و چه محتوای انگلیسی برای مخاطبان بین‌المللی، تکیه بر این ابزارهای غیرقابل اعتماد می‌تواند شما را به بیراهه بکشاند. به جای وسواس روی «امتیاز انسانی» یک متن، بهتر است انرژی خود را بر روی اصولی متمرکز کنید که برای گوگل، موتور جستجوی غالب در ایران، اهمیت دارد: یعنی تولید محتوای مفید، قابل اعتماد و مبتنی بر تخصص و تجربه (E-E-A-T).

مشکل بزرگ‌تر، «اقتصاد کاذب» این ابزارهاست که بر پایه ترس نویسندگان بنا شده است. این ترس که من آن را «FOW» یا «ترس از نوشتن» می‌نامم، باعث می‌شود نویسندگان به کار باکیفیت خود شک کنند، مبادا ابزاری آن را ماشینی تشخیص دهد. قضاوت در مورد محتوا که قبلاً بر اساس سودمندی و اصالت آن بود، اکنون به این سؤال تقلیل یافته که «آیا یک ابزار آن را هوش مصنوعی می‌داند؟»

این ترس کل صنعت را فرا گرفته است. نویسندگان نگران اتهام استفاده از هوش مصنوعی هستند، آژانس‌ها نگران واکنش کارفرمایان به امتیازهای این ابزارها، و کسب‌وکارها نگران تأثیر آن بر رتبه‌بندی گوگل. در این میان، شرکت‌های سازنده این ابزارها از این هراس سود می‌برند و حتی اعتماد به نفس نویسندگان را نیز پولی کرده‌اند.

جالب‌تر اینکه بسیاری از این شرکت‌ها از یک سو ابزار تشخیص هوش مصنوعی می‌فروشند و از سوی دیگر، ابزار «انسان‌ساز» (Humanizer) که برای دور زدن همین ابزارهای تشخیص طراحی شده است. در یکی از آزمایش‌هایم، ابزاری مقاله سال ۲۰۱۴ من را ۱۰۰٪ انسانی تشخیص داد، اما بلافاصله پیشنهاد داد که آن را «انسانی‌تر» کنم! این طنز تلخ، مدل کسب‌وکار این صنعت را خلاصه می‌کند: صنعتی که از شما پول می‌گیرد تا محتوایی را که از ابتدا انسانی بوده، انسانی‌سازی کند.

این بحث به شبکه‌های اجتماعی نیز کشیده شده است. لینکدین (LinkedIn) اخیراً دکمه‌ای با عنوان «به نظر محتوای بی‌ارزش هوش مصنوعی می‌رسد» اضافه کرده تا کاربران پست‌های مشکوک را گزارش دهند. این نیز نوعی تشخیص است، اما این بار با داوری انسان‌ها.

در این باره، مقامات لینکدین دیدگاه جالبی دارند.

به نظر می‌رسد تحقیقات آن‌ها هر محتوایی را که با هوش مصنوعی در تماس بوده، محتوای بی‌ارزش (slop) تلقی می‌کند، در حالی که نگاه ما این‌طور نیست... هوش مصنوعی می‌تواند ابزاری عالی برای کمک به افراد در بیان ایده‌ها، اصلاح زبان یا خلاصه‌سازی باشد.

— سخنگوی لینکدین

بدیهی است که بخش بزرگی از محتوای لینکدین با کمک هوش مصنوعی تولید می‌شود، اما هیچ‌کس، از جمله خود لینکدین، نمی‌داند دقیقاً چقدر. هر کسی هم که ادعا کند می‌داند، در حال فروش یک ابزار تشخیص است.

— دن راث (Dan Roth)، سردبیر و نایب‌رئیس محتوای لینکدین

تمام این بحث‌ها به معنای دفاع از محتوای ضعیف و ماشینی نیست. هوش مصنوعی ابزاری قدرتمند برای ایده‌پردازی، تحقیق و کمک به خلاقیت است و جایگاه خود را در بازاریابی مدرن پیدا کرده است. مشکل، خودِ هوش مصنوعی نیست، بلکه دقت ابزارهای تشخیص و ترسی است که ایجاد می‌کنند.

به جای تکیه بر امتیازهای بی‌اساس، باید سؤالات درست را بپرسیم:

آیا محتوا دقیق و مرتبط است؟

آیا اصیل است و چیز جدیدی اضافه می‌کند؟

آیا تخصص یا تجربه واقعی پشت آن دیده می‌شود؟

آیا خواننده پس از مطالعه آن احساس می‌کند وقتش را مفید گذرانده است؟

این سؤالات، محتوای ضعیف را بسیار بهتر از هر ابزار تشخیصی فیلتر می‌کنند. این رویکرد با موضع گوگل نیز همخوانی دارد که همواره بر پاداش دادن به محتوای مفید و قابل اعتماد، صرف‌نظر از نحوه تولید آن، تأکید کرده است.

اگر سازمان‌ها واقعاً نگران نحوه تولید محتوا هستند، بهتر است به جای اتکا به ابزارهای تشخیص، یک سیاست‌نامه شفاف برای استفاده از هوش مصنوعی تدوین کنند. دانشگاه ایندیانا (Indiana University) استفاده از این ابزارها را به دلیل غیرقابل اعتماد بودنشان برای اساتید ممنوع کرده است. وقتی یک دانشکده کسب‌وکار برجسته به این امتیازها برای مقالات دانشجویی اعتماد نمی‌کند، چرا یک برند باید برای محتوای بازاریابی خود به آن‌ها تکیه کند؟

در نهایت، این اقتصاد کاذب مبتنی بر ترس، به صنعت محتوا آسیب می‌زند. نویسندگان و ویراستاران به یکدیگر با شک می‌نگرند و کار صادقانه زیر سؤال می‌رود. این روند برای هیچ‌کس سالم نیست.