مطالعه جدید: هوش مصنوعی در ترجمه محتوا از مترجمان انسانی پیشی گرفت

یک مطالعه محک‌زنی جدید در زمینه بومی‌سازی محتوا از انگلیسی به چینی، عملکرد مترجمان انسانی را با مدل‌های مختلف هوش مصنوعی مقایسه کرده است. نتایج شگفت‌انگیز بود: مترجمان حرفه‌ای انسانی در چهار نوع از شش نوع محتوای ارزیابی‌شده، حتی در میان پنج رتبه برتر نیز قرار نگرفتند. برای مثال، در تولید محتوای بازاریابی، مترجمان انسانی در رتبه دهم از پانزده گردش‌کار مختلف قرار گرفتند و ۲۲.۲ امتیاز از بهترین گردش‌کار هوش مصنوعی عقب بودند. در مواردی هم که انسان‌ها برنده شدند، اختلاف امتیاز با بهترین گردش‌کار ماشینی تنها ۲.۸ امتیاز بود.

در این پژوهش، ۷۷۴ خروجی بومی‌سازی‌شده در شش نوع محتوا، هفت مدل گردش‌کار (انسانی، مدل‌های زبان بزرگ چینی، مدل‌های غربی، ترجمه ماشینی و نسخه‌های ویرایش‌شده هرکدام) و سه نوع وظیفه (ترجمه، ترجمه خلاق و تولید محتوا) ارزیابی شدند. هر خروجی بر اساس سه معیار «دقت و یکپارچگی»، «روانی و کیفیت زبان» و «سبک و انطباق فرهنگی» امتیازدهی شد. این امتیازدهی به‌صورت ناشناس توسط متخصصان بومی‌سازی چینی‌زبان انجام گرفت و تنها کیفیت بومی‌سازی را سنجید و هیچ داده‌ای در مورد رتبه‌بندی، ترافیک یا نرخ تبدیل جمع‌آوری نشد.

نکته: این مطالعه یک پروژه تحقیقاتی مشترک توسط EC Innovations (ارائه‌دهنده خدمات بومی‌سازی) و Jademond Digital است که هر دو شرکت در زمینه‌های مرتبط با این پژوهش خدمات تجاری ارائه می‌دهند.

انسان‌ها در ۴ از ۶ نوع محتوا شکست خوردند

عملکرد مترجمان حرفه‌ای انسانی در برابر چهارده گردش‌کار ماشینی و ترکیبی (ماشین و انسان) آزمایش شد. انسان‌ها تنها در دو دسته رتبه اول را کسب کردند و در چهار دسته دیگر، خارج از پنج رتبه برتر و در رده‌های هفتم، هفتم، نهم و دهم از مجموع پانزده گردش‌کار قرار گرفتند.

نتایج کلی به شرح زیر است:

• محتوای اطلاعاتی (Informational): رتبه ۱ انسانی

• محتوای سئو (SEO): رتبه ۱ انسانی

• محتوای فنی (Technical): رتبه ۷ انسانی (گردش‌کار برتر: PE-Qwen)

• رابط کاربری محصول (Product UI): رتبه ۷ انسانی (گردش‌کار برتر: PE-Qwen)

• محتوای تولیدی کاربران (UGC): رتبه ۹ انسانی (گردش‌کار برتر: PE-Doubao / PE-Qwen)

• محتوای بازاریابی (Marketing): رتبه ۱۰ انسانی (گردش‌کار برتر: PE-Qwen)

همانطور که مشخص است، متخصصان انسانی در دو دسته برنده شدند اما در محتوay بازاریابی با ۲۲.۲ امتیاز اختلاف نسبت به مدل هوش مصنوعی Qwen که توسط انسان ویرایش شده بود (PE-Qwen)، در رتبه دهم قرار گرفتند. مدل PE-Qwen در سه دسته پیروز شد، در یک دسته مشترکاً اول شد و در دو دسته دیگر رتبه دوم را کسب کرد.

این یافته نشان می‌دهد که تخصص انسانی در محتواهایی که دقت و ثبات اصطلاحات در آن‌ها حرف اول را می‌زند (مانند محتوای اطلاعاتی و سئو) برتری دارد. اما این ویژگی در مورد محتوای بازاریابی، متون رابط کاربری یا محتوای شبکه‌های اجتماعی صدق نمی‌کند و در این موارد، پرداخت هزینه برای ترجمه حرفه‌ای انسانی ممکن است نتیجه ضعیف‌تری به همراه داشته باشد.

تحلیل شرکت EC Innovations از نتایج محتوای بازاریابی قابل تأمل است:

به نظر می‌رسد مترجمان انسانی در اصلاح زبان بیش از حد عمل می‌کنند و با روان‌سازی متن به سمت درستی رسمی، آن را از لحن امروزی که محتوای بازاریابی به آن وابسته است، خالی می‌کنند. همان غریزه‌ای که یک زبان‌شناس را در انضباط واژگانی عالی می‌سازد، او را برای نوشتن متنی که باید شبیه به زبان اینترنت باشد، به گزینه‌ای ضعیف تبدیل می‌کند.

— EC Innovations

این نتایج تأثیری بر رتبه‌بندی سئو را نشان نمی‌دهد

باید تأکید کرد که این مطالعه فقط «کیفیت بومی‌سازی» را اندازه‌گیری کرده است و هیچ ارتباطی با جایگاه در نتایج جستجو (SERP) ندارد. هیچ‌کس نباید اختلاف امتیاز ۲۲ یا حتی ۲.۸ را به عنوان یک عامل مستقیم در رتبه‌بندی گوگل در نظر بگیرد. شواهد منتشرشده که کیفیت محتوا را به رتبه‌بندی مرتبط می‌کنند، بسیار کمتر از آن چیزی است که در صنعت دیجیتال مارکتینگ تصور می‌شود. بنابراین، تمام یافته‌های این مقاله را به عنوان فرضیه‌هایی برای آزمودن در نظر بگیرید، نه به عنوان یک قانون اثبات‌شده برای بهبود رتبه.

برتری انسان‌ها چقدر ناچیز است؟

انسان‌ها در دو دسته پیروز شدند، اما هر دو پیروزی شکننده‌تر از آن چیزی است که به نظر می‌رسد. در محتوای سئو، رتبه‌بندی کامل گردش‌کارها به این صورت بود:

۱. مترجم حرفه‌ای انسانی (امتیاز: ۷۴.۱)

۲. PE-Doubao (امتیاز: ۷۱.۳)

۳. PE-Qwen (امتیاز: ۷۱.۳)

۴. PE-DeepSeek (امتیاز: ۶۶.۷)

۵. PE-Gemini (امتیاز: ۶۶.۷)

اختلاف بین مترجم انسانی و بهترین گردش‌کار هوش مصنوعی (که توسط انسان ویرایش شده) تنها ۲.۸ امتیاز است. این اختلاف آنقدر کم است که نمی‌توان بر اساس آن یک تصمیم بزرگ و پرهزینه برای برون‌سپاری گرفت. این داده‌ها نشان می‌دهد که مدل‌های PE-Qwen یا PE-Doubao تقریباً کیفیتی برابر با مترجمان حرفه‌ای برای محتوای سئو ارائه می‌دهند، در حالی که خروجی خام هیچ‌کدام از مدل‌ها به تنهایی کافی نیست.

چرا میانگین‌گیری نتایج، گمراه‌کننده است؟

در نگاه اول، میانگین امتیاز مدل‌های زبان بزرگ چینی در محتوای سئو ۶۰.۷ بود، در حالی که مترجمان انسانی امتیاز ۷۴.۱ را کسب کردند. این اختلاف ۱۳.۴ امتیازی ممکن است شما را به این نتیجه برساند که هوش مصنوعی برای سئو مناسب نیست. اما این نتیجه‌گیری اشتباه است.

«مدل زبان بزرگ چینی» یک میانگین از چهار مدل مختلف است که امتیازات فردی آن‌ها از ۵۶.۵ تا ۶۵.۷ متغیر بود. این یعنی یک اختلاف ۹.۲ امتیازی بین بهترین و بدترین مدل در یک دسته وجود دارد. در محتوای فنی، این اختلاف به ۲۲.۳ امتیاز نیز می‌رسد.

هیچ‌کس از «مدل زبان بزرگ چینی» استفاده نمی‌کند؛ بلکه از یک مدل مشخص مانند Qwen یا Doubao استفاده می‌کند. میانگین‌گیری، عملکرد مدلی را توصیف می‌کند که وجود خارجی ندارد. بنابراین، اگر بر اساس میانگین به این نتیجه برسید که مدل‌های چینی برای سئو ضعیف هستند، نتیجه‌گیری شما با داده‌های واقعی پشتیبانی نمی‌شود.

ویرایش پس از ترجمه همیشه کیفیت را بالا نمی‌برد

اغلب تصور می‌شود که ویرایش انسانی پس از ترجمه ماشینی (Post-editing) همیشه یک لایه کیفی به محتوا اضافه می‌کند. اما داده‌ها نشان می‌دهد که اینطور نیست.

برای مثال، ویرایش انسانی روی ترجمه ماشینی گوگل برای محتوای تولیدی کاربران (UGC) امتیاز را ۳۰.۶ واحد افزایش می‌دهد. اما همین فرآیند روی محتوای بازاریابی تولیدشده توسط مدل‌های غربی، امتیاز را ۰.۹ واحد کاهش می‌دهد. متغیر اصلی این نیست که چقدر برای ویرایش هزینه می‌کنید، بلکه این است که آیا پیش‌نویس اولیه به اندازه کافی خوب است که ویرایش آن را بهبود بخشد یا آنقدر ضعیف است که ویراستار بودجه را صرف جنگیدن با آن کند.

در سه مورد، ویرایش انسانی حتی باعث بدتر شدن خروجی شد. این موضوع نشان می‌دهد که انتخاب مدل هوش مصنوعی اولیه، تصمیمی مهم‌تر از این است که آیا محتوا را پس از تولید ویرایش کنید یا نه. انتخاب Qwen به جای Kimi (مدل‌های چینی) تأثیر بیشتری بر کیفیت نهایی دارد تا افزودن یا حذف مرحله ویرایش انسانی.

چرا سئوی محلی محاسبات را تغییر می‌دهد؟

تمام موارد بالا کیفیت محتوا را اندازه‌گیری می‌کنند. اما در سئو، به خصوص سئوی محلی، کیفیت محتوا به ندرت تنها عامل تعیین‌کننده است. برای مثال، در موتور جستجوی بایدو (Baidu) در چین، سیگنال‌های سطح سایت مانند تاریخچه دامنه و محل میزبانی، وزن بیشتری نسبت به کیفیت زبان در سطح صفحه دارند.

این موضوع به این معنا نیست که کیفیت بومی‌سازی بی‌اهمیت است، بلکه ترتیب اولویت‌ها اهمیت دارد. برای مخاطبان ایرانی که با گوگل سر و کار دارند، عواملی مانند رعایت اصول E-E-A-T، سرعت سایت و تجربه کاربری همچنان حیاتی هستند. ارتقای کیفیت ترجمه از یک مدل هوش مصنوعی خوب به یک مترجم انسانی گران‌قیمت، ممکن است به اندازه بهینه‌سازی فنی سایت یا دریافت بک‌لینک‌های معتبر، تأثیرگذار نباشد.