آیا مدل‌های زبانی بزرگ واقعاً واژه‌های طولانی و خط تیره‌های بلند را دوست دارند؟
اکونومیست — ۸ اوت ۲۰۲۶
هم‌زمان با گسترش استفاده از ابزارهای هوش مصنوعی مولد، تشخیص اینکه یک متن را انسان نوشته یا یک مدل زبانی بزرگ تولید کرده، به یکی از پرسش‌های جدی در عرصه نویسندگی، روزنامه‌نگاری و تولید محتوا تبدیل شده است. نشانه‌هایی مانند استفاده افراطی از خط تیره بلند، واژه‌های خاص یا ساختارهای تکرارشونده، در ماه‌های اخیر بارها به‌عنوان ویژگی‌های نثر هوش مصنوعی مطرح شده‌اند؛ اما آیا واقعاً می‌توان با تکیه بر چند نشانه زبانی، منشأ یک متن را تشخیص داد؟
یادداشت «چگونه نوشته‌های هوش مصنوعی را تشخیص دهیم؟» که در اکونومیست منتشر شده، به همین مسئله می‌پردازد و می‌کوشد فراتر از کلیشه‌های رایج درباره سبک نوشتاری مدل‌های زبانی، نشانه‌های قابل اتکاتری برای شناسایی متون تولیدشده با هوش مصنوعی پیدا کند. این نشریه با مقایسه نوشته‌های تولیدشده توسط مدل‌هایی مانند ChatGPT، Claude، Gemini و Grok با نثر انسانی، از جمله نوشته‌های خود اکونومیست، تلاش کرده است ویژگی‌هایی را بررسی کند که ممکن است ردپای هوش مصنوعی را در یک متن آشکار کنند.
آنچه این یادداشت را خواندنی می‌کند، تأکید آن بر این نکته است که «نثر هوش مصنوعی» لزوماً سبک واحد و ثابتی ندارد و تشخیص آن نیازمند توجه به مجموعه‌ای از ویژگی‌های زبانی و سبکی است. ترجمه این یادداشت می‌تواند برای نویسندگان، روزنامه‌نگاران، ویراستاران و خوانندگانی که با مسئله تشخیص محتوای تولیدشده با هوش مصنوعی سروکار دارند، تصویری روشن‌تر از وضعیت کنونی این بحث ارائه کند:
یک نویسنده شبح‌وار به جان زبان انگلیسی افتاده است. این شبح زبانی می‌تواند از عهده نثر، شعر، زبان روزنامه‌نگاری و حتی اصطلاحات کلیشه‌ای دنیای شرکت‌ها برآید. موجودی هولناک و چندکاره است: می‌توان از آن خواست غزل‌های شکسپیر را تقلید کند یا یک رمان عامه‌پسند و سطحی درباره تعطیلات ساحلی بنویسد؛ نثر فشرده و موجز ارنست همینگوی را بازسازی کند یا دفترچه راهنمای چاپگر اداره را بنویسد. سرعتش هم هولناک است و در هر دقیقه هزاران واژه تولید می‌کند. (همینگوی به‌ندرت در یک روز به چنین حجمی از نوشته می‌رسید و برای این کار به مشروب بسیار بیشتری نیاز داشت.) اهل قلم به وحشت افتاده‌اند.
نوشته‌های تولیدشده با هوش مصنوعی همه‌جا هستند. در صندوق ورودی ایمیل شما و در فید لینکدین‌تان حضور دارند. سراسر اینترنت را فراگرفته‌اند و بنا بر یک برآورد، بیش از یک‌سوم وب‌سایت‌های جدید با کمک آن‌ها نوشته می‌شوند. مدل‌های زبانی بزرگ (LLMها) به دانشجویان در نوشتن مقاله‌هایشان کمک می‌کنند و احتمالاً به دانشمندان نیز در نگارش مقالات علمی یاری می‌رسانند. برخی حتی مدعی شده‌اند که نثر تولیدشده با هوش مصنوعی امسال برنده جایزه داستان کوتاه کشورهای مشترک‌المنافع شده است و داوران از «اقتدار آرام» آن تمجید کرده‌اند. (بنیاد کشورهای مشترک‌المنافع این ادعا را رد کرده است.)
مدل‌های زبانی بزرگ ویژگی‌های سبکی خاص خود را دارند. گفته می‌شود آن‌ها گرایش دارند تا استفاده از خط تیره بلند (em dash) و نیز واژه‌هایی مانند «به حداکثر رساندن» را به حداکثر برسانند. آن‌ها دوست دارند در «بافت غنی و پرلایه» جهان به «کاوش عمیق» بپردازند و چه بهتر که در آن «ژرف‌کاوی» کنند. نوشته هوش مصنوعی به یک واژه یا عبارت منفرد خلاصه نمی‌شود، بلکه حاصل مجموعه‌ای غنی و درهم‌تنیده از نشانه‌هاست.
تشخیص متون تولیدشده با هوش مصنوعی می‌تواند دشوار باشد. بخشی از این دشواری به این دلیل است که برای تشخیص آن‌ها باید فراتر از چند واژه یا خط تیره به دنبال شواهد گشت: اینکه متنی را صرفاً به دلیل استفاده از واژه «ژرف‌کاوی» نوشته یک مدل زبانی بدانیم، شبیه این است که بگوییم متنی حتماً نوشته جین آستن است چون در آن از واژه «بی‌احتیاطی» استفاده شده است. ربات‌ها نیز به شیوه‌های اندکی متفاوت از یکدیگر می‌نویسند. کارولینا رودنیتسکا، زبان‌شناس دانشگاه گدانسک در لهستان، توضیح می‌دهد که همان‌طور که سبک واحدی برای نوشته‌های انسان وجود ندارد، سبک واحدی هم برای نوشته‌های هوش مصنوعی وجود ندارد. نویسندگان ویژگی‌های سبکی خاص خود را دارند—برای نمونه، امیلی دیکنسون شیفته خط تیره‌های بلند بود—و ربات‌ها نیز ممکن است چنین عادت‌هایی پیدا کنند.
بااین‌حال، چند راه برای شناسایی متن تولیدشده با مدل‌های زبانی وجود دارد. یکی از آن‌ها استفاده از الگوریتم‌های تشخیصی است که برای شناسایی بافت و ویژگی‌های نثر انسانی یا نوشته تولیدشده با هوش مصنوعی آموزش دیده‌اند. شرکت «پانگرام»، یکی از شرکت‌های پیشرو در این زمینه، مدعی است که دقت ابزارش به ۹۹٫۹۸ درصد می‌رسد. (این شرکت در زمینه چنین ابزاری با ساب‌استک، پلتفرم وبلاگ‌نویسی، همکاری کرده است.) بااین‌حال، ابزارهای تشخیص‌دهنده خودشان الگوریتم‌هایی جعبه‌سیاه هستند و ممکن است به نتایج مثبت کاذب برسند. آن‌ها توضیح نمی‌دهند که چرا به نتیجه‌ای مشخص رسیده‌اند.
پژوهشگران همچنین تلاش کرده‌اند متون را برای یافتن واژه‌های مشکوک زیرورو کنند یا مقالاتی را که پیش و پس از در دسترس عموم قرار گرفتن مدل‌های زبانی بزرگ نوشته شده‌اند با یکدیگر مقایسه کنند. اما این روش‌ها نیز کاستی‌هایی دارند؛ از جمله اینکه جدا کردن ویژگی‌های خاص و عجیب هوش مصنوعی از سایر روندهای زبانی کار ساده‌ای نیست.
می‌توان با مقایسه نوشته انسان و ماشین، نشانه‌های سبکی هوش مصنوعی را کشف کرد. برای این کار، به یک معیار پایه نیاز دارید که هم متمایز باشد و هم برای مخاطب آشنا. اکونومیست برای یافتن چنین معیاری سراغ نثری رفت که مطمئنیم انسانی است و خوانندگان نیز آن را می‌شناسند: نثر خودمان.
ما مطالعه‌ای طراحی کردیم تا از مدل‌های زبانی پیشرو—ChatGPT متعلق به OpenAI، Claude متعلق به Anthropic، Gemini متعلق به Google و Grok متعلق به xAI—بخواهیم نسخه‌هایی از مقالات ما را بدون مراجعه به وب بنویسند. برای این کار، خلاصه‌هایی را که هوش مصنوعی از مقالات ما تولید کرده بود و ما به‌طور آزمایشی به برخی از مقاله‌هایمان افزوده بودیم، در اختیار آن‌ها قرار دادیم.