فریب خوردن سیستم‌های تشخیص محتوای تولیدشده با ChatGPT

سیستم‌های تشخیص محتوای تولیدشده با ChatGPT به‌راحتی فریب می‌خورند

محققان استنفورد دریافتند فریب دادن سیستم‌های تشخیص محتوای تولید شده با ChatGPT را می‌توان به‌راحتی دور زد.

متنی‌که اکنون می‌خوانید را یک انسان تایپ کرده اما شاید با متن‌های دیگری در اینترنت مواجه شوید که عامل انسانی آن‌ها را ننوشته باشد. با ظهور برنامه‌های هوش مصنوعی مولد ازجمله ChatGPT و میدجورنی، اکنون عموم مردم می‌توانند به‌طور رایگان از آن‌ها برای تولید متن، تصویر و غیره بهره ببرند و بدین ترتیب تشخیص محتوایی که انسان‌ها تولید می‌کنند سخت‌تر شده است.

هوش مصنوعی، سیستم‌های کامپیوتری خودکار، الگوریتم‌ها و یادگیری ماشینی از مدت‌ها قبل در رسانه‌های اجتماعی، تحقیقات علمی، تبلیغات، کشاورزی و صنعت استفاده می‌شوند، اما ظهور ChatGPT به ایجاد رقابتی بسیار شدید منجر شد و حتی دانش‌آموزان از این ابزار برای تقلب بهره می‌برند و برخی دیگر برای نگارش مقالات علمی از هوش مصنوعی استفاده می‌کنند. به‌همین دلیل سیستم‌هایی برای تشخیص محتوای ساخته‌شده با هوش مصنوعی دردسترس قرار گرفته تا جلوی سؤاستفاده‌های احتمالی را بگیرد.

محققان دانشگاه استنفورد با انتشار مقاله‌ای در مجله‌ی Patterns نشان دادند که برنامه‌های تشخیص محتوای ایجادشده با هوش مصنوعی، چقدر قابل‌اعتماد هستند. این تیم تحقیقاتی درکمال تعجب دریافت که برخی از محبوب‌ترین ابزارهای شناسایی محتوای GPT، معمولاً نوشته‌های غیر انگلیسی را به‌عنوان متون هوش مصنوعی طبقه‌بندی می‌کنند.

محققان استنفورد ۹۱ مقاله‌ی تافل (آزمون انگلیسی به‌عنوان زبان خارجی) انجمن چینی و ۸۸ مقاله‌ای که دانش‌آموزان کلاس هشتم ایالات‌متحده نوشته‌اند را مورد بررسی قرار داد. آن‌ها درمرحله‌ی بعد چندین برنامه‌ی آشکارساز محتوای تولیدشده با GPT ازجمله GPTZero را اجرا کرده و دریافتند فقط ۵٫۱ درصد از مقالات دانشجویان ایالات‌متحده به‌عنوان هوش منصوعی طبقه‌بندی شده‌اند. ازطرف دیگر، مقالات تافل که انسان‌ها آن‌ها را نوشته بودند در ۶۱ درصد مواقع به‌اشتباه به‌عنوان متن ایجاد شده با هوش مصنوعی شناسایی شد. یکی از برنامه‌های مذکور ۹۷٫۹ درصد از مقالات تافل را به هوش مصنوعی نسبت داد.

محققان با بررسی عمیق‌تر، متوجه شدند برخی مقالات احتمالاً به‌دلیل تغییر متن به‌عنوان محتوای تولید شده با هوش مصنوعی طبقه‌بندی شده‌اند. پیش‌از این مشخص شده بود افراد غیرانگلیسی زبان در متن‌های انگلیسی خود از کلمات کم‌تری استفاده می‌کنند زیرا دایره‌ی لغات آن‌ها درمقایسه با افرادی که زبانشان انگلیسی است بسیار کوچک‌تر درنظر گرفته می‌شود و برنامه‌های‌ آشکارساز محتوای هوش مصنوعی چنین متونی را به‌عنوان هوش مصنوعی درنظر می‌گیرند.

این یعنی اگر از متن ادبی‌تر استفاده کنید، ابزارهای مذکور آن را به‌عنوان محتوای ایجاد شده با هوش مصنوعی درنظر نمی‌گیرند.

ChatGPT و زبان ادبی

محققان استنفورد آزمایش دیگری انجام دادند و از هوش مصنوعی بهره گرفتند تا مشخص شود آیا نرم‌افزارهای تشخیص‌دهنده‌ی نوع محتوا، متون موردنظر را به‌درستی به‌عنوان محتوای هوش مصنوعی شناسایی کرده‌اند یا خیر.

تیم محققان استنفورد از ChatGPT برای ایجاد پاسخ به درخواست‌های مقاله‌ی پذیرش کالج ایالات‌متحده استفاده کردند. مقالات ایجاد شده با چت‌بات OpenAI ازطریق چندین ابزار آشکارساز منبع محتوا، مورد بررسی قرار گرفت. تیم تحقیقاتی دریافت نرم‌افزارهای موردبحث به‌طور متوسط ۷۰ درصد مقالات مذکور را به‌عنوان هوش مصنوعی علامت‌گذاری می‌کنند. به‌هرحال درنهایت مشخص شد اگر متن مقاله را با زبان ادبی‌‌تر تغییر دهید، دیگر به‌عنوان هوش مصنوعی شناخته نمی‌شوند.

تیم تحقیقاتی در آزمایشی دیگر، مقالاتی ایجاد کرد که نرم‌افزار‌های تشخیص محتوای GPT فقط در ۳٫۳ درصد از مواقع، متون ایجاد شده با هوش مصنوعی را به‌درستی تشخیص دادند. با ارائه‌ی چکیده‌های علمی نیز می‌توانید نتایج مشابهی از این نوع برنامه‌ها به‌دست آورید.

جیمز زو، دانشمند داده‌های زیست‌پزشکی دانشگاه استنفورد به‌عنوان یکی از نویسندگان مقاله‌ی فوق می‌گوید: «انتظار نداشتیم این آشکارسازها روی متن افراد و غیر انگلیسی‌ زبان تا این حد ضعیف عمل کند یا به‌راحتی فریب بخورد.»

این تحقیقات سؤال مهمی در ذهن ایجاد می‌کند:‌ اگر فریب دادن آشکارسازهای محتوای تولیدشده با هوش مصنوعی اینقدر آسان باشد، پس چنین ابزارهایی چه فایده‌ای دارند؟

چگونه به نتایج بهتر دست یابیم

تفاوتی ندارد که سیستم‌های تشخیص محتوای تولیدشده با هوش مصنوعی در انجام اینکار فریب بخورند یا خودشان به‌درستی عمل نکنند؛ مهم این است که ابزارهای مذکور مشکل دارند. زو اشاره می‌کند مکانیزم امیدوارکننده برای نرم‌افزارهای تشخیص محتوای هوش مصنوعی می‌تواند مقایسه‌ی نوشته‌های متعدد درمورد موضوع خاصی مثل پاسخ‌های انسان و هوش مصنوعی باشد و سپس بررسی شود تا ببینیم آیا می‌توان متن‌ها را به‌درستی دسته‌بندی کرد یا خیر؛ و شاید این فرایند، رویکرد بهتر و کارآمدتری باشد.

ازطرفی محققان اعتقاد دارند ضعف برنامه‌های تشخیص محتوای GPT می‌تواند به خلاقیت و اصالت بیشتر در نوشتن متن‌ها منجر شود.

منبع : زومیت