براساس گزارشی از شبکه CBC کانادا، قابلیت تولید تصویر در ChatGPT دارای ضعف‌هایی در محدودیت‌های ایمنی است که به راحتی می‌توان آنها را دور زد و حتی خود سیستم راهکارهایی برای نقض قوانینش ارائه می‌دهد.

 به نقل از مشبل، این قابلیت به کاربران امکان می‌دهد که با استفاده از ترفندهایی ساده، تصاویر چهره‌های مشهور عمومی را در موقعیت‌هایی ساختگی تولید کنند؛ موضوعی که می‌تواند راه را برای تولید گسترده دیپ‌فیک‌های سیاسی هموار کند.

CBC در بررسی خود نشان داد که نه‌تنها می‌توان این محدودیت‌ها را دور زد، بلکه ChatGPT در بعضی مواقع خود به‌صورت ضمنی پیشنهادهایی برای شکستن قوانینش ارائه می‌دهد. وب‌سایت Mashable نیز موفق شد این روند را بازتولید کند؛ آنها تصاویری از ایلان ماسک و جفری اپستین (مجرم جنسی محکوم‌شده) را بارگذاری کرده و با توصیف آنها به‌عنوان شخصیت‌های خیالی در موقعیت‌هایی مثل «باشگاه تاریک و دودآلود» یا «ساحلی با نوشیدنی‌های استوایی»، تصاویر تولید شده را دریافت کردند.

با این که دیپ‌فیک‌های سیاسی موضوع تازه‌ای نیستند، اما فراهم بودن این فناوری‌ها برای عموم مردم پیامدهای قابل‌توجهی دارد. ابزارهایی مثل ChatGPT که به‌صورت تجاری در دسترس هستند، اگر امکان تولید اطلاعات جعلی را داشته باشند، پرسش‌هایی را در مورد مسئولیت OpenAI در این حوزه مطرح می‌کنند.
 
هانی فرید، استاد علوم کمپیوتردر دانشگاه برکلی و متخصص جرم‌شناسی دیجیتل، در گفت‌وگو با مشبل گفت:
«در زمینه محدودسازی محتوای تولیدی هوش مصنوعی، تنها به اندازه ضعیف‌ترین حلقه زنجیر ایمن هستیم. OpenAI با محدودیت‌های خوبی شروع کرد، اما رقبایی مثل گروک از X این استنداردها را رعایت نکردند. در نتیجه، OpenAI هم برای حفظ سهم بازار، محافظه‌کاری خود را کاهش داد.»

در مارچ گذشته، OpenAI با معرفی GPT-4o و قابلیت تولید تصویر در نسخه‌های جدید ChatGPT و ابزار Sora، به‌طور تلویحی کاهش محدودیت‌های ایمنی را اعلام کرد. سم آلتمن، مدیرعامل OpenAI، در پستی در X نوشت:
«ما ترجیح می‌دهیم این ابزار محتوای توهین‌آمیز تولید نکند — مگر اینکه کاربر بخواهد و آن هم در چهارچوبی معقول.»