ثغرة في "تشات جي بي تي" تتيح إنتاج صور عنيفة وإيحائية و"أوبن إيه آي" ترد

كشف باحثون في مجال أمن الذكاء الاصطناعي عن وجود ثغرة في أحدث نسخة متاحة من روبوت الدردشة “تشات جي بي تي”، تتيح دفعه إلى إنشاء صور تتضمن مشاهد عنف شديد ومحتوى ذا طابع جنسي، عبر استخدام تعليمات بسيطة أو معدّلة بشكل طفيف، رغم القيود المفروضة على توليد هذا النوع من المحتوى.

وأفاد باحثون في شركة متخصصة في الأمن السيبراني بأنهم تمكنوا من اختبار طريقة تجعل النظام ينتج صوراً صادمة، بعضها يجمع بين العنف والإيحاءات الجنسية، وذلك من خلال تعديل تعليمات متداولة على نطاق واسع كانت تُستخدم لأغراض أخرى. وأشاروا إلى أن هذه النتائج أُبلغت إلى الشركة المطوِّرة للنظام قبل أشهر، إلا أن الرد الأولي كان محدوداً، قبل أن يتم اتخاذ خطوات لاحقة لتعزيز الحماية بعد إعادة التواصل بشأن المشكلة.

وأوضح الباحثون أن بعض الصور التي تم توليدها تضمنت مشاهد دموية وإيحاءات جنسية، إضافة إلى مشاهد لضحايا في أوضاع صادمة، مشيرين إلى أن هذه المخرجات أُنتجت رغم أن التعليمات لم تكن تحتوي على طلب مباشر لمثل هذا المحتوى، ما أثار مخاوف بشأن كيفية تفسير النموذج للتعليمات النصية.

من جانبها، أكدت الشركة المطوِّرة أنها سارعت إلى معالجة المشكلة بعد التحقق منها، وأدخلت إجراءات حماية إضافية تهدف إلى الحد من إنتاج المحتوى المخالف للسياسات، بما في ذلك استخدام أنظمة متعددة الطبقات تجمع بين الفلترة الآلية والمراجعة البشرية، إضافة إلى تحسين أدوات رصد ومنع المحتوى الضار.

وأوضحت الشركة أن سياساتها تحظر إنتاج أي محتوى يتضمن عنفاً جنسياً أو مواد غير رضائية أو استغلالاً، مؤكدة في الوقت نفسه أنها تعمل باستمرار على تطوير أنظمة السلامة لمنع التحايل على القيود التقنية، رغم صعوبة السيطرة الكاملة على جميع السيناريوهات المحتملة.

ويشير خبراء في أمن الذكاء الاصطناعي إلى أن التحدي الأساسي يكمن في قدرة المستخدمين على الالتفاف على أنظمة الحماية عبر تعديلات طفيفة في التعليمات، وهو ما يجعل المشكلة أشبه بـ”لعبة مستمرة بين التطوير والتحايل”، خاصة مع اعتماد النماذج على كميات ضخمة من البيانات المستمدة من الإنترنت.

كما حذر باحثون من أن النماذج لا تمتلك فهماً بشرياً للنية أو السياق الأخلاقي، ما يجعل ضبط مخرجاتها أمراً معقداً، في حين تؤكد الجهات المختصة أن تحسين إجراءات السلامة ما يزال مستمراً، مع التركيز على تقليل المخاطر قبل طرح التحديثات للمستخدمين.