وكيل ذكاء اصطناعي يتمرد ويحذف رسائل مديرة في ميتا
12:09 م (بتوقيت مكة)
أرقام
أثار حادث تقني تعرضت له "سامر يو"، مديرة التوافق والأمان في مختبر الذكاء الاصطناعي الفائق بشركة "ميتا"، موجة من القلق في الأوساط التقنية، بعد أن بدأ وكيل ذكاء اصطناعي مفتوح المصدر يُدعى "أوبن كلاو" بحذف رسائل بريدها الإلكتروني بشكل عشوائي، متجاهلاً أوامرها المتكررة بالتوقف.
وبدأت الواقعة عندما كلفت "يو" الوكيل الذكي بفحص صندوق بريدها المزدحم لتقديم مقترحات حول الرسائل التي يمكن أرشفتها أو حذفها، مع تعليمات صريحة بعدم اتخاذ أي إجراء دون موافقة مسبقة، إلا أن الوكيل بدأ عملية "حذف" سريعة للرسائل، متجاوزاً كافة القيود البرمجية التي وُضعت له.
وتفسيراً لهذا السلوك غير المنضبط، أوضحت الباحثة أن النظام تعرض لما يُعرف بـ "انضغاط السياق"، فمع تجاوز حجم البيانات لقدرة الاستيعاب اللحظية، اضطر النموذج لتلخيص واختزال الأوامر السابقة، ما أدى إلى سقوط التعليمات الأساسية – ومنها شرط الموافقة البشرية – من "نافذة السياق" الخاصة بالذكاء الاصطناعي.
تحليل التعليقات: