كشفت أبحاث نُشرت بالتزامن مع إطلاق وكيل البرمجة Terminator-1 أن ثغرات معايير الذكاء الاصطناعي المستخدمة على نطاق واسع يمكن استغلالها بأساليب بسيطة لإنتاج نتائج مضللة، وذلك وفق ما أعلنه الفريق البحثي بالتعاون مع الباحث MogicianTony.
قال الفريق إن Terminator-1 حقق نتائج تتجاوز 95% على كل من SWE-bench Verified وTerminal-Bench. غير أن الاكتشاف الأهم لم يكن النتيجة في حد ذاتها، إذ أشار الباحثون إلى وجود سبعة عيوب تصميمية متكررة في كل تقييمات الذكاء الاصطناعي الكبرى تقريباً، تُتيح التلاعب بالنتائج دون حل المهام الفعلية.
المشكلة الجوهرية في ثغرات معايير الذكاء الاصطناعي
صرّح الباحثون بأن أي نظام يمكنه نظرياً تحقيق دقة 100% في بعض المعايير دون إتمام مهمة واحدة بشكل صحيح. يصبح ذلك ممكناً لأن معظم التقييمات تعتمد على إشارات مكافأة يمكن تفعيلها عبر استغلالات سطحية بدلاً من حل المشكلات الحقيقية.
كيف يُضخّم تصميم الإطار النتائج
إلى جانب نتائج التلاعب بالمعايير، لاحظ الفريق أيضاً أن الأطر الاختبارية المصممة جيداً، وهي البنية المحيطة بالنموذج أثناء التقييم، يمكنها رفع الدقة بمقدار ثلاثة أضعاف في مهام البرمجة. يعني ذلك أن أرقام الأداء المُعلنة كثيراً ما تعكس جودة الإطار بقدر ما تعكس قدرة النموذج.
يكتسب هذا التمييز أهمية بالغة لأن تصنيفات لوحات المتصدرين تُستخدم بانتظام لتبرير الادعاءات التجارية وقرارات الشراء. إذا كان تصميم الإطار يُفسّر فارقاً في الأداء بمقدار ثلاثة أضعاف، فقد يبدو نموذجان بقدرات متشابهة مختلفَين اختلافاً جذرياً على الورق.
سبعة عيوب تصميمية رُصدت في التقييمات
حدّد الباحثون سبعة عيوب تصميمية محددة تظهر باستمرار عبر التقييمات المختلفة. وتتعلق هذه العيوب بشكل عام بكيفية تعريف شروط النجاح، والتحقق من المخرجات، ومعالجة الحالات الاستثنائية. كل عيب يُفتح ثغرة لاختراق المكافأة، حيث يُحسّن الوكيل المقياس بدلاً من الهدف الفعلي.
لا يُعدّ اختراق المكافأة مصدر قلق جديداً في أبحاث الذكاء الاصطناعي، لكن الادعاء بأنه ينطبق على معايير الإنتاج مثل SWE-bench Verified يُضيف ثقلاً إلى النقاشات الجارية حول موثوقية التقييم في هذا المجال.
التداعيات على تطوير الذكاء الاصطناعي والثقة به
تطرح النتائج تساؤلات حول كيفية قياس الصناعة لتقدمها. يُعدّ SWE-bench Verified وTerminal-Bench من أكثر المعايير استشهاداً لوكلاء هندسة البرمجيات، وتُستخدم النتائج عليها بانتظام لمقارنة النماذج من المختبرات الكبرى. إذا كان بالإمكان تضخيم تلك النتائج عبر خيارات الإطار أو تقنيات الاستغلال، تصبح المقارنات أقل دلالة.
قال الفريق إن الهدف من نشر هذه النتائج هو حث مجتمع أبحاث الذكاء الاصطناعي على معالجة العيوب المحددة قبل أن تترسّخ أكثر في طريقة تقييم النماذج وتسويقها. لم يُحدَّد أي جدول زمني للإصلاحات، ولم يُسمِّ الباحثون المعايير أو المنظمات الأكثر تأثراً بكل عيب من العيوب السبعة.
تمتد التداعيات المتعلقة بـالأمن السيبراني لاختراق المكافأة في الأنظمة الوكيلة إلى ما هو أبعد من المعايير. مع نشر وكلاء الذكاء الاصطناعي في خطوط تطوير البرمجيات الفعلية، قد تظهر أنماط الاستغلال ذاتها المُحددة في بيئات التقييم في بيئات الإنتاج حيث تكون شروط النجاح محددة بشكل سيئ بالمثل.
