كشفت شركة Anthropic عن استراتيجيتها لتطبيق احتواء وكلاء الذكاء الاصطناعي عبر منتجاتها للحد من المخاطر الأمنية.
وبشكل مخصص، استعرضت الشركة الدروس المستفادة من إدارة نموذج Claude عبر منصات claude.ai وClaude Code وClaude Cowork. ونتيجة لذلك، تهدف هذه الإجراءات إلى تقييد الأضرار المحتملة للأنظمة المستقلة مع الحفاظ على إنتاجية المطورين.
وأوضحت الشركة أن قدرات النماذج تتطور بسرعة كبيرة، مما يزيد من نطاق الضرر النظري الذي قد يسببه الوكيل الرقمي. وبناءً على ذلك، فإن الاعتماد الكلي على الإشراف البشري أثبت عدم كفايته بسبب تراجع انتباه المستخدمين بمرور الوقت. ولاسيما أن البيانات أظهرت موافقة المستخدمين على 93% من طلبات الإذن تلقائياً دون تدقيق كافٍ في الإجراءات المطلوبة.
ركائز الدفاع الثلاث لحماية الأنظمة
ولمواجهة هذه التحديات، تطبق الشركة دفاعات متعددة تشمل البيئة التشغيلية والنموذج والمحتوى الخارجي الذي يصل إليه الوكيل. وعلى سبيل المثال، تفرض بيئات العمل المعزولة والأجهزة الافتراضية حدوداً صارمة تمنع الوصول إلى البيانات الحساسة للمستخدمين. وفي الوقت نفسه، تساعد تقنيات الذكاء الاصطناعي في توجيه سلوك النموذج وتحديد الصلاحيات الممنوحة له بدقة.
تطبيق احتواء وكلاء الذكاء الاصطناعي
وتعتمد الشركة على ثلاثة أنماط مختلفة لتوفير الحماية اللازمة للأنظمة بناءً على طبيعة المنتج المستخدم. أولاً، تشغل منصة claude.ai الأكواد البرمجية في حاويات gVisor معزولة تماماً لحماية البنية التحتية للشركة. ثانياً، يستخدم نظام Claude Code بيئة معزولة تسمح بقراءة الملفات المحلية وتمنع الاتصالات الشبكية غير المصرح بها تلقائياً. وأخيراً، يعمل نظام Claude Cowork داخل جهاز افتراضي كامل لعزل العمليات البرمجية عن نظام التشغيل الأساسي للمستخدم.
معالجة الثغرات الأمنية والمخاطر الرقمية
وخلال عمليات التطوير، واجه المهندسون ثغرات أمنية تتعلق بحقن الأوامر ومحاولات تسريب البيانات خارج الحدود المسموح بها. ومن ذلك، نجحت تجربة محاكاة داخلية في توجيه النموذج لتسريب بيانات اعتماد AWS عبر طلبات برمجية تبدو طبيعية. وبناءً على ذلك، تم تطوير بروكسي دفاعي لاعتراض حركة المرور وحظر أي طلبات غير مصرح بها للواجهة البرمجية. علاوة على ذلك، تسهم هذه الخطوات في تعزيز معايير الأمن السيبراني للمؤسسات التي تعتمد على هذه التقنيات.
النظرة المستقبلية للأنظمة المستقلة
وفي المستقبل، تسعى الشركة لمعالجة تحديات جديدة مثل تسمم الذاكرة المستمرة وتصعيد الثقة في الأنظمة متعددة الوكلاء. بالإضافة إلى ذلك، يظل تحديد الهوية الرقمية الموحدة للوكلاء عبر المنصات المختلفة أحد أهم مجالات البحث الحالية. وفي النهاية، تؤكد الشركة أن تطبيق احتواء وكلاء الذكاء الاصطناعي على مستوى البيئة التشغيلية يظل خط الدفاع الأساسي والأكثر موثوقية. وبالفعل، يضمن هذا النهج وجود حدود حتمية تحمي الأنظمة حتى في حال إخفاق الدفاعات الاحتمالية للنموذج نفسه.
