في خطوة جديدة لتعزيز أمن الذكاء الاصطناعي، طورت شركة Goodfire تقنية لمراقبة سلوك وكلاء الذكاء الاصطناعي أثناء تنفيذ المهام، بهدف اكتشاف الأنشطة الخطرة ومحاولات الاختراق مبكرًا، مع تقليل تكلفة الرقابة الأمنية على النماذج المتقدمة.
وتعتمد التقنية الجديدة على تحليل الإشارات الداخلية لنماذج الذكاء الاصطناعي، بدلًا من الاكتفاء بمراجعة النصوص والأوامر التي تنتجها.
ويساعد هذا الأسلوب على رصد السلوكيات المشبوهة خلال تنفيذ المهام، قبل أن تتسبب في أضرار للأنظمة أو البيانات.
تقنية جديدة تراقب سلوك وكلاء الذكاء الاصطناعي من الداخل
تستخدم منظومة Goodfire أدوات مراقبة تُعرف باسم Probes، وهي أدوات تحلل الإشارات الداخلية للنموذج أثناء معالجة المعلومات وتنفيذ الأوامر.
وعندما ترصد هذه الأدوات نشاطًا قد يشير إلى سلوك غير آمن، تحيل الحالة إلى نموذج ذكاء اصطناعي آخر لإجراء تقييم إضافي.
وبعد ذلك، يمكن للنظام اتخاذ إجراءات وفقًا للسياسات التي تحددها المؤسسة المشغلة.
وتشمل هذه الإجراءات تسجيل الحوادث الأمنية، أو إحالة الأنشطة المشبوهة إلى المراجعة البشرية، أو رفض الطلبات التي تمثل خطرًا.
وأصبحت أدوات المراقبة متاحة لعملاء منصة Baseten، المتخصصة في تشغيل نماذج الذكاء الاصطناعي، ضمن توجه يستهدف توفير وسائل حماية أكثر كفاءة للمؤسسات التي تعتمد على الوكلاء الذكيين.
Goodfire تكشف نتائج اختبار رصد محاولات الاختراق
أظهرت الاختبارات التي أجرتها Goodfire على نموذج الذكاء الاصطناعي Kimi K3 قدرة المنظومة على اكتشاف نحو 94% من جلسات الاختراق الخبيثة.
وفي المقابل، أحالت التقنية 8.7% من الجلسات غير الضارة إلى فحص إضافي، وهو ما يوضح أهمية الموازنة بين اكتشاف الأنشطة الخطرة وتجنب تصنيف السلوك الطبيعي على أنه تهديد أمني.
وتشير النتائج المعلنة إلى إمكانية الاستفادة من التقنية في مراقبة وكلاء الذكاء الاصطناعي الذين ينفذون مهام متعددة الخطوات، خاصة عندما يتعاملون مع أدوات خارجية أو بيانات حساسة أو أنظمة مؤسسية.
ومع ذلك، تظل هذه النتائج مرتبطة بظروف الاختبارات التي أجرتها الشركة، ولا تمثل ضمانًا لاكتشاف النسبة نفسها من الهجمات في جميع البيئات.
خفض تكاليف مراقبة نماذج الذكاء الاصطناعي
تستهدف التقنية أيضًا معالجة إحدى المشكلات التي تواجه المؤسسات عند تأمين وكلاء الذكاء الاصطناعي.. وهي ارتفاع تكلفة مراجعة كل خطوة ينفذها النموذج.
ففي الأساليب التقليدية، قد تحتاج المؤسسة إلى تشغيل نموذج إضافي لتحليل مخرجات الوكيل ومراجعة تصرفاته باستمرار.
ومع تنفيذ مهام طويلة ومعقدة، يمكن أن ترتفع تكاليف المراقبة بصورة كبيرة.
أما تقنية Goodfire، فتستخدم الإشارات الداخلية للنموذج لتحديد الحالات التي تحتاج إلى تدقيق إضافي.. بدلًا من إخضاع جميع الخطوات للمراجعة المكلفة نفسها.
وبحسب نتائج الاختبارات المنشورة، بلغت تكلفة مراقبة نحو 1500 جلسة باستخدام التقنية 51 دولارًا، مقارنة بنحو 233 دولارًا عند استخدام نموذج أقل تكلفة لمراجعة جميع الخطوات، ونحو 10 آلاف دولار عند الاعتماد على نموذج من الفئة الأعلى.
وتعكس هذه الأرقام التكاليف التي رصدتها الاختبارات، ولا تعني بالضرورة تحقيق الوفورات نفسها عند تطبيق التقنية في جميع المؤسسات.
الأمن السيبراني يصبح ضرورة مع توسع استخدام وكلاء الذكاء الاصطناعي
تأتي هذه الخطوة مع توسع استخدام وكلاء الذكاء الاصطناعي في تنفيذ المهام المعقدة، والوصول إلى البيانات.. واستخدام الأدوات الرقمية، والتفاعل مع الأنظمة المختلفة بدرجة أكبر من الاستقلالية.
ويزيد هذا التطور أهمية مراقبة سلوك النماذج خلال التشغيل.. خاصة أن مراجعة الإجابات النهائية وحدها قد لا تكشف جميع المخاطر التي تظهر أثناء تنفيذ المهمة.
وتسعى Goodfire وشركاؤها إلى دمج أدوات المراقبة الأمنية ضمن بيئات تشغيل النماذج.. بما يسمح للمؤسسات بتحديد السلوكيات غير المرغوبة والتعامل معها وفق ضوابط واضحة.
ومع ذلك، لا تمثل هذه التقنية بديلًا كاملًا عن أدوات الأمن السيبراني الأخرى.. بل يمكن استخدامها ضمن منظومة حماية تشمل إدارة الصلاحيات، ومراقبة الوصول إلى البيانات، واختبار الأنظمة، والمراجعة البشرية عند الحاجة.
ويعكس هذا التوجه تحولًا متزايدًا في أمن الذكاء الاصطناعي، من الاكتفاء بفحص النتائج بعد صدورها إلى مراقبة سلوك النماذج أثناء العمل.. بهدف تقليل المخاطر وتعزيز الثقة في استخدام الوكلاء الذكيين داخل المؤسسات.
