أمن الذكاء الاصطناعي والاختبار الهجومي

تفشل أنظمة الذكاء الاصطناعي بطرق لا يبحث عنها الاختبار الأمني التقليدي أصلاً. روبوت محادثة يمكن استدراجه لكشف بيانات عميل آخر. مساعد مستندات يُختطف بتعليمات مخبأة داخل ملف مرفوع. وكيل يملك وصولاً إلى الأنظمة يُستغل وصوله لغايات مهاجم. اختبارات الاختراق المعتادة لا تلتقط شيئاً من هذا.

نختبر هذه الإخفاقات تحديداً، بتفويض مكتوب وقواعد اشتباك متفق عليها: حقن الأوامر المباشر وغير المباشر، واستخراج البيانات وتسريب الخصوصية، وكسر القيود بالعربية والإنجليزية — فالهجمات بالعربية تتجاوز بانتظام مرشحات ضُبطت على الإنجليزية — وتسميم الاسترجاع، وإساءة استخدام الصلاحيات التي يحملها وكلاؤكم.

ثم نؤدي الجزء الذي تتجاوزه تقييمات كثيرة: نساعد مهندسيكم على إصلاح ما وُجد، ونعيد الاختبار حتى تُغلق الثغرة فعلاً. والتقرير الختامي يذكر ما جُرّب، وما انكسر، وما أُصلح، وما جرى التحقق منه — أدلة تعتمد عليها لجنة أمنية أو جهة تنظيمية.