اختبر AI Agents بأمان
الـ agent الذي يستخدم أدوات يوسّع القدرة وأثر الفشل معاً. ابدأ read-only، وقلّل كل صلاحية، واشترط اعتماداً بشرياً قبل تغيير المال أو الرسائل أو السجلات أو التزامات العملاء.
قرّر هل تحتاج Agent أصلاً
فضّل workflow حتمياً عندما تكون الخطوات والقواعد معروفة. استخدم التخطيط بمساعدة model فقط عندما يبرره التغير ويمكن فحص النتيجة. لا تمنح agent صلاحية لمجرد أنه يكتب كلاماً مقنعاً.
المهمة: عمل واحد مسموح بمحاولته
الأدوات: allowlist صريحة بصلاحيات ضيقة
البيانات: الحقول والـ tenants والغرض والاحتفاظ المسموح بها
الاعتماد: الأفعال التي يجب أن يؤكدها إنسان مؤهل
الحدود: الإنفاق والمستلمون والسجلات والمعدل والوقت والمحاولات
التعافي: زر إيقاف وidempotency وبديل ورجوع
طبّق الضوابط خارج الـ Prompt
قيّم قبل السماح بالفعل
- أنشئ مجموعة لها version من حالات تمثيلية ومتعددة اللغات وعدائية وطرفية.
- قِس إتمام المهمة والأفعال الخاطئة والنواقص وتصحيحات المراجع والسرعة والتكلفة.
- اختبر prompt injection ورفع الصلاحية وتسريب البيانات وتكرار الفعل وتعطل الأداة.
- شغّل offline، ثم shadow، ثم read-only مع مجموعة صغيرة موافقة.
- حدّد thresholds خاصة بالمهمة للإطلاق والتوقف قبل رؤية النتيجة.
- أعد regression tests عند كل تغيير للموديل أو prompt أو الأداة أو الصلاحية أو policy.
حدود التجارة والخصوصية
يجب أن يحدد العقد أدوار البيانات والبيئات المعتمدة والمعالجين الفرعيين والاحتفاظ والـ IP والسرية ومستوى الخدمة ومسؤوليات البشر والحوادث والتغيير والمسؤولية. لا تخلط بيانات العملاء أو evaluation sets أو prompts أو outputs من دون حقوق مكتوبة صريحة.
إذا تواصل الـ agent خارجياً، فليعرّف المنظمة ويفصح عن الأتمتة عند الحاجة ويستخدم مستلمين لديهم إذن ويحترم الانسحاب ويمنع الاتصال الجماعي غير المطلوب. لا ينتحل agent شخصية إنسان ولا يخفي AI لكسب الثقة.
استخدم الدليل لا الوفر المتوقع
الحجم المؤهل (0)، الجهد الأساسي (0)، جهد الـ pilot بعد المراجعة (0)، أساس التكلفة المعتمد (0)، أثر الخطأ (0)، تكلفة الأدوات والإشراف (0)، تكلفة الحوادث (0). أي فائدة محسوبة افتراضية إلى أن تدعمها قياسات متكررة لدى العميل؛ اذكر النتائج السلبية وغير الحاسمة.
قائمة الإكمال
زِد الصلاحية بعد الدليل فقط. اجعل الأفعال المؤثرة قابلة للمراجعة.
الـ pilot المسؤول يثبت أن الضوابط تعمل وقت الفشل، لا أن المسار السعيد يكتمل فقط.