الصفحة 05 · GAP

اختبر AI Agents بأمان

الـ agent الذي يستخدم أدوات يوسّع القدرة وأثر الفشل معاً. ابدأ read-only، وقلّل كل صلاحية، واشترط اعتماداً بشرياً قبل تغيير المال أو الرسائل أو السجلات أو التزامات العملاء.

أقل صلاحية · تقييم · اعتماد · رجوع
بنية تعليمية وليست نصيحة نشر. خصائص الموردين والأنظمة القانونية ومتطلبات الأمان والتكلفة والضوابط المناسبة تختلف. الـ demo العامل ليس دليلاً أن النظام آمن أو compliant أو مربح أو جاهزاً للـ production.

قرّر هل تحتاج Agent أصلاً

فضّل workflow حتمياً عندما تكون الخطوات والقواعد معروفة. استخدم التخطيط بمساعدة model فقط عندما يبرره التغير ويمكن فحص النتيجة. لا تمنح agent صلاحية لمجرد أنه يكتب كلاماً مقنعاً.

المهمة: عمل واحد مسموح بمحاولته

الأدوات: allowlist صريحة بصلاحيات ضيقة

البيانات: الحقول والـ tenants والغرض والاحتفاظ المسموح بها

الاعتماد: الأفعال التي يجب أن يؤكدها إنسان مؤهل

الحدود: الإنفاق والمستلمون والسجلات والمعدل والوقت والمحاولات

التعافي: زر إيقاف وidempotency وبديل ورجوع

طبّق الضوابط خارج الـ Prompt

يجب أن تطبّق خدمات موثوقة authentication وauthorization وعزل الـ tenants والتحقق من البيانات وtool allowlists وحدود الإنفاق والمستلمين وidempotency وrate limits والاعتماد. تعامل مع نص الموديل والمحتوى المسترجع كمدخل غير موثوق. لا تضع credentials في prompts أو browser code أو logs أو screenshots تعليمية.

قيّم قبل السماح بالفعل

  1. أنشئ مجموعة لها version من حالات تمثيلية ومتعددة اللغات وعدائية وطرفية.
  2. قِس إتمام المهمة والأفعال الخاطئة والنواقص وتصحيحات المراجع والسرعة والتكلفة.
  3. اختبر prompt injection ورفع الصلاحية وتسريب البيانات وتكرار الفعل وتعطل الأداة.
  4. شغّل offline، ثم shadow، ثم read-only مع مجموعة صغيرة موافقة.
  5. حدّد thresholds خاصة بالمهمة للإطلاق والتوقف قبل رؤية النتيجة.
  6. أعد regression tests عند كل تغيير للموديل أو prompt أو الأداة أو الصلاحية أو policy.

حدود التجارة والخصوصية

يجب أن يحدد العقد أدوار البيانات والبيئات المعتمدة والمعالجين الفرعيين والاحتفاظ والـ IP والسرية ومستوى الخدمة ومسؤوليات البشر والحوادث والتغيير والمسؤولية. لا تخلط بيانات العملاء أو evaluation sets أو prompts أو outputs من دون حقوق مكتوبة صريحة.

إذا تواصل الـ agent خارجياً، فليعرّف المنظمة ويفصح عن الأتمتة عند الحاجة ويستخدم مستلمين لديهم إذن ويحترم الانسحاب ويمنع الاتصال الجماعي غير المطلوب. لا ينتحل agent شخصية إنسان ولا يخفي AI لكسب الثقة.

استخدم الدليل لا الوفر المتوقع

ورقة Pilot تبدأ بصفر

الحجم المؤهل (0)، الجهد الأساسي (0)، جهد الـ pilot بعد المراجعة (0)، أساس التكلفة المعتمد (0)، أثر الخطأ (0)، تكلفة الأدوات والإشراف (0)، تكلفة الحوادث (0). أي فائدة محسوبة افتراضية إلى أن تدعمها قياسات متكررة لدى العميل؛ اذكر النتائج السلبية وغير الحاسمة.

قائمة الإكمال

زِد الصلاحية بعد الدليل فقط. اجعل الأفعال المؤثرة قابلة للمراجعة.

الـ pilot المسؤول يثبت أن الضوابط تعمل وقت الفشل، لا أن المسار السعيد يكتمل فقط.

مبني بواسطة Avamartech · الـ production يحتاج مراجعة مستقلة