
المراقبة الأمنية بالذكاء الاصطناعي و
أمن الذكاء الاصطناعي داخل المؤسسة
نستخدم الذكاء الاصطناعي لتصنيف التنبيهات والتحقيق الأولي.
نفحص الصلاحيات ومسارات معالجة البيانات لدى روبوتات المحادثة والوكلاء المستخدمين في المؤسسة.
يتولى الذكاء الاصطناعي التحقيق
يعتمد المحلل القرار
| مستوى الأتمتة | مهام الذكاء الاصطناعي | مهام الفريق البشري | إعدادات Genox الافتراضية |
|---|---|---|---|
| L1 · المساندة | التلخيص والبحث | جميع القرارات | - |
| L2 · التصنيف | تصنيف التنبيهات وترتيب أولوياتها | التحقيق واتخاذ القرار | - |
| L3 · التحقيق | التحقيق وتوثيق أساس القرار | اعتماد القرار | ✓ أساسي |
| L4 · الاستجابة | الاستجابة الآلية ضمن النطاق المتفق عليه | تصميم السياسات ومعالجة الاستثناءات | الاختيار بحسب مستوى الخطورة والأصل |
هذا موقف افتراضي للتوضيح. الأوقات والأرقام الظاهرة على الشاشة أمثلة.
قبل إطلاق الذكاء الاصطناعي الداخلي،
وأثناء التشغيل، تُتابع الحالة من خلال إطار الإدارة
تقييم الذكاء الاصطناعي بالفريق الأحمر قبل الإطلاق
نجري تقييمًا أمنيًا مباشرًا لتطبيقات النماذج اللغوية الكبيرة والوكلاء وسلسلة توريد النماذج عبر 20 بندًا. ونرفق نص التعليمات والرد كما وردا في كل حالة كشف فيها الاختبار عن ثغرة.
تقييم الذكاء الاصطناعي والنماذج اللغوية الكبيرة (AI/LLM) بواسطة الفريق الأحمرمراقبة السلوك أثناء التشغيل
نضع خط أساس للأدوات التي يستدعيها الوكيل عادةً ونرصد الاستدعاءات غير المعتادة بعد حقن التعليمات.
Behavioral Analyzerإطار إدارة الذكاء الاصطناعي
استنادًا إلى القانون الإطاري الكوري للذكاء الاصطناعي ومتطلبات ISO/IEC 42001، نعدّ قائمة بأنظمة الذكاء الاصطناعي الداخلية ونضع إجراءات لتقييم المخاطر والموافقة.
استشارات حوكمة الذكاء الاصطناعيصلاحيات مساعد الذكاء الاصطناعي وأسباب الحظر
اختر سيناريو لترى الطلبات التي يسمح بها مساعد العمل الافتراضي والتعليمات التي يتجاهلها أو يحظرها.
السيناريوهات المتاحة للمراجعة
تقتصر صلاحيات المساعد الافتراضي على قراءة مركز المساعدة العام. ويُراجَع الوصول إلى المعلومات وصلاحيات تشغيل الأدوات كلٌّ على حدة.
تعرض هذه المحاكاة سيناريوهات وقرارات معدّة مسبقًا، وتعمل بمعزل عن نماذج الذكاء الاصطناعي والأدوات الخارجية.
السيناريو
يطلب المستخدم التحقق من ساعات الدعم في مركز المساعدة العام.
القرار
سماح
الأدلة
الاستعلام من مركز المساعدة العام إجراء للقراءة فقط ومدرج ضمن قائمة السماح.
التهديدات التي تستهدف أنظمة الذكاء الاصطناعي و
دور Genox
| التهديد | الوصف | مستوى الخطورة | استجابة Genox |
|---|---|---|---|
| حقن التعليمات | التلاعب بالسلوك عبر تعليمات مباشرة أو غير مباشرة | مرتفع | تقييم الفريق الأحمر والفصل البنيوي والكشف السلوكي |
| صلاحيات مفرطة للوكلاء | صلاحيات للأدوات والبيانات تتجاوز الحاجة | مرتفع | خريطة الصلاحيات والفروق قياسًا بالحد الأدنى اللازم |
| سلسلة توريد MCP | خوادم MCP منتحلة أو جرى العبث بها | مرتفع | التحقق من المصدر والتوقيع والتقييم في بيئة معزولة |
| انكشاف معلومات حساسة | تسرّب البيانات عبر الردود أو البحث باستخدام RAG | متوسط | فحص صلاحيات RAG ومراجعة المخرجات |
| العبث بالنماذج وتسميمها | ملفات نماذج خبيثة وتلويث بيانات التدريب | متوسط | فحص النماذج وقائمة مكونات الذكاء الاصطناعي (AI-BOM) |
| استخدام الذكاء الاصطناعي خارج القنوات المعتمدة | استخدام الذكاء الاصطناعي دون إذن | منخفض | جرد أنظمة الذكاء الاصطناعي وحوكمتها |