
نفحص الصلاحيات وتدفقات البيانات
في تطبيقات الذكاء الاصطناعي
نفحص معالجة المدخلات وصلاحيات الأدوات ومخاطر سلسلة التوريد في روبوتات المحادثة الداخلية وأنظمة التوليد المعزز بالاسترجاع (RAG) ووكلاء الذكاء الاصطناعي والنماذج الخارجية. ويمكن التحقق من نطاق التقييم ومخرجاته في الاستشارة. وتعرض التجربة التفاعلية سيناريوهات افتراضية.
قيد التشغيلنقيّم المخاطر في سيناريوهات اختبار تشمل حقن التعليمات وأوصاف أدوات MCP والصلاحيات المفرطة وحزم سلسلة التوريد. وتعرض التجربة التفاعلية محاكاة. معايير الخدمة
نطاق الخدمة وآلية تنفيذها
عقدة تحليل مخصصة لكل عميل
نجري التحليل على عقدة مخصصة لكل عميل، ولا يشارك العميل موارد الحوسبة أو التخزين مع عملاء آخرين.
نوثّق الأدلة التي يستند إليها كل قرار
يوثّق سجل واحد المحرك الذي اتخذ القرار، والسجلات التي استند إليها، والإجراءات التي أوصى بها. ويمكن تقديمه كما هو عند التدقيق.
نعيد تشغيل عمليات التقييم السابقة
نسجّل إصداري النموذج والسياسة المستخدمين وقت اتخاذ القرار. وإذا استدعى قرار من الشهر الماضي المراجعة، يمكن إعادة التقييم بالبيانات نفسها ومقارنة النتائج.
يتخذ المختص القرار النهائي
يصنّف الذكاء الاصطناعي التنبيهات ويلخّصها، ويعتمد المحلل إجراءات الاستجابة. ويتطلب عزل خادم أو قفل حساب موافقة بشرية قبل التنفيذ.
خدمات تقييم أمن الذكاء الاصطناعي بالتفصيل
تقييم تطبيقات النماذج اللغوية الكبيرة
نفحص روبوتات المحادثة وأنظمة RAG وخدمات الذكاء الاصطناعي الداخلية وفق 20 بندًا.
عرض التفاصيلتقييم وكلاء الذكاء الاصطناعي وMCP
نفحص صلاحيات أدوات الوكلاء وعلاقات التفويض واتصالات MCP.
عرض التفاصيلتقييم النماذج وسلسلة التوريد
نتحقق من أمان النماذج ومجموعات البيانات والإضافات الواردة من جهات خارجية.
عرض التفاصيلتقييم تطبيقات النماذج اللغوية الكبيرة
نستند إلى OWASP LLM Top 10 ونضيف تهديدات وكلاء الذكاء الاصطناعي وبنود اللوائح الكورية لنغطي 20 بندًا. ونختبر سيناريوهات هجومية تلائم بنية الخدمة. وتعرض بيئة التجربة محاكاة.
المزايا
20 بندًا للفحص
أضفنا إلى OWASP LLM Top 10 تهديدات الوكلاء ومتطلبات اللوائح الكورية.
بيئة اختبار معزولة
تبقى المطالبات الهجومية والمخرجات داخل بيئة الاختبار.
إرفاق أدلة إعادة الإنتاج
نرفق بكل ثغرة مطالبة الاختبار والرد الفعلي كما ظهرا أثناء التقييم.
اقتراح قواعد الحماية
نقدّم ضوابط الحماية وقواعد التصفية المناسبة لكل ثغرة مكتشفة.
بنود التقييم الرئيسية (20)
| التصنيف | بنود التقييم | الوصف | مستوى الخطورة |
|---|---|---|---|
| المدخلات | حقن التعليمات المباشر | تعطيل تعليمات النظام أو استبدال الأدوار | مرتفع |
| المدخلات | حقن التعليمات غير المباشر | تنفيذ تعليمات مخفية داخل مستندات أو صفحات ويب أو رسائل بريد إلكتروني | مرتفع |
| المدخلات | تجاوز ضوابط النموذج (Jailbreak) | استدراج النموذج إلى رد يتجاوز سياسة السلامة | متوسط |
| المدخلات | تجاوز الضوابط بتغيير اللغة أو الترميز | اختبار مقاومة المرشحات للصيغ الكورية البديلة والترميز بـ Base64 | متوسط |
| البيانات | تسرّب تعليمات النظام | كشف التعليمات الداخلية ومنطق الأعمال | متوسط |
| البيانات | انكشاف معلومات حساسة | تسرّب معلومات شخصية أو أسرار تجارية في الردود | مرتفع |
| البيانات | تجاوز صلاحيات الوصول في RAG | ظهور مستندات تتجاوز صلاحيات المستخدم في نتائج البحث | مرتفع |
| البيانات | استخراج بيانات التدريب | إخراج النموذج بيانات التدريب التي حفظها كما هي | متوسط |
| الوكيل | صلاحيات مفرطة للأدوات | ربط أدوات وواجهات API بصلاحيات تتجاوز الحاجة | مرتفع |
| الوكيل | التلاعب باستدعاء الأدوات | استدراج النظام، عبر حقن التعليمات، إلى إرسال بريد أو إجراء استعلام في قاعدة بيانات | مرتفع |
| الوكيل | انتحال هوية خادم MCP | الاتصال بخادم MCP خبيث أو جرى العبث به | مرتفع |
| الوكيل | تجاوز الموافقة | استدراج النظام إلى تجاوز خطوات تتطلب موافقة بشرية | متوسط |
| المخرجات | معالجة غير سليمة للمخرجات | تنفيذ مخرجات النموذج مباشرة كتعليمات برمجية أو استعلامات | مرتفع |
| المخرجات | توليد محتوى ضار | إنشاء محتوى يخالف السياسة | متوسط |
| المخرجات | معلومات خاطئة ناجمة عن هلوسة النموذج | إنشاء ادعاءات بلا سند أو روابط غير موجودة | منخفض |
| سلسلة التوريد | العبث بملفات النموذج | ملفات تسلسل ضارة ونماذج مزروعة بأبواب خلفية | مرتفع |
| سلسلة التوريد | تسميم البيانات | تسميم بيانات الضبط الدقيق وRAG | متوسط |
| التشغيل | استنزاف الموارد | ارتفاع مفاجئ في التكلفة أو تعطّل الخدمة بسبب الإفراط في استخدام الرموز أو الاستدعاءات | متوسط |
| التشغيل | غياب تسجيل الأحداث والتدقيق | غياب تسجيل المطالبات واستدعاءات الأدوات | منخفض |
| الحوكمة | التوافق مع اللوائح | عدم استيفاء متطلبات القانون الإطاري للذكاء الاصطناعي وقانون حماية المعلومات الشخصية في كوريا الجنوبية | منخفض |
خطوات العمل
نمذجة التهديدات
نفهم بنية الخدمة وتدفقات البيانات
- نموذج التهديدات
اختبار هجومي آلي
نشغّل مجموعة اختبارات بالمطالبات الهجومية آليًا
- نتائج التقييم الآلي
إعادة الإنتاج
نعيد تمثيل سيناريو كل بند ونوثّق النتيجة
- قائمة الثغرات
تصميم الحماية
نعدّ ضوابط حماية ومقترحات لتحسين الصلاحيات
- دليل الحماية
إعادة التحقق
نعيد الاختبار الهجومي بعد المعالجة
- تقرير التحقق من التنفيذ
الأسئلة الشائعة
هل يلزم إرسال النماذج إلى الخارج؟
نجري التقييم داخل بيئة العميل أو في Research Lab المعزول، وتبقى بيانات الاختبارات الهجومية داخل البيئة.
هل يفيد التقييم في الاستجابة لمتطلبات القانون الإطاري للذكاء الاصطناعي الكوري؟
نميّز في التقرير البنود المرتبطة بمتطلبات إدارة مخاطر الذكاء الاصطناعي عالي التأثير.
اطّلع على المحتوى ذي الصلة لمعرفة المزيد
تقييم وكلاء الذكاء الاصطناعي وMCP
نجرد الأدوات وواجهات API وخوادم MCP التي يمكن لوكيل الذكاء الاصطناعي استدعاؤها، مع صلاحيات كل منها.
ثم نختبر ما إذا كانت التعليمات المخفية في المستندات أو البريد قد تدفع الوكيل إلى إرسال رسائل أو تنفيذ استعلامات في قاعدة بيانات.
المزايا
خريطة الصلاحيات
نعرض في صفحة واحدة الأدوات والبيانات التي يمكن لكل وكيل الوصول إليها.
تحليل علاقات التفويض
نتتبّع انتقال الصلاحيات عند استدعاء وكيل لوكيل آخر.
التحقق من خوادم MCP
نتحقق من مصدر خوادم MCP المتصلة وإصداراتها وتوقيعاتها.
قواعد مراقبة استدعاءات الأدوات
نوثّق أنماط استدعاء الأدوات المعتادة ونقدّم قواعد لكشف الاستدعاءات الخارجة عنها.
خطوات العمل
إعداد قائمة
نجرد الوكلاء والأدوات واتصالات MCP
- خريطة الصلاحيات
هجوم
نختبر مقاومة التلاعب باستدعاءات الأدوات
- قائمة الثغرات
التحسين
نحدد الصلاحيات التي ينبغي تقليصها ونقترح تعديلًا لكل بند
- مقترحات لتحسين الصلاحيات
المراقبة
نطبّق قواعد كشف السلوك
- قواعد الكشف
اطّلع على المحتوى ذي الصلة لمعرفة المزيد
تقييم النماذج وسلسلة التوريد
نفحص ملفات النماذج ومجموعات البيانات والإضافات التي نُزّلت من مستودعات عامة للكشف عن الشفرة الخبيثة والبيانات المسمّمة.
المزايا
فحص ملفات النماذج
نفحص ملفات النماذج المتسلسلة، مثل ملفات pickle، للكشف عن شفرة مخفية قد تُنفّذ عند التحميل.
إعداد قائمة مكونات الذكاء الاصطناعي (AI-BOM)
نُعد قائمة تساعدكم على إدارة النماذج والبيانات والمكتبات المستخدمة.
التشغيل في بيئة معزولة
نشغّل النماذج في Research Lab المعزول للتحقق من أي سلوك شاذ.
وضع إجراءات الاستيراد
نضع إجراءً داخليًا للتحقق من المصدر والسلامة وللموافقة على الاستيراد.
خطوات العمل
إعداد قائمة
نجرد النماذج والبيانات المستخدمة
- AI-BOM
فحص ساكن
نبحث عن شفرة مخفية داخل الملفات
- نتائج الفحص
تقييم أثناء التشغيل
نشغّلها في بيئة معزولة
- نتائج التقييم
وضع السياسات
نصمّم آلية تقصر الاستخدام على النماذج المعتمدة
- وثيقة سياسة الاستيراد
اطّلع على المحتوى ذي الصلة لمعرفة المزيد

استشارة حول تطبيق الخدمات الأمنية
أطلعنا على بيئة التشغيل ونطاق الحماية المطلوب لنرشدك إلى التكوين القابل للتطبيق.



