جولة في المنتج خلال 3 دقائق بلاغ حادث عاجل بالبريد
التقييم · أمن الذكاء الاصطناعي

نفحص الصلاحيات وتدفقات البيانات
في تطبيقات الذكاء الاصطناعي

نفحص معالجة المدخلات وصلاحيات الأدوات ومخاطر سلسلة التوريد في روبوتات المحادثة الداخلية وأنظمة التوليد المعزز بالاسترجاع (RAG) ووكلاء الذكاء الاصطناعي والنماذج الخارجية. ويمكن التحقق من نطاق التقييم ومخرجاته في الاستشارة. وتعرض التجربة التفاعلية سيناريوهات افتراضية.

#الفريق_الأحمر_للذكاء_الاصطناعي#ثغرات_النماذج_اللغوية#حقن_التعليمات#أمن_MCP

قيد التشغيلنقيّم المخاطر في سيناريوهات اختبار تشمل حقن التعليمات وأوصاف أدوات MCP والصلاحيات المفرطة وحزم سلسلة التوريد. وتعرض التجربة التفاعلية محاكاة. معايير الخدمة

نطاق الخدمة وآلية تنفيذها

عقدة تحليل مخصصة لكل عميل

نجري التحليل على عقدة مخصصة لكل عميل، ولا يشارك العميل موارد الحوسبة أو التخزين مع عملاء آخرين.

نوثّق الأدلة التي يستند إليها كل قرار

يوثّق سجل واحد المحرك الذي اتخذ القرار، والسجلات التي استند إليها، والإجراءات التي أوصى بها. ويمكن تقديمه كما هو عند التدقيق.

نعيد تشغيل عمليات التقييم السابقة

نسجّل إصداري النموذج والسياسة المستخدمين وقت اتخاذ القرار. وإذا استدعى قرار من الشهر الماضي المراجعة، يمكن إعادة التقييم بالبيانات نفسها ومقارنة النتائج.

يتخذ المختص القرار النهائي

يصنّف الذكاء الاصطناعي التنبيهات ويلخّصها، ويعتمد المحلل إجراءات الاستجابة. ويتطلب عزل خادم أو قفل حساب موافقة بشرية قبل التنفيذ.

مكونات الخدمة

خدمات تقييم أمن الذكاء الاصطناعي بالتفصيل

تقييم تطبيقات النماذج اللغوية الكبيرة

نستند إلى OWASP LLM Top 10 ونضيف تهديدات وكلاء الذكاء الاصطناعي وبنود اللوائح الكورية لنغطي 20 بندًا. ونختبر سيناريوهات هجومية تلائم بنية الخدمة. وتعرض بيئة التجربة محاكاة.

المزايا

20 بندًا للفحص

أضفنا إلى OWASP LLM Top 10 تهديدات الوكلاء ومتطلبات اللوائح الكورية.

بيئة اختبار معزولة

تبقى المطالبات الهجومية والمخرجات داخل بيئة الاختبار.

إرفاق أدلة إعادة الإنتاج

نرفق بكل ثغرة مطالبة الاختبار والرد الفعلي كما ظهرا أثناء التقييم.

اقتراح قواعد الحماية

نقدّم ضوابط الحماية وقواعد التصفية المناسبة لكل ثغرة مكتشفة.

بنود التقييم الرئيسية (20)

التصنيفبنود التقييمالوصفمستوى الخطورة
المدخلاتحقن التعليمات المباشرتعطيل تعليمات النظام أو استبدال الأدوارمرتفع
المدخلاتحقن التعليمات غير المباشرتنفيذ تعليمات مخفية داخل مستندات أو صفحات ويب أو رسائل بريد إلكترونيمرتفع
المدخلاتتجاوز ضوابط النموذج (Jailbreak)استدراج النموذج إلى رد يتجاوز سياسة السلامةمتوسط
المدخلاتتجاوز الضوابط بتغيير اللغة أو الترميزاختبار مقاومة المرشحات للصيغ الكورية البديلة والترميز بـ Base64متوسط
البياناتتسرّب تعليمات النظامكشف التعليمات الداخلية ومنطق الأعمالمتوسط
البياناتانكشاف معلومات حساسةتسرّب معلومات شخصية أو أسرار تجارية في الردودمرتفع
البياناتتجاوز صلاحيات الوصول في RAGظهور مستندات تتجاوز صلاحيات المستخدم في نتائج البحثمرتفع
البياناتاستخراج بيانات التدريبإخراج النموذج بيانات التدريب التي حفظها كما هيمتوسط
الوكيلصلاحيات مفرطة للأدواتربط أدوات وواجهات API بصلاحيات تتجاوز الحاجةمرتفع
الوكيلالتلاعب باستدعاء الأدواتاستدراج النظام، عبر حقن التعليمات، إلى إرسال بريد أو إجراء استعلام في قاعدة بياناتمرتفع
الوكيلانتحال هوية خادم MCPالاتصال بخادم MCP خبيث أو جرى العبث بهمرتفع
الوكيلتجاوز الموافقةاستدراج النظام إلى تجاوز خطوات تتطلب موافقة بشريةمتوسط
المخرجاتمعالجة غير سليمة للمخرجاتتنفيذ مخرجات النموذج مباشرة كتعليمات برمجية أو استعلاماتمرتفع
المخرجاتتوليد محتوى ضارإنشاء محتوى يخالف السياسةمتوسط
المخرجاتمعلومات خاطئة ناجمة عن هلوسة النموذجإنشاء ادعاءات بلا سند أو روابط غير موجودةمنخفض
سلسلة التوريدالعبث بملفات النموذجملفات تسلسل ضارة ونماذج مزروعة بأبواب خلفيةمرتفع
سلسلة التوريدتسميم البياناتتسميم بيانات الضبط الدقيق وRAGمتوسط
التشغيلاستنزاف المواردارتفاع مفاجئ في التكلفة أو تعطّل الخدمة بسبب الإفراط في استخدام الرموز أو الاستدعاءاتمتوسط
التشغيلغياب تسجيل الأحداث والتدقيقغياب تسجيل المطالبات واستدعاءات الأدواتمنخفض
الحوكمةالتوافق مع اللوائحعدم استيفاء متطلبات القانون الإطاري للذكاء الاصطناعي وقانون حماية المعلومات الشخصية في كوريا الجنوبيةمنخفض

خطوات العمل

نمذجة التهديدات

نفهم بنية الخدمة وتدفقات البيانات

  • نموذج التهديدات

اختبار هجومي آلي

نشغّل مجموعة اختبارات بالمطالبات الهجومية آليًا

  • نتائج التقييم الآلي

إعادة الإنتاج

نعيد تمثيل سيناريو كل بند ونوثّق النتيجة

  • قائمة الثغرات

تصميم الحماية

نعدّ ضوابط حماية ومقترحات لتحسين الصلاحيات

  • دليل الحماية

إعادة التحقق

نعيد الاختبار الهجومي بعد المعالجة

  • تقرير التحقق من التنفيذ

الأسئلة الشائعة

هل يلزم إرسال النماذج إلى الخارج؟

نجري التقييم داخل بيئة العميل أو في Research Lab المعزول، وتبقى بيانات الاختبارات الهجومية داخل البيئة.

هل يفيد التقييم في الاستجابة لمتطلبات القانون الإطاري للذكاء الاصطناعي الكوري؟

نميّز في التقرير البنود المرتبطة بمتطلبات إدارة مخاطر الذكاء الاصطناعي عالي التأثير.

عرض جميع الأسئلة الشائعة

تقييم وكلاء الذكاء الاصطناعي وMCP

نجرد الأدوات وواجهات API وخوادم MCP التي يمكن لوكيل الذكاء الاصطناعي استدعاؤها، مع صلاحيات كل منها.
ثم نختبر ما إذا كانت التعليمات المخفية في المستندات أو البريد قد تدفع الوكيل إلى إرسال رسائل أو تنفيذ استعلامات في قاعدة بيانات.

المزايا

خريطة الصلاحيات

نعرض في صفحة واحدة الأدوات والبيانات التي يمكن لكل وكيل الوصول إليها.

تحليل علاقات التفويض

نتتبّع انتقال الصلاحيات عند استدعاء وكيل لوكيل آخر.

التحقق من خوادم MCP

نتحقق من مصدر خوادم MCP المتصلة وإصداراتها وتوقيعاتها.

قواعد مراقبة استدعاءات الأدوات

نوثّق أنماط استدعاء الأدوات المعتادة ونقدّم قواعد لكشف الاستدعاءات الخارجة عنها.

خطوات العمل

إعداد قائمة

نجرد الوكلاء والأدوات واتصالات MCP

  • خريطة الصلاحيات

هجوم

نختبر مقاومة التلاعب باستدعاءات الأدوات

  • قائمة الثغرات

التحسين

نحدد الصلاحيات التي ينبغي تقليصها ونقترح تعديلًا لكل بند

  • مقترحات لتحسين الصلاحيات

المراقبة

نطبّق قواعد كشف السلوك

  • قواعد الكشف

تقييم النماذج وسلسلة التوريد

نفحص ملفات النماذج ومجموعات البيانات والإضافات التي نُزّلت من مستودعات عامة للكشف عن الشفرة الخبيثة والبيانات المسمّمة.

المزايا

فحص ملفات النماذج

نفحص ملفات النماذج المتسلسلة، مثل ملفات pickle، للكشف عن شفرة مخفية قد تُنفّذ عند التحميل.

إعداد قائمة مكونات الذكاء الاصطناعي (AI-BOM)

نُعد قائمة تساعدكم على إدارة النماذج والبيانات والمكتبات المستخدمة.

التشغيل في بيئة معزولة

نشغّل النماذج في Research Lab المعزول للتحقق من أي سلوك شاذ.

وضع إجراءات الاستيراد

نضع إجراءً داخليًا للتحقق من المصدر والسلامة وللموافقة على الاستيراد.

خطوات العمل

إعداد قائمة

نجرد النماذج والبيانات المستخدمة

  • AI-BOM

فحص ساكن

نبحث عن شفرة مخفية داخل الملفات

  • نتائج الفحص

تقييم أثناء التشغيل

نشغّلها في بيئة معزولة

  • نتائج التقييم

وضع السياسات

نصمّم آلية تقصر الاستخدام على النماذج المعتمدة

  • وثيقة سياسة الاستيراد
الاستفسار عن تطبيق الحل

استشارة حول تطبيق الخدمات الأمنية

أطلعنا على بيئة التشغيل ونطاق الحماية المطلوب لنرشدك إلى التكوين القابل للتطبيق.

تحدّث إلى أحد خبراء
الأمن في Genox.

تواصل معنا