Video
LLM Hacking مع محمد مجدي أبومُسْلِم
About this episode
يتحدث محمد مجدي أبومسلم، مهندس الأمن السيبراني العامل في مجال أمن الذكاء الاصطناعي، عن اختبار أنظمة النماذج اللغوية الكبيرة من منظور Red Teaming ومحاكاة الخصم. يشرح كيف لا تقتصر المخاطر على النموذج نفسه، بل تشمل تطبيق الويب والخدمات المصغرة والسحابة وتدفق البيانات والأنظمة المتصلة به. تناقش الحلقة حقن التعليمات وكسر القيود وتسريب التعليمات أو البيانات، وتأثير المستندات والبريد الإلكتروني والمحتوى المسترجَع في سلوك النموذج. كما تتناول صعوبة الموازنة بين الحواجز الأمنية وفائدة النموذج، ومخاطر التحيز والهلوسة، ودور الذكاء الاصطناعي في الدفاع والأتمتة. وفي الختام يشارك الضيف مساراً عملياً لتعلم الأمن السيبراني والبحث المستمر في المجال.
Episode notes
• مفهوم Red Teaming ومحاكاة الخصم، وعلاقته بتطوير قدرات الدفاع لا مجرد تنفيذ الهجمات
• لماذا يتسع سطح الهجوم في تطبيقات LLM ليشمل الويب والسحابة وقواعد البيانات والخدمات المتصلة
• حقن التعليمات المباشر وغير المباشر عبر المستندات ورسائل البريد والمحتوى الخارجي
• الفرق بين Prompt Injection وJailbreak وPrompt Leakage كما طُرح في الحلقة
• مخاطر تسريب الرموز المميزة أو بيانات النظام، وتأثير المحتوى الخبيث في أنظمة الاسترجاع
• هل تمثل هجمات الذكاء الاصطناعي متغيرات جديدة أم امتداداً لهجمات التطبيقات والبنية التحتية التقليدية
• التحيز والهلوسة وضرر السمعة الناتج عن مخرجات النماذج غير الدقيقة أو غير الملائمة
• استخدام الذكاء الاصطناعي في الدفاع: تحليل البيانات والأتمتة والمساعدة في الاستجابة للتهديدات
• نصائح لبداية مسار الأمن السيبراني: الأساسيات، الشبكات، أنظمة التشغيل، المختبرات، وقراءة التوثيق والأبحاث
• أهمية عدم إدخال البيانات الحساسة في خدمات الذكاء الاصطناعي العامة، والنظر في الأنظمة الخاصة ضمن ضوابط المؤسسة