LLM Hacking مع محمد مجدي أبومُسْلِم
Chapters
- مقدمة وترحيب بمحمد مجدي أبومُسْلِم
- من شغف الكمبيوتر إلى الأمن السيبراني
- الانتقال إلى Microsoft وفهم عقلية الهجوم
- أمن الأنظمة الصناعية وStuxnet وأصل Red Teaming
- لماذا أصبح أمن الذكاء الاصطناعي أولوية؟
- سطح هجوم نماذج الذكاء الاصطناعي وتعقيد البنية
- Prompt as a Service ومخاطر إساءة استخدام النماذج
- هل هجمات GenAI جديدة أم امتداد للهجمات التقليدية؟
- التحيز والسمعة ومخاطر سلوك النموذج
- بدء العرض: Red Teaming وكيف تعمل LLMs
- تخطيط عمليات اختبار نماذج الذكاء الاصطناعي
- Prompt Injection وJailbreak وPrompt Leakage
- عرض عملي للـ Indirect Prompt Injection
- حقن البريد الإلكتروني ومخاطر Copilot
- كيف تبدأ مسارك في الأمن السيبراني وAI Security
About this episode
في هذه الحلقة من AskDeveloper، يستضيف محمد الشريف محمد مجدي أبومسلم للحديث عن أمن النماذج اللغوية الكبيرة من زاوية Red Teaming ومحاكاة الخصم. يوضح الضيف أن تأمين تطبيقات الذكاء الاصطناعي لا يقتصر على النموذج، بل يشمل واجهة الويب والخدمات المصغرة والسحابة وتدفق البيانات والأنظمة التي يستدعيها النموذج. تناقش الحلقة حقن التعليمات المباشر وغير المباشر، وكسر القيود، وتسريب تعليمات النظام والبيانات، وتأثير المستندات ورسائل البريد والمحتوى المسترجَع في توجيه سلوك النموذج. كما تتناول صعوبة تحقيق التوازن بين الحواجز الأمنية وفائدة المنتج، ومخاطر التحيز والهلوسة، واستخدام الذكاء الاصطناعي في الدفاع والأتمتة. ويختتم الضيف بخارطة تعلم عملية للراغبين في دخول الأمن السيبراني والبحث في أمن الذكاء الاصطناعي.
Discussion highlights
- مفهوم Red Teaming ومحاكاة الخصم، وعلاقته بتقييم الدفاعات وتحسينها
- لماذا يتجاوز أمن LLM النموذج نفسه ليشمل الويب والخدمات المصغرة والسحابة وقواعد البيانات وتدفق البيانات
- حقن التعليمات المباشر وغير المباشر عبر المستندات والبريد الإلكتروني والمحتوى المسترجَع
- الفرق بين Prompt Injection وJailbreak وتسريب تعليمات النظام أو البيانات
- مخاطر Model Extraction وData Poisoning والهلوسة والتحيز في مخرجات النماذج
More from this conversation
- تأثير تطبيقات RAG والمحتوى الخارجي غير الموثوق في سلوك النموذج
- الموازنة بين Guardrails الصارمة وفائدة النموذج وتجربة المستخدم
- استخدام الذكاء الاصطناعي في الدفاع: تحليل البيانات، المساعدة في التحقيقات، والأتمتة
- مسار تعلم الأمن السيبراني: الأساسيات، الشبكات، الويب، المختبرات، قراءة التوثيق والبحث المستمر
- موارد ذُكرت في الحلقة: OWASP، PortSwigger Web Security Academy، SANS Top 25، Security+ من CompTIA، MITRE ATT&CK، HiddenLayer، Dreadnode



