تأمين استخدامات الذكاء الصناعي - AI Security مع طارق داوود
Chapters
- مقدمة مع طارق داوود: تقييم المخاطر قبل شراء أدوات الأمن
- أمن نماذج الذكاء الاصطناعي: الهجمات واختبارات الحماية
- استخدام الذكاء الاصطناعي داخل الشركات ومخاطر تسريب البيانات
- من SaaS إلى Agentic Workflows: الأتمتة ومخاطر الإضافات
- Insider Risk: كيف يضاعف الذكاء الاصطناعي التهديدات الداخلية؟
- الزميل الرقمي: توظيف AI Agents داخل الشركة
- لماذا لا تكفي ضوابط MFA والأجهزة الموثوقة لتأمين الوكلاء؟
- Responsible AI: التحيز في التوظيف والقرارات الآلية
- أمثلة Microsoft: تصنيف البيانات ومنع التسريب وتتبع الوكلاء
- الامتثال والقوانين وجدوى الاستثمار في الذكاء الاصطناعي
- أسئلة الجمهور: OpenAI وسياسات المحتوى للبالغين
- أدوات الذكاء الاصطناعي لمهندسي الحلول وتصميم النماذج الأولية
- تصميم حلول مفيدة: تبسيط سير العمل ومصادر التعلم
- التخصص في AI Security وأهمية Red Teaming
- حماية البنية التحتية: Agent-based أم Agentless؟
About this episode
كيف تؤمّن شركة يستخدم موظفوها الذكاء الاصطناعي بالفعل، حتى من دون موافقة فريق تقنية المعلومات؟ يناقش محمد الشريف مع طارق داوود، مدير منتجات في مايكروسوفت ومتخصص في الهوية والأمن، الفرق بين حماية النماذج أثناء بنائها وتأمين استخدامها اليومي داخل المؤسسات. تبدأ الحلقة من تقييم المخاطر وترتيب الأولويات بدلاً من تكديس الأدوات، ثم تتناول تسريب البيانات، والاستخدام غير المعتمد للأدوات، وحقن التعليمات، ومخاطر الامتدادات والموظف الداخلي. ويطرح طارق تصور «الزميل الرقمي»: وكيل يعمل ضمن سير العمل، ويصل إلى البيانات وينفذ المهام، بما يستدعي ضوابط تتجاوز أساليب حماية المستخدم البشري. وتعرض الحلقة أمثلة من أدوات مايكروسوفت لتصنيف البيانات، ومنع رفع الوثائق الحساسة، ورصد الاستخدام المريب، وحصر الوكلاء وصلاحياتهم. وتختتم بنصائح لبناء حلول تختصر العمل فعلاً، لا تضيف الذكاء الاصطناعي لمجرد مواكبة الاتجاه.
Discussion highlights
- تقييم المخاطر وترتيب أولويات المعالجة، وأهمية تكامل أدوات الأمن بدلاً من شراء حل منفصل لكل تهديد.
- الفرق بين أمن بناء النماذج والوكلاء وتأمين استخدام الذكاء الاصطناعي داخل المؤسسات.
- تسريب المعلومات عبر المحادثات ورفع الملفات، ومخاطر الاستخدام غير المعتمد للأدوات «Shadow IT».
- حقن التعليمات عبر المستندات ومصادر البيانات، ومخاطر الإضافات وخوادم MCP وسلسلة التوريد.
- انتقال الوكلاء إلى سير العمل في المبيعات والدعم والموافقات، واحتمالات التلاعب بالخطوات أو كشف البيانات.
More from this conversation
- «الزميل الرقمي» وتحديات هويته وصلاحياته، ولماذا لا تُنقل ضوابط المستخدم البشري مثل MFA وإدارة الأجهزة إليه مباشرة.
- تصنيف البيانات وتسميات الحساسية: أمثلة لمنع رفع الملفات الحساسة وتوريث تصنيف المصادر إلى المستندات المُولَّدة.
- حصر الوكلاء ومتابعة وصولهم إلى البيانات، ورصد خفض تصنيفات الحساسية والسلوك المريب باستخدام أمثلة من Purview وEntra.
- مخاطر الموظف الداخلي، وكيف يضاعف الذكاء الاصطناعي قدرته على جمع المعلومات أو تنفيذ إجراءات ضارة.
- نصائح لمهندسي الحلول: إعادة تصميم سير العمل، ودمج المساعد في عمل المستخدم، وتجربة أدوات مثل Lovable وn8n، والاستفادة من كتاب AI Engineering.
Continue the conversation.
كيف سيكسر الذكاء الصناعي الأمن السيبراني ثم يعيد تشكيله؟ مع طارق داوود و محمد أبو مسلم
AskDeveloper Podcast
اتعملك Hack ولا لسه؟ | بودكاست الويك اند #٣
1:37:06LLM Hacking مع محمد مجدي أبومُسْلِم
AskDeveloper Podcast