ازاي تعمل ChatGPT في البيت مع أحمد عثمان
Chapters
- أحمد عثمان: ليه نشغّل الذكاء الاصطناعي في البيت؟
- من أول كارت شاشة إلى سيرفر متعدد الكروت
- النماذج اللغوية وضغطها وحدود الذاكرة والسياق
- توصيل كروت الشاشة وتحديات PCIe
- تشغيل نموذج محلي عمليًا باستخدام Ollama
- محرك الاستدلال والـ API: إزاي المكونات بتتواصل؟
- مساعد برمجة محلي وإكمال الكود تلقائيًا
- أزمة بيانات التدريب وإعادة استخدام المحتوى المولّد
- AI Agents: تعاون النماذج في البرمجة والصور والصوت
- حدود السياق الطويل وتحديات RAG والخصوصية
- Fine-tuning ونماذج تتعلم تفضيلاتك
- إزاي تختار نموذج وتقارن أداءه؟
- تدريب النماذج وأهمية تجهيز البيانات وتصنيفها
- استهلاك الكهرباء والحرارة في السيرفر المنزلي
- مصادر للتعمق وخطط الحلقات القادمة
About this episode
هل يمكنك تشغيل مساعد ذكاء اصطناعي في البيت من دون إرسال كودك وبياناتك إلى خدمة سحابية؟ يستضيف محمد الشريف المهندس أحمد عثمان لاستكشاف التجربة عمليًا، من جهاز ببطاقة رسومية واحدة إلى خادم منزلي يضم 14 بطاقة RTX 3090 بإجمالي 336 جيجابايت من الذاكرة الرسومية. يشرح أحمد كيف تؤثر سعة الذاكرة ونافذة السياق وضغط النماذج وسرعة الاتصال بين البطاقات في اختيار العتاد، ولماذا لا تكفي إضافة بطاقات للحصول على أداء أفضل. وتشمل الحلقة عرضًا لتشغيل النماذج باستخدام Ollama والاستعانة بها في كتابة الكود وإكماله محليًا، إلى جانب تجارب تجمع نماذج النص والصوت والصورة. ويناقش الحوار حدود الدقة والهلوسة، وتحديات استرجاع البيانات الخاصة، وإمكانات التخصيص والضبط الدقيق، مع نظرة إلى متطلبات الكهرباء والحرارة التي تصاحب بناء خادم بهذا الحجم.
Discussion highlights
- دوافع التشغيل المحلي: خصوصية الكود والبيانات، والحاجة إلى سياق أوسع للمشروعات.
- رحلة بناء خادم بـ14 بطاقة RTX 3090 وذاكرة رسومية إجمالية 336 جيجابايت، وتقسيم البطاقات بين نماذج ومهام مختلفة.
- أثر مسارات PCIe وسرعة الربط بين البطاقات في الأداء، وحدود نقل جزء من الحسابات إلى المعالج والذاكرة الرئيسية.
- المفاضلة بين حجم النموذج وضغطه وسرعته واستهلاك الذاكرة، وإمكان البدء ببطاقة ذات ذاكرة 8 جيجابايت مع اختيار نموذج مناسب.
- تجربة Ollama لتشغيل النماذج محليًا، ودور محرك الاستدلال وواجهة API في ربطها بالتطبيقات.
More from this conversation
- استخدام نماذج Qwen في البرمجة وإكمال الكود، والتمييز بين نموذج للمحادثة وآخر أسرع للإكمال التلقائي.
- تنسيق نماذج النص والصورة والصوت، وتجربة تفريغ محاضرة صوتية على أجزاء ثم تجميع محتواها بنموذج لغوي.
- الهلوسة وتراجع الاستفادة من السياق الطويل، وتحديات RAG لاسترجاع البيانات الخاصة مع الحفاظ على الخصوصية.
- الفرق بين تشغيل نموذج جاهز وتدريبه، ومناقشة تخصيصه بالضبط الدقيق اعتمادًا على التفضيلات والتصحيحات.
- متطلبات الطاقة والحرارة في الخادم المنزلي، والحاجة إلى تجهيزات كهربائية إضافية لتشغيله.
Continue the conversation.
1:42:11Machine Learning in Real World - الذكاء الصناعي في العالم الحقيقي مع محمد الجيش
AskDeveloper PodcastVideo
AI & machine learning
Jan 13, 2025
1:37:06LLM Hacking مع محمد مجدي أبومُسْلِم
AskDeveloper PodcastVideo
Cybersecurity & privacyAI & machine learning
Oct 28, 2024
1:04:58Artificial Intelligence in Wearables with Ahmed Aly Hegazy
AskDeveloper PodcastVideo
AI & machine learningHardware & emerging tech
Oct 6, 2024