Video
ازاي تعمل ChatGPT في البيت مع أحمد عثمان
About this episode
كيف يمكن تشغيل نماذج لغوية محليًا بدل إرسال البيانات إلى خدمات سحابية؟ يستضيف محمد الشريف المهندس أحمد عثمان في نقاش عملي يبدأ من بناء جهاز منزلي لتشغيل نماذج الذكاء الاصطناعي، ثم ينتقل إلى ما تفرضه الذاكرة الرسومية، وسعة السياق، وسرعة الربط بين البطاقات من قيود حقيقية. يشرح أحمد رحلته من بطاقة RTX 3090 واحدة إلى خادم يستخدم 14 بطاقة بإجمالي 336 جيجابايت من VRAM، ولماذا لا تعني زيادة البطاقات تلقائيًا أداءً أفضل. كما يستعرض تشغيل النماذج عبر Ollama، واختيار النماذج المضغوطة، واستخدامها في البرمجة والأتمتة مع الحفاظ على خصوصية الكود والبيانات. الحلقة تضع أيضًا حدودًا واضحة لقدرات النماذج الحالية، من الهلوسة إلى تراجع الأداء عند السياقات الطويلة، وتفتح أسئلة عن الوكلاء والتخصيص والتدريب مستقبلًا.
Episode notes
• رحلة أحمد عثمان لبناء خادم منزلي لتشغيل نماذج اللغة محليًا، من بطاقة RTX 3090 واحدة إلى 14 بطاقة بإجمالي 336 جيجابايت VRAM
• دوافع التشغيل المحلي: الخصوصية، وعدم إرسال كود المشروع أو البيانات الحساسة إلى خدمات خارجية
• الفرق بين تشغيل النموذج للاستدلال وبين تدريبه أو إجراء الضبط الدقيق له
• أثر حجم VRAM وسعة السياق على اختيار النموذج وطول المستندات أو المشاريع التي يمكن تمريرها إليه
• الضغط الكمي للنماذج والمفاضلة بين تقليل استهلاك الذاكرة وجودة المخرجات
• مشاكل تعدد بطاقات الرسوميات في الأجهزة المنزلية، بما فيها خطوط PCIe وعرض النطاق والاستقرار
• اعتبارات الطاقة والتبريد والبنية الكهربائية لخادم يحتوي على عدة بطاقات رسوميات عالية الاستهلاك
• استخدام Ollama لتشغيل النماذج محليًا وتقديمها عبر API للتطبيقات وأدوات البرمجة
• اختيار نماذج مثل Qwen ونماذج البرمجة، ولماذا يختلف النموذج المخصص للتعليمات عن النموذج الأساسي
• حدود النماذج الطويلة السياق، والهلوسة، ودور الوكلاء وRAG والتغذية الراجعة في بناء أنظمة أكثر فائدة