Video
Real-time Adventures with AWS Kinesis with Ahmed Sheta
About this episode
في هذه الحلقة من AskDeveloper Podcast، يستضيف محمد الشريف أحمد شتا، مهندس برمجيات في AWS، في جولة عملية حول البيانات المتدفقة وخدمات Amazon Kinesis. يبدأ الحوار بتبسيط مفهوم Streaming Data ولماذا تختلف عن المعالجة الدورية التقليدية للبيانات، ثم ينتقل إلى مفاهيم المنتجين والمستهلكين والتقسيم عبر Partition Keys ومشكلة توزيع الحمل. يشرح أحمد كيف تقارن Kinesis Data Streams بمفاهيم Kafka، وما الذي تمثله الـShards في Kinesis، قبل تناول Kinesis Data Firehose كخيار لتجميع البيانات وتسليمها إلى وجهات أخرى. كما تتضمن الحلقة عرضًا تطبيقيًا لبناء مسار بيانات يربط بين Kinesis وLambda وS3، مع نقاش حول التحويلات والمراقبة والتكاليف وقرارات التصميم العملية.
Episode notes
• معنى البيانات المتدفقة والفرق بينها وبين معالجة البيانات على دفعات
• أمثلة على تدفق الأحداث المستمر من التطبيقات والأجهزة ومشغلات الفيديو
• تطور خطوط البيانات التقليدية باستخدام Hadoop وMapReduce وحدود التأخير فيها
• مفاهيم المنتج Producer والمستهلك Consumer ومسار انتقال البيانات
• مقارنة مفاهيم Kinesis Data Streams وKafka، بما فيها الـStreams والـTopics والـPartitions
• اختيار Partition Key وتأثير توزيع البيانات غير المتوازن على الأداء
• الـShards في Kinesis وحدود حجم السجل ومعدل الكتابة والاستيعاب
• استخدام Kinesis Data Firehose لتجميع البيانات وتسليمها وفق الحجم أو الزمن
• بناء مثال عملي يربط Kinesis وLambda وS3 باستخدام البنية التحتية ككود
• اعتبارات المراقبة والتشفير والتحويلات والتكلفة عند تصميم خطوط البيانات