کیا Kinesis کافکا جیسا ہی ہے؟

ڈیٹا ہمارے آس پاس ہے چاہے موبائل یا ویب ایپلیکیشنز استعمال کرنے والے صارفین کی طرف سے تیار کردہ لاگ فائلوں کی شکل میں، کامرس کی خریداری، گیم پلیئر کی سرگرمی، اور بہت سارے ذرائع۔ مزید خاص طور پر، AWS Kinesis اور Kafka سروسز کو ڈیٹا کے اسٹریمز کو منظم اور کنٹرول کرنے اور AWS اسٹوریج سروسز میں ذخیرہ کرنے کے لیے SQL کا استعمال کرنے کی تیاری کے لیے بھی استعمال کیا جاتا ہے۔

یہ گائیڈ Kinesis اور Kafka کو تفصیل سے بیان کرے گا۔

Kinesis کیا ہے؟

ڈیٹا کی بڑی مقدار کا انتظام کرنا کافی پیچیدہ کام ہے جس کے لیے اسے جمع کرنا، ذخیرہ کرنا اور تجزیہ کرنا پڑتا ہے۔ AWS Kinesis سروس کا استعمال اس ہائی تھرو پٹ معلومات کو کنٹرول کرنے اور صارف کو اپنے کاروبار، تنظیم اور صارفین کے ساتھ تازہ ترین رہنے میں مدد کرنے کے لیے کیا جاتا ہے:

Kinesis کی خدمات

Kinesis مندرجہ ذیل خدمات پر مشتمل ہے:

Kinesis سٹریم : Kinesis سٹریم پیمانے پر کم لیٹنسی سٹریمنگ کی پیشکش کرتا ہے۔

Kinesis تجزیات : اس کا استعمال مختلف وسائل سے ڈیٹا حاصل کرنے اور اسٹریمز پر ریئل ٹائم اینالیٹکس انجام دینے کے لیے SQL کا اطلاق کرنے کے لیے کیا جاتا ہے:

Kinesis Firehose : اس کا استعمال AWS سروسز جیسے S3، Redshift، ElasticSearch، وغیرہ میں تسلسل کے ساتھ اسٹریمز کو تیار کرنے اور لوڈ کرنے کے لیے کیا جاتا ہے۔

کافکا کیا ہے؟

کافکا ایک تقسیم شدہ میسج اسٹریمنگ پلیٹ فارم ہے جو ڈیٹا کو اسٹریم کرنے کے لیے شائع اور سبسکرائب کرنے کا طریقہ کار استعمال کرتا ہے۔ ایمیزون ' اپاچی کافکا کے لیے منظم سٹریمنگ (MSK) ایک مکمل طور پر منظم سروس ہے جس کا استعمال حقیقی وقت میں اسٹریمنگ پائپ لائنز بنانے کے لیے کیا جاتا ہے۔ تاہم، غیر متوقع اور نامعلوم کام کے بوجھ کے لیے، Amazon MSK سرور لیس پلیٹ فارم کے ذریعے متعارف کرایا گیا ہے:

کافکا کے بنیادی تصورات

کافکا کے چند بنیادی تصورات کا ذکر ذیل میں کیا گیا ہے۔

قطار : یہ غیر مطابقت پذیر پیغامات بھیجنے اور وصول کرنے کا طریقہ کار فراہم کرتا ہے اور سروس سے سروس مواصلات کی پیشکش کرتا ہے:

پبسب : یہ ایک غیر مطابقت پذیر پیغام رسانی کی خدمت ہے، جس کا مطلب ہے کہ یہ صارف کو ڈیٹا اسٹریمز بھیجنے، وصول کرنے اور فلٹر کرنے میں مدد کرتا ہے:

کیا Kinesis کافکا جیسا ہی ہے؟

Apache Kafka ایک اوپن سورس PubSub پیغام رسانی کا حل ہے اور Kinesis منظم AWS سروس ہے جسے کافکا کے بعد ماڈل بنایا گیا ہے۔ MSK ڈیٹا کی کلیدی اقدار (موضوعات) کو پارٹیشنز میں اسٹور کرتا ہے اور Kinesis ڈیٹا ریکارڈز کو Shards میں اسٹور کرتا ہے۔ Kinesis اور Kafka دونوں کو تقریباً ایک جیسی خدمات فراہم کرنے کے لیے ڈیزائن کیا گیا ہے لیکن فرق فین آؤٹ کے تصور میں آتا ہے۔

نتیجہ

خلاصہ یہ کہ AWS Kinesis اور Kafka سروسز کو ایسی سرگرمیاں انجام دینے کے لیے ڈیزائن کیا گیا ہے جیسے کہ ہائی تھرو پٹ اور کم تاخیر والے کام کا بوجھ۔ Kinesis کا استعمال AWS اسٹوریج سروسز پر ڈیٹا کو سٹریمنگ اور اسٹور کرنے کی مدد سے بڑے ڈیٹا کو منظم کرنے کے لیے کیا جاتا ہے۔ Amazon MSK ایک PubSub پیغام رسانی کی سٹریمنگ سروس ہے جو قطار لگانے کا طریقہ کار بھی استعمال کرتی ہے۔