مشین لرننگ ماڈلز کے قابل اطلاق اور استعمال کی جانچ ڈیٹا پر کی جاتی ہے۔ ٹیسٹوں کی وشوسنییتا کا انحصار اس ڈیٹا کی مقدار اور معیار پر ہوتا ہے جس پر یہ ماڈل لاگو ہوتے ہیں۔ یہ ایک مکمل کام ہے اور اپنے آپ کو جانچنے کے لیے ایک مناسب بڑے ڈیٹاسیٹ کو بنانا، حاصل کرنا اور صاف کرنا۔ نیچرل لینگویج پروسیسنگ (NLP) 'مشین لرننگ ماڈل۔
Hugging Face اس کے لیے ڈیٹا سیٹس کی اپنی غیر معمولی بڑی لائبریری کے ساتھ ایک صاف ستھرا حل پیش کرتا ہے جس میں سے انتخاب کریں اور اسے تلاش کریں جو آپ کی ضروریات کے مطابق ہو۔ یہاں، ہم آپ کو دکھائیں گے کہ مثالی ڈیٹاسیٹ کو کیسے تلاش کیا جائے اور اسے اپنے ماڈل کی مناسب جانچ کے لیے تیار کیا جائے۔
ہگنگ فیس ڈیٹاسیٹس کا استعمال کیسے کریں؟
ہم آپ کو دکھائیں گے کہ 'ہگنگ فیس ڈیٹاسیٹس' کی مثال استعمال کرتے ہوئے کیسے استعمال کیا جائے۔ ٹنی اسٹوریز 'گلے لگانے والے چہرے سے ڈیٹا سیٹ۔
مثال
TinyStories ڈیٹاسیٹ میں ٹرین کی تقسیم میں ڈیٹا کی 2 ملین سے زیادہ قطاریں ہیں اور اسے Hugging Face پلیٹ فارم پر 2 ہزار سے زیادہ ڈاؤن لوڈز ہیں۔ ہم اسے نیچے دیے گئے Google Colab میں کوڈ میں استعمال کریں گے:
! pip انسٹال کریں ٹرانسفارمرز
! pip انسٹال کریں ڈیٹاسیٹس
ڈیٹاسیٹس سے درآمد لوڈ_ڈیٹا سیٹ
ڈیٹا سیٹ = لوڈ_ڈیٹا سیٹ ( 'roneneldan/TinyStories' )
ٹنی اسٹوریز_کہانی = 3
example_string = ڈیٹا سیٹ [ 'ٹرین' ] [ چھوٹی کہانیاں_کہانی ] [ 'متن' ]
پرنٹ کریں ( مثال_سٹرنگ )
اس کوڈ میں، درج ذیل اقدامات پر غور کریں:
مرحلہ 01 : پہلا قدم ہے ' تنصیب ٹرانسفارمرز ڈیٹاسیٹس کا۔
مرحلہ 02 : اگلا، مطلوبہ ڈیٹاسیٹ درآمد کریں، ' ٹنی اسٹوریز 'آپ کے پروجیکٹ میں۔
مرحلہ 03 : اگلا، 'کا استعمال کرتے ہوئے منتخب ڈیٹاسیٹ کو لوڈ کریں لوڈ_ڈیٹا سیٹ() فنکشن
مرحلہ 04 : اب، ہم TinyStories ڈیٹا سیٹ سے کہانی کا نمبر بتاتے ہیں۔ ہم نے اپنے کوڈ کی مثال میں نمبر 03 کی وضاحت کی ہے۔
مرحلہ 05 : آخر میں، ہم آؤٹ پٹ دکھانے کے لیے 'print()' طریقہ استعمال کریں گے۔
آؤٹ پٹ
نوٹ: کوڈ اور آؤٹ پٹ کو براہ راست ہمارے Google Colab میں بھی دیکھا جا سکتا ہے۔ .
نتیجہ
' ہگنگ فیس ڈیٹا سیٹس صارفین کے لیے اپنی آن لائن لائبریری سے بڑے ڈیٹا سیٹس کو براہ راست درآمد کرتے ہوئے اپنے مشین لرننگ ماڈلز کی جانچ کرنا ناقابل یقین حد تک موثر بنائیں۔ نتیجتاً، NLP الگورتھم کا اطلاق آسان اور تیز تر ہو گیا ہے کیونکہ پروگرامرز اپنے پروجیکٹس کو ایک ایسے ڈیٹاسیٹ کے خلاف آزمانے کے قابل ہوتے ہیں جس میں معیار اور مقدار دونوں ہوتے ہیں۔