اس دور میں، ٹرانسفارمرز سب سے طاقتور ماڈل ہیں جنہوں نے متعدد NLP (نیچرل لینگویج پروسیسنگ) آپریشنز میں بہترین نتائج فراہم کیے ہیں۔ ابتدائی طور پر، اسے زبان کی ماڈلنگ کے کاموں کے لیے استعمال کیا گیا جس میں ٹیکسٹ جنریشن کے ساتھ ساتھ درجہ بندی، مشینی ترجمہ، اور بہت کچھ شامل ہے۔ لیکن اب، یہ آبجیکٹ کی شناخت، تصویر کی درجہ بندی، اور متعدد دیگر کمپیوٹر وژن کے کاموں کے لیے بھی استعمال ہوتا ہے۔
اس ٹیوٹوریل میں، ہم ٹرانسفارمرز کا استعمال کرتے ہوئے ٹیکسٹ کی درجہ بندی کرنے کا طریقہ کار فراہم کریں گے۔
ٹرانسفارمرز کا استعمال کرتے ہوئے متن کی درجہ بندی کیسے کریں؟
ٹرانسفارمرز کا استعمال کرتے ہوئے ٹیکسٹ کی درجہ بندی کرنے کے لیے، سب سے پہلے، انسٹال کریں ' ٹرانسفارمرز فراہم کردہ کمانڈ پر عمل کرتے ہوئے لائبریری:
! pip انسٹال کریں ٹرانسفارمرز
جیسا کہ آپ دیکھ سکتے ہیں، مخصوص لائبریری کامیابی کے ساتھ انسٹال ہو چکی ہے:
پھر، درآمد کریں ' پائپ لائن ' سے ' ٹرانسفارمرز ' کتب خانہ:
ٹرانسفارمرز سے پائپ لائن درآمد کریں۔
یہاں، ' پائپ لائن ” اس میں ٹوکنائزر کے ساتھ اس آپریشن کے لیے NLP ٹاسک اور مطلوبہ ٹرانسفارمر ماڈل شامل ہوگا جو ہمیں انجام دینے کی ضرورت ہے۔
نوٹ: ٹوکنائزر کا استعمال ٹیکسٹ پر پروسیسنگ کرنے کے لیے کیا جاتا ہے تاکہ ٹیکسٹ کو ٹوکنز میں الگ کرکے ماڈل کا ان پٹ فراہم کیا جائے۔
اس کے بعد، استعمال کریں ' پائپ لائن () 'فنکشن اور اسے پاس کریں' صفر شاٹ کی درجہ بندی 'ایک دلیل کے طور پر. اگلا، دوسرا پیرامیٹر پاس کریں جو ہمارا ماڈل ہے۔ ہم فیس بک کا استعمال کر رہے ہیں ' بارٹ 'ٹرانسفارمر ماڈل۔ یہاں، ہم ٹوکنائزر کا استعمال نہیں کرتے ہیں کیونکہ یہ مخصوص ماڈل سے خود بخود اندازہ لگایا جا سکتا ہے:
text_classifier = پائپ لائن ( 'صفر شاٹ کی درجہ بندی' , ماڈل = 'facebook/bart-large-mnli' )
اب، اعلان کریں ' seq متغیر جو ہمارے ان پٹ ٹیکسٹ کو رکھتا ہے جس کی درجہ بندی کرنے کی ضرورت ہے۔ پھر، ہم وہ زمرے فراہم کرتے ہیں جن میں ہم متن کو درجہ بندی کرنا چاہتے ہیں اور ' لیبارٹری 'جو لیبل کے طور پر جانا جاتا ہے:
لیب = [ 'اپ ڈیٹ' , 'غلطی' , 'اہم' , 'تصدیق' ]
آخر میں، ان پٹ کے ساتھ پائپ لائن چلائیں:
پائپ لائن کو انجام دینے کے بعد، جیسا کہ آپ دیکھ سکتے ہیں کہ ماڈل نے ہماری فراہم کردہ ترتیب کی درجہ بندی کی پیش گوئی کی ہے:
اضافی معلومات: اگر آپ ماڈل کی کارکردگی کو تیز کرنا چاہتے ہیں تو آپ کو GPU استعمال کرنے کی ضرورت ہے۔ اگر ہاں، تو، اس مقصد کے لیے، آپ پائپ لائن پر ڈیوائس کی دلیل بتا سکتے ہیں اور اسے ' 0 GPU استعمال کرنے کے لیے۔
اگر آپ متن کو ایک سے زیادہ ترتیب/ان پٹ ٹیکسٹ سٹیٹمنٹ پر درجہ بندی کرنا چاہتے ہیں، تو آپ انہیں فہرست میں شامل کر سکتے ہیں اور اسے پائپ لائنوں میں بطور ان پٹ پاس کر سکتے ہیں۔ اس مقصد کے لیے، کوڈ کا ٹکڑا دیکھیں:
seq = [ 'وضاحت، ہم آہنگی، اور غلطی سے پاک مواد کو یقینی بنانے کے لیے پروف ریڈنگ اور ترمیم ضروری اجزاء ہیں' ,'اس جدید دور میں، مضامین کو اچھی درجہ بندی کرنے اور وسیع تر سامعین تک پہنچنے کے لیے SEO کی اصلاح ضروری ہے' ]
text_classifier ( seq لیب )
آؤٹ پٹ
یہی ہے! ہم نے ٹرانسفارمرز کا استعمال کرتے ہوئے متن کی درجہ بندی کرنے کا آسان ترین طریقہ مرتب کیا ہے۔
نتیجہ
ٹرانسفارمرز کو زبان کی ماڈلنگ کے کاموں کو انجام دینے کے لیے استعمال کیا جاتا ہے، جیسے کہ ٹیکسٹ جنریشن، ٹیکسٹ کی درجہ بندی، اور مشینی ترجمہ، نیز کمپیوٹر ویژن کے کام بشمول آبجیکٹ کی شناخت، اور تصویر کی درجہ بندی۔ اس ٹیوٹوریل میں، ہم نے ٹرانسفارمرز کا استعمال کرتے ہوئے ٹیکسٹ کی درجہ بندی کرنے کے عمل کو واضح کیا ہے۔