البرٹ ہائیڈرولک پمپ ABT1-55-4R02-Z11 ALBERT ABT1-25-1R00-B10E ABT1-55-2R02-C1 وین پمپ سرو ہائیڈرولک پمپ۔قدرتی زبان کی نمائندگی کی پیشگی تربیت کرتے وقت ماڈل کے سائز میں اضافہ اکثر بہاوی کاموں پر بہتر کارکردگی کا نتیجہ ہوتا ہے۔ تاہم، کسی وقت مزید ماڈل میں اضافہ GPU/TPU میموری کی حدود کی وجہ سے مشکل ہو جاتا ہے۔ طویل تربیت کے اوقات. ان مسائل کو حل کرنے کے لیے، ہم میموری کی کھپت کو کم کرنے اور تربیت بڑھانے کے لیے پیرامیٹر میں کمی کی دو تکنیکیں پیش کرتے ہیں۔ BERT کی رفتار (Devlin et al.، 2019)۔ جامع تجرباتی ثبوت ظاہر کرتا ہے۔ کہ ہمارے مجوزہ طریقے ان ماڈلز کی طرف لے جاتے ہیں جو اس کے مقابلے میں بہت بہتر ہیں۔ اصل BERT. ہم خود زیر نگرانی نقصان کا بھی استعمال کرتے ہیں جو ماڈلنگ پر مرکوز ہے۔ بین جملے کی ہم آہنگی، اور اسے دکھانا مستقل طور پر بہاو کے کاموں میں مدد کرتا ہے۔ کثیر جملے کے ان پٹ نتیجے کے طور پر، ہمارا بہترین ماڈل جدید ترین جدیدیت قائم کرتا ہے۔ BERT-large کے مقابلے میں کم پیرامیٹرز ہونے کے ساتھ GLUE، RACE، اور Squad بینچ مارکس پر نتائج۔ کوڈ اور پہلے سے تربیت یافتہ ماڈل دستیاب ہیں۔ |
