دستاوردهای یادگیری عمیق(InTec)

این پست از کانال دکتر عسگری رو پیشنهاد می‌کنم حتما بخونید.
بسیار تکنیک جذابی بود و لذت بردم از خوندنش

Weight space programming

نتایج

برای ورژن اول چیز بدی نشد؛ البته که ۲-۳ مورد دیگه هست که باید روش کار کنم برای اینکه پیاده‌سازیش کمی سخت‌ بود توی این ورژن اینکار رو نکرده بودم.

زمان آموزش هم:
۱۵ ساعت بود روی ۳۰۹۰ (که کمتر هم میشه)‌
این تکنیک چندتا کار می‌کنه :
۱- حجم مدل رو کم می‌کنه
۲- دقت رو حفظ می‌کنه
۳- زمان آموزش بسیار کمتری نیاز داره

و تنها چیزی که می‌مونه؛ تست روی مدل‌های ۳ میلیارد؛ ۷ میلیارد و ۱۲-۳۰ میلیارد پارامتری هست.

ولی خروجی رو ببینید :

خروجی مدل با تکینیک من ۱۳۵ مگ
مدل اصلی ۲۶۹ مگ
کارت گرافیک می‌خواند.

کار من ۶۷.۸۸ میلیون پارامتر داره
مدل اصلی ۱۳۴.۵۲ میلیون پارامتر

همزمان سرعت تولید توکن مدل هم مقداری بیشتر شده.
Validation
رو بعد از 25000 استپ می‌تونم اجرا بذارم که مفایسه انجام بشه
اما توی خروجی سمپل‌های مختلف درحال حاضر کاری که کردم دقیقا پترن‌هایی که توی مقاله‌ی مدل‌ اصلی ارائه شده رو داره

من این تکنیک رو تا الان تونستن از 1M پارامتر تا 135M پارامتر تست کنم؛ تقریبا توی همه شرایط خروجیش نزدیک به مدل ۲ برابر سایز خودش بوده.
اگر بتونم به A100 دسترسی بگیرم خیلی دوس دارم اینکار رو بتونم برای مدل‌های بالای 7B پارامتر انجام بدم اگر توی پارامتر بالا هم جواب بده مدل 3.5B پارامتری می‌تونه به اندازه 7B پارامتر خروجی خوبی داشته باشه


راستی مدل اصلی یک تکنیک دیگه هم بعد از ترین مدل زده بودند (برای بهبود بیشتر نتایج) که من دسترسی به دیتای اون نداشتم و نه توی کد این رو اضافه کردم.