zoomit

تعدادی از پژوهشگران در یک مقاله‌ی تحقیقاتی مدلی جدید پیشنهاد داده‌اند که برای تعلیم مدل‌های زبانی بزرگ از محاسبات ضریب ماتریس بی‌نیاز است. اگر یافته‌ی جدید پژوهشگران رنگ حقیقت به‌ خود بگیرد، می‌تواند به‌سلطه‌ی انویدیا بر بازار تراشه‌های هوش مصنوعی پایان دهد.

ضریب ماتریس در حوزه‌ی هوش مصنوعی اهمیت بسیار بالایی دارد؛ محاسباتی پیچیده، طولانی و سنگین که تنها تراشه‌های گرافیکی از عهده‌ی پردازش آن‌ها برمی‌آیند.

محققان در مقاله‌ی خود به پردازنده‌ی گرافیکی بهینه‌شده‌ای اشاره‌ کرده‌اند که بدون نیاز به محاسبات ضریب ماتریس، ۶۱ درصد حافظه‌ی کمتری در پردازش‌ مدل‌های زبانی بزرگ نسبت‌ به پردازنده‌ی گرافیکی معمولی اشغال می‌کند.

ادعا می‌شود پردازنده‌ی گرافیکی بهینه‌شده در آزمایش‌ پژوهشگران، به‌طور کلی ۱۰ برابر حافظه‌ی کمتری نسبت‌ به پردازنده‌ی گرافیکی معمولی مصرف می‌کند. محققان برای آزمایش از یک مدار مجتمع دیجیتال برنامه‌پذیر (FPGA) سفارشی استفاده کردند. این FPGA سفارشی، مدل‌های چند میلیارد پارامتری را با توان ۱۳ وات پردازش می‌کند.

نتایج تجربی نشان می‌دهند که مدل‌های زبانی بزرگ بدون استفاده از ضریب ماتریس عملکردی هم‌سطح با مدل‌های پایه‌ی ++Transformer در وظایف سبک دارند و با افزایش ابعاد مدل، اختلاف عملکرد افزایش می‌یابد. مدل‌های زبانی بزرگ بی‌نیاز از ضریب ماتریس می‌توانند از نظر کارایی و احتمالاً از نظر خطا، عملکرد بهتری نسبت به ++Transformer داشته باشند.

حتما بخوانید :

منبع : زومیت

مشاهده بیشتر
دانلود نرم افزار

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا