شیائومی مدل هوش مصنوعی متن‌باز برای رقابت با OpenAI معرفی کرد

شیائومی بی‌سروصدا با معرفی MiMo-7B، اولین مدل هوش مصنوعی متن‌باز در دسترس عموم خود، وارد فضای مدل‌های زبانی بزرگ (LLM) شد.

MiMo-7B محصول تیم تازه تأسیس شیائومی به‌نام Big Model Core Team است و به‌طور خاص بر وظایف نیازمند استدلال سنگین تمرکز دارد و طبق ادعای شیائومی در استدلال ریاضی و تولید کد، از رقبایی چون OpenAI و علی‌بابا عملکرد بهتری دارد.

MiMo-7B یک مدل هفت میلیارد پارامتری است. با وجود اندازه‌ی به‌مراتب کوچک‌تر نسبت‌به اکثر مدل‌های زبانی بزرگ رده‌بالا، شیائومی ادعا می‌کند عملکردش با مدل‌های حجیم‌تر، از جمله o1-mini متعلق به OpenAI و Qwen-32B-Preview از علی‌بابا، برابری می‌کند؛ هر سه مدل توانایی استدلال دارند.

شیائومی می‌گوید دیتاست متراکمی از ۲۰۰ میلیارد توکن استدلالی گردآوری کرده و در مجموع ۲۵ تریلیون توکن را طی سه مرحله به مدل آموزش داده است.

شیائومی به‌جای روش استاندارد پیش‌بینی توکن بعدی، از هدف پیش‌بینی چندتوکنی استفاده کرده و مدعی است این کار زمان استنتاج را بدون کاهش کیفیت خروجی، کوتاه می‌کند.

فرایند پس‌آموزش شامل ترکیبی از تکنیک‌های یادگیری تقویتی (RL) و بهبودهای زیرساختی می‌شود. شیائومی از الگوریتم سفارشی RL به‌نام Test Difficulty Driven Reward برای وظایف پیچیده استفاده کرد و روش Easy Data Re-Sampling برای پایدارسازی آموزش پیاده‌سازی شد.

شیائومی سیستم Seamless Rollout را برای کاهش زمان بیکاری GPU طی آموزش و اعتبارسنجی طراحی کرد که طبق ادعای شیائومی، بهبود ۲٫۲۹ برابری سرعت آموزش و جهش تقریباً ۲ برابری عملکرد اعتبارسنجی را به‌همراه داشته است.

چهار نسخه‌ی عمومی از MiMo-7B دردسترس قرار گرفته است: Base (مدل خام پیش‌آموزش‌دیده)، SFT (تنظیم دقیق با داده‌های نظارت‌شده)، RL-Zero (یادگیری تقویتی از پایه) و RL (مدل بهبودیافته مبتنی‌بر نسخه‌ی SFT با بالاترین دقت ادعاشده).

شیائومی برای ادعاهای خود، چند بنچمارک منتشر کرده؛ نسخه‌ی MiMo-7B-RL در ریاضی امتیاز ۹۵٫۸ در MATH-500 و در AIME 2024 بیش از ۶۸ امتیاز کسب کرد. در کدنویسی، امتیازش در LiveCodeBench v5 برابر ۵۷٫۸ و در نسخه‌ی ۶ کمتر از ۵۰ است.

مدل MiMo-7B هم‌اکنون با مجوز متن‌باز در Hugging Face دردسترس قرار گرفته است.