متا ادعای دست‌کاری عمدی در نتایج بنچمارک هوش مصنوعی Llama 4 را رد کرد

در پی انتشار شایعاتی مبنی‌بر دستکاری نتایج بنچمارک مدل‌های جدید هوش مصنوعی متا، یکی از مدیران ارشد شرکت، ادعاهای مذکور را رد کرد. احمد الضاحل، معاون واحد هوش مصنوعی مولد در متا گفت: «این ادعا که متا مدل‌های Llama 4 Maverick و Llama 4 Scout را با استفاده از مجموعه داده‌های تست آموزش داده است، به‌هیچ‌وجه صحت ندارد.»

مجموعه داده‌های تست در حوزه‌ی هوش مصنوعی، برای ارزیابی عملکرد مدل پس از آموزش استفاده می‌شوند و آموزش مدل با چنین داده‌هایی می‌تواند به‌طور غیرواقعی امتیازهای بنچمارک را افزایش دهد و توانایی مدل را بیشتر از حد واقعی، نشان دهد. این دقیقاً همان موضوعی بود که باعث شکل‌گیری شایعه‌ی اخیر شد.

یکی از نکات بحث‌برانگیز، استفاده‌ی متا از نسخه‌ای آزمایشی و منتشرنشده‌ی مدل Maverick برای ثبت امتیازهای بهتر در بنچمارک LM Arena بود. برخی پژوهشگران در ایکس، تفاوت‌های چشمگیری بین نسخه‌ی عمومی مدل و نسخه‌ای که در LM Arena اجرا شده است، مشاهده کرده‌اند.

الضاحل با تأیید اینکه برخی کاربران تجربه‌ی کیفیت متفاوتی از این مدل‌ها در سرویس‌های ابری مختلف دارند، توضیح داد: «ما مدل‌ها را بلافاصله پس از آماده‌شدن منتشر کردیم، بنابراین انتظار داریم مدتی طول بکشد تا پیاده‌سازی‌های عمومی به ثبات برسند. در حال رفع اشکالات و همکاری با شرکایمان برای بهبود وضعیت هستیم.»