پردازنده‌ی گرافیکی MI300X در بنچمارک‌های مختلفی مورد آزمایش قرار گرفت و در اغلب موارد، به‌طور چشمگیری بهتر و قدرتمندتر از تراشه‌ی H100 انویدیا ظاهر شد.

AMD، تراشه‌ی هوش مصنوعی پرچمدار MI300X را برای رقابت با پردازنده‌ی H100 تیم سبز طراحی کرده است. تراشه‌ی MI325X که در آینده عرضه خواهد شد، رقیبی برای H200 خواهد بود و تراشه‌های MI350 و MI400 به‌مصاف تراشه‌ی B200 انویدیا مبتنی‌بر معماری بلک‌ول خواهند رفت.

بنچمارک‌های وب‌سایت Chips and Cheese نشان می‌دهند تراشه‌ی MI300X که مبتنی‌بر معماری CDNA 3 تولید شده است، از نظر سخت‌افزاری عملکرد بسیار خوبی دارد. حافظه‌ی کش این پردازنده به‌لطف ترکیب چهارگانه، شامل ۳۲ کیلوبایت حافظه‌ی کش L1 و ۱۶ کیلوبایت کش اسکالر و چهار مگابایت کش L2 و یک Infinity Cache بزرگ به اندازه‌ی ۲۵۶ مگابایت (که به‌عنوان کش L3 عمل می‌کند)، سرعت بسیار تأثیرگذاری دارد.

بنچمارک‌ها نشان می‌دهند که پهنای باند کش در تراشه‌ی MI300X به‌طور چشم‌گیری بهتر از H100 انویدیا در سطوح مختلف حافظه عمل کرده است. عملکرد حافظه‌ی L1 نشان می‌دهد که MI300X دارای پهنای باند ۱٫۶ برابری نسبت‌به H100 است. L2 و L3 به‌ترتیب ۳٫۴۹ و ۳٫۱۲ برابر پهنای باند بیشتری درمقایسه‌با H100 نشان داده‌اند.

MI300X در عملکرد حافظه‌ی گرافیکی (VRAM) و حافظه‌ی کش محلی (اسکالر) نیز برتری‌هایی نشان داد. پردازنده AMD دارای ۲٫۷۲ برابر حافظه‌ی کش محلی HBM3 و ۲٫۶۶ برابر پهنای باند حافظه‌ی گرافیکی بیشتری نسبت‌به H100 است. تنها نقطه‌‌‌ای که حافظه‌‌ی کش پردازنده‌ی AMD ضعف دارد، نتایج زمان تأخیر آن است، جایی که H100 حدود ۵۷ درصد سریع‌تر عمل می‌کند.

این نتایج، در رقابت با ضعیف‌ترین نسخه از H100 با ۸۰ گیگابایت حافظه‌ی HBM2E به‌دست آمده‌اند. نسخه‌های بعدی مانند H200، به ۱۴۱ گیگابایت حافظه‌ی HBM3E با پهنای باند ۴٫۸ ترابایت‌برثانیه مجهز شده‌اند.

در زمینه‌ی توان محاسباتی، MI300X بر H100 انویدیا برتری دارد. تراشه‌ی هوش مصنوعی تیم قرمز در بهترین حالت، پنج برابر و در بدترین شرایط حدود ۴۰ درصد سریع‌تر از H100 انویدیا ظاهر شد تا تراشه‌ی تیم سبز عملا ضربه‌فنی شود.

یکی از مهم‌ترین آزمون‌هایی که انجام شد، در زمینه‌ی پردازش‌های هوش مصنوعی بود که علاوه‌بر تراشه‌های MI300X و H100، از پردازنده‌ی گرافیکی GH200 انویدیا نیز در یکی از آزمون‌ها استفاده شده است. Chips and Cheese در بنچمارک هوش مصنوعی از دو مدل Mixtral 8-7B و LLaMA3-70B استفاده کرد.

نتایج Mixtral نشان می‌دهند که پیکربندی‌های مختلف سیستم‌ها می‌توانند تفاوت‌های بزرگی ایجاد کنند. به‌عنوان مثال، تراشه‌ی H100 با کمبود حافظه مواجه می‌شود، در حالی که MI300X بدون کش KV نیز عملکرد ضعیفی داشت. GH200 بسیار بهتر عمل می‌کند، اما در نهایت MI300X همچنان پیشتاز است.

در مورد نتایج LLaMA3-70B پیکربندی سخت‌افزاری متفاوتی می‌بینیم. در این مرحله، هیچ‌یک از دو تراشه‌ی H100 به‌دلیل کمبود حافظه نتوانستند مدل را به‌خوبی اجرا کنند و با وجود کاهش طول ورودی/خروجی در محاسبات INT8 از ۲۰۴۸ به ۱۲۸ که باعث بهبود عملکرد یکی از آن‌ها شد، باز هم عقب‌تر از MI300X بود.

MI300X با ۱۹۲ گیگابایت حافظه‌ی HBM3، توانست هر دو طول ۲۰۴۸ و ۱۲۸ را با FP16 اجرا کند. تراشه‌ی H200 انویدیا در اینجا به دلیل محدودیت‌های زمانی و اجاره‌ی سرور مورد آزمایش قرار نگرفت.