ادعای ۲۹۴ هزار دلاری دیپ‌سیک برای آموزش مدل R1؛ شفافیت یا ابهام تازه؟
ادعای ۲۹۴ هزار دلاری دیپ‌سیک برای آموزش مدل R1؛ شفافیت یا ابهام تازه؟
دیپ‌سیک مستقر در هانگژو اعلام کرده مدل R1 را طی ۸۰ ساعت با استفاده از ۵۱۲ تراشه H800 انویدیا آموزش داده است؛ رقمی بسیار پایین‌تر از برآوردهای شرکت‌های آمریکایی. برای مقایسه، سم آلتمن مدیرعامل اوپن‌اِی‌آی سال ۲۰۲۳ گفته بود هزینه آموزش مدل‌های پایه این شرکت «بسیار بیش از» ۱۰۰ میلیون دلار بوده است.
به گزارش نیوزلن و به تک‌اسپات، با این حال، گزارش شرکت تحقیقاتی SemiAnalysis تصویر متفاوتی ارائه می‌دهد. طبق این گزارش، دیپ‌سیک در مقیاسی بسیار بزرگ‌تر فعالیت کرده و به حدود ۵۰ هزار پردازنده گرافیکی هوپر انویدیا، از جمله ۱۰ هزار H800 و ۱۰ هزار H100، دسترسی داشته است.
این نهاد برآورد می‌کند سرمایه‌گذاری واقعی دیپ‌سیک شامل ۱/۶ میلیارد دلار هزینه سرورها، حدود ۹۴۴ میلیون دلار هزینه عملیاتی و بیش از ۵۰۰ میلیون دلار صرف خرید GPU بوده است.
روش‌های توسعه و استفاده از داده‌های خارجی
دیپ‌سیک در مقاله نیچر ضمن تأیید استفاده اولیه از واحدهای A100 اذعان کرده است که در مدل V3 بخشی از داده‌های آموزشی شامل پاسخ‌های تولیدشده توسط سیستم‌های اوپن‌اِی‌آی بوده است. این شرکت مدعی است این داده‌ها به‌طور غیرمستقیم از طریق خزیدن وب وارد مجموعه شده‌اند و نه با هدف کپی‌برداری عمدی.
منتقدان، از جمله مقام‌های آمریکایی، بارها به نقش پررنگ روش «دیستیلیشن» در پیشرفت دیپ‌سیک اشاره کرده‌اند؛ روشی که طی آن مدل جدید از خروجی‌های یک مدل دیگر آموزش می‌بیند. دیپ‌سیک اما این روش را ابزاری برای ساخت سیستم‌های کارآمدتر و مقرون‌به‌صرفه‌تر می‌داند.
