عملکرد شگفت‌انگیز ChatGPT در رقابت پیش‌بینی اقتصادی جهان

هوش مصنوعی تا چه حد می‌تواند آینده را پیش‌بینی کند؟ این پرسش زمانی مطرح شد که نتایج یک مسابقه‌ی سالانه‌ی پیش‌بینی به‌سرپرستی دیوید سیف، اقتصاددان، منتشر شد؛ مسابقه‌ای مخفی برای اقتصاددان‌ها، مدیران صندوق‌های سرمایه‌گذاری و مدیران حوزه‌ی فناوری.

این رقابت که برای هفتمین بار برگزار شد، از شرکت‌کننده‌ها می‌خواهد احتمال وقوع حدود ۳۰ رویداد را در حوزه‌ی سیاست، اقتصاد، کسب‌وکار، علم، فرهنگ و ورزش اعلام کنند. از پیش‌بینی نامزدی تیلور سویفت و تراویس کلسی تا پذیرش یورو در بلغارستان.

سم لفل، مدیر یک صندوق سرمایه‌گذاری، هنگام واردکردن پاسخ‌ها تصمیم گرفت از ChatGPT هم استفاده کند. او قوانین پیچیده‌ی بازی را برای ChatGPT فرستاد و مدل در چند ثانیه اعلام کرد که آماده‌ی ارائه‌ی درصدهای احتمالات است. لفل همه‌ی پرسش‌ها را وارد کرد و ChatGPT به‌سرعت برای هرکدام عدد ارائه داد؛ عددهایی که گاهی بر پایه‌ی محاسبات آماری بودند، نه تحلیل کیفی.

۱۶۰ شرکت‌کننده وارد رقابت شدند و با وقوع رویدادها، سیف امتیازها را به‌روزرسانی می‌کرد. هرچه فاصله‌ی پیش‌بینی با نتیجه‌ی واقعی بیشتر باشد، امتیاز بالاتر و بدتر می‌شود.

در پایان بازی، سیف برای نخستین‌بار برنده شد. ChatGPT رتبه‌ی ۸۰ را به‌دست آورد؛ یعنی دقیقاً در حد میانگین شرکت‌کننده‌ها. برخی این نتیجه را نشانه‌ی ضعف و برخی نشانه‌ی توانمندی مدل دانستند.

از دید سیف، معیار مهم‌تری وجود دارد: اگر برای همه‌ی رویدادها احتمال ۵۰ درصد انتخاب می‌شد، امتیاز ۷۵ هزار به‌دست می‌آمد. امتیاز ChatGPT حدود ۸۲,۹۲۵ بود؛ یعنی از این معیار پایین‌تر و با ارزش افزوده‌ی منفی.

مدل در رویدادهایی که سوابق کافی داشتند عملکرد بهتر و در مواردی که به اطلاعات تازه و پیگیری اخبار نیاز بود عملکرد ضعیف‌تری داشت. نمونه‌اش پیش‌بینی ۹۵ درصدی برای بازگشت فضانوردان ناسا تا اول مارس (۱۱ اسفند) بود، در حالی‌که در پایان ۲۰۲۴ روشن شده بود این مأموریت تا آن تاریخ انجام نمی‌شود.

لفل معتقد است این نتیجه ملاحظاتی دارد. پیش‌بینی‌ها با نسخه‌ی قدیمی‌تر ChatGPT انجام شد؛ مدلی که از آن زمان پیشرفت کرده است. ChatGPT توانست قوانین پیچیده و ۳۰ پرسش را در چند دقیقه پردازش کند، در حالی‌که انسان‌ها ساعت‌ها برای بررسی هر موضوع وقت گذاشتند. از دید لفل، اگر نتیجه را نسبت‌به زمان صرف‌شده بسنجیم، شاید ChatGPT برنده هم باشد.

او می‌گوید در دنیای سرمایه‌گذاری که نیاز به ارزیابی تعداد زیادی احتمال وجود دارد، استفاده از ابزارهای هوش مصنوعی دیگر امری بدیهی شده و اگر قرار باشد به‌جای ۳۰ رویداد، ۳۰ هزار رویداد پیش‌بینی شود، سرعت و «به‌اندازه‌ی کافی خوب‌بودن» هوش مصنوعی می‌تواند مزیت بزرگی باشد.