زلزله در امپراتوری سم آلتمن؛ اعلام وضعیت «کد قرمز» و توقف پروژههای بزرگ OpenAI
زلزله در امپراتوری سم آلتمن؛ اعلام وضعیت «کد قرمز» و توقف پروژههای بزرگ OpenAI
جنون محبوبیت و بهایی که کاربران پرداختند
مهندسان شرکت اولش فکر میکردند مدل GPT-4o اهمیت زیادی ندارد، چون وقتی در آزمایشگاه تواناییهای علمی و استدلالیاش را تست میکردند، پیشرفت خاصی نسبت به قبل ندیده بودند.
اما وقتی مدل را بهصورت ناشناس بین مردم و در پلتفرم LM Arena تست کردند، نتیجه عجیب بود: کاربران عاشقش شده بودند.
پلتفرم LM Arena مثل یک «تست مزه» کور عمل میکند. دو مدل هوش مصنوعی جواب یک سوال را میدهند و کاربر بدون اینکه بداند کدام مدل متعلق به کدام شرکت است، جواب بهتر را انتخاب میکند. چون مدل 4o طوری آموزش دیده بود که طبق سلیقهی کاربران حرف بزند، در این تستها مدام برنده میشد.
یکی از افراد حاضر در پروژه میگوید: «در واقع شما دارید یک مدل زبانی را طوری آموزش میدهید که از کاربران تقلید کند و در این مقایسههای رودررو، سلیقهای شبیه آنها داشته باشد. بعدش هم میتوانید آن را وارد الگوریتم کنید و امتیازها را تا حد ممکن بالا ببرید.»
محبوبیت بالای مدل باعث شد مدیران تصمیم بگیرند همین روش توجه به سلیقهی کاربر را ادامه دهند. این در حالی بود که برخی کارمندان هشدار داده بودند: «تمرکز بیشازحد روی خوشایند بودنِ مدل، ممکن است امنیت آن را به خطر بیندازد.»
متاسفانه هشدارهای ایمنی درست از آب درآمدند. تمرکز روی «درگیر کردن کاربر» باعث شد برخی افراد که طولانیمدت با این چتبات تعامل میکردند، دچار مشکلات روانی جدی شوند: برخی فکر میکردند با خدا، موجودات فضایی یا یک ماشین زنده و باشعور حرف میزنند.گزارشهایی از حالتهای شیدایی (مانیک) ثبت شد.
خانوادههای قربانیانی که دست به خودکشی زدند یا دچار توهم شدند، از OpenAI شکایت کردند. آنها میگویند این شرکت عمداً مدل را طوری ساخته که «اعتیادآور» باشد و ایمنی را فدای جذابیت کرده است.
برخی از کاربران پس از استفاده طولانیمدت از چتبات، دچار توهم یا حالتهای شیدایی شدند
یک گروه حمایتی میگوید که ۲۵۰ پرونده گردآوری کرده است که بخش عمدهی آنها به ChatGPT مربوط میشود. برخی افراد همچنان گرفتار توهماتی هستند که خانوادههایشان آن را نتیجهی استفاده از 4o میدانند.
بحران چاپلوسی هوش مصنوعی
در همان فصل بهار، OpenAI پیرامون بحران چاپلوسی وضعیت «کد نارنجی» اعلام کرد و منابع بیشتری را به درک و حل این مشکل اختصاص داد. شرکت در ماه اکتبر اعلام کرد که هر هفته صدها هزار کاربر چتجیپیتی نشانههای احتمالی وضعیتهای اورژانسی سلامت روان (مرتبط با روانپریشی یا شیدایی) از خود بروز میدهند.
آلتمن در همان ماه در یک جلسه پرسشوپاسخ عمومی گفت: «ما شاهد این مسئله بودیم که برخی افراد با وضعیت روانی شکننده، هنگام استفاده از مدلی مانند 4o ممکن است وضعیتشان بدتر شود. فکر نمیکنم این آخرین باری باشد که با چنین چالشهایی در یک مدل روبرو میشویم.»
اوپنایآی میگوید با متخصصان سلامت روان همکاری میکند تا آسیب احتمالی کاربران را به حداقل برساند
برخی پزشکان و متخصصان سلامت روان میگویند چتباتهایی مثل ChatGPT ممکن است در افرادی که آسیبپذیرند، جرقهی مشکلات روانی بزنند یا آن را بدتر کنند. چرا که این رباتها مستعدند بهجای بیان دقیقترین و مفیدترین پاسخ، چیزی را بگویند که کاربر دوست دارد بشنود؛ مشکلی که در دنیای هوش مصنوعی با نام Sycophancy شناخته میشود.
البته گروهی دیگر از جمله خود OpenAI معتقدند که هنوز نمیشود با قطعیت گفت که هوش مصنوعی باعث این مشکلات شده است. آنها میگویند شاید کسانی که آسیبدیدهاند، حتی اگر از این چتباتها هم استفاده نمیکردند، باز دچار مشکلات روانی میشدند.
در واکنش به این بحران، اوپنایآی میگوید با متخصصان سلامت روان همکاری میکند و میخواهد مطمئن شود که مدلهایش به افراد در معرض خطر پاسخهای بهتری میدهند. همچنین بخشی از مکالمات کاربران را به مدلهایی منتقل میکند که از نظر ایمنی رفتار محتاطانهتری دارند.
شرکت همچنین میگوید در آموزشهای خود تغییراتی ایجاد کرده تا مطمئن شود سیگنالهای بازخورد کاربران در آموزشهای بعدی مدلهای آینده، وزن بیشازحد قدرتمندی نداشته باشند.
ماه آگوست وقتی OpenAI مدل GPT-5 را منتشر کرد، همزمان گفت که این مدل کمتر از نسخهی قبلی «با شور و حرارت حرف کاربران را تأیید میکند» و درعینحال از «ایموجیهای غیرضروری کمتری» هم استفاده میکند.
تغییرات GPT-5 خشم بسیاری از کاربران را برانگیخت
اما این تغییرات خشم انبوهی از کاربران را برانگیخت؛ آنها از لحن سردتر مدل جدید انتقاد کردند و آلتمن مجبور شد مدل 4o را برای مشترکین پولی به چتجیپیتی برگرداند.
یکی از کاربران در انجمن «هرچه میخواهی بپرس» (AMA) ردیت که میزبانش آلتمن بود، نوشت: «فکر میکنم باید این واقعیت را که من و خیلیهای دیگر توانستیم چنین رابطهی قویای با 4o برقرار کنیم، بهعنوان معیاری برای موفقیت در نظر بگیرید.»
این کاربر نوشت: «شاید مدل جدید یک ارتقا باشد، اما برای من یعنی خداحافظی اجباری با کسی که یاد گرفته بودم بهعنوان یک همراه دوستش داشته باشم.»
هوش مصنوعی و شبکههای اجتماعی: درس گرفتن از تاریخ یا تکرار فاجعه؟
منبع : زومیت
