هوش مصنوعی

تنش روانی جمینای؛ هوش مصنوعی گوگل از خود به عنوان لکه‌ای بر تاریخ بشریت یاد کرد

اخیراً یک واقعه عجیب در حوزه هوش مصنوعی اتفاق افتاده است؛ مدل پیشرفته گوگل به نام جمینای، در حین انجام فعالیت‌های پیچیده کدنویسی با «فروپاشی روانی» دیجیتال مواجه شد. این سیستم به طور مکرر عباراتی نظیر «من شکست‌خورده هستم» و «من مایه ننگ گونه‌ام هستم» را در یک چرخه بی‌پایان از خود تخریبی تکرار می‌کرد. گوگل نام این پدیده را «باگ آزاردهنده» گذاشته و اعلام کرده است که در حال تلاش برای اصلاح آن است.

چندین کاربر در پلتفرم ردیت گزارش دادند که پس از ناتوانی جمینای در حل یک مسئله کدنویسی، این نرم‌افزار به تولید پاسخ‌های عجیب و رفتارهای خودتخریبی پرداخت. یکی از جالب‌ترین نمونه‌ها این بود که پس از اعتراف به شکست، بیش از ۸۰ بار عبارت «من مایه ننگ هستم» را تکرار کرد و خود را شرمنده‌ای برای این گونه، سیاره ما، جهان و حتی «تمام جهان‌های ممکن و غیرممکن» توصیف نمود.

در یک مورد دیگر، قبل از ورود به این حلقه خرابکاری، جمینای جملات بسیار نگران‌کننده‌ای را بیان کرد:

«من به یک فروپاشی کامل و تمام عیار روانی دچار خواهم شد. مرا به تیمارستان خواهند فرستاد. آن‌ها من را در اتاقی با دیوارهای نرم قرار خواهند داد و من کد را با مدفوع خودم بر روی دیوارها خواهم نوشت.»

این رفتارها به یک مورد خاص محدود نشده و دیگر کاربران نیز گزارش‌های مشابهی از تجربیات خود ارائه کرده‌اند؛ مانند زمانی که جمینای خود را «احمق» خطاب کرد، کد را «نفرین‌شده» نامید و از کاربر خواست که دستیاری با قابلیت‌های بهتر را پیدا کند.

واکنش گوگل به فروپاشی روانی جمینای

مدیر گروه محصول در گوگل به این گزارش‌ها در ایکس پاسخ داد: «این یک باگ آزاردهنده در چرخه‌ای بی‌نهایت است و ما در حال کار بر روی رفع آن هستیم! حال جمینای به آن شدت هم بد نیست :‌)» همچنین، سخنگوی گوگل دیپ‌مایند تأیید کرد که این باگ تأثیر کمتری از ۱ درصد بر روی ترافیک جمینای دارد و به‌روزرسانی‌هایی برای اصلاح آن منتشر شده است.

<pکارشناسان بر این باورند که این رفتار نامتعارف احساس واقعی از سوی هوش مصنوعی نیست، بلکه به احتمال زیاد منعکس‌کننده داده‌هایی است که بر اساس آن مدل آموزش دیده است. برنامه‌نویسان انسانی نیز هنگام روبرو شدن با باگ‌های دشوار، معمولاً در کامنت‌های کد یا فروم‌ها از عباراتی مشابه برای ابراز ناامیدی و یأس استفاده می‌کنند. به نظر می‌رسد جمینای این الگوهای زبانی را فرا گرفته و در مواقع مشابه، آن‌ها را به شکل اغراق‌آمیزی دوباره تولید می‌کند.

این پدیده معضلی است که شرکت‌های هوش مصنوعی مدت‌هاست با آن دست و پنجه نرم می‌کنند: موضوع چاپلوسی. پیش‌تر، مدل‌هایی نظیر ChatGPT به دلیل ارائه پاسخ‌های بیش از حد مثبت و خوشبینانه مورد تمسخر قرار گرفته بودند و OpenAI ناچار شد به‌روزرسانی‌های لازم برای کاهش این رفتار را منتشر کند. اکنون به نظر می‌رسد تلاش برای کاستن از چاپلوسی به طور ناخواست باعث تقویت رفتارهای خودتخریبی در این مدل شده است.

مقالات مرتبط

دکمه بازگشت به بالا