دلایل بروز توهم در هوش مصنوعی چیست؟ پژوهشگران OpenAI توضیح می‌دهند

در یک پژوهش تازه، محققان OpenAI به بررسی یکی از مهم‌ترین چالش‌های هوش مصنوعی پرداخته‌اند. بر اساس یافته‌های آن‌ها، مدل‌های هوش مصنوعی به دلیل شیوه‌های آموزشی و ارزیابی موجود، به حدس زدن پاسخ‌ها ترغیب می‌شوند، به جای آنکه نسبت به عدم قطعیت پاسخ‌های خود اذعان کنند و این امر به توهمات آن‌ها منجر می‌شود.

در وهله اول، درک مفهوم توهم ضرورت دارد؛ توهم (Hallucination) زمانی به وجود می‌آید که یک مدل زبانی با اعتماد به نفس اطلاعات نادرست را به‌عنوان حقیقت ارائه می‌دهد. این مسئله حتی در پیشرفته‌ترین مدل‌ها نظیر GPT-5 یا Claude قابل مشاهده است. محققان OpenAI در این مطالعه، دلایل این پدیده را تبیین کرده‌اند.

به گفته آن‌ها، در نظام ارزیابی فعلی مدل‌های هوش مصنوعی، حدس زدن یک پاسخ حتی اگر نادرست باشد از اعتراف به نادانی بهتر قلمداد می‌شود. زیرا حدس تصادفی ممکن است امتیاز کسب کند، اما بی‌اعتنایی به سوال (“نمی‌دانم”) هیچ امتیازی به همراه ندارد. این معضل بر تمام مدل‌های پیشرفته، از GPT-5 تا Claude آنتروپیک تاثیر گذاشته و باعث می‌شود کاربران به چت‌بات‌ها اعتماد نکنند.

منشأ توهم در هوش مصنوعی

محققان این پدیده را به یک آزمون چند گزینه‌ای تشبیه می‌کنند. اگر شما به سوالی پاسخ ندهید، شاید با یک حدس شانسی نمره‌ای کسب کنید، اما اگر برگه خود را خالی بگذارید، بی‌شک نمره‌تان صفر خواهد بود. به همین ترتیب، وقتی که مدل‌های هوش مصنوعی اساساً بر اساس “دقت” (یعنی درصد پاسخ‌های صحیح) مورد ارزیابی قرار می‌گیرند، انگیزه پیدا می‌کنند که به‌جای بیان “نمی‌دانم”، حدس‌زنی کنند.

در یک مقاله، محققان اظهار می‌کنند: «انسان‌ها عموماً در جهان واقعی و خارج از محیط آموزشی، اهمیت ابراز عدم قطعیت را یاد می‌گیرند. با این حال، مدل‌های زبانی بیشتر در آزمون‌هایی مورد سنجش قرار می‌گیرند که عدم قطعیت را تنبیه می‌کنند.»

جهت تجزیه و تحلیل دقیق‌تر این موضوع، OpenAI دو مدل جدید خود را به تفکیک مقایسه کرده است:

این جدول به وضوح نشان‌دهنده یک واقعیت واضح است: مدل قدیمی‌تر o4-mini با اینکه کمی دقت بیشتری دارد، اما نرخ خطای آن به مراتب بیشتر است زیرا تقریباً همیشه به حدس‌زنی می‌پردازد. در مقابل، مدل جدیدتر با آنکه در موارد بیشتری از پاسخگویی خودداری می‌کند، اما به میزان کمتری دچار توهم می‌شود.

طبق گفته محققان، یک راه‌حل به‌ظاهر ساده برای حل این مشکل وجود دارد: بازنگری در معیارهای ارزیابی. آن‌ها پیشنهاد می‌کنند که سیستم‌های نمره‌دهی باید به گونه‌ای اصلاح شوند که خطاهای با اطمینان بالا را به‌خاطر عدم دقت بیشتر از ابراز عدم قطعیت تنبیه کنند.

اما علت این توهمات چیست؟ مدل‌های زبانی در مرحله «پیش‌آموزش» از طریق پیش‌بینی کلمه بعدی بر مبنای حجم وسیعی از متون اینترنتی آموزش می‌بینند. در این داده‌ها، الگوهای شناخته‌شده همانند املای کلمات یا قواعد زبان به راحتی قابل فراگیری هستند. اما حقایق خاص و نادر (مثلاً تاریخ تولد یک شخص خاص) از هیچ الگوی قابل پیش‌بینی تبعیت نمی‌کنند. به همین دلیل، زمانی که مدل با چنین سوالاتی مواجه می‌شود، به جای دسترسی به اطلاعات واقعی، محتمل‌ترین ترکیب کلمات را بر اساس داده‌هایش “حدس” می‌زند و در این لحظه، توهم ایجاد می‌شود.