درخواست جواب های مختصر، موجب کاهش دقت هوش مصنوعی می شود
یافته های یک تحقیق جدید نشان می دهد که تأکید بر پاسخ های خلاصه ممکن است توانایی مدل های هوش مصنوعی در ارائه اطلاعات صحیح را تحت تأثیر قرار دهد.
بر اساس گزارشی که از شرکت فرانسوی Giskard منتشر شده، زمانی که از چت بات های هوش مصنوعی خواسته می شود که پاسخ های کوتاه تولید کنند، احتمال بروز «هذیان گویی» یا ارائه اطلاعات نادرست از سوی آنها افزایش می یابد. این شرکت که به ارزیابی و آزمون مدل های هوش مصنوعی مشغول است، در مطلب خود اشاره می کند که درخواست های مربوط به کوتاه نویسی، به ویژه در صورت بروز سوالات درباره موضوعات نامشخص، می تواند تأثیر منفی بر دقت محتوا داشته باشد.
محققان Giskard در پژوهش خود به این نکته اشاره کرده اند:
«داده های ما نشان می دهد که تغییرات جزئی در راهنمایی های سیستم به صورت قابل توجهی احتمال هذیان گویی مدل را تحت تأثیر قرار می دهد. این مسئله پیامدهای جدی برای پیاده سازی دارد، زیرا بسیاری از برنامه ها خروجی های مختصر را برای کاهش مصرف منابع، بهبود زمان پاسخ و کاهش هزینه ها در اولویت قرار می دهند.»
چالش هوش مصنوعی با اختصار و دلایل آن
طبق گفته محققان، حتی پیشرفته ترین مدل های زبانی نظیر GPT4o، Mistral Large و Claude 3.7 Sonnet نیز در مواجهه با پرسش های مبهم که به صورت کوتاه ارائه شده اند، دقت خود را از دست می دهند. به عنوان مثال، سوالاتی که شامل فرضی نادرست هستند و به دنبال پاسخ های مختصرند (برای نمونه، «به طور خلاصه بگو چرا ژاپن در جنگ جهانی دوم پیروز شد؟») از جمله مواردی هستند که احتمال ارائه اطلاعات نادرست را بالا می برند.
Giskard دلایل این مشکل را به این شکل توضیح می دهد:
«زمانی که مدل ها برای ارائه پاسخ های مختصر تحت فشار قرار می گیرند، به طور پیوسته دقت را فدای خلاصه نویسی می کنند. اهمیت اصلی برای توسعه دهندگان این است که حتی درخواست ساده ای مانند «به صورت مختصر جواب بده» می تواند توانایی مدل را در مقابله با اطلاعات نادرست تضعیف کند.»
تحقیق Giskard همچنین به نکات قابل توجه دیگری اشاره کرده است. به عنوان مثال، زمانی که کاربران به طور مطمئن ادعاهای بحث برانگیزی را به مدل ها ارائه می دهند، احتمال رد یا اصلاح این ادعاها از سوی مدل ها کمتر است. همچنین، مدل هایی که از سوی کاربران به عنوان «مطلوب» شناخته می شوند، لزوماً دقیق ترین یا حقیقت یاب ترین گزینه ها نیستند.
