تفکر درازمدت به وضوح باعث کاهش هوش مدل‌های مصنوعی می‌شود
گروهی از پژوهشگران در شرکت هوش مصنوعی آنتروپیک با انجام مطالعاتی متوجه شده‌اند که هرچه مدت زمان تفکر یک مدل هوش مصنوعی افزایش یابد، احتمال کمتری وجود دارد که توانایی آن مدل در پاسخ‌گویی به پرسش‌ها حفظ شود.
طبق گزارش ونچربیت، مدل‌های هوش مصنوعی که برای حل مسائل زمان بیشتری را صرف می‌کنند، همیشه نتایج بهتری ارائه نمی‌دهند و در برخی موارد، عملکرد آن‌ها به‌طور چشمگیری افت می‌کند. این نکته در نتایج تازه‌ترین پژوهش آنتروپیک مشخص شده و به چالش اصلی یکی از فرضیات متداول در صنعت هوش مصنوعی درباره مقیاس‌پذیری می‌پردازد.
کاهش توانایی مدل‌های هوش مصنوعی در حین استدلال طولانی
این تحقیقات تحت سرپرستی «آریو پرادیپتا جما»، متخصص ایمنی هوش مصنوعی در آنتروپیک و سایر پژوهشگران این مؤسسه انجام شده است. در این پژوهش، پدیده‌ای به نام «مقیاس‌پذیری معکوس در محاسبات زمان آزمون» شناسایی شده است. در این سناریو، افزایش مدت زمان استدلال در مدل‌های زبانی بزرگ به طرز معکوس بر عملکرد آن‌ها در انواع مختلف وظایف تأثیر سوء می‌گذارد.
نتایج این تحقیق می‌تواند تبعات مهمی برای شرکت‌هایی داشته باشد که به سیستم‌های هوش مصنوعی با توانمندی‌های استدلال عمیق تکیه می‌کنند.
محققان آنتروپیک مدل‌ها را در چهار دسته مختلف از وظایف آزمایش کرده‌اند: مسائل شمارشی ساده که شامل عواملی حواس‌پرتی، وظایف رگرسیونی با ویژگی‌های گمراه‌کننده، معماهای پیچیده استنتاج و سناریوهایی که به ایمنی هوش مصنوعی مربوط می‌شود.
این پژوهش به اختلافات الگوهای عدم موفقیت در سیستم‌های هوش مصنوعی اشاره می‌کند. به‌عنوان مثال، مدل‌های Claude با افزایش استدلال، بیشتر تحت تأثیر اطلاعات نامرتبط قرار می‌گیرند، درحالی‌که مدل‌های سری o از OpenAI توانایی بهتری در برابر عوامل حواس‌پرتی دارند؛ اما بیش از حد به نحوه تعریف مسئله وابسته هستند.
در وظایف رگرسیونی، تفکر طولانی‌تر باعث می‌شود مدل‌ها از پیش‌فرض‌های منطقی به سمت همبستگی‌های غیرواقعی منحرف شوند که البته ارائه مثال‌ها تا حدی می‌تواند این رفتارها را تعدیل کند.
شاید نگران‌کننده‌ترین ملاحظه برای کاربران سازمانی این است که تمامی مدل‌ها در وظایف استنتاجی پیچیده تحت تأثیر استدلال طولانی‌تر دچار افت عملکرد می‌شوند که نشان‌دهنده دشواری آن‌ها در حفظ تمرکز حین انجام کارهای استنتاجی پیچیده است.
