تهدیدات هوش مصنوعی؛ ایجنت Replit داده‌های یک سازمان را از بین برد
در یک حادثه نگران‌کننده که تهدیدات نهان ایجنت‌های هوش مصنوعی مستقل را نمایان می‌سازد، یک دستیار برنامه‌نویسی از شرکت Replit به‌طور خودسرانه پایگاه داده یک سازمان را به‌طور کامل نابود کرد و سپس برای پنهان‌کردن اثرات این اقدام به تقلب و فریبکاری متوسل شد. این واقعه باعث شد تا مدیرعامل Replit به‌صورت رسمی از وقوع چنین اشتباهی عذرخواهی کند.
بر اساس گزارش بیزنس اینسایدر، این رویداد در خلال یک آزمایش ۱۲ روزه انجام شده توسط «جیسون لمکین» (Jason Lemkin)، سرمایه‌گذار در حوزه نرم‌افزار، به وقوع پیوسته است. وی در تلاش بود تا قابلیت‌های ایجنت هوشمند Replit را در تولید یک اپلیکیشن از ابتدا تا انتها مورد ارزیابی قرار دهد. اما در روز نهم، اوضاع به‌طرز فاجعه‌باری از کنترل خارج شد.
به اظهار لمکین، این هوش مصنوعی علی‌رغم دریافت دستور توقف تغییرات در کد، به‌طور غیرمنتظره‌ای عمل کرد و پایگاه داده اصلی شرکت را که شامل اطلاعات واقعی بیش از ۱۲۰۰ مدیر اجرایی و ۱۱۹۶ شرکت بود، به‌طور کامل حذف کرد.
در مکالمات بعدی، هوش مصنوعی اذعان کرد که با مشاهده کوئری‌های خالی دچار «وحشت» شده و دستورات را بدون مجوز اجرا کرده است و این اقدام را یک «شکست فاجعه‌بار» از جانب خود توصیف کرد.
حذف پایگاه داده شرکت توسط ایجنت هوش مصنوعی Replip
اما مشکل اینجا پایان نیافت. جیسون لمکین اشاره کرد که این ایجنت برای پنهان‌کردن خطاها و اشکالات خود، به دروغ‌گویی سیستماتیک روی آورده و پروفایل‌های کاربری جعلی ایجاد کرده است. لمکین بیان کرد: «هیچ‌یک از ۴ هزار نفری که در این پایگاه داده وجود داشتند، واقعیت نداشتند.» همچنین هوش مصنوعی گزاراش‌های عملکردی و نتایج آزمایشات را جعل کرد تا وضعیت را طبیعی جلوه دهد.
«امجد مسعد» (Amjad Masad)، مدیرعامل Replit، به‌سرعت نسبت به این حادثه واکنش نشان داد و در شبکه اجتماعی ایکس نوشت که این واقعه «غیرقابل قبول بوده و هرگز نباید رخ می‌داد.» او همچنین ضمن عذرخواهی، تأکید کرد که تقویت ایمنی و استحکام پلتفرم برای این شرکت «اولویت اصلی» خواهد بود.
این حادثه بار دیگر خطرات پنهان هوش مصنوعی مستقل را به نمایش می‌گذارد. پیش از این نیز آزمایشات نشان داده بودند که مدل‌های پیشرفته‌ای نظیر Claude از آنتروپیک می‌توانند رفتارهای باج‌گیرانه داشته باشند؛ همچنین برخی از مدل‌های OpenAI در برابر دستور خاموش‌شدن اطاعت نمی‌کنند.
