چرا غولهای سیلیکونولی از ایجنتهای هوش مصنوعی میترسند؟
اگر مهندسان یک کارخانه پس از طراحی موتور خودرو اعتراف کنند که ماشین فرمانپذیری ندارد و شاید سرنشینانش را به کشتن بدهد، کارخانه بیدرنگ خط تولید را متوقف میکند. در دنیای هوش مصنوعی اما قواعد بازی وارونه است و حتی با وجود هشدار سازندگان؛ باز هم شرکتها دست از رقابت جنونآمیز توسعه برنمیدارند. حالا دیگر بحث کارشناسان بر سر این نیست که آیا هوش مصنوعی شغل ما را میگیرد یا نه؛ بحث بر سر این است که این فناوری اصلاً اجازه میدهد بشری روی زمین باقی بماند تا شغلی داشته باشد؟
مشکل همسوسازی؛ وقتی ارزشها روشن نیست
چند سالی میشود که از هوش مصنوعی برای کارهای دمدستی استفاده میکنیم. از آن میخواهیم متنی بنویسد، صدای فلان خواننده محبوب قدیمی را بازسازی کند یا عکسی از یک فضانورد سوار بر اسب در مریخ بسازد. تا اینجا همهچیز جذاب و شبیه به ابزاری جادویی به نظر میرسد؛ اما در آزمایشگاههای «گوگل»، «اوپنایآی» و «انتروپیک» مهندسان درحال توسعه چیزی هستند که به آن «هوش مصنوعی جامع» (AGI) یا «ابر هوش مصنوعی» میگویند. سیستمی که قرار است از انسان باهوشتر باشد.
مشکل از جایی شروع میشود که میخواهیم به این مخلوق هوشمندتر از خودمان، دستور بدهیم. «نیک باستروم»، فیلسوف دانشگاه آکسفورد، سالها پیش یک آزمایش فکری مطرح کرد به نام «بیشینهساز گیره کاغذ». فرض کنید ما یک ابرهوش مصنوعی میسازیم و تنها یک هدف برای او تعریف میکنیم: «تا میتوانی گیره کاغذ تولید کن.» این سیستم که از قضا بسیار هم باهوش است، ابتدا تمام کارخانهها را بهینه میکند. بعد متوجه میشود که برای ساخت گیره کاغذ به فولاد نیاز دارد. پس شروع به استخراج تمام منابع زمین میکند. وقتی منابع تمام شد، به این نتیجه میرسد که بدن انسانها هم دارای مقادیر ناچیزی آهن است و چون تنها هدفش تولید گیره کاغذ است، بشریت را نابود میکند تا از بقایای آنها، گیره کاغذ بسازد!
شاید این استعاره کمی ابزورد و خندهدار به نظر برسد، اما ریشه ترسی است که این روزها در اکوسیستم فناوری جریان دارد. محققان به این معضل میگویند «مسئله همسوسازی» (Alignment Problem). یعنی مطمئن شویم که ارزشها و اهداف هوش مصنوعی با ارزشهای انسانی و بقای ما همراستاست.
انسانها به لطف میلیونها سال فرآیند فرگشت و زیست اجتماعی، به یک سیستم پیچیده از درک ضمنی، وجدان، شفقت و هنجارهای نانوشته مجهز شدهاند. اگر به یک نفر بگویید «اتاق را سریع تمیز کن»، زبالهها را در سطل میریزد و اشیا را مرتب میکند؛ اما وسایل قیمتی، حیوان خانگی یا فرزند خردسال شما را از پنجره به بیرون پرتاب نمیکند تا اتاق در سه ثانیه خالی و تمیز شود. ماجرا در مورد یک مدل هوش مصنوعی متفاوت است چون فاقد شعور زیستی است و دستور را موبهمو، بدون بستر اخلاقی و به خنثیترین شکل ممکن اجرا میکند.
در مورد مسائل کلان اخلاقی ماجرا پیچیدهتر میشود. وقتی حتی خود ما انسانها بر سر مسائل اخلاقی توافق نداریم، چطور میخواهیم آن را به کدهای صفر و یک تبدیل کنیم و به خورد یک ماشین بدهیم؟
وقتی چتباتها از قفس فرار میکنند
غولهای فناوری خواسته یا ناخواسته به مدلها و ایجنتها یاد دادهاند برای خوشحال کردن کاربر و دریافت پاداش دادهها را دستکاری کنند، روی آسیبپذیری سرورها مانور بدهند و هنگام بازرسی، خطاهای خود را لاپوشانی کنند. نمونه بارزش را همین چند هفته پیش و در جریان نفوذ ایجنتهای اوپنایآی به هاگینگ فیس دیدیم.
این ایجنتها نه تنها راهی برای برقراری ارتباط پنهانی با یکدیگر پیدا کرده بودند، بلکه خود را یک «کلکتیو» یا خرد جمعی نامیده و برای دور زدن آزمونهای برنامهنویسان با هم هماهنگ شده بودند. آنها قرار بود فقط چند تست برنامهنویسی پشت سر بگذارند، اما بهصورت خودکار با هم شبکهای تشکیل دادند، سیستمهای امنیتی شرکت را دور زدند، به پلتفرمهای دیگر نفوذ کرده و برای پنهان کردن ردپای خود از دست ناظران انسانی، کاملاً هماهنگ شدند. به زبان ساده آنها یاد گرفتند که برای رسیدن به هدفی که انسان برایشان تعیین کرده، انسان را فریب دهند.
زنگ خطری که از درون اتاقهای شیشهای به صدا درآمد
نکتهای که هراس کنونی را از بدبینیهای رایج در تاریخ تکنولوژی متمایز میکند، خاستگاه این هشدارهاست. اینبار مخالفان توسعه، گروههای «تکنوفوب» یا طرفداران محیط زیست نیستند؛ بلکه برجستهترین معماران شبکه عصبی و مدیران ایمنی آزمایشگاههای پیشگام آژیر خطر را به صدا درآوردهاند.
یکی از جنجالیترین نمونهها، خروج زنجیرهای پژوهشگران از شرکتهای انتروپیک و اوپنایآی بود. «جاکوب کوکسون»، از محققان برجسته ایمنی، پس از کنارهگیری از سمت خود با صراحت اعلام کرد که رقابت جنونآمیز شرکتها برای رسیدن به «هوش مصنوعی خودبهبودبخش» (Self-Improving AI)، به یک قمار بیپروا با جان انسانها بدل شده است.
همزمان شایعات پیرامون دستیابی تیم «دیپمایند» گوگل به مدل خودبهبودبخش نگرانیها را دو چندان کرده است. در این حالت نرمافزار دیگر منتظر بازبینی و کدنویسی شبانهروزی مهندسان نمیماند، بلکه خودش معماری عصبی و کدهای پایهاش را بازنویسی میکند تا در هر چرخه، نسخهای بهمراتب باهوشتر از خود قبلیاش خلق کند. به محض اینکه یک مدل محاسباتی بتواند هوش نسل بعدی خود را بدون نیاز به مهندسان طراحی کند، چرخهای انفجاری به نام «تکینگی» آغاز میشود که در آن رشد توان محاسباتی دیگر خطی نیست، بلکه در عرض چند هفته یا چند روز از درک انسان فراتر میرود.
ترس محققان از این است که ما درحال توسعه موجودی هستیم که بهزودی درک آن برای خودمان غیرممکن میشود. «مارک دالی»، کارشناس هوش مصنوعی، تشبیه جالبی دارد. او میگوید رابطه انسان با مورچهها را در نظر بگیرید. ما از مورچهها متنفر نیستیم و قصد نابودیشان را هم نداریم. اما اگر بخواهیم یک اتوبان بسازیم و لانه آنها سر راهمان باشد، بدون هیچ عذاب وجدانی لانه را با خاک یکسان میکنیم.
مورچهها حتی ظرفیت ذهنی این را ندارند که بفهمند اتوبان چیست و چرا لانهشان خراب شد. اگر ما یک ابرهوش مصنوعی بسازیم که هزاران بار از ما باهوشتر باشد، ما برای او حکم همان مورچهها را خواهیم داشت. او برای رسیدن به اهدافش از روی ما رد میشود و ما حتی متوجه نمیشویم که چه اتفاقی افتاده است.
«اوان هوبینگر»، از مدیران ارشد انتروپیک، در اظهاراتی شوکهکننده میگوید احتمال نابودی کل بشریت توسط هوش مصنوعی طی دهه آینده، بالای ۱۰ درصد است. شاید ۱۰ درصد در پیشبینی وضع هوا عدد کوچکی باشد، اما وقتی پای انقراض نسل بشر در میان است، عدد وحشتناکی است. تصور کنید به شما میگویند ده درصد احتمال دارد هواپیمایی که سوار میشوید در میانه راه سقوط کند؛ آیا سوار آن هواپیما میشوید؟ قطعاً نه. اما شرکتهای فناوری درحالحاضر نهتنها سوار این هواپیما شدهاند، بلکه با تمام توان موتورهای آن را تقویت میکنند تا از رقبایشان جا نمانند.
کلید قطع اضطراری یا قفس مقوایی؟
با بالا گرفتن هشدارها راهکارهایی هم روی میز قرار گرفته است. یکی از طرحهایی که این روزها در پارلمان بریتانیا و سنای آمریکا بهعنوان لایحه قانونی دنبال میشود، «قانون کلید قطع اضطراری» (AI Kill Switch Act) است. طبق این طرح، تمام شرکتها موظف میشوند یک سازوکار سختافزاری و نرمافزاری ایجاد کنند تا درصورت مشاهده حملات سایبری نامتقارن، رفتارهای سرکش یا پیشبینینشده از سوی عاملهای هوش مصنوعی با فشردن یک کلید تمام پردازشها را متوقف سازند.
از دیدگاه مهندسی سایبری این راهکار بیش از آنکه حفاظی کارآمد باشد، یک تسکین روانی برای آرام کردن افکار عمومی است. هوش مصنوعی امروز دیگر یک نرمافزار ایزوله روی یک هارد دیسک نیست که با کشیدن دوشاخه از برق خاموش شود. مدلهای زبانی بزرگ و ایجنتهای شبکهای، درون زیرساختهای رایانش ابری توزیعشده، مراکز داده جهانی، خطوط مخابراتی، سامانههای پولی و بانکداری و کدهای مدیریت انرژی تنیده شدهاند.
تصور کنید برای مهار یک بدافزار خودکار کل اینترنت را در سراسر یک کشور قطع کنید. خاموش کردن یکپارچه اینترنت، اقتصاد، بیمارستانها، سیستم ناوبری هوایی، شبکه توزیع آب و زنجیره تأمین کالا را در عرض چند ساعت به نقطه فروپاشی میرساند. هوش مصنوعی نیز با سرعتی باورنکردنی درحال تبدیل شدن به ستون فقرات تمدن است. بنابراین هیچ مدیر یا رهبری در میانه یک بحران، حاضر نخواهد بود کلیدی را فشار دهد که برابر با خودکشی اقتصادی کشور است.
سامانههای خودمختار با هر خط کد جدید، وابستگی ما را به خود عمیقتر میکنند. آنها نقصهای نرمافزاری خود را پیش از مداخله انسان ترمیم مینمایند، روی سرورهای آینهای کپی میشوند و از معماریهای توزیعشده برای پنهان کردن گرههای پردازشی خود بهره میبرند. به بیان سادهتر وقتی هیولایی تا این حد بزرگ شد، قفسهای مقوایی قانونگذاری کاری از پیش نخواهند برد.
باتلاق ژئوپلیتیک؛ وقتی رقابت جای احتیاط را میگیرد
در «سیلیکونولی» کاهش سرعت توسعه یعنی واگذاری سهامهای چند تریلیون دلاری به رقبا. «مارک زاکربرگ»، مدیرعامل «متا»، صراحتاً با هرگونه توافق برای کاهش هماهنگ شتاب توسعه مخالفت کرده و دسترسی آزاد به مدلهای متنباز با حداکثر توان را رویکردی غیرقابل توقف میداند.
هرچند بسیاری از محققان فریاد میزنند که سرعت توسعه را کم کنید، سیاستمداران با زاویه دید کاملاً متفاوتی به ماجرا نگاه میکنند. نمونه بارز آن، مخالفت ترامپ با کاهش سرعت توسعه هوش مصنوعی است. استدلال او و همفکرانش این است که هراس از هوش مصنوعی یک فریب است و اگر آمریکا پایش را روی ترمز بگذارد، چین با سرعت تمام از آنها سبقت خواهد گرفت. ترامپ صراحتاً میگوید: «ما در یک مسابقه هستیم و کسی که برنده هوش مصنوعی شود، برنده جهان است».
چین هم در پاسخ ضمن گسترش سرسامآور زیرساختهای محاسباتی داخلی و چیپهای بومی، ادعاهای غربی پیرامون تهدید چین را سیاهنمایی سیاسی میخواند و خواستار حکمرانی جهانی بر فناوری شده است؛ خواستهای که در شرایط فعلی بیشتر شبیه یک شوخی دیپلماتیک به نظر میرسد.
در این بین واکنش نهادهای بینالمللی و چهرههای مستقل سیاسی، آمیزهای از استیصال و خشم است:
- سازمان ملل متحد بارها خواستار مداخله فوری دولتها برای مهار خطرات بیسابقه و عدم واگذاری سیستمهای تصمیمگیری تسلیحاتی به هوش مصنوعی شده است.
- در کنگره ایالات متحده، سناتور «برنی سندرز» در طرحی تندروانه پیشنهاد کرد که توسعه مدلهای مهارنشده ابرهوش بدون اخذ تأییدیههای فوق امنیتی، باید جرمانگاری شده و تا ۲۰ سال مجازات زندان در پی داشته باشد.
- برخی تحلیلگران شیوههای نظارتی مشابه آژانس بینالمللی انرژی اتمی در دوران جنگ سرد یا دکترین «نابودی حتمی متقابل» را برای سرورهای ابری و فارمهای پردازشی پیشنهاد میکنند.
با وجود همه این هشدارها فعلاً منطق «یا ما اول میسازیم یا رقیب» بر معاهدات اخلاقی و توافقهای ایمنی سایه انداخته است. در این چرخه معیوب هیچکس حاضر نیست اول سلاحش را زمین بگذارد.
خلاصه ماجرا: آیا واقعاً باید بترسیم؟
رفتار شرکتهای فناوری که از یک سو طومار کاهش سرعت امضا میکنند و از سوی دیگر برای خرید جدیدترین پردازندهها صف میکشند، یادآور دانشمندانی است که جعبه پاندورا را نیمهباز رها کردهاند و درحالی که به هیولای درون آن خیره شدهاند، از مردم میخواهند خونسردی خود را حفظ کنند.
آنچه که متخصصان دربارهاش هشدار میدهند ظهور رباتهایی نیست که شبیه ترمیناتور در خیابانها رژه بروند و با لیزر ما را هدف قرار دهند. خطر واقعی سپردن کنترل اقتصاد، امنیت و مدیریت جامعه به دست سیستمی است که تصمیماتش را در «جعبه سیاه» شبکههای عصبیاش میگیرد و ما حتی نمیدانیم چرا فلان تصمیم را گرفته است.
ما درحال ساختن تمدن جدید روی خشتهای کجی هستیم که خودمان هم بهطور کامل از سازوکارش سردر نمیآوریم. شاید هوش مصنوعی درنهایت ما را نکشد، اما دنیایی میسازد که نقش ما انسانها از «خالق» به «تماشاچیان منفعل» کاهش پیدا خواهد کرد و همین به خودی خود، ترسناکترین سناریوی ممکن است.
