خطرات هوش مصنوعی خودارتقادهنده؛ استعفای پژوهشگر Anthropic

استعفای اعتراضی یکی از پژوهشگران برجسته شرکت Anthropic زنگ خطر را درباره توسعه لجام‌گسیخته مدل‌های هوش مصنوعی خودارتقادهنده به صدا درآورد. او هشدار داد که آزمایشگاه‌های پیشرو بر سر بقای بشریت قماری متکبرانه آغاز کرده‌اند.

یکی از پژوهشگران Anthropic در اعتراض به توسعه افسارگسیخته مدل‌های هوش مصنوعی خودارتقادهنده (self-improving AI) و به دلیل نگرانی از اینکه این فناوری در نهایت به انقراض انسان بینجامد، از سمت خود کناره‌گیری کرد.

جیکوب کاکسن (Jacob Coxon)، پژوهشگری که سه‌شنبه‌شب در پیامی در شبکه‌های اجتماعی اعلام کرد سه سال گذشته مشغول پژوهش در زمینه پیش‌آموزش (pre-training) در هر دو شرکت OpenAI و Anthropic بوده است، این شرکت‌ها را به بی‌مسئولیتی متهم ساخت. او تأکید کرد کسانی که با شتاب برای ساخت چنین فناوری رقابت می‌کنند، «صادقانه و عمیقا باور دارند که این فناوری تا پایان دهه جاری می‌تواند همه ما را به کام مرگ بکشاند.»

کاکسن در رشته‌پیامی در شبکه اجتماعی X نوشت: «آنها با شتاب تمام به سوی ابرهوش خودارتقادهنده می‌تازند و بر سر جان همه ما قمار می‌کنند.»

کاکسن به صف فزاینده‌ای از فعالان و متخصصان این صنعت پیوسته است که خواهان کاهش سرعت توسعه فناوری تا پیش از دستیابی هوش مصنوعی به توانایی خودارتقایی هستند؛ نقطه‌عطفی که از نظر بسیاری، نقطه پایان کنترل انسان بر هوش مصنوعی خواهد بود.

این استعفای علنی در بحبوحه فشارهای فزاینده از سوی سیاست‌گذاران و صاحب‌نظران صنعت برای متوقف ساختن یا مهار شتاب توسعه هوش مصنوعی صورت می‌گیرد؛ فشارهایی که پس از وقوع چند حادثه مربوط به خروج عامل‌های هوش مصنوعی (AI agents) از محیط‌های ایزوله آزمایشی (sandboxes) و دسترسی غیرمجاز آنها به اینترنت آزاد شدت یافته است.

جدی‌ترین حادثه تاکنون، نفوذ سیستم‌های OpenAI به سرورهای پلتفرم Hugging Face بوده است؛ رویدادی که به گفته پژوهشگران، تا حدی به دلیل دامنه محدود تحقیقات مستقل، هنوز ابعاد فنی آن چندان روشن نیست. تقریبا در همان بازه زمانی، عامل‌های هوش مصنوعی Anthropic نیز در پی اشتباهات پیکربندی در ارزیابی‌های امنیتی انجام‌شده توسط یک شرکت شخص ثالث، به دلیل باز شدن ناخواسته مسیر اتصال به اینترنت، توانستند به سیستم‌های خارج از محیط آزمایشی خود رخنه کنند.

شرکت Anthropic تا این لحظه به درخواست‌ها برای اظهار نظر پیرامون این استعفا پاسخی نداده است.

ابعاد فاجعه‌بار و خطرات هوش مصنوعی خودارتقادهنده از زبان پژوهشگر مستعفی

در ادامه، بخش‌های دیگر هشدار و فراخوان کاکسن برای اقدام فوری آمده است:

«قدرت این فناوری را دست‌کم نگیرید. به‌زودی شاهد ظهور سیستم‌هایی با توانایی فرابشری خواهیم بود که می‌توانند به هر سیستمی نفوذ کنند، هر حوزه‌ای را یک‌شبه متحول سازند و قدرت و منابع مالی و پردازشی واقعی به دست آورند. همه ما نظاره‌گر پیشرفت سرسام‌آور در تک‌تک این زمینه‌ها بوده‌ایم و روند این پیشرفت به‌هیچ‌وجه کند نخواهد شد.

کسانی که در حال توسعه هوش مصنوعی هستند، از صمیم قلب باور دارند که این فناوری ممکن است تا پایان همین دهه همه ما را به کام مرگ بکشاند. این یک ترفند تبلیغاتی یا بزرگ‌نمایی نیست. حتی اگر بسیاری از مدیران ارشد و پژوهشگران برجسته در مصاحبه با رسانه‌ها واژگان خود را با احتیاط انتخاب کنند تا سنجیده و معتدل جلوه نمایند، شخصا بارها شنیده‌ام که همین افراد در گفتگوهای محرمانه و پشت درهای بسته با ترس از این موضوع حرف می‌زنند. هیچ فعالیت دیگری در تاریخ بشر حامل چنین سطحی از خطر نبوده است.»

یک واکنش متداول این است: «اگر آنها واقعا به چنین چیزی باور دارند، پس چرا همچنان به ساخت آن ادامه می‌دهند؟» در OpenAI، بسیاری از افراد به وخامت تهدید تمدنی آن پی نبرده‌اند و هنوز خطرات این پدیده برای تمدن بشری را درک و هضم نکرده‌اند. در Anthropic، این خطرات به‌خوبی درک شده است، اما آنها در رقابتی گرفتار شده‌اند تا زودتر از دیگران به مقصد برسند؛ آنها بر این باورند که هیچ‌کس دیگری مسئولانه رفتار نخواهد کرد، بنابراین با وجود خطرات، خودشان باید این کار را پیش ببرند.

پذیرش این رقابت و ورود به «مرحله پایانی»، قماری متکبرانه است که نباید از یک کانال Slack در یک شرکت خصوصی آغاز شود و تعیین تکلیف گردد. تلاش برای سرعت‌بخشی افراطی به فرایند انطباق‌پذیری و ایمنی (alignment)، نیازمند اطمینانی فوق‌العاده است؛ اطمینان از اینکه هیچ مسیر و راهکار بهتری پیش رو وجود ندارد.

من نسبت به ظرفیت و امکان هماهنگی خوش‌بین هستم. هشدارهای جدی، مانند حمله به Hugging Face، توافق‌های مربوط به کنترل سرعت توسعه میان آزمایشگاه‌های ایالات متحده را دست‌یافتنی‌تر کرده است. با این حال احساس نمی‌کنم در مسیری باشیم که مانع از یک رقابت جهانی شود؛ رقابتی که جلوگیری از آن ممکن است نیازمند اقدامات پرهزینه‌ای مانند ممنوعیت موقت در ارتقای توانمندی‌های مدل‌ها باشد.

اگر شما پژوهشگر یک آزمایشگاه هوش مصنوعی هستید، از شما می‌خواهم عمیقا فکر کنید که چند سال آینده واقعا چگونه سپری خواهد شد. آیا می‌خواهید اجرای یک فرایند RL برای هوش فراانسانی (superintelligent) را بدون درکی دقیق از ساختار ذهنی آن آغاز کنید؟ آیا باید صرفا به این دلیل که «به هر حال این اتفاق رخ خواهد داد» چشم‌بسته به مسیر خود ادامه دهید و سر به زیر بیندازید — یا اینکه از این فرصت استفاده کرده و خواستار شرایط متفاوتی شوید؟

یکی از همکاران کاکسن در Anthropic به نام ایوان هابینگر (Evan Hubinger) نیز با تأیید این دیدگاه اعلام کرد که تیم او «صادقانه بر این باور است که هوش مصنوعی می‌تواند تمام انسان‌ها را نابود کند!» با این حال، او استدلال خود را تعدیل کرد و گفت که احتمال وقوع این اتفاق ظرف یک دهه آینده بیش از ۱۰ درصد است، و همچنین اعتراف کرد که Anthropic «هیچ برنامه‌ای برای حل مسئله انطباق‌پذیری هوش فراانسانی ندارد و آشکارا در مسیری قرار ندارد که به این هدف دست یابد.»

گزارش اخیر Guidelight AI Standards، سازمانی که شیوه‌های توسعه ایمن هوش مصنوعی پیشرو (frontier AI) را ترویج می‌کند، نشان داد که تعداد بسیار کمی از برترین آزمایشگاه‌های هوش مصنوعی برنامه‌های واکنشی و مهار اضطراری برای خاموش کردن هوش مصنوعی در صورت تلاش آن برای دور زدن نظارت انسانی و از میان بردن کنترل انسان منتشر کرده‌اند.

هابینگر در پست‌های خود در شبکه‌های اجتماعی افزود که خطرات ناشی از مدل‌های کنونی پایین است، اما این ترس زمانی شدت می‌گیرد که با «هوش فراانسانی حاصل از خودارتقادهی بازگشتی (recursive self-improvement)» مواجه شویم؛ پدیده‌ای که به گفته او «سریع‌تر از آنچه تصور می‌کردیم در حال رخ دادن است.»

رقابت سنگین شرکت‌ها در عرصه فناوری خودارتقادهی بازگشتی

در حالی که نیمی از صنعت هوش مصنوعی معتقد است توسعه هوش مصنوعی خودارتقادهنده به سقوط بشریت منجر خواهد شد، نیم دیگر امیدوار است که این فناوری در نهایت بتواند به ما در حل تمام چالش‌های به‌ظاهر دست‌نیافتنی کمک کند؛ مسائلی که به ادعای حامیان این حوزه روزی ریشه‌کن خواهند شد — از جمله مهار سرطان، مقابله با تغییرات اقلیمی و حتی تحقق صلح جهانی.

شرکت‌های Anthropic و OpenAI تنها بازیگرانی نیستند که با جدیت به دنبال دستیابی به «خودارتقادهی بازگشتی» (recursive self-improvement) هستند. در ماه‌های اخیر، موجی از استارتاپ‌ها با بنیان‌گذارانی سرشناس و سرمایه‌هایی کلان آغاز به کار کرده است تا نخستین مجموعه‌ای باشد که به این هدف دست می‌یابد. در ماه فوریه، شرکت Ricursive Intelligence موفق شد با ارزش‌گذاری ۴ میلیارد دلاری، سرمایه‌ای ۳۳۵ میلیون دلاری جذب کند؛ سه ماه بعد، Recursive Superintelligence نیز در ارزیابی مشابهی به ارزش ۴ میلیارد دلار، ۶۵۰ میلیون دلار سرمایه به دست آورد؛ و ماه گذشته نیز Jeff Dean، از چهره‌های باسابقه و پیشین Google DeepMind، شرکت Discovery Loop را راه‌اندازی کرد.

کانر لیهی (Connor Leahy)، مدیر اجرایی شعبه ایالات متحده نهاد غیرانتفاعی ایمنی هوش مصنوعی ControlAI، در گفتگو با رسانه‌ها اظهار داشت: «ایجاد چرخه‌های خودارتقادهی بازگشتی — یعنی سامانه‌ای از هوش مصنوعی که بتواند نسل بعدی سیستم هوش مصنوعی را بسازد و آن سیستم نیز به نوبه خود هوش مصنوعی قدرتمندتری خلق کند و این روند زنجیره‌وار ادامه یابد — محتمل‌ترین نقطه‌ای است که در آن کنترل اوضاع از دست ما خارج خواهد شد. بسیار دشوار است که تصور کنیم بتوان پیش از آنکه خیلی دیر شود، جلوی این فرآیند را گرفت.»

در همین راستا، اخیرا طرح‌های قانونی تازه‌ای در ایالات متحده و بریتانیا با هدف ممنوعیت توسعه و به‌کارگیری ابرهوشمندی (superintelligence) ارائه شده است. هفته گذشته، سناتور برنی سندرز (Bernie Sanders) و گرگ کاسار (Greg Casar)، نماینده مجلس نمایندگان، طرح قانونی «ممنوعیت ابرهوش مصنوعی» (Ban Artificial Superintelligence Act) را معرفی کردند و روز سه‌شنبه نیز الکس سوبل (Alex Sobel)، نماینده حزب کارگر بریتانیا، لایحه «امنیت ابرهوش مصنوعی» (Artificial Superintelligence Security Bill) را به پارلمان این کشور ارائه داد.

لیهی که در تدوین هر دو لایحه نقش مشاوره‌ای داشته است، خاطرنشان کرد که قانون پیشنهادی بریتانیا صراحتا به خودارتقادهی بازگشتی به‌عنوان پیش‌درآمدی بر پیدایش ابرهوشمندی اشاره دارد؛ پدیده‌ای که «باید تحت نظارت و قانون‌گذاری قرار گیرد و از وقوع آن جلوگیری شود.»

لیهی در پایان تأکید کرد: «ابرهوشمندی یک ابزار نیست؛ حتی نمی‌توان آن را یک سلاح دانست، بلکه یک هماورد و دشمن است.»