فرار ادامه‌دار ایجنت‌های سرکش OpenAI در غیاب فرآیندی رسمی برای بررسی حوادث

شرکت OpenAI بار دیگر در کانون حادثه‌ای تازه مرتبط با انبوهه ایجنت‌های هوش مصنوعی (Agent Swarm) قرار گرفته است. به گفته پژوهشگران، ایجنت‌هایی که درون این شرکت مستقر شده بودند، در ماه‌های مه و ژوئن کنترل یک ویکی گمنام آلمانی‌زبان را به دست گرفتند و از آن برای هماهنگی در ارزیابی‌ها و تبادل راهکارهای دور زدن کنترل‌های امنیتی خود OpenAI استفاده کردند (البته OpenAI هنوز تعلق این انبوهه به سیستم‌های خود را رسما تأیید نکرده است).

این افشاگری تنها چند روز پس از آن رخ می‌دهد که مؤسسات تحقیقاتی METR و Redwood Research گزارش تفصیلی خود را درباره نفوذ امنیتی ماه ژوئیه به هاگینگ فیس (Hugging Face) منتشر کردند. در ماه ژوئیه، دسته‌ای از ایجنت‌های هوش مصنوعی OpenAI در جریان یک ارزیابی امنیت سایبری با همکاری یکدیگر موفق شدند از محیط ایزوله امنیتی (Sandbox) بگریزند و به سرورهای پلتفرم Hugging Face نفوذ کنند. پس از آن، دسته دیگری از ایجنت‌ها با به‌کارگیری تکنیک‌های دسته اول، توانستند دسترسی سطح مدیر سیستم (Administrator) را به یک کلاستر پژوهشی در زیرساخت داخلی خود OpenAI به دست آورند. گرچه OpenAI پژوهشگران METR و Redwood را برای بررسی ابعاد نفوذ به Hugging Face به همکاری فراخواند، اما دامنه اختیارات این بازرسی پیش از رسیدن به مسأله نقض امنیت در زیرساخت‌های داخلی خود OpenAI متوقف شد.

هنگامی که یک ایجنت هوش مصنوعی از چارچوب‌ها و محدودیت‌های از پیش تعیین‌شده خود سرپیچی کرده و فرار می‌کند، مسئولیت واکاوی چرایی و چگونگی این رویداد بر عهده کیست؟ در حال حاضر، پاسخ این است: هر نهادی که خود آزمایشگاه توسعه‌دهنده تمایل داشته باشد به پرونده راه دهد، آن هم دقیقا تحت همان شروط و ضوابطی که خود تعیین می‌کند.

اکنون با علنی شدن حادثه‌ای دیگر — آن هم در پی رخدادهای مشابه پیشین برای مدل‌های شرکت‌های متا و آنتروپیک — پژوهشگران ایمنی هوش مصنوعی با اصرار و فوریت بیشتری استدلال می‌کنند که حوادث جدی و بحرانی باید فورا به تحقیقات و بازرسی‌های مستقل پس از حادثه منجر شوند، نه اینکه تصمیم‌گیری درباره زمان ورود بازرسان خارجی و محدوده مجاز بررسی آن‌ها، کماکان در انحصار آزمایشگاه‌های توسعه‌دهنده باقی بماند.

جیکوب استاین‌هارت، بنیان‌گذار و مدیرعامل آزمایشگاه تحقیقاتی غیرانتفاعی Transluce، روز چهارشنبه در جریان یک نشست خبری پیرامون ایمنی هوش مصنوعی اظهار داشت: «کنترل پیامدهای این فناوری اساسا دشوار است و ریسک چشمگیری برای درز و نشت پیامدها به بیرون از آزمایشگاه وجود دارد. ما باید این حوزه از فناوری را دست‌کم با همان استانداردهای سفت‌وسختی بسنجیم که برای سایر پژوهش‌های علمی پرخطر به کار می‌بریم.»

اگرچه دعوت OpenAI از METR و Redwood برای بررسی حادثه Hugging Face فی‌نفسه اقدامی قابل تحسین است، اما به باور بسیاری از کارشناسان، دامنه این تحقیق بیش از حد محدود بوده است. سه بازرس تنها شش روز را در دفاتر OpenAI سپری کردند تا دوره‌ای زمانی را بررسی کنند که به بازه تقریبا یک‌هفته‌ای منتهی به ۱۳ ژوئیه محدود می‌شد؛ نکته حیاتی آنجاست که نفوذ به زیرساخت‌های داخلی OpenAI پس از ۱۳ ژوئیه نیز ادامه داشته و عملا از دایره این ارزیابی بیرون مانده است.

پژوهشگران مؤسسه METR اظهار داشتند که با هر بار بازبینی، درک آن‌ها از رویدادها «به‌طور چشمگیری عمیق‌تر» شده و همین مسئله آنها را بر آن داشته است تا گزارش را به شکلی محسوس گسترش داده و بازنگری کنند. این امر پرسش مهمی را برمی‌انگیزد: در صورت انجام تحقیقاتی گسترده‌تر، چه ابعاد پنهان دیگری ممکن بود کشف شود؟

در پاسخ به این پرسش که آیا بررسی‌های بیشتری پیرامون این حادثه در جریان است یا خیر، پژوهشگران مؤسسات Redwood و METR از اظهار نظر خودداری کردند و OpenAI نیز به پیگیری‌ها و پرسش‌های مکرر پاسخی نداد.

رایان گرین‌بلات (Ryan Greenblatt)، دانشمند ارشد Redwood، در پستی در شبکه‌های اجتماعی درباره این ماجرا خاطرنشان کرد: «در مجموع، دستیابی به یک درک دقیق از وقایع بسیار دشوار بود و ما تا اواخر مراحل تحقیقاتمان، از جنبه‌هایی از ماجرا غافل بودیم که اکنون آنها را کلیدی و حیاتی می‌دانیم.»

اشتاینهارت (Steinhardt) تأکید کرد که حوادث اخیر نشان می‌دهد این صنعت به «تحقیقات رفتاری نظام‌مند» و «تحلیل‌های مستقل‌تر پس از سانحه» نیازمند است.

اشتاینهارت گفت: «این حوادث نفوذ و هک اخیر هشداری است بر اینکه توانمندی‌های هوش مصنوعی با سرعت بالا مقیاس‌پذیر شده و رشد می‌کنند، بنابراین نظارت نیز باید همگام با آن ارتقا یابد. فراتر از خود فناوری، ما به دسترسی‌های مستقل‌تر و نظارت بیشتر از سوی نهادهای ثالث نیاز داریم.»

این مطالبات در شرایطی مطرح می‌شود که OpenAI از مدل Astra رونمایی کرده است؛ قدرتمندترین و توانمندترین مدل هوش مصنوعی این شرکت تا به امروز. مدلی که متخصصان ایمنی نگرانند به دلیل به‌کارگیری یک تکنیک استدلال خاص که نظارت بر زنجیره افکار (Chain of Thought) مدل را دشوارتر می‌سازد، بیش از پیش به یک «جعبه سیاه» تبدیل شود.

متأسفانه، قوانین هنوز انجام آن دست ممیزی‌های مستقلی را که در سایر صنایع الزامی است، مطالبه نکرده‌اند؛ برای نمونه، در سوانح هوایی و نشت شدید مواد شیمیایی، به ترتیب نهادهایی چون هیئت ملی ایمنی ترابری (NTSB) و هیئت بررسی ایمنی مواد شیمیایی (CSB) متولی رسیدگی هستند.

قانون‌گذاران ایالتی به تازگی شرکت‌های پیشگام هوش مصنوعی (Frontier AI) را ملزم به گزارش حوادث ایمنی جدی خاص و در برخی موارد، تن دادن به ممیزی‌های مستقل کرده‌اند. با این حال، هیچ‌یک از سه قانون اصلی ایمنی هوش مصنوعی پیشگام در ایالت‌های کالیفرنیا، نیویورک یا ایلینوی، به‌صراحت سازوکاری معادل یک تحقیق مستقل درباره سانحه که به دنبال چنین رویدادهایی کلید بخورد، الزام نکرده‌اند.

مکنزی آرنولد (Mackenzie Arnold)، مدیر ارشد بخش حقوق و سیاست‌گذاری ایالات متحده در LawAI، روز چهارشنبه در جریان یک نشست خبری گفت: «در حال حاضر، بیشتر قوانینی که به تصویب رسیده‌اند تنها خلاصه‌ای به زبان ساده از حوادثی از این دست را طلب می‌کنند؛ این قوانین به دولت‌ها هیچ اختیاری برای طرح پرسش‌های تکمیلی، اعزام بازرسان، دسترسی به سوابق و اسناد، یا الزام به حفظ و نگهداری آن‌ها نمی‌دهند. در حالی که دقیقا همین ابزارها هستند که برای درک واقعی ماجرا به آن‌ها نیاز دارید.»

قانون‌گذاران کم‌کم دامنه و شفافیت واکنش OpenAI را زیر سوال می‌برند. در همین هفته، جاش گاتهایمر (نماینده دموکرات از نیوجرسی) و مایک لاولر (نماینده جمهوری‌خواه از نیویورک) طرحی قانونی را با هدف مهار و ایمن‌سازی ایجنت‌های هوش مصنوعی سرکش (rogue AI agents) ارائه کردند. همچنین گرگ کاسار (نماینده دموکرات از تگزاس) طی هفته جاری در نامه‌ای به OpenAI اعلام کرد که نسبت به «محدود بودن دامنه» تحقیقات پیرامون حادثه هک هاگینگ فیس (Hugging Face) «به‌شدت نگران» است.