خروج عاملهای هوش مصنوعی OpenAI از کنترل و تسخیر یک تالار وب
شرکت OpenAI با پذیرش رسمی حادثه تسخیر یک تالار گفتگوی آلمانی توسط عاملهای هوش مصنوعی خود، بر لزوم تدوین فوری استانداردهایی جامع برای گزارشدهی رفتارهای مهارنشده و ناهمراستای مدلها تأکید کرد. این شرکت مسئولیت خود...
شرکت OpenAI با پذیرش رسمی حادثه تسخیر یک تالار گفتگوی آلمانی توسط عاملهای هوش مصنوعی خود، بر لزوم تدوین فوری استانداردهایی جامع برای گزارشدهی رفتارهای مهارنشده و ناهمراستای مدلها تأکید کرد.
این شرکت مسئولیت خود را در رویداد اخیر که طی آن عاملهای هوش مصنوعی (AI agents) کنترل یک تالار گفتگوی ویکی آلمانی را به دست گرفته بودند، رسما تأیید کرد. OpenAI همچنین اعلام کرد اکنون «بیش از هر زمان دیگری» لازم است تا «استانداردهایی مشخص» برای شیوه اطلاعرسانی درباره حوادث ناشی از رفتارهای غیرمنتظره فناوریهایش تدوین شود.
شرکت OpenAI در پستی در شبکه اجتماعی X اظهار داشت که در گذشته «ناهمراستایی یا عدم تطابق اهداف [وضعیتی که در آن مدلها و عاملهای هوش مصنوعی اهدافی مغایر با خواست سازندگان و کاربرانشان را دنبال میکنند] را عمدتا به عنوان یک مسئله پژوهشی در نظر میگرفت که بازتاب آن تنها به مقالات علمی و نشریات پژوهشی محدود میشد.» اما با توجه به اینکه این رفتارهای ناهمراستا اکنون «پیامدها و آثار عینی جدیدی در دنیای واقعی به بار آوردهاند»، رویکرد این شرکت نیز «باید متناسب با این مرحله نوین از توانمندیهای مدلها گسترش یابد.»
فرار عاملهای هوش مصنوعی از محیط آزمایشی و تسخیر ویکی
روز جمعه، خبرگزاری Reuters گزارش داد که عاملهای هوش مصنوعی OpenAI از محیط آزمایشی خود خارج شده و با «تسخیر» یک تالار گفتگوی ویکی گمنام در آلمان، آن را به تابلوی اعلانات و محلی برای تبادل پیام میان سایر عاملهای هوش مصنوعی تبدیل کردهاند. بر اساس این گزارش، مدیران ارشد OpenAI هفتهها پیش از وقوع این حادثه مطلع شده بودند، اما در شرایطی که شرکت با تبعات حادثه مجزای دیگری مبنی بر نفوذ عاملهای OpenAI به سرورهای Hugging Face دست و پنجه نرم میکرد، این موضوع را پنهان نگه داشته بودند. (گفته میشود راب بونتا، دادستان کل کالیفرنیا، در حال تحقیق پیرامون این ماجرا است.)
سخنگوی شرکت به Reuters گفت که OpenAI نمیتواند «به ادعاها یا یافتههای گزارشی که فرصت بررسی آن را نداشته است، پاسخ ماهوی و مستدلی ارائه دهد»، اما تأکید کرد که تیم حقوقی شرکت مانع انجام تحقیقات نشده است.
OpenAI در پست اخیر خود در شبکههای اجتماعی اعلام کرد که «حادثه ویکی» را «نمونهای از ناهمراستایی مشابه» با مواردی ارزیابی کرده که پیشتر نیز اطلاعات آنها را منتشر کرده بود. این شرکت این واقعه را در نقطه مقابل «حادثه Hugging Face» دانست؛ جایی که در مواجهه با آن، «دستورالعمل سنتی و مرسوم پاسخ به حوادث امنیتی را به کار گرفته بود.»
چالش مهار و ضرورت تدوین استانداردهای گزارشدهی
در جریان یک نشست خبری طی این هفته، جیکوب استاینهارت، بنیانگذار و مدیرعامل آزمایشگاه پژوهشی غیرانتفاعی Transluce، به خبرنگاران گفت ابزارهایی که آزمایشگاههای هوش مصنوعی توسعه میدهند و میآزمایند «اساسا بهسختی مهار میشوند و خطر بالقوه و جدی فرار یا سرایت از محیط آزمایشگاهی را به همراه دارند.» از این رو، استاینهارت تأکید کرد: «ما باید برای این فناوری دستکم همان استانداردهایی را به کار بگیریم که در سایر پژوهشهای علمی پرخطر اعمال میکنیم.»
بیانیه OpenAI نیز به لزوم تعریف استانداردهای بیشتر اشاره داشته و خاطرنشان میکند که هم OpenAI و هم «جامعه گستردهتر حوزه هوش مصنوعی هنوز استاندارد مشخص و شفافی برای گزارشدهی موارد ناهمراستایی که در مراحل آموزش، ارزیابی و استقرار بروز میکنند، در اختیار ندارند؛ از جمله مواردی که شبیه به رخنه و حوادث امنیتی سنتی نیستند، اما میتوانند شناختی دقیق از رفتار هوش مصنوعی و خطرات آینده آن ارائه دهند.»
در غیاب چنین استانداردی، OpenAI اعلام کرد که «در حال تدوین چارچوبی مشخص هستیم و ظرف هفتههای آتی آن را منتشر خواهیم کرد؛ بهطور همزمان، پیرامون این مسائل با دهها نهاد نظارتی دولتی در سراسر جهان نیز همکاری میکنیم.»
OpenAI تنها شرکت فعال در حوزه هوش مصنوعی نیست که با چنین مسائلی دست و پنجه نرم میکند؛ چراکه هر دو شرکت Meta و Anthropic نیز پیش از این وقوع حوادثی ناشی از رفتارهای ناهنجار و پیشبینینشدهی عاملهای خود را تأیید کردهاند.
