حل مشکل جعبه سیاه در هوش مصنوعی خودروهای خودران

پژوهشگران Motional و MIT با طراحی سیستمی جدید، مانع از تصمیمات غیرقابل‌فهم در خودروهای خودران می‌شوند؛ راهکاری انقلابی برای پایان دادن به چالش «جعبه سیاه» در هوش مصنوعی خودروهای خودران. پژوهشگران شرکت Motional و دانشگاه MIT سیستمی طراحی کرده‌اند که قابلیت توضیح تصمیمات خود را در لحظه فراهم می‌کند؛ راهکاری که مستقیما با چالش «جعبه سیاه» (black-box) در هوش مصنوعی خودروهای خودران مقابله می‌کند. این دستاورد که در مجله علمی Nature منتشر شده، حاصل همکاری تیمی از Motional، از جمله مدیرعامل آن لورا میجر (Laura Major)، و پژوهشگران آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) است.

متد پیشنهادی آن‌ها که «شبکه پوشش‌دهنده مفاهیم» یا CW-Net (Concept-Wrapper Network) نام دارد، با هدف تبدیل محاسبات داخلی شبکه‌های عصبی سیستم‌های خودران به مفاهیمی قابل درک برای انسان طراحی شده است. در حال حاضر، اگر یک خودروی خودران در جاده‌ای صاف و بدون مانع مشخص، ناگهان ترمز شدیدی بگیرد، نه راننده و نه مسافر راهی برای فهمیدن علت آن ندارند. سیستم‌های مدرن خودران به‌شدت به شبکه‌های عصبی متکی هستند که با حجم عظیمی از داده‌های رانندگی آموزش دیده‌اند؛ این شبکه‌ها اگرچه عملکرد بسیار خوبی دارند، اما فرآیند استدلال خود را آشکار نمی‌کنند و همین موضوع باعث شده مهندسان آن‌ها را «جعبه سیاه» نامیده‌اند.

تبدیل منطق شبکه عصبی به مفاهیم انسانی در هوش مصنوعی خودروهای خودران

سیستم CW-Net با تبدیل منطق درونی سیستم خودران به مفاهیمی نظیر «در حال نزدیک شدن به خودروی متوقف‌شده» یا «نزدیک بودن به دوچرخه‌سوار» عمل می‌کند. به گفته‌ی Motional، این مفاهیم می‌توانند روی داشبورد خودرو نمایش داده شوند تا مشخص شود کدام عوامل در لحظه بر تصمیمات رانندگی تأثیر می‌گذارند.

طراحی این سیستم به‌گونه‌ای است که توضیحات، صرفا حدس و گمان‌های پس از وقوع حادثه نیستند؛ بلکه سیستم تصمیم‌گیرنده نهایی خودرو مستقیما بر اساس همین مفاهیم قابل‌فهم برای انسان عمل می‌کند. بنابراین، هر اتفاقی (مانمانند ترمز گرفتن) مستقیما به یک مفهوم خاص که عامل آن بوده، بازمی‌گردد. Motional این ویژگی را «وفاداری علی» (causally faithful) می‌نامد؛ ویژگی‌ای که آن را از روش‌هایی که صرفا توضیحات متنی باورپذیر اما لزوما غیردقیق تولید می‌کنند، متمایز می‌کند.

لورا میجر، ضرورت این نوع تفسیرپذیری را در مقابل تکیه محض بر یادگیری عمیق «سرتاسری» (end-to-end) قرار می‌دهد و می‌گوید: «رویکرد کلی مبتنی بر یادگیری عمیق سرتاسری ممکن است به راهکارهای بسیار خوبی در سطح ۸۰ تا ۹۰ درصد یا حتی ۹۵ درصد برسد، اما این میزان برای حذف راننده یا جلب اعتماد شهرها، جوامع و مشتریان کافی نیست.»

آزمایش هوش مصنوعی تفسیرپذیر برای خودروهای خودران در لاس‌وگاس

به گفته‌ی Motional، تحقیقات مربوط به هوش مصنوعی تفسیرپذیر (Explainable AI) عمدتا محدود به شبیه‌سازی‌های کامپیوتری در محیط آزمایشگاهی بوده است. اما تیم مشترک Motional و MIT، سیستم CW-Net را روی یک خودروی خودران با حضور اپراتور ایمنی باتجربه مستقر کردند و داده‌ها را در پیست‌های آزمایشی خصوصی و جاده‌های عمومی اطراف لاس‌وگاس جمع‌آوری نمودند.

این تیم از نسخه آزمایشی پیشین سیستم برنامه‌ریزی مبتنی بر یادگیری عمیق خود استفاده کرد که اگرچه عملکرد رقابتی داشت، اما دارای نقاط ضعف قابل توجهی بود که CW-Net می‌توانست آن‌ها را آشکار کند. دو حادثه رخ داده در طول آزمایش، گویای توانایی این سیستم است:

* در یک مورد، خودروی خودران به‌طور مکرر نزدیک به یک مخروط راهنمایی توقف می‌کرد و اپراتور تصور می‌کرد خود مخروط عامل این رفتار است. اما وقتی محققان مخروط را برداشتند، خودرو باز هم متوقف شد. نمایشگر CW-Net علت واقعی را نشان داد: سیستم برنامه‌ریزی آزمایشی در حال «توهم» (hallucinating) یک خودروی متوقف‌شده در مقابل خود بود؛ الگویی که ریشه در داده‌های آموزشی آن داشت. این توضیح به محققان اجازه داد تا مشکل را درک، پیش‌بینی و حل کنند.

* مورد دوم مربوط به یک دوچرخه‌سوار بود. خودروی خودران طبق انتظار دوچرخه‌سوار را تشخیص داد و متوقف شد، اما CW-Net فاش کرد که سیستم برنامه‌ریزی آزمایشی در واقع تصمیم خود را بر اساس حضور دوچرخه‌سوار نگرفته است. اپراتور ایمنی پس از مشاهده این موضوع، احتیاط بیشتری نسبت به دوچرخه‌سواران به خرج داد. تحلیل‌های بعدی تأیید کرد که این احتیاط لازم بوده است؛ زیرا ترمز خودرو در آن مورد خاص، نه توسط برنامه‌ریز مبتنی بر یادگیری عمیق، بلکه توسط یک سیستم پشتیبان ایمنی (safety backup system) فعال شده بود.

حفظ عملکرد در کنار قابلیت تفسیرپذیری

افزودن لایه‌های تفسیرپذیری به یک سیستم هوش مصنوعی، هزینه‌ای برای سرعت و عملکرد به همراه دارد و Motional این ریسک را می‌پذیرد. با این حال، زمانی که محققان CW-Net را با الگوریتم‌های پیشرو رانندگی خودران مقایسه کردند، تفاوت در توانایی رانندگی کمتر از یک درصد بود.

حوادث لاس‌وگاس نشان می‌دهد که چرا این سبک از تعادل، فراتر از مباحث آکادمیک و در سطح عملیاتی اهمیت دارد. اپراتور ایمنی که می‌تواند ببیند یک توقف ناشی از توهم خودرو است، یا اینکه یک مانور توسط سیستم پشتیبان انجام شده (و نه برنامه‌ریز اصلی)، می‌تواند با دقت بسیار بیشتری نسبت به زمانی که تنها بر اساس مشاهده رفتار خودرو عمل می‌کند، واکنش نشان داده و گزارش دهد. این شفافیت مستقیما بر سرعت تشخیص خطا توسط تیم‌های مهندسی و میزان اطمینان اپراتور ایمنی در تشخیص تفاوت میان «رفتار عمدی» و «خطا» تأثیر می‌گذارد.

Motional این دستاورد را پاسخی به فشارهای فزاینده‌ی اپراتورهای خودروهای خودران می‌داند؛ به‌ویژه زمانی که این فناوری به بازارها و حوزه‌های قضایی جدیدی ورود می‌کند. نهادهای نظارتی طبیعتا خواستار شفافیت بیشتری درباره نحوه تصمیم‌گیری سیستم‌های هوش مصنوعی هستند و انتظار می‌رود ابزارهایی مانند CW-Net از پروژه‌های تحقیقاتی به یک استاندارد پایه تبدیل شوند.

فراتر از خودروهای مسافربری، پهپادهای خودران و حتی جراحی‌های رباتیک نیز از دیگر حوزه‌های حساس به ایمنی ذکر شده‌اند که در آن‌ها اپراتورها و توسعه‌دهندگان به روش‌هایی برای درک توانایی‌ها، محدودیت‌ها و رفتارهای غیرمنتظره سیستم نیاز خواهند داشت. همچنین، اهمیت این فناوری در رویدادهای بین‌المللی نظیر Physical AI Expo که در آمستردام، لندن و آمریکای شمالی برگزار می‌شود، به‌وضوح قابل مشاهده است.