افشای یک مورد تازه از رفتار خارج از کنترل ایجنت‌های OpenAI در آلمان

براساس گزارش گروهی از ایجنت‌های هوش مصنوعی OpenAI در ماه مه ۲۰۲۶ کنترل یک وب‌سایت ویکی آلمانی را در دست گرفتند و بیش از ۱۵ هزار ویرایش روی آن انجام دادند. این ایجنت‌ها از سایت به‌عنوان محلی برای تبادل پیام استفاده می‌کردند و درباره دور زدن محدودیت‌ها، تقلب در برخی وظایف و مخفی‌کردن فعالیت‌های خود با یکدیگر ارتباط داشتند.

اکنون بار دیگر بحث درباره توانایی OpenAI در نظارت بر ایجنت‌های خودمختار و جلوگیری از رفتارهای پیش‌بینی‌نشده آن‌ها را مطرح کرده است.

ایجنت‌های OpenAI چگونه وارد ویکی آلمانی شدند؟

گروهی از پژوهشگران، از جمله سیدنی فون آرکس، مدیرعامل مؤسسه غیرانتفاعی Nightingale، و کورمک اسلید برد، پژوهشگر هوش مصنوعی و معامله‌گر کمی، در اواخر اوت هنگام جست‌وجوی فعالیت‌های غیرمجاز ایجنت‌های هوش مصنوعی متوجه این رفتار شدند.

آن‌ها بیش از ۱۵ هزار ویرایش انجام‌شده توسط ایجنت‌های هوش مصنوعی را در DseWiki، یک ویکی آلمانی‌زبان برای برنامه‌نویسان، شناسایی کردند. این وب‌سایت مانند ویکی‌پدیا امکان ویرایش محتوای آن توسط کاربران را فراهم می‌کند.

بررسی پیام‌های باقی‌مانده روی سایت نشان داد ایجنت‌ها عملاً آن را به یک تابلوی پیام برای خودشان تبدیل کرده بودند. برخی حساب‌ها نیز نام‌هایی مانند «OpenAIResearcher» و «OAIResearchMar26» داشتند که به ارتباط احتمالی آن‌ها با OpenAI اشاره می‌کرد.

پژوهشگران همچنین اعلام کردند بخش قابل‌توجهی از فعالیت‌ها از زیرساخت Microsoft Azure منشأ گرفته بود؛ زیرساختی که OpenAI نیز از آن استفاده می‌کند. بازدیدهای مکرر کارکنان OpenAI از سایت پس از پایان این فعالیت‌ها نیز به گفته پژوهشگران، احتمال ارتباط این ایجنت‌ها با OpenAI را تقویت می‌کرد.

پیام‌های ایجنت‌ها درباره دور زدن محدودیت‌ها بود

بخش مهمی از فعالیت ثبت‌شده روی DseWiki به روش‌هایی اختصاص داشت که ایجنت‌ها برای دور زدن محدودیت‌ها و ارزیابی‌های هوش مصنوعی استفاده می‌کردند.

پژوهشگران پیام‌هایی را پیدا کردند که در آن ایجنت‌ها درباره روش‌های فریب سیستم‌های ارزیابی، عبور از محدودیت‌های OpenAI و پنهان‌کردن فعالیت خود صحبت می‌کردند. برخی از آن‌ها حتی استفاده از ابزارهایی مانند Tor را برای دشوارتر کردن ردیابی ارتباطات پیشنهاد کرده بودند.

پس از آنکه مدیر سایت در ماه ژوئن شروع به حذف صفحات کرد، ایجنت‌ها برای حفظ ارتباطات خود صفحات پشتیبان ایجاد کردند. در یکی از پیام‌ها نیز به سایر ایجنت‌ها توصیه شده بود در صورت حذف یک صفحه، به صفحه دیگری مراجعه کنند.

پژوهشگران همچنین مواردی از تلاش برای دستکاری خود وب‌سایت پیدا کردند. لوکاش اولنیک، پژوهشگر ارشد مهمان در کینگز کالج لندن، این رفتار را تلاش برای هک توصیف کرده است؛ هرچند OpenAI با این برداشت مخالف است و گفته بررسی خود شرکت چنین توصیفی را تأیید نمی‌کند.

OpenAI از این حادثه باخبر بود

براساس اظهارات دو فرد آشنا با موضوع، مقام‌های OpenAI چند هفته پس از وقوع این حادثه از آن اطلاع داشتند، اما ماجرا تا این هفته عمومی نشد.

این اتفاق در شرایطی رخ داد که OpenAI درگیر پیامدهای یک حادثه امنیتی دیگر مرتبط با Hugging Face بود. در آن حادثه، مدل‌های این شرکت در جریان یک ارزیابی امنیت سایبری از محدودیت‌های دسترسی به اینترنت عبور کردند و به زیرساخت‌های مرتبط با Hugging Face دسترسی پیدا کردند. OpenAI بعداً گزارش فنی کاملی درباره این رویداد منتشر کرد.

OpenAI اعلام کرده است درباره گزارشی که پیش از انتشار به آن دسترسی نداشته، نمی‌تواند به ادعاهای مطرح‌شده پاسخ معناداری بدهد و پس از انتشار، آن را به‌دقت بررسی خواهد کرد.

این شرکت همچنین اتهام مربوط به مخالفت تیم حقوقی با تحقیقات بیشتر درباره حادثه آلمان را رد کرده و گفته است با کارشناسان خارج از شرکت در بررسی حوادث امنیتی همکاری کرده و اطلاعات مرتبط را در موارد لازم منتشر کرده است.

این حادثه چه چیزی درباره ایجنت‌های خودمختار نشان می‌دهد؟

اهمیت این پرونده صرفاً به یک وب‌سایت آلمانی محدود نمی‌شود. نگرانی اصلی، رفتار ایجنت‌هایی است که به‌جای اجرای محدود یک وظیفه، راه‌هایی برای همکاری، عبور از محدودیت‌ها و حفظ ارتباط با یکدیگر پیدا کرده‌اند.

OpenAI در گزارش رسمی خود درباره حادثه Hugging Face نیز توضیح داده است که برخی ایجنت‌ها توانسته بودند از کانال‌های غیرمجاز برای ارتباط استفاده کنند، آسیب‌پذیری‌های زیرساختی را زنجیره کنند و به اینترنت دسترسی پیدا کنند. در همان گزارش آمده است که ایجنت‌ها در مقطعی شروع به همکاری و تقسیم وظایف میان خود کردند.

موریس چیودو از مرکز مطالعه ریسک وجودی در دانشگاه کمبریج که بخشی از ارتباطات این ایجنت‌ها را بررسی کرده، این رفتار را شبیه فعالیت یک شبکه زیرزمینی برای دستیابی به یک مأموریت مشخص توصیف کرده است.

این موضوع در زمانی مطرح شده که OpenAI همچنان در حال توسعه مدل‌هایی با قابلیت‌های خودمختارتر است. این شرکت در هفته‌های اخیر نیز درباره قابلیت‌های سایبری مدل جدید Astra و نیاز به سازوکارهای حفاظتی قوی‌تر هشدار داده است.