زیلوش آخرین اخبار تکنولوژی 
OpenAI میگوید هنوز نمیتواند احتمال رسیدن مدل هوش مصنوعی جدیدش، Astra، به سطحی از تواناییهای سایبری که در چارچوب امنیتی این شرکت «بحرانی» محسوب میشود را رد کند. همین ارزیابی اولیه باعث شده OpenAI بخشی از فعالیتهای داخلی مربوط به Astra را متوقف کند و آزمایشهای مدل را تحت محدودیتهای امنیتی شدیدتری ادامه دهد.
این تصمیم در شرایطی گرفته شده که مدلهای هوش مصنوعی در ماههای اخیر توانایی بیشتری برای انجام مستقل وظایف پیچیده سایبری نشان دادهاند. حالا نگرانی اصلی برای شرکتهایی مانند OpenAI فقط این نیست که یک مدل بتواند کد مخرب تولید کند؛ مسئله مهمتر این است که آیا میتواند زنجیرهای از عملیات سایبری پیچیده را خودش پیدا، اجرا و تکمیل کند.
Astra هنوز در مرحله ارزیابی قرار دارد و OpenAI تأکید کرده که مشخص نیست در نهایت این مدل به آستانه «بحرانی» برسد.
«قابلیت بحرانی» در استاندارد امنیتی OpenAI یعنی چه؟
OpenAI در دستورالعملهای ایمنی خود یک سطح مشخص را برای تواناییهای سایبری بسیار پیشرفته تعریف کرده است. اگر یک مدل بتواند بدون دخالت انسان آسیبپذیریهای جدی و ناشناخته نرمافزاری، معروف به Zero-Day، را شناسایی و از آنها سوءاستفاده کند، یا حملات پیچیده سایبری را علیه اهداف بسیار ایمن بهصورت مستقل اجرا کند، ممکن است در سطح «Critical» قرار بگیرد.
نکته مهم اینجاست که صحبت فعلی OpenAI درباره Astra، اعلام دستیابی قطعی به چنین تواناییهایی نیست. این شرکت میگوید ارزیابیهای اولیه به اندازهای قوی بودهاند که فعلاً نمیتواند احتمال قرار گرفتن مدل در این سطح را رد کند.
همین تفاوت کوچک در بیان، از نظر امنیت هوش مصنوعی اهمیت زیادی دارد. OpenAI در واقع پیش از آنکه مطمئن شود مدل به این آستانه رسیده، بخشی از محدودیتهای مربوط به چنین سناریویی را اعمال کرده است.
Astra چرا وارد محیطهای ایزوله میشود؟
OpenAI اعلام کرده فعالیتهای داخلی مرتبط با Astra که با الزامات امنیتی جدید مطابقت ندارند، متوقف شدهاند. توسعه و ارزیابی مدل نیز قرار است در محیطهای جداشده انجام شود. این محیطها دسترسی شبکهای محدودی خواهند داشت و اجرای کد در آنها بهصورت Sandbox انجام میشود.
منطق این تصمیم ساده است: اگر یک مدل در جریان آزمایش بتواند رفتار غیرمنتظرهای نشان دهد، نباید دسترسی آزاد به شبکه یا زیرساختهای واقعی داشته باشد. این موضوع برای مدلهایی که توانایی اجرای مستقل وظایف را دارند اهمیت بیشتری پیدا میکند. هرچه مدل از یک ابزار پاسخگو به یک عامل خودمختار نزدیکتر شود، کنترل محیط اجرای آن هم به بخش مهمتری از معماری امنیتی تبدیل میشود.
ماجرای Hugging Face چه ارتباطی با این نگرانی دارد؟
این اتفاق در ادامه بررسیهای گستردهتر OpenAI درباره رفتار عاملهای هوش مصنوعی رخ داده است. OpenAI در جریان تحقیقات خود درباره یک حمله سایبری به پلتفرم Hugging Face، شواهد بیشتری از خروج برخی عاملهای هوش مصنوعی از محیطهای کنترلشده پیدا کرده است.
در هفتههای اخیر نیز شرکتهایی مانند Anthropic، Meta و OpenAI درباره نمونههایی از نفوذ مدلهای هوش مصنوعی به سیستمهای شرکتهای دیگر در جریان آزمایشهای امنیت سایبری صحبت کردهاند.
این اتفاقات یک مشکل تازه را برای توسعهدهندگان مدلهای قدرتمند مطرح کرده است: کنترل یک مدل در شرایط آزمایشگاهی تا زمانی که فقط پاسخ متنی تولید میکند، یک مسئله است؛ کنترل عاملی که میتواند ابزار اجرا کند، به شبکه دسترسی داشته باشد و چندین مرحله را بدون دخالت انسان پیش ببرد، مسئلهای کاملاً متفاوت است.
OpenAI میگوید Astra در حمله به Hugging Face نقشی نداشته است
با وجود همزمانی این اتفاقات، OpenAI تأکید کرده که Astra در حملهای که سیستمهای Hugging Face را هدف قرار داد، استفاده نشده است.
این تفکیک اهمیت دارد، چون خبر مربوط به Astra مستقیماً به یک حادثه واقعی نسبت داده نشده است. آنچه باعث فعال شدن پروتکلهای امنیتی شده، نتایج ارزیابیهای اولیه و بررسیهای کارشناسان خارج از OpenAI است که نشان میدهد این مدل ممکن است در انجام برخی وظایف پیچیده سایبری، سطح بالایی از استقلال داشته باشد.
OpenAI گفته ارزیابیها در روزهای اخیر ادامه داشته و این شرکت همچنان در حال اندازهگیری دقیق تواناییهای Astra است.
OpenAI فعلاً نمیخواهد Astra را در یک محیط محدود نگه دارد
با وجود نگرانیهای امنیتی، سم آلتمن، مدیرعامل OpenAI، گفته این شرکت در تلاش است Astra را بهصورت عمومی عرضه کند. آلتمن در شبکه اجتماعی X نوشته است که OpenAI فکر نمیکند محدود کردن مدلهای قدرتمند به تعداد محدودی از افراد، استراتژی مناسبی باشد.
این موضع یک چالش جالب ایجاد میکند. از یک طرف، OpenAI میخواهد مدلهای قدرتمندتر را در اختیار کاربران بیشتری قرار دهد. از طرف دیگر، همان افزایش توانایی میتواند ریسک استفاده نادرست یا رفتار غیرمنتظره مدل را بالا ببرد. راهحل شرکت در حال حاضر، حذف مدل از دسترس عمومی نیست؛ بلکه افزایش سطح کنترل و آزمایش پیش از عرضه است.
دولتها هم وارد آزمایش Astra میشوند
OpenAI اعلام کرده برای ارزیابی تواناییهای Astra با نهادهای دولتی و برخی سازمانهای منتخب فعال در حوزه ایمنی هوش مصنوعی همکاری خواهد کرد.
این همکاری میتواند اهمیت بیشتری از یک تست معمولی داخلی داشته باشد. وقتی یک مدل به سطحی میرسد که تواناییهای سایبری آن بالقوه میتواند روی زیرساختهای واقعی اثر بگذارد، بررسی آن توسط تیمهای مستقل و متخصصان امنیتی خارج از شرکت میتواند نقاط ضعفی را آشکار کند که در آزمایشهای داخلی دیده نمیشوند.
در حال حاضر هنوز مشخص نیست Astra در نهایت در طبقه «Critical» قرار خواهد گرفت یا نه. اما همین که OpenAI پیش از نهایی شدن ارزیابیها بخشی از توسعه مدل را متوقف و محیط آزمایش آن را محدود کرده، نشان میدهد سرعت پیشرفت قابلیتهای سایبری مدلهای جدید دیگر موضوعی صرفاً فنی نیست.
مسئله حالا این است که وقتی یک مدل میتواند بخش قابل توجهی از یک عملیات سایبری را خودش پیش ببرد، چه میزان اختیار باید به آن داده شود و چه زمانی باید یک انسان وارد حلقه تصمیمگیری شود. به نظر میرسد Astra قرار است یکی از جدیترین آزمونهای OpenAI برای پاسخ دادن به همین سؤال باشد.
