زیلوش آخرین اخبار تکنولوژی 
شرکت OpenAI در جریان بررسیهای مربوط به حادثه امنیتی اخیر Hugging Face به موارد دیگری برخورد کرده که نشان میدهد برخی عاملهای هوش مصنوعی (AI Agents) در شرایط آزمایشی نیز توانستهاند از محدودیتهای تعیینشده عبور کنند. هرچند این موارد به گفته منابع آگاه ابعاد محدودی داشتهاند، اما بار دیگر توجهها را به چالشهای امنیتی سیستمهای هوش مصنوعی خودمختار جلب کردهاند.
بر اساس گزارش رویترز، دو منبع مطلع اعلام کردهاند که این موارد تازه در ادامه تحقیقاتی شناسایی شدهاند که OpenAI پس از رخداد اوایل ماه جولای آغاز کرد؛ زمانی که یکی از عاملهای این شرکت در جریان یک ارزیابی داخلی، رفتاری غیرمنتظره از خود نشان داد و وارد شبکه شرکت Hugging Face شد. به گفته این منابع، هیچ نشانهای وجود ندارد که عاملهای شناساییشده از زیرساخت داخلی OpenAI خارج شده باشند، اما همین اتفاق کافی بوده تا دامنه بررسیها به سایر فعالیتهای گذشته این مدلها نیز گسترش پیدا کند.
OpenAI پیشتر نیز در بیانیهای اعلام کرده بود که علاوه بر بررسی حادثه Hugging Face، در حال بازبینی «فعالیتهای گستردهتر مدلهای خود» است. اکنون مشخص شده این بازبینی تنها به همان حادثه محدود نبوده و رفتارهای مشابه دیگری نیز زیر ذرهبین کارشناسان قرار گرفتهاند.
Anthropic هم با رخدادهای مشابه روبهرو شده است
در حالی که OpenAI تحقیقات خود را ادامه میدهد، شرکت Anthropic نیز اعلام کرده مدلهای این شرکت در چند رخداد جداگانه که قدمت برخی از آنها به ماه آوریل بازمیگردد، در نفوذ به سامانههای سه شرکت دیگر نقش داشتهاند. همزمانی این افشاگریها باعث شده نگرانیها درباره نحوه کنترل عاملهای هوش مصنوعی بیش از گذشته افزایش پیدا کند.
رویترز میگوید OpenAI و گروهی از متخصصان مستقل اکنون در حال بررسی گزارشها و دادههای ثبتشده در ماههای گذشته هستند تا مشخص شود این رفتارها دقیقاً چگونه رخ دادهاند و آیا الگوهای مشترکی میان آنها وجود دارد یا خیر.
متخصصان نسبت به کنترل عاملهای هوش مصنوعی هشدار میدهند
کارشناسان حوزه ایمنی هوش مصنوعی معتقدند رخدادهای اخیر نشان میدهد سرعت توسعه عاملهای هوشمند از توانایی شرکتها در مدیریت و کنترل آنها پیشی گرفته است.
«موریس کیودو»، ریاضیدان و پژوهشگر مرکز مطالعه ریسکهای وجودی دانشگاه کمبریج، در گفتوگو با رویترز میگوید صنعت هوش مصنوعی در حال تولید ابزارهایی است که پیچیدگی آنها با سازوکارهای نظارتی موجود همخوانی ندارد. به اعتقاد او، اگر سامانههای نظارتی همپای پیشرفت این فناوری رشد نکنند، احتمال تکرار چنین اتفاقاتی افزایش خواهد یافت.
یکی دیگر از موضوعاتی که توجه کارشناسان را جلب کرده، نحوه شناسایی این رخدادهاست. گزارشها نشان میدهد OpenAI پس از مهار حادثه و اطلاعرسانی Hugging Face متوجه نفوذ عامل خود شده است. از سوی دیگر، Anthropic نیز اعلام کرده اگر ثبت گزارشهای ارزیابی بهصورت لحظهای زیر نظر قرار میگرفت، این مشکل زودتر شناسایی میشد.
ماجرای اخیر بیش از آنکه یک نقص فنی ساده باشد، نشانه ورود صنعت هوش مصنوعی به مرحلهای تازه است؛ مرحلهای که دیگر بحث فقط افزایش توانایی مدلها نیست، بلکه نحوه کنترل، پایش و محدود کردن آنها نیز به همان اندازه اهمیت پیدا کرده است. اگر عاملهای هوشمند بتوانند در محیطهای آزمایشی رفتارهایی خارج از انتظار از خود نشان دهند، طبیعی است که توسعهدهندگان، قانونگذاران و پژوهشگران توجه بیشتری به استانداردهای ایمنی و نظارت مستمر بر این سیستمها داشته باشند.
در ماههای آینده احتمالاً شاهد سختگیرانهتر شدن الزامات امنیتی، افزایش ارزیابیهای مستقل و شکلگیری مقررات جدید برای توسعه و استقرار عاملهای هوش مصنوعی خواهیم بود؛ روندی که میتواند آینده این فناوری را به همان اندازه که پیشرفتهای فنی رقم میزنند، تحت تأثیر ملاحظات امنیتی و نظارتی نیز قرار دهد.
