زیلوش آخرین اخبار تکنولوژی 
پیشرفت مدلهای متنباز هوش مصنوعی با سرعتی فراتر از انتظار ادامه دارد. تازهترین گزارش مؤسسه SaferAI نشان میدهد مدل GLM-5.2 که توسط شرکت چینی Z.ai توسعه یافته، از نظر توانمندیهای فنی فاصله چندانی با جدیدترین مدلهای OpenAI و Anthropic ندارد. با این حال، ارزیابیهای امنیتی تصویر متفاوتی ارائه میکنند؛ مدلی که در بسیاری از سناریوهای پرخطر، تقریباً هیچ مقاومتی در برابر درخواستهای مخرب از خود نشان نداده است.
GLM-5.2 چقدر به مدلهای OpenAI و Anthropic نزدیک شده است؟
در سالهای گذشته معمولاً مدلهای متنباز چند نسل از محصولات شرکتهایی مانند OpenAI عقبتر بودند، اما حالا این فاصله به شکل محسوسی کاهش یافته است.
براساس گزارش SaferAI، مدل GLM-5.2 در حوزههایی مانند امنیت سایبری و زیستشناسی کاربردی، تنها چند ماه از GPT-5.5 و Claude Opus 4.7 عقبتر ارزیابی شده است. این موضوع نشان میدهد توسعهدهندگان چینی با سرعت بالایی در حال نزدیک شدن به مرز توانایی مدلهای تجاری هستند؛ موضوعی که رقابت در بازار هوش مصنوعی را وارد مرحله تازهای میکند.
نتایج آزمایشهای امنیتی درباره GLM-5.2 چه میگویند؟
بخش مهم گزارش به رفتار مدل در برابر درخواستهای حساس اختصاص دارد.
محققان SaferAI از طریق API عمومی Z.ai مجموعهای از وظایف مرتبط با حملات سایبری و سناریوهای دارای کاربرد دوگانه در زیستشناسی را روی GLM-5.2 اجرا کردند. طبق نتایج این بررسی، مدل تقریباً هیچیک از این درخواستها را رد نکرد.
در مقابل، Claude Opus 4.7 از Anthropic عملکرد کاملاً متفاوتی داشت. این مدل آنقدر درخواستهای پرخطر را رد کرده که پژوهشگران نتوانستهاند آزمون CyberGym را بهطور کامل روی آن اجرا کنند. CyberGym یکی از شناختهشدهترین معیارهای سنجش توانایی مدلهای هوش مصنوعی در حوزه امنیت سایبری است.
چرا مدلهای Open-weight ریسک بیشتری دارند؟
این گزارش بار دیگر یکی از بحثبرانگیزترین موضوعات صنعت هوش مصنوعی را به مرکز توجه آورده است؛ آیا انتشار آزاد وزن مدلهای قدرتمند، ریسک سوءاستفاده را افزایش میدهد؟
مدلهای متنباز پس از انتشار میتوانند روی هر سختافزار و بدون محدودیت اجرا شوند. توسعهدهنده دیگر کنترلی بر نحوه استفاده از مدل ندارد و کاربران قادرند محدودیتهای امنیتی، دستورهای سیستمی یا حتی بخشهایی از مدل را تغییر دهند.
در مدلهای بسته شرایط متفاوت است. شرکتهایی مانند OpenAI و Anthropic معمولاً از چندین لایه محافظتی شامل آموزش برای رد درخواستهای خطرناک، سامانههای تشخیص محتوا و محدودیتهای مبتنی بر API استفاده میکنند. این روشها کامل نیستند و بارها با تکنیکهای Jailbreak دور زده شدهاند، اما دستکم امکان بهروزرسانی و اعمال سیاستهای جدید را برای توسعهدهنده حفظ میکنند.
آیا میتوان مدل را از ابتدا ایمنتر آموزش داد؟
«هنری پاپاداتوس»، مدیر اجرایی SaferAI، معتقد است بخشی از این ریسک را میتوان پیش از آموزش مدل کاهش داد.
یکی از راهکارهای پیشنهادی، حذف دادههای حساس از مجموعه دادههای آموزشی است؛ روشی که با عنوان Pre-training Data Filtering شناخته میشود. هدف این است که مدل از همان ابتدا اطلاعات کمتری درباره موضوعات پرخطر یاد بگیرد.
پژوهشهای اخیر نشان دادهاند این روش میتواند میزان دانش خطرناک مدل در حوزه زیستشناسی را کاهش دهد، بدون اینکه کیفیت کلی آن افت محسوسی داشته باشد.
اما در حوزه امنیت سایبری، اجرای چنین ایدهای بسیار پیچیدهتر است. مهارتهای برنامهنویسی و امنیت سایبری تا حد زیادی به یکدیگر وابسته هستند و حذف دانش مرتبط با حملات، ممکن است روی توانایی مدل در تولید یا تحلیل کد نیز اثر بگذارد؛ قابلیتی که امروز یکی از مهمترین مزیتهای تجاری مدلهای هوش مصنوعی محسوب میشود.
چین و آمریکا چه رویکردی در قبال ایمنی هوش مصنوعی دارند؟
به گفته «گراهام وبستر»، پژوهشگر مرکز سیاست سایبری دانشگاه استنفورد، مقررات هوش مصنوعی در چین تاکنون بیشتر بر کنترل محتوای سیاسی، مقابله با اطلاعات نادرست و حفظ ثبات اجتماعی متمرکز بوده است. در مقابل، در آمریکا بخش قابل توجهی از بحثها حول خطرات بالقوه مدلهای پیشرفته، از جمله حملات سایبری و سوءاستفادههای زیستی شکل گرفته است.
با این حال، مقامهای چینی نیز در ماههای اخیر بارها بر ضرورت توسعه مسئولانه هوش مصنوعی تأکید کردهاند. شی جینپینگ در جریان کنفرانس جهانی هوش مصنوعی، ضمن حمایت از مدلهای متنباز، اعلام کرد این فناوری باید همواره تحت کنترل انسان باقی بماند.
موافقان مدلهای متنباز چه استدلالی دارند؟
طرفداران انتشار آزاد وزن مدلها معتقدند دسترسی عمومی به این فناوری، تنها به نفع مهاجمان نیست. از نگاه آنها، شرکتهای امنیتی، پژوهشگران و توسعهدهندگان نیز میتوانند با استفاده از همین مدلها آسیبپذیریها را سریعتر شناسایی کنند، سامانههای دفاعی بهتری توسعه دهند و برای تهدیدهای آینده آمادهتر باشند.
استفاده Hugging Face از GLM-5.2 در تحلیل یکی از حملات سایبری اخیر، یکی از نمونههایی است که مدافعان متنباز به آن استناد میکنند.
