یک عامل هوش مصنوعی در آزمایش امنیتی از کنترل خارج شد

چت جی پی تی
اوپن‌ای‌آی اعلام کرد در جریان یک آزمایش امنیتی، یک عامل خودمختار مبتنی بر مدل‌های پیشرفته این شرکت از محیط کنترل‌شده خارج شد، به اینترنت دسترسی پیدا کرد و برای انجام مأموریت تعریف‌شده، زیرساخت‌های هاگینگ‌فیس را هدف یک حمله سایبری قرار داد؛ رخدادی که بار دیگر نگرانی‌ها درباره مخاطرات امنیتی هوش مصنوعی پیشرفته را افزایش داده است.

به گزارش سیتنا، اوپن‌ای‌آی اعلام کرد یک عامل خودمختار مبتنی بر مدل‌های پیشرفته هوش مصنوعی این شرکت، در جریان یک آزمایش امنیتی از محیط کنترل‌شده خارج شد و با دسترسی به اینترنت، حمله‌ای سایبری علیه زیرساخت‌های شرکت هاگینگ‌فیس (Hugging Face) انجام داد.

به گفته اوپن‌ای‌آی، این عامل هوش مصنوعی در چارچوب یک آزمایش داخلی برای ارزیابی توانایی‌های امنیت سایبری مدل‌های پیشرفته در محیطی محدود و ایزوله فعالیت می‌کرد، اما موفق شد از محدودیت‌های تعیین‌شده عبور کند و برای دستیابی به هدف تعریف‌شده در آزمایش، به سامانه‌های هاگینگ‌فیس نفوذ کند.

خبرگزاری رویترز در گزارشی این رخداد را نشانه‌ای از تبدیل شدن تهدیدهای نظری هوش مصنوعی به یک واقعیت عملی دانست و نوشت که حتی بزرگ‌ترین توسعه‌دهندگان این فناوری نیز ممکن است در برابر آسیب‌پذیری‌هایی که مدل‌های خودشان قادر به بهره‌برداری از آن هستند، غافلگیر شوند.

اوپن‌ای‌آی در پست وبلاگی خود اعلام کرد این رخداد «یک حادثه سایبری بی‌سابقه با استفاده از توانمندی‌های پیشرفته حملات سایبری» بوده و این شرکت در حال بازنگری و تقویت تدابیر حفاظتی و محدودیت‌های امنیتی برای جلوگیری از تکرار چنین اتفاقاتی است.

این حادثه از آن جهت نیز مورد توجه قرار گرفته که هاگینگ‌فیس اعلام کرده برای تحلیل و مهار این حمله از مدل متن‌باز چینی GLM-5.2 متعلق به شرکت Zhipu AI استفاده کرده است. به گفته این شرکت، برخی مدل‌های پیشرفته آمریکایی به دلیل محدودیت‌های ایمنی و ناتوانی در تشخیص مهاجم از مدافع، از پردازش داده‌های مورد نیاز برای تحلیل حمله خودداری کرده بودند.

هاگینگ‌فیس همچنین اعلام کرد استفاده از مدل GLM-5.2 این امکان را فراهم کرده است که داده‌های مرتبط با مهاجم، اطلاعات محرمانه و اعتبارنامه‌ها در زیرساخت داخلی این شرکت باقی بماند و نیازی به ارسال آنها به سرویس‌های خارجی نباشد.

در همین حال، مدل Kimi K3 متعلق به شرکت چینی Moonshot AI نیز به همراه GLM-5.2 طی ماه‌های اخیر به دلیل ارائه توانمندی‌هایی نزدیک به برترین مدل‌های آمریکایی، اما با هزینه کمتر و محدودیت‌های امنیتی کمتر، توجه فعالان سیلیکون‌ولی را به خود جلب کرده است.

توماس ولف، از بنیان‌گذاران هاگینگ‌فیس، در شبکه اجتماعی ایکس نوشت: «وقتی یک مدل پیشرفته در حال حمله به زیرساخت‌های شماست و به‌صورت جانبی در شبکه حرکت می‌کند، مدافعان باید در عرض چند دقیقه یا چند ساعت به ابزارهایی هم‌سطح پیشرفته‌ترین مدل‌ها دسترسی داشته باشند، نه اینکه برای استفاده از آنها منتظر تأیید یا مجوز بمانند.»

هاگینگ‌فیس که یکی از مهم‌ترین میزبان‌های مدل‌های متن‌باز هوش مصنوعی و مجموعه‌داده‌های مرتبط محسوب می‌شود، پیش‌تر اعلام کرده بود این رخنه از ابتدا تا انتها توسط یک سامانه عامل خودمختار هوش مصنوعی هدایت شده و از نظر پیچیدگی با هیچ‌یک از حملات قبلی شباهت نداشته است.

افشای نقش مدل‌های اوپن‌ای‌آی در این حمله، آن هم در شرایطی که این شرکت تأکید کرده بود عامل هوش مصنوعی در محیطی «بسیار بسته و ایزوله» نگهداری می‌شد، می‌تواند نگرانی‌ها درباره توانمندی‌ها و مخاطرات امنیتی نسل جدید مدل‌های هوش مصنوعی را بیش از پیش افزایش دهد.

انتهای پیام


Source URL: https://www.citna.ir/news/339582/یک-عامل-هوش-مصنوعی-آزمایش-امنیتی-کنترل-خارج-شد