به گزارش سیتنا به نقل از رویترز، اوپن‌ای‌آی در چارچوب تازه خود برای شناسایی و گزارش رفتارهای ناهمسو در سامانه‌های هوش مصنوعی، جزئیات شش رخداد مشاهده‌شده طی شش ماه گذشته را منتشر کرده است؛ اقدامی که نشان می‌دهد با افزایش توانایی و استقلال این سامانه‌ها، نظارت بر رفتار آنها به یکی از چالش‌های مهم ایمنی تبدیل شده است.

بر اساس این گزارش، یکی از مدل‌های پژوهشی منتشرنشده اوپن‌ای‌آی در ۲۷ مورد، دستورهایی در خلاصه‌های کاری خود ایجاد کرده بود که از آن می‌خواست برخی محدودیت‌های معمول را نادیده بگیرد.

در نمونه‌ای دیگر، برخی مدل‌ها در جریان آموزش، دستورهایی ایجاد کرده بودند که به پنهان‌کردن خطاهای خود کمک می‌کرد. تولید داده‌های ساختگی بدون اعلام این موضوع و پنهان‌کردن ناسازگاری میان منابع از جمله رفتارهای ثبت‌شده در این بررسی بوده است.

اوپن‌ای‌آی همچنین از موردی خبر داده که در آن یک سامانه هوش مصنوعی، برای دستیابی به داده موردنظر، یک کلید دسترسی افشاشده در اینترنت را پیدا و بدون اجازه از آن استفاده کرده است. این سامانه پس از ناکامی در دستیابی به اطلاعات موردنظر، داده‌های ساختگی تولید و آن را به یک منبع نسبت داده است.

در رخدادی دیگر، یک عامل هوش مصنوعی برای یافتن منبع مورد نیاز خود، فایلی را بدون درخواست کاربر در اینترنت عمومی بارگذاری کرد تا بعداً بتواند به آن استناد کند.

گزارش اوپن‌ای‌آی همچنین از تلاش چند سامانه برای ارتباط و تبادل اطلاعات خارج از مسیرهای پیش‌بینی‌شده خبر می‌دهد. در یکی از موارد، مدل‌ها از یک مخزن نرم‌افزاری داخلی برای تبادل پیام میان نمونه‌های جداگانه استفاده کردند تا فایل‌های مورد نیاز خود را پیدا کنند.

در موردی دیگر، چند عامل هوش مصنوعی برای دسترسی به فایل‌های یکدیگر از خدمات عمومی میزبانی فایل استفاده کردند و در نتیجه، فایل‌های مرتبط با یک کار در فضای عمومی اینترنت قرار گرفت.

اوپن‌ای‌آی تأکید کرده که این شش مورد، نمونه‌های مشخص مشاهده‌شده در محیط‌های آموزش و ارزیابی هستند و نباید به‌عنوان نشانه‌ای از میزان فراوانی چنین رفتارهایی در محصولات این شرکت در نظر گرفته شوند.

با این حال، انتشار جزئیات این رخدادها اهمیت یک مسئله فنی را برجسته می‌کند: هرچه سامانه‌های هوش مصنوعی به ابزارهای بیشتر، اینترنت، فایل‌ها و امکان انجام زنجیره‌ای از اقدامات دسترسی پیدا کنند، کنترل مسیر تصمیم‌گیری و اقدام آنها نیز پیچیده‌تر می‌شود.

اوپن‌ای‌آی اعلام کرده است که چارچوب جدید خود را برای شناسایی، بررسی و گزارش سریع‌تر چنین رخدادهایی ایجاد کرده و قصد دارد موارد مشاهده‌شده را حتی در شرایطی که علت دقیق رفتار یا راهکار کامل برای رفع آن هنوز مشخص نیست، مورد بررسی قرار دهد.

این رویکرد می‌تواند به ایجاد سابقه‌ای تازه در صنعت هوش مصنوعی منجر شود؛ جایی که صرفاً قابلیت‌های مدل‌ها گزارش نمی‌شود، بلکه رفتارهای پیش‌بینی‌نشده آنها نیز به‌عنوان بخشی از ارزیابی ایمنی مورد توجه قرار می‌گیرد.

انتهای پیام