پشت درخواست صنعت هوش مصنوعی برای ارزیابی مستقل؛ جدال بر سر انتشار عمومی نتایج
شرکت‌های آنتروپیک و اوپن‌ای‌آی در تلاش‌اند کنترل قابل‌توجهی بر محتوایی داشته باشند که ارزیابان مستقل از بررسی مدل‌های هوش مصنوعی آن‌ها منتشر می‌کنند؛ زیرا نگران‌اند نتایج این ارزیابی‌ها اسرار تجاری و اطلاعات محرمانه‌شان را فاش کند.
به گزارش سیتنا، داریو آمودی، مدیرعامل آنتروپیک، ماه گذشته اعلام کرد ارزیابان خارجی باید حق انتشار یافته‌های مهم خود را «بدون کنترل تحریریه‌ای» داشته باشند. اوپن‌ای‌آی نیز چند روز بعد با این موضع موافقت کرد و گفت ارزیابان باید از «استقلال تحریریه‌ای» برخوردار باشند.
با این حال، به گفته منابع آگاه، شرکت‌های هوش مصنوعی نگران‌اند کارکنان گروه‌های ارزیابی که در قالب طرح موسوم به «ارزیابی مستقر در شرکت» و در داخل مجموعه آن‌ها فعالیت می‌کنند، اطلاعات اختصاصی را به شرکت‌های رقیب منتقل کنند. این منابع به دلیل محرمانه بودن موضوع، نخواستند نامشان فاش شود.
یکی از منابع گفت اقداماتی برای جلوگیری از نشت مالکیت فکری در دست بررسی است؛ از جمله اینکه کارکنان شرکت‌های هوش مصنوعی بر فعالیت گروه‌های ارزیابی مستقر در مجموعه نظارت کنند و ارزیابانی که در یک شرکت مستقر شده‌اند، نتوانند هم‌زمان در شرکت دیگری نیز فعالیت داشته باشند.
اما مسئله اینجاست که اطلاعاتی که شرکت‌های هوش مصنوعی آن‌ها را اسرار تجاری و دارایی فکری حیاتی خود می‌دانند، ممکن است با اطلاعات ضروری برای ارزیابی خطرات مدل‌های هوش مصنوعی هم‌پوشانی داشته باشد. همین مسئله می‌تواند به اختلاف بر سر محتوای گزارش‌ها و حذف بخش‌هایی از آن‌ها منجر شود. این موضوع را فرد دیگری که از تعاملات قبلی با این شرکت‌ها آگاه است، مطرح کرده است.
کارشناسان پیش‌تر درباره استقلال ارزیابان ابراز نگرانی کرده‌اند؛ به‌ویژه از آن جهت که آنتروپیک و اوپن‌ای‌آی خودشان در انتخاب ارزیابانی نقش دارند که قرار است مدل‌هایشان را بررسی کنند. رویترز برای نخستین بار جزئیات مذاکرات میان این شرکت‌های هوش مصنوعی و ارزیابان مستقل را گزارش می‌کند.
این مذاکرات، تنش میان دو ضرورت را آشکار می‌کند: از یک سو، جهان باید از قابلیت‌های هوش مصنوعی قدرتمند و خطرات احتمالی آن آگاه شود و از سوی دیگر، شرکت‌های فعال در این حوزه می‌خواهند از اسرار تجاری خود محافظت کنند؛ شرکت‌هایی که در پی دستیابی به ارزش‌گذاری‌های چند تریلیون دلاری و احتمال عرضه اولیه سهام در مقیاسی بزرگ هستند.
نتیجه این مذاکرات می‌تواند مشخص کند که جهان چگونه فناوری‌ای را زیر نظر می‌گیرد که برخی از سازندگانش هشدار می‌دهند سرعت پیشرفت آن ممکن است از توانایی بشر برای مدیریت و کنترلش فراتر برود.
برخی کارشناسان می‌گویند در نبود استانداردها و قوانین مشخص برای ارزیابی مستقل، شرکت‌هایی که قدرتمندترین مدل‌های هوش مصنوعی را می‌سازند، ممکن است خودشان تعیین کنند سامانه‌هایشان چگونه بررسی شوند؛ وضعیتی که ارزیابان را به تصمیم و خواست همان شرکت‌ها وابسته می‌کند.
مذاکرات بر سر حق انتشار گزارش‌ها
به گفته دو فرد آگاه از موضوع، روند مذاکرات به‌سرعت تغییر کرده است. آن‌ها گفتند آنتروپیک و اوپن‌ای‌آی تا پنجم اکتبر همچنان در پی اعمال کنترل تحریریه‌ای سخت‌گیرانه بر محتوای قابل انتشار ارزیابان بودند. با این حال، به گفته یکی از منابع، تا هشتم اکتبر مذاکرات آنتروپیک با برخی ارزیابان ظاهراً وارد مرحله متفاوتی شده بود.
آنتروپیک در پاسخ به پرسش‌های رویترز اعلام کرد که توصیف مذاکرات این شرکت به‌عنوان تلاش برای اعمال کنترل گسترده بر گزارش‌های ارزیابان مستقر در مجموعه، بازتاب دقیقی از تمام گفت‌وگوها و همکاری‌های آن با ارزیابان مستقل نیست.
این شرکت که سازنده مدل‌های هوش مصنوعی کلاد است، گفت در گفت‌وگوهای جاری با ارزیابانی که پیش‌تر با آن‌ها همکاری داشته، روشن کرده است که ارزیابان خارجی در تعیین روش‌ها، معیارهای ارزیابی، نتیجه‌گیری‌ها و محتوای قابل انتشار گزارش‌های خود استقلال دارند.
با این حال، آنتروپیک اعلام کرد در همکاری با شرکت‌های ارزیابی جدید، تا زمانی که ارزیابان با نحوه عملکرد مدل‌های این شرکت آشنا شوند و رابطه کاری شکل بگیرد، حق اظهارنظر درباره گزارش‌ها و تأیید آن‌ها را برای خود محفوظ می‌داند.
اوپن‌ای‌آی نیز اعلام کرد که به دنبال کسب اختیار برای تأیید متن کامل گزارش‌های تهیه‌شده از سوی ارزیابان نیست. این شرکت گفت رویه معمول آن حذف اطلاعات محرمانه از گزارش‌هاست و ارزیابان می‌توانند اعلام کنند که آیا بخش‌های مهمی از گزارش آن‌ها حذف شده است یا خیر.
سازنده چت‌جی‌پی‌تی ماه گذشته اعلام کرده بود شرکت‌های هوش مصنوعی و ارزیابان باید پیش از آغاز آزمایش‌ها درباره دامنه بررسی و میزان دسترسی به اطلاعات توافق کنند، روش‌ها و تعارض منافع را افشا کنند و اختیار تعیین یافته‌ها را به ارزیابان بسپارند؛ در عین حال، شرکت‌ها نیز باید بتوانند از اطلاعات حساس خود محافظت کنند.
با این حال، بر اساس یک قرارداد بررسی‌شده توسط رویترز، مفاد برخی قراردادهای مورد استفاده شرکت‌های هوش مصنوعی با مؤسسات ارزیابی می‌تواند انتشار اطلاعات محرمانه در گزارش‌ها را بدون موافقت شرکت‌ها ممنوع کند.
وعده استقلال در ارزیابی‌ها
آنتروپیک ماه گذشته اعلام کرد شرکت فَکالتی، کسب‌وکار تخصصی هوش مصنوعی شرکت اکسنتچر، نخستین ارزیاب مستقر در مجموعه این شرکت خواهد بود؛ اما جزئیات مربوط به سطح دسترسی ارزیابان و نحوه گزارش یافته‌ها هنوز در حال بررسی است.
مارک وارنر، مدیرعامل فکالتی، به رویترز گفت: «ارزیابان تنها زمانی مفید هستند که مردم بتوانند به گزارش‌هایشان اعتماد کنند؛ بنابراین استقلال و شفافیت حیاتی است.»
شرکت‌های فناوری معمولاً شرکای خود را از به‌اشتراک‌گذاری اطلاعات مربوط به همکاری‌ها بدون رضایت آن‌ها منع می‌کنند. با این حال، کارشناسان می‌گویند در حوزه هوش مصنوعی، با توجه به پیامدهای گسترده‌ای که به گفته توسعه‌دهندگان این فناوری برای انسان‌ها خواهد داشت، حساسیت موضوع بسیار بیشتر است.
رومان چودری، نماینده پیشین علمی آمریکا در امور هوش مصنوعی در دولت جو بایدن و مدیرعامل شرکت هیومن اینتلیجنس، به رویترز گفت در نبود استانداردهای مشخص، شرکت‌های هوش مصنوعی می‌توانند با کنترل دسترسی‌هایی که ارزیابان به آن وابسته‌اند، بر محتوای گزارش‌ها تأثیر بگذارند.
چودری گفت: «ارزیابان به سطح دسترسی بسیار ویژه‌ای دست پیدا می‌کنند، اما چه صریح و چه ضمنی، می‌دانند که این دسترسی هزینه‌ای دارد.»
ارزیابی مستقل یکی از چهار اقدام ایمنی پیش‌بینی‌شده در توافق‌نامه یک‌صفحه‌ای کاخ سفید درباره ابرهوش بود؛ توافقی که دونالد ترامپ، رئیس‌جمهور آمریکا، و مدیران ارشد شرکت‌های پیشرو هوش مصنوعی در اواخر ماه گذشته آن را امضا کردند. با این حال، این توافق‌نامه که ترامپ آن را «از نظر اخلاقی الزام‌آور» توصیف کرده، مشخص نکرده است که ارزیابی‌های مستقل دقیقاً چگونه باید انجام شوند.
ارزیابان نیز ماه گذشته در نامه‌ای عمومی، حداقل شرایط مورد نظر خود را اعلام کردند. این نامه را بیش از ۲۰۰ پژوهشگر، از جمله جفری هینتون، از چهره‌های پیشگام هوش مصنوعی، امضا کرده‌اند. نامه خواستار استقلال در تعیین و انتشار یافته‌ها، دسترسی گسترده به شرکت‌های هوش مصنوعی و حمایت از ارزیابان در برابر اقدامات تلافی‌جویانه است.
حذف بخش‌هایی از گزارش‌ها و محدودیت دسترسی
اوپن‌ای‌آی اطلاعات غیرعمومی را از گزارشی که مؤسسات غیرانتفاعی «ام‌ای‌تی‌آر» و «ردوود ریسرچ» درباره حادثه هَگینگ فیس تهیه کرده بودند، حذف کرد. در این حادثه، عامل‌های خودمختار مبتنی بر مدل‌های پیشرفته اوپن‌ای‌آی از کنترل خارج شدند و حمله‌ای سایبری را رقم زدند که زیرساخت‌های پلتفرم هگینگ فیس را به خطر انداخت.
بررسی این دو مؤسسه فعال در حوزه ایمنی هوش مصنوعی، در ابتدا قرار بود طی دو روز و در داخل اوپن‌ای‌آی انجام شود؛ اما در نهایت، طی سه بازدید به شش روز کشید. مجموعه کامل‌تری از رونوشت‌ها نیز تنها در آخرین بازدید در اختیار پژوهشگران قرار گرفت؛ آن هم پس از آنکه آن‌ها درباره کمبود داده‌ها هشدار دادند.
ام‌ای‌تی‌آر و ردوود اعلام کردند در پی بازخورد اوپن‌ای‌آی، ساختار، تأکیدها، وضوح و لحن گزارش خود را اصلاح کرده‌اند، اما هیچ اطلاعات مهم دیگری که برای نتیجه‌گیری‌هایشان ضروری بوده، حذف نشده است.
این دو مؤسسه همچنان بر یافته‌های خود تأکید کردند و از دسترسی‌ای که اوپن‌ای‌آی در نهایت فراهم کرده بود، تمجید کردند. با این حال، آن‌ها گفتند هنگام نگارش، ویرایش و حذف بخش‌هایی از گزارش، این نگرانی را نیز در نظر گرفته‌اند که انتشار گزارشی با چنین موضوع حساسی ممکن است توسعه‌دهندگان را از دعوت ارزیابان خارجی پس از وقوع حوادث جدی منصرف کند.
انتهای پیام
افزودن دیدگاه جدید