کد خبر: 342275
12 مهر 1405 - 11:36

کارشناس ایمنی هوش مصنوعی از OpenAI استعفا کرد؛ «زمان آزمون و خطا تمام شده است»

دیوید رابینسون، کارشناس سابق ایمنی هوش مصنوعی در OpenAI، با انتقاد از سرعت توسعه مدل‌های پیشرفته این شرکت استعفا کرد و هشدار داد رویکرد «آزمون و خطا» دیگر برای توسعه هوش مصنوعی کافی نیست و شرکت‌های این حوزه باید پیش از عرضه سامانه‌های قدرتمندتر، توجه بیشتری به پژوهش و سازوکارهای ایمنی داشته باشند.

متن خبر

به گزارش سیتنا، یک کارشناس سابق ایمنی هوش مصنوعی در OpenAI که به‌تازگی از این شرکت استعفا کرده، از رویکرد این شرکت به ایمنی هوش مصنوعی انتقاد کرد و گفت فرهنگ کاری مبتنی بر توسعه سریع، خطر بروز خطا و شکست را افزایش می‌دهد.

دیوید رابینسون در مطلبی با عنوان «من از OpenAI استعفا کردم چون فرهنگ این شرکت شکسته است» که روز شنبه در نشریه آتلانتیک منتشر شد، نوشت شرکت‌های فعال در حوزه هوش مصنوعی، از جمله OpenAI، به اندازه کافی محتاط نیستند و باید پیش از توسعه سامانه‌های قدرتمندتر، توجه بیشتری به تخصص و پژوهش‌های مرتبط با ایمنی داشته باشند.

رابینسون در این مطلب تأکید کرد: «زمان آزمون و خطا تمام شده است» و استدلال کرد که سامانه‌های پیشرفته هوش مصنوعی به تدابیر ایمنی مشابه استانداردهای مورد استفاده در صنایعی مانند انرژی هسته‌ای و هوانوردی نیاز دارند.

او گفت OpenAI تا حد زیادی به رویکردی متکی است که آن را «عرضه و بهبود تدریجی» می‌نامد؛ به این معنا که سامانه‌ها عرضه می‌شوند و هر زمان مشکلی بروز کند، تدابیر ایمنی آنها تقویت می‌شود.

این اظهارات به بحث‌های درون صنعت هوش مصنوعی درباره سرعت توسعه سامانه‌های increasingly قدرتمند دامن زده است؛ بحثی که در هفته‌های اخیر و پس از بروز مواردی از شکست کنترل‌های ایمنی یا رفتارهای غیرمنتظره سامانه‌های آزمایشی، درباره OpenAI و شرکت رقیب آن، Anthropic، شدت گرفته است.

رابینسون که می‌گوید سه سال و نیم در OpenAI فعالیت کرده، در تدوین چارچوب آمادگی این شرکت برای مقابله با خطرات مدل‌های هوش مصنوعی مشارکت داشته و بر گزارش‌های ایمنی مربوط به ۱۲ مورد از عرضه مدل‌های پیشرفته این شرکت نظارت کرده است.

او نوشت: «در حالی که شرکت از یک عرضه به عرضه بعدی با سرعت پیش می‌رود، نتوانسته است به سطحی از دقت و احتیاط که به باور من ضروری است، دست پیدا کند.»

سخنگوی OpenAI در واکنش به این اظهارات گفت: «ما اطمینان حاصل می‌کنیم که مدل‌های ما از توانایی‌هایی فراتر از ظرفیت ما برای مدیریت و ایمن‌سازی آنها برخوردار نشوند و هر زمان که لازم باشد، آموزش مدل‌ها را متوقف یا عرضه آنها را به تعویق می‌اندازیم تا سرعت توسعه را کاهش دهیم.»

رابینسون همچنین هشدار داد توانایی‌های هوش مصنوعی با سرعتی بیشتر از درک پژوهشگران از «هم‌راستایی» در حال پیشرفت است؛ حوزه‌ای که هدف آن اطمینان از عملکرد سامانه‌های هوش مصنوعی مطابق با اهداف و ارزش‌های انسانی است.

انتهای پیام

نظرات خود را با ما درمیان بگذارید
لایک [0]

افزودن دیدگاه جدید

کپچا
CAPTCHA ی تصویری
کاراکترهای نمایش داده شده در تصویر را وارد کنید.