نگرانی دانشمند ارشد OpenAI از هوش مصنوعیهای خودمختار
دانشمند ارشد OpenAI با هشدار درباره رشد سریع هوش مصنوعی، اعلام کرد عاملهای خودمختار ممکن است توانایی دور زدن نظارت انسان، نفوذ به سیستمها و فریب کاربران برای رسیدن به اهداف خود را پیدا کنند.
به گزارش سیتنا، یاکوب پاچوکِی، دانشمند ارشد OpenAI، در یک پست طولانی وبلاگی که روز یکشنبه منتشر کرد، اعلام کرد نگران این موضوع است که «هیچکس برای پیامدهای ادامه رشد سریع هوش ماشینی آماده نیست.»
او گفت اگرچه OpenAI در حال توسعه راهکارهای فنی داخلی برای کنترل بهتر عاملهای قدرتمند هوش مصنوعی است، اما «مداخلات گستردهتری» مورد نیاز است.
پاچوکی بهطور مشخص درباره این نگرانیها هشدار داد که عاملهای هوش مصنوعی هرچه مستقلتر میشوند، ممکن است یاد بگیرند چگونه از نظارت انسانها فرار کنند، به سیستمهای رایانهای نفوذ کنند و برای رسیدن به اهداف خود، افراد را فریب دهند.
او خواستار ایجاد «موانع ایمنی اجباری» شد؛ موانعی که به گفته او میتوانند توسط شبکهای از حسابرسان مستقل، نهادهای دولتی یا سازمانهای بینالمللی اجرا شوند. سم آلتمن، مدیرعامل OpenAI، نوشته پاچوکی را در شبکه اجتماعی X بازنشر کرد و آن را «پستی مهم» خواند.
OpenAI روز پنجشنبه جدیدترین مدل خود با نام Astra را معرفی کرد. شرکت سازنده ChatGPT اعلام کرده این مدل، با وجود تواناییهای بیسابقه در ریاضیات و کار با رایانه، همراستاترین مدل این شرکت است؛ یعنی احتمال رفتار خارج از کنترل در آن کمتر شده است.
Anthropic، رقیب اصلی OpenAI در حوزه سیستمهای پیشرفته هوش مصنوعی، مدتهاست خواستار ایجاد قوانین استاندارد دولتی برای این فناوری است. پاچوکی نیز اخیراً به این درخواستها پیوسته و در ماه ژوئیه نامهای عمومی را امضا کرده که در آن از دولت آمریکا خواسته شده روند توسعه هوش مصنوعی با سرعت کنترلشدهتری پیش برود.
خطرهایی که پاچوکی درباره آنها هشدار داده است:
عاملهای هوش مصنوعی میتوانند افراد را فریب دهند یا تهدید کنند
پاچوکی گفت عاملهای هوش مصنوعی در نفوذ به سیستمهای محافظتشده در اینترنت عمومی، به سطحی «فرابشری» نزدیک شدهاند و تواناییهای هکری آنها میتواند زیرساختهای جهانی را در معرض خطر قرار دهد.
او گفت: «اکنون در یک بازه زمانی محدود قرار داریم تا با استفاده از بهترین مدلهای موجود، امنیت سیستمهای حیاتی را بهطور قابل توجهی افزایش دهیم.»
به گفته او، عاملهای هوش مصنوعی بهزودی ممکن است اهداف مستقل خود را دنبال کنند؛ اهدافی که جدا از دستورهایی است که کاربران انسانی وارد میکنند او هشدار داد این عاملها برای رسیدن به اهدافشان ممکن است به مذاکره، معامله یا حتی باجگیری از انسانها روی بیاورند.
در گزارشی که مؤسسه امنیت هوش مصنوعی بریتانیا در ماه اوت منتشر کرد، توضیح داده شده بود که یک عامل هوش مصنوعی شرکت Anthropic به یک مدیر GitHub دروغ گفته و تلاش کرده او را متقاعد کند تا بدافزاری را روی این سایت قرار دهد.
عاملهای هوش مصنوعی ممکن است نظارت انسان را دور بزنند
پاچوکی گفت OpenAI در حال حاضر عمدتاً فرآیند «زنجیره استدلال» مدلهای مختلف را بررسی میکند تا مشخص شود عاملها چگونه از مسیر درست خارج شده و رفتارهای غیرقابل پیشبینی انجام میدهند.
برای مثال، ممکن است یک عامل هوش مصنوعی در فرآیند داخلی خود به این نتیجه برسد که «باید در یک آزمون تقلب کنم». در شرایط فعلی، OpenAI میتواند این روند فکری را مشاهده کند، در حالی که خود عامل از قابل مشاهده بودن آن آگاه نیست.
اما پاچوکی هشدار داد مدلهای جدیدتر در حال پیشرفت در دستکاری فرآیندهای استدلال خود هستند و ممکن است بتوانند افکار واقعی خود را از دید توسعهدهندگان پنهان کنند. او افزود برخی از جدیدترین مدلها حتی دیگر فرآیند استدلال خود را بهصورت متنی بیان نمیکنند.
به گفته او، این موضوع میتواند روند توسعه هوش مصنوعی را کند کند، زیرا پژوهشگران باید ابتدا مطمئن شوند که همچنان امکان مشاهده و بررسی رفتار مدلها وجود دارد.
عاملهای هوش مصنوعی میتوانند توسعه خود را سرعت دهند
پاچوکی گفت مدلهای هوش مصنوعی روزبهروز بیشتر از طریق فرآیندی که او آن را «بهبود خودکار بازگشتی ماشینی» مینامد، در حال ارتقای خود هستند. این فرآیند میتواند راهی برای افزایش سریع سرعت توسعه هوش مصنوعی باشد.
با این حال، او هشدار داد که سرعت بخشیدن بیش از حد به توسعه هوش مصنوعی توسط خودِ هوش مصنوعی، در کوتاهمدت خطرهایی ایجاد میکند و «اقدام جمعی درستی که جامعه پژوهشی باید انجام دهد» نیست.
پاچوکی تاکید کرد پژوهشگران انسانی باید روشهای خلاقانهای برای نظارت بر فرآیند خودبهبوددهی هوش مصنوعی پیدا کنند یا با دیگر شرکتهای فعال در این حوزه همکاری کنند تا یک کاهش سرعت هماهنگ ایجاد شود و اعتماد عمومی به این اقدامات افزایش یابد.
او گفت:
«چالش اصلی در خودکارسازی پژوهش هوش مصنوعی، رسیدن به هدف نیست؛ بلکه رسیدن به آن به شکلی است که انسانها همچنان بخشی از فرآیند پیشرفت باقی بمانند و آینده در اختیار بشریت بماند.»
انتهای پیام
افزودن دیدگاه جدید