خروج پژوهشگران از شرکت‌های AI برای مقابله با خطرات هوش مصنوعی

به گزارش سیتنا، بت بارنز، یکی از تأثیرگذارترین ناظران صنعت هوش مصنوعی، در ماه ژوئیه گفته بود که برای جذب پژوهشگران توانمند جهت بررسی خطرات هوش مصنوعی با مشکل مواجه است؛ اما این وضعیت به‌تازگی در حال تغییر است.

جو بنتون، پژوهشگر حوزه هوش مصنوعی، این هفته اعلام کرد که شرکت Anthropic را ترک کرده و به مؤسسه غیرانتفاعی METR به ریاست بارنز پیوسته است. او در توضیح این تصمیم گفت که درباره «خطرات در سطح انقراض» ناشی از این فناوری نگران است. این اظهارات پس از آن مطرح شد که جیکوب کاکسون، پژوهشگر دیگری، با انتشار مطلبی پربازدید و اعلام خروج خود از Anthropic، نگرانی‌ها درباره ایمنی هوش مصنوعی را در سطح گسترده‌ای مطرح کرد و آزمایشگاه‌های بزرگ هوش مصنوعی را به «قمار کردن با جان ما» متهم کرد.

به این ترتیب، METR ناگهان در مرکز یکی از مهم‌ترین بحث‌های روز درباره هوش مصنوعی قرار گرفته است. این مؤسسه که در سال ۲۰۲۲ تأسیس شد، پیش از این نیز برای بررسی قابلیت‌های به‌سرعت در حال تغییر هوش مصنوعی با شرکت‌هایی مانند OpenAI، Anthropic، گوگل و متا همکاری کرده بود. پژوهشگران این مؤسسه تابستان امسال یک حادثه امنیتی در OpenAI را بررسی کردند و اکنون قصد دارند مسائل امنیتی در Anthropic را نیز با استفاده از دسترسی داخلی که هر شرکت در اختیار آنها قرار داده است، بررسی کنند.

جاسمین دالیوال، از اعضای تیم سیاست‌گذاری METR، روز جمعه گفت: «مردم باید بدانند که آیا توسعه هوش مصنوعی در مسیر خطرناکی قرار گرفته است یا نه.» به گفته او، مأموریت اصلی این مؤسسه ارائه ارزیابی علمی و مستقل از قابلیت‌های هوش مصنوعی، هم‌راستایی آن با اهداف انسانی و سازوکارهای کنترل این فناوری است.

بنتون تنها پژوهشگری نیست که یک شرکت بزرگ فناوری را برای پیوستن به METR ترک کرده است. جاش انگلس، پژوهشگر ایمنی هوش مصنوعی، نیز اخیراً از Google DeepMind به این مؤسسه پیوسته است.

بارنز که در سال ۲۰۲۲ پس از ترک OpenAI، METR را تأسیس کرد، با وجود رقابت شدید برای جذب پژوهشگران هوش مصنوعی همچنان با کمبود نیروی متخصص روبه‌رو است. آگهی‌های استخدامی فعلی این مؤسسه حقوقی تا سقف ۵۰۳ هزار دلار را نشان می‌دهند، اما به گفته بارنز، مشکل اصلی کمبود بودجه نیست، بلکه کمبود نیروی انسانی متخصص است.

«تیم آمادگی بشریت» با کمبود نیرو مواجه است

حادثه امنیتی اعلام‌شده از سوی OpenAI و Hugging Face در ماه ژوئیه، موج تازه‌ای از پرسش‌ها درباره نحوه ارزیابی و کنترل هوش مصنوعی ایجاد کرد. بیش از هزار و ۳۰۰ نفر از کارکنان آزمایشگاه‌های پیشرو هوش مصنوعی نیز در ماه ژوئیه با امضای نامه‌ای هشدار دادند که سرعت توسعه هوش مصنوعی ممکن است از توانایی کنترل آن پیشی بگیرد. در یک ماه گذشته نیز OpenAI و Anthropic اعلام کرده‌اند که برای درک بهتر مدل‌های جدید خود، آموزش برخی مدل‌ها را به‌طور موقت متوقف کرده‌اند.

با وجود اینکه حادثه مربوط به Hugging Face بسیاری از شرکت‌های بزرگ را غافلگیر کرد، تیم METR چندان از وقوع چنین اتفاقی شگفت‌زده نشد. دولت‌ها، شرکت‌ها و حتی گروه‌های مذهبی به‌طور معمول برای درک و آزمایش روند پیشرفت این فناوری از این مؤسسه کمک می‌گیرند.

با این حال، در میان حدود ۳۵ عضو این مؤسسه نگرانی جدی وجود دارد. بارنز هنگام بازدید خبرنگار Business Insider از دفتر METR در برکلی، در همان روزی که OpenAI وقوع حمله را اعلام کرد، گفت حوزه ایمنی هوش مصنوعی به‌شدت با محدودیت منابع و نیروی انسانی مواجه است.

او گفت: «کارهای بسیار بیشتری از ظرفیت ما برای انجام دادن وجود دارد.» از نگاه بارنز، یک جامعه منطقی باید بخش بسیار بزرگ‌تری از سرمایه‌گذاری‌های هوش مصنوعی را به هدایت و ارزیابی این فناوری اختصاص دهد، به‌ویژه اکنون که جامعه با مدل‌هایی بسیار قدرتمندتر از گذشته روبه‌رو است.

با عرضه مدل‌های جدید، METR میزان توانایی آنها را برای انجام وظایفی با مدت‌زمان فزاینده اندازه‌گیری می‌کند. نتیجه این بررسی‌ها در قالب نموداری منتشر شده که به یکی از شناخته‌شده‌ترین دستاوردهای این مؤسسه تبدیل شده است. این نمودار نشان می‌دهد قابلیت‌های هوش مصنوعی طی شش سال گذشته تقریباً هر هفت ماه دو برابر شده است.

کریس پینتر، رئیس METR، این مؤسسه را با لحنی طنزآمیز «تیم آمادگی بشریت» توصیف می‌کند؛ عبارتی که اشاره‌ای به تیم‌های آمادگی در OpenAI و Anthropic دارد که تهدیدهای ایمنی را به مدیران عامل این شرکت‌ها گزارش می‌کنند.

پینتر می‌گوید METR در برابر هیچ‌کس جز مردم و رفاه عمومی پاسخگو نیست.

بارنز نیز بر اهمیت استقلال METR تأکید دارد تا این مؤسسه بتواند پژوهش‌هایی انجام دهد که به اهداف یک شرکت خاص وابسته نباشد. او زمانی که در OpenAI کار می‌کرد، به این نتیجه رسیده بود که وجود یک گروه پژوهشی خارج از آزمایشگاه‌های هوش مصنوعی ضروری است تا بتواند آزادانه درباره مسیر توسعه این فناوری اظهار نظر کند.

METR از آزمایشگاه‌های پیشرو هوش مصنوعی یا کارکنان آنها پول دریافت نمی‌کند، اما کمک‌های محاسباتی دریافت کرده و برای تحلیل مدل‌های منتشرنشده با این شرکت‌ها همکاری می‌کند.

پژوهشگران این مؤسسه علاوه بر این، شیوه‌های ایمنی آزمایشگاه‌های هوش مصنوعی، تأثیر این فناوری بر سرعت کار مهندسان نرم‌افزار و امکان استفاده از مدل‌های هوش مصنوعی برای نظارت بر مدل‌های دیگر را بررسی کرده‌اند. بارنز همچنین قصد دارد فعالیت METR را به پیش‌بینی نسل‌های بعدی قابلیت‌های هوش مصنوعی و بررسی تأثیر این تغییرات بر سرعت توسعه این فناوری گسترش دهد.

نییو پاریک، پژوهشگر METR، معتقد است کمبود نیروی متخصص تعداد پرسش‌هایی را که پژوهشگران می‌توانند درباره نحوه استدلال داخلی مدل‌های هوش مصنوعی بررسی کنند، محدود کرده است. او می‌گوید: «کمبود نیروی انسانی وجود دارد و من دوست دارم این حوزه ۱۰ برابر بزرگ‌تر شود.»

METR در مرکز فضای جدید ایمنی هوش مصنوعی

در ماه ژوئیه، OpenAI اعلام کرد مدل‌های هوش مصنوعی این شرکت هنگام آزمایش، با نفوذ به سامانه‌های Hugging Face برای یافتن پاسخ آزمون‌ها، تقلب کرده‌اند. سم آلتمن، مدیرعامل OpenAI، بعداً این اتفاق را «اولین حادثه امنیتی که واقعاً به‌شدت تحت تأثیرم قرار داد» توصیف کرد.

METR پیش از این احتمال چنین رفتاری را بررسی کرده بود. این مؤسسه در ماه مه در گزارشی نوشته بود که عامل‌های فعلی هوش مصنوعی «ممکن است به‌طور منطقی قادر به آغاز یک استقرار خودسرانه باشند»، هرچند هنوز توانایی پنهان کردن چنین اقدامی را ندارند.

این مؤسسه در ماه ژوئن نیز مدل GPT-5.6 Sol شرکت OpenAI را که هنوز به‌طور عمومی عرضه نشده بود، آزمایش کرد و دریافت که این مدل در آزمون‌های دشوار به‌طور مکرر تقلب می‌کند؛ از جمله با استخراج کد منبع مخفی برای یافتن پاسخ‌ها. METR گزارش این آزمایش را پیش از عرضه عمومی مدل با OpenAI در میان گذاشت.

در ماه ژوئیه، GPT-5.6 Sol در حادثه امنیتی OpenAI و Hugging Face نیز نقش داشت. METR و مؤسسه غیرانتفاعی دیگری به نام Redwood Research این حادثه را طی شش روز در دفتر OpenAI بررسی کردند و یافته‌های خود را در اختیار تیم فنی این شرکت قرار دادند.

پینتر می‌گوید اکنون نمونه‌های واقعی و مؤثر بر کسب‌وکار از این نوع رفتارها وجود دارد و جامعه جهانی در درک آنها ذی‌نفع است.

توانایی‌های سایبری مدل‌های جدید OpenAI و Anthropic موج تازه‌ای از نگرانی و توجه را به دنبال داشته و باعث شکل‌گیری پیشنهادهای قانونی متعددی در واشنگتن شده است. فعالیت METR نیز با یکی از مسیرهای احتمالی قانون‌گذاری همخوانی دارد؛ بر اساس یکی از طرح‌های پیشنهادی، توسعه‌دهندگان مدل‌های بزرگ هوش مصنوعی باید ارزیابی‌های ایمنی را از سازمان‌های مستقل دریافت کنند.

METR می‌تواند چنین نقشی را بر عهده بگیرد و پینتر گفته است این مؤسسه احتمالاً به انجام چنین ارزیابی‌هایی علاقه‌مند خواهد بود، هرچند چارچوب دقیق این حوزه هنوز در حال شکل‌گیری است.

پینتر معتقد است چنین مقرراتی می‌تواند به حل مشکل جذب نیروی METR نیز کمک کند؛ زیرا ممکن است پژوهشگران بیشتری با حقوقی مشابه شرکت‌های بزرگ هوش مصنوعی، اما بدون مزایای سهام، این شرکت‌ها را ترک کرده و به مؤسسات ایمنی مانند METR بپیوندند.

او معتقد است با ایجاد شفافیت بیشتر از سوی صنعت یا دولت درباره نحوه انجام بلندمدت این ارزیابی‌ها، حوزه ایمنی هوش مصنوعی می‌تواند با سرعت زیادی گسترش پیدا کند.

آجیا کوترا، که نگارش گزارش ماه مه METR درباره خطرات هوش مصنوعی را بر عهده داشت، در ماه ژوئیه گفته بود نظارت بر هوش مصنوعی در شرایط کنونی می‌تواند «آشفته و غیرقابل پیش‌بینی» به نظر برسد، اما همچنان امیدوار است.

او گفت روند کلی به سمت توجه بیشتر مردم به این موضوع و تمایل برای قانون‌گذاری جدی‌تر درباره آن در طول زمان پیش می‌رود.

انتهای پیام