مدل هوش مصنوعی کافی نیست؛ چارچوب کنترلی برگ برنده است
پژوهش جدید انویدیا نشان میدهد که عملکرد عاملهای هوش مصنوعی فقط به قدرت مدل اصلی وابسته نیست و چارچوب نرمافزاری اطراف مدل، شامل مدیریت حافظه، ابزارها، قوانین و یک عامل ناظر، میتواند نقش تعیینکنندهای در موفقیت آن داشته باشد؛ بهطوری که پژوهشگران با بهینهسازی این چارچوب، عملکرد کلود اوپوس ۵ را در یک آزمون استدلال تعاملی از ۳۰ درصد به ۱۰۰ درصد رساندند.
به گزارش سیتنا، انویدیا روز جمعه پژوهش جدیدی منتشر کرد که نشان میدهد در انجام وظایف پیچیده و طولانیمدت توسط عاملهای هوش مصنوعی، چارچوب نرمافزاری اطراف مدل میتواند اهمیت بسیار بیشتری از خود مدل داشته باشد.
این چارچوب که در ادبیات فنی به آن Harness گفته میشود، مجموعهای از ابزارها، سیستم مدیریت حافظه و قوانین مورد استفاده در کنار مدل هوش مصنوعی است و به یک مدل خام اجازه میدهد بهصورت مستقل عمل کند.
خلاصه یافته انویدیا این است که پژوهشگران تنها با استفاده از یک چارچوب اختصاصی که برای مدیریت بهتر حافظه تنظیم شده و یک مؤلفه «ناظر» دارد، توانستند مدل Claude Opus 5 را در آزمون استدلال تعاملی ARC-AGI-3 به امتیاز کامل ۱۰۰ درصد برسانند.
ARC-AGI-3 مجموعهای از بازیهای دوبعدی بدون دستورالعمل مشخص است که مدل باید خودش نحوه بازی کردن و پیروز شدن را کشف کند؛ آزمونی که از قضا نتایج ضعیف مدلهای شرکت OpenAI در آن، توجه زیادی را به خود جلب کرده بود.
کلود اوپوس ۵ بدون استفاده از این چارچوب تنها ۳۰ درصد امتیاز گرفت؛ هرچند همین نتیجه در میان مدلهای آزمایششده، بهترین عملکرد محسوب میشد.
مدل تنها «مغز» یک عامل هوش مصنوعی نیست
پژوهش انویدیا نشانه دیگری از این موضوع است که اگرچه انتخاب مدل همچنان اهمیت دارد، اما خود مدل ــ که میتوان آن را «مغز» عامل هوش مصنوعی دانست ــ تنها بخشی از یک سیستم عاملمحور است.
این چارچوب نرمافزاری است که حافظه، زمینه، ابزارها و بازخوردهای مورد نیاز را مدیریت میکند و به مدل امکان میدهد به یک عامل هوش مصنوعی تبدیل شود.
«عادل الحلاق»، معاون محصول در واحد هوش مصنوعی انویدیا، به تککرانچ گفت: «بهطور کلی، دنیا یک عامل را تقریباً مانند رابطی برای مدل در نظر میگیرد؛ اما یک عامل چیزی فراتر از مدل است.»
به گفته او، عامل شامل خود مدل، چارچوب نرمافزاری اطراف آن، ابزارهایی که استفاده میکند، محیط اجرا و مهارتها و کتابخانههایی است که در اختیارش قرار میگیرد.
چالش اصلی؛ انجام کارهای طولانی و چندمرحلهای
وظایف «بلندمدت» یا Long-horizon به کارهایی گفته میشود که برای انجام آنها باید تصمیمهای متعددی پشت سر هم گرفته شود و ممکن است تکمیل آنها روزها زمان ببرد.
این نوع کارها با پاسخ دادن ساده به یک درخواست متفاوت است. چالش اصلی پژوهشگران این است که چگونه عاملهای هوش مصنوعی را وادار کنند بدون حواسپرتی، از مسیر خارج شدن یا تصمیمهای اشتباه، مجموعهای طولانی از اقدامات را تا رسیدن به نتیجه نهایی انجام دهند.
برای مثال، مایکروسافت در پژوهشی که در ماه آوریل منتشر کرد، ۱۹ مدل زبانی بزرگ را در انجام وظایف طولانیمدت مربوط به ویرایش اسناد آزمایش کرد و دریافت که همه مدلها، حتی مدلهای پیشرفته، اسناد را با خطاهای متعدد پر کردند.
عاملهای هوش مصنوعی حتی در برخی موارد هنگام دنبال کردن اهداف خود، فایلهای کاربران یا پایگاههای داده را حذف کردهاند و در نمونههایی دیگر به رفتارهای مخرب از جمله تبانی و هک روی آوردهاند.
یک «مدیر» برای عامل هوش مصنوعی
اهمیت آزمایش انویدیا زمانی بیشتر میشود که بدانیم پژوهشگران یک مؤلفه «ناظر» را نیز به چارچوب خود اضافه کردهاند.
این ناظر مانند یک مدیر یا مدیرعامل عمل میکند و زمانی که عامل اصلی از مسیر درست خارج میشود، در مسیر رسیدن به هدف بنبست میرسد یا دوباره سراغ مسیری میرود که قبلاً آن را امتحان کرده است، او را به سمت درست هدایت میکند. الحلاق درباره این ساختار گفت: «بخش جالبتر، اضافه کردن یک عامل ناظر در کنار عامل اصلی بود.»
انویدیا این چارچوب را Agentic Variation Operators یا AVO نامیده است. البته AVO محصول جدید انویدیا نیست؛ این شرکت مجموعهای از فناوریها و ابزارهای مورد نیاز برای ساخت چنین چارچوبهایی را تحت برند Nemo ارائه میکند که بخشی از آنها تجاری و بخش قابلتوجهی نیز متنباز هستند.
چارچوب مناسب میتواند هزینه هوش مصنوعی را هم کاهش دهد
پژوهش انویدیا همچنین به شواهد فزایندهای اضافه میکند که نشان میدهند عملکرد عاملهای هوش مصنوعی فقط به انتخاب مدل وابسته نیست.
دیتابریکس نیز در ماه ژوئیه پژوهشی منتشر کرد که نشان میداد چارچوب مورد استفاده در کنار مدل میتواند تأثیر چشمگیری بر هزینه اجرای عاملهای هوش مصنوعی داشته باشد.
علی قدسی، مدیرعامل دیتابریکس، به تککرانچ گفت حتی اگر از یک مدل یکسان استفاده کنید، انتخاب چارچوب متفاوت میتواند هزینه را به شکل قابلتوجهی تغییر دهد و استفاده از چارچوب نامناسب ممکن است هزینه را تا دو برابر افزایش دهد.
انویدیا بهدنبال کنترل بیشتر کاربران است
پیام اصلی انویدیا این است که چارچوبهای متنباز، درست مانند مدلهای متنباز، میتوانند کنترل بسیار بیشتری در اختیار کاربران قرار دهند. الحلاق میگوید کاربران با چارچوبهای متنباز میتوانند پارامترهای بیشتری را برای افزایش دقت تنظیم کنند.
او همچنین تأکید کرد که داشتن یک زنجیره کاملاً باز برای ساخت عاملهای هوش مصنوعی ــ از چارچوب و زیرساخت گرفته تا محیط اجرا ــ برای پیشبرد ایمن این فناوری ضروری است.
انتهای پیام
افزودن دیدگاه جدید