ارزیابی پنج نتیجه اول جستجو از گوگل، بینگ، یوز و پارسی جو

به گزارش سیتنا، در ابتدای جلسه بعد از اینکه ابهامات سکوی اعتماد موردبررسی قرارگرفته و در خصوص جایگاه این سکو در طرح تبادل‌نظر صورت گرفت، دکتر علیرضا یاری، مدیر طرح جویشگر بومی در خصوص رویداد کارآفرینی محتوا و طرح جویشگر بومی توضیح داد که این رویداد در مهرماه سال جاری آغاز به کارکرده و در پنج مرحله انجام شد که 60 گروه در این رویداد شرکت نموده و رقابت کردند.

وی در ادامه توضیح داد که ارزیابی در دو مرحله بود و در مرحله اول 15 گروه انتخاب‌شده و وارد مرحله دوم رقابت شدند که از میان آن‌ها در نهایت سه گروه به‌ عنوان گروه­های اول تا سوم برگزیده شدند.

در ادامه جلسه مهندس مژگان فرهودی، از پژوهشگران پژوهشگاه ICT در خصوص نتیجه خروجی آزمایشگاه ارزیابی جویشگرهای پارسی جو و یوز ارائه نمود که ارزیابی‌ها از چهار وجه کلی شامل کیفیت نتایج جویشگرها،کیفیت سرویس‌دهی، نسبت تجربه کاربری و آمار کاربری بوده و روال انجام ارزیابی شامل 8 مرحله می‌گردد که شامل جمع‌آوری فهرستی از کاربران جهت مشارکت، دریافت 600 پرس‌وجو از لاگ یوز و پارسی جو، دریافت 50 پرس‌وجو از TREC و 100 پرس‌وجو از Alexa، تجمیع پرس‌وجوها و تشکیل مجموعه دادگان ارزیابی (1200 پرس‌وجو)، برچسب‌گذاری پرس‌وجوها (موضوعی، زمان، زبان، نوع پایه و…)، آموزش ارزیابی کاربران، ارزیابی 5 نتیجه اول گوگل، بینگ، یوز و پارسی جو توسط کاربران و محاسبه معیار nDCG و مقایسه جویشگرهاست.

انتهای پیام