ارزیابی محتوایی، روایی محتوایی، ارزیابی کیفی

ارزیابی محتوایی، روایی محتوایی، ارزیابی کیفی

ارزیابی محتوایی، روایی محتوایی، ارزیابی کیفی

به پاسخ صحیح سوال، 1 و به پاسخ غلط، 0 تعلق گرفت.
برای سوالی که بارم یا ریز بارم آن 5/ 0 بود، نمرهی 25/0 و بالاتر به یک تبدیل شد.
برای سوالی که بارم یا ریز بارم آن 75/0 بود، نمرهی 5/0 و بالاتر از آن به یک تبدیل شد.
برای سوالی که بارم یا ریز بارم آن 1 بود، نمرهی 5/0 و بالاتر از آن به یک تبدیل شد.
در مرحله بعد، جمع نمرات داده شده توسط مصححان به هر سوال محاسبه شد. سپس، برای اینکه دادههایمان را به دادههای دو ارزشی (جهت آماده سازی ورود به نرم افزار بایلوگ) تبدیل کنیم، مطابق قرارداد زیر نمرهی هر سوال مجدداً به 0 و 1 کدگذاری شد.
برای دادههایی که 3 مصحح آنها را تصحیح کرده بودند؛ نمرات 3 و 2 به یک و نمرات 1 و 0 به صفر تبدیل شد. همچنین برای دادههایی که 2 مصحح آن ها را تصحیح کرده بودند؛ نمرات 2 و 1 به یک و 0 به صفر تبدیل گردید.
روش تجزیه و تحلیل اطلاعات
به منظور بررسی روایی امتحانات نهایی، این امتحانات از نظر ساختار، محتوا، توزیع طبقهبندی سوالات و میزان پوشش محتوای کتاب با استفاده از نظرات متخصصان موضوعی که با اصول اندازهگیری آشنایی داشتند و از طریق پرسشنامههای محقق ساخته مورد ارزیابی قرار گرفتند. این قسمت از کار در واقع یک ارزیابی کیفی محسوب میشد. لذا جهت تحلیل اطلاعات به دست آمده از روشهای آمار توصیفی استفاده گردید.
برای بررسی سوالات از نظر ساختار، اگر حداقل 70 درصد (ملاک 7/0) متخصصان موضوعی سوال را دارای اشکال تشخیص دهند آن سوال از نظر ساختاری نامناسب تشخیص داده میشود.
به منظور ارزیابی محتوایی سوالات آزمون، از روش لاشه برای تعیین ضریب روایی محتوایی استفاده شد. آمارهی آن، نسبت روایی محتوایی (CVR) تبدیل خطی از نسبت تعداد ارزیابانی که سوال را ضروری تشخیص میدهند به تعداد کل ارزیابان شرکت کننده در پنل است که دامنه ی آن از 1 تا 1- میباشد. شیوهی محاسبه ی آن بدین صورت بود که 5 نفر از متخصصان موضوعی در هر درس، هر یک از سوالات را بر روی یک مقیاس سه نقطهای (ضروری، مفید اما غیر ضروری و غیر ضروری) درجهبندی کردند. سپس CVR برای هر سوال محاسبه گردید و ملاکهای 6/0و ارزشهای بحرانی CVR (ویلسون، پان و چامسکی، 2012) در نظر گرفته شد. اگر مقدار محاسبه شده بزرگتر یا مساوی ملاک تعیین شده باشد، میتوان گفت که آن سوال ضروری محسوب میشود و از روایی برخوردار است.
برای بررسی سوالات از نظر طبقهبندی شناختی، اگر بیش از 50% متخصصان موضوعی در تخصیص دادن سوال به یکی از سطوح شناختی طبقهبندی بلوم توافق داشته باشند، آن سوال متعلق به آن سطح در
نظر گرفته میشود.
به منظور چگونگی توزیع سوالات در فصلهای مختلف، ملاکهای مختلفی وجود دارد که در این تحقیق برای بررسی اینکه سوالات امتحانات نهایی، تمام فصول کتاب را به طور منطقی پوشش دادهاند یا خیر، تعداد صفحات هر فصل در نظر گرفته شده است. تعداد سوالات هر فصل که از طریق فرمول زیر محاسبه شد با تعداد سوالات هر فصل که در امتحان طرح شده بود، مقایسه گردید.
= تعداد سوالات هر فصل
از آنجا که تعداد اوراق تصحیح شده توسط هر یک از مصححان برابر نبود و مصححان اوراق امتحانی متفاوتی را تصحیح کرده بودند، در صورت استفاده از طرحهای کاملا متقاطع جهت بررسی اعتبار امتحانات، خیلی از اطلاعات موجود کنار گذاشته میشد. از اینرو، در این پژوهش از طرحهای ترکیبی استفاده گردید.
نکتهای که باید به آن اشاره شود، این است که در تعیین اعتبار با استفاده از طرحهای GT، نمرات مصححان دوم لحاظ نگردیده است. همچنین، جهت تحلیل دادهها از نرم افزار EDUG 5.0 استفاده گردید.
وب و شیولسون (1981) بیان نمودند که اصل تقارن کاردینت و همکارانش منجر به تمایز میان 4 مرحله از مطالعه اندازهگیری شده است که عبارتند از:
طرح مشاهده
طرح برآورد
3) طرح اندازهگیری
4) طرح بهینه سازی.
در GT دو نوع مطالعه وجود دارد؛ مطالعهی تعمیمپذیری (مطالعهی G) و مطالعهی تصمیم (مطالعهی D). مطالعهی G، سه مرحلهی اول را شامل میشود و مطالعهی D، همان مرحلهی چهارم است. در این پژوهش، برآورد ضرایب اعتبار دادههای امتحانات نهایی در قالب 3 طرح اندازهگیری و مطابق با مراحل مذکور صورت گرفته است.
اولین مرحله یک مطالعه اندازهگیری، مشخص کردن طرح مشاهده است که شامل انتخاب رویهها، سطوح

 

مدیر

داغ ترین ها

No description. Please update your profile.

~~||~~Comments Are Closed~~||~~