یک آزمون خوب چه ویژگی‌هایی دارد؟

هدف استفاده از نمره را بنویسید

آیا آزمون برای بازخورد کلاسی است، نمره پایان ترم، جایابی یا تصمیم پرپیامد؟ هرچه پیامد بزرگ‌تر باشد، شواهد و کنترل کیفیت بیشتری لازم است. یک آزمون کوچک کلاسی را نباید برای ادعاهایی استفاده کرد که برای آن طراحی نشده است.

Blueprint بین هدف و سؤال پل می‌سازد

جدول مشخصات نشان می‌دهد کدام محتوا و کدام سطح عملکرد با چه وزن و تعداد سؤال پوشش داده می‌شود. بدون blueprint، ممکن است آزمون به‌طور ناخواسته روی بخش آسان‌تر یا قابل سؤال‌سازی‌تر متمرکز شود.

نمونه فرضی جدول مشخصات برای یک آزمون کلاسی

تصور کنید معلم زبان قصد دارد پس از یک درس خواندن، یک ارزیابی تکوینی کوتاه اجرا کند. هدف او رتبه‌بندی دانش‌آموزان نیست؛ می‌خواهد بداند کدام مهارت خواندن به تمرین و بازخورد بیشتری نیاز دارد. جدول زیر صرفاً نمونه طراحی است، نه ابزار استانداردسازی‌شده یا الگویی با روایی و پایایی اثبات‌شده:

شش تکلیف در این نمونه تنها برای نمایش رابطه «هدف، شاهد و سؤال» انتخاب شده‌اند. از چنین نمونه‌ای نمی‌توان بدون شواهد تازه برای قبولی، جایابی یا تصمیم‌های پرپیامد استفاده کرد. تعداد سؤال و وزن بخش‌ها باید با زمان، مخاطب، دامنه محتوای آموزش‌داده‌شده و تفسیر مورد نظر سازگار باشد.

چهار پرسش برای بازبینی پس از اجرا

1. کدام سؤال‌ها واقعاً شواهد مهارت هدف را فراهم کردند و کدام‌یک با ابهام دستور یا واژگان نامرتبط مخدوش شدند؟
2. آیا پاسخ‌های متفاوت دانش‌آموزان می‌توانند نشانه راهبردهای خواندن متفاوت باشند، نه صرفاً درست یا غلط بودن؟
3. آیا معیارهای نمره‌گذاری پاسخ‌های باز روشن بودند و با نمونه پاسخ‌ها سازگاری داشتند؟
4. چه تغییری در آموزش یا طراحی سؤال بعدی لازم است و چه شواهدی می‌تواند آن تغییر را تأیید کند؟

نتیجه چنین بازبینی‌ای باید در بازخورد و طراحی آموزش بعدی به‌کار رود. یک جدول مشخصات به‌تنهایی آزمون را معتبر نمی‌کند؛ کیفیت هر سؤال، اجرا، نمره‌گذاری و تفسیر همچنان نیازمند بررسی است.

پایایی کافی است؟ نه

ثبات نمره مهم است، اما آزمون بسیار پایا می‌تواند چیز نامناسبی را با ثبات اندازه بگیرد. روایی به تفسیر و استفاده نمره مربوط است و باید با شواهد مناسب پشتیبانی شود. سؤال مرکزی این است که آیا استنباطی که از نمره می‌سازیم قابل دفاع است.

چرا ثبات نتیجه به‌تنهایی کفایت نمی‌کند؟

فرض کنیم آزمونی از زبان‌آموزان به‌طور مکرر پاسخ‌هایی نسبتاً باثبات دریافت می‌کند، اما بیشتر سؤال‌های آن تنها حفظ واژگان را می‌سنجند؛ درحالی‌که قرار است بر اساس نمره، درباره توانایی برقراری ارتباط تصمیم گرفته شود. در این وضعیت، حتی اگر شواهد مناسبی از پایایی نمره وجود داشته باشد، استنباط درباره توانایی ارتباطی هنوز به پشتوانه کافی نیاز دارد. باید روشن شود که تکلیف‌ها تا چه اندازه با سازه مورد نظر هماهنگ‌اند، چه جنبه‌هایی از عملکرد را پوشش می‌دهند و چه عوامل نامرتبطی ممکن است بر پاسخ اثر بگذارند.

از این منظر، کیفیت آزمون را نمی‌توان به یک ضریب آماری فروکاست. شواهد مربوط به محتوای تکلیف، فرایند پاسخ‌گویی، شیوه نمره‌گذاری، تفاوت‌های گروهی و پیامدهای کاربرد نتیجه باید متناسب با هدف سنجش بررسی شوند. وزن این شواهد برای آزمون کم‌پیامد کلاسی و تصمیم پرپیامد یکسان نیست؛ هرچه اثر تصمیم بر مسیر یادگیرنده بیشتر باشد، مسئولیت گردآوری و تفسیر شواهد نیز افزایش می‌یابد.

انصاف بخشی از کیفیت است

زبان دستور، دسترسی، زمان، محتوای فرهنگی و شرایط اجرا می‌توانند برای گروه‌های مختلف مانع غیرمرتبط با سازه ایجاد کنند. آزمون خوب تا حد ممکن این موانع را کاهش می‌دهد و accommodations را در نسبت با هدف بررسی می‌کند.

بعد از آزمون هم کار تمام نشده است

آیتم‌های بسیار آسان یا دشوار، گزینه‌های ناکارآمد، الگوی خطا و بازخورد دانش‌آموز می‌توانند برای اصلاح آزمون بعدی استفاده شوند. کیفیت سنجش یک فرایند تکرارشونده است و هر اجرا باید به یادگیری درباره ابزار منجر شود.

پرسش‌های رایج

آیا آزمون سخت‌تر معتبرتر است؟

خیر. دشواری باید با هدف و سطح مورد سنجش هماهنگ باشد؛ سختی نامرتبط می‌تواند تفسیر نمره را ضعیف کند.

آیا پایایی بالا به تنهایی کافی است؟

خیر. پایایی یکی از شواهد است؛ روایی تفسیر، انصاف و تناسب با هدف نیز ضروری‌اند.

منبع اصلی

Standards for Educational and Psychological Testing محصول مشترک AERA، APA و NCME است و چارچوب بنیادی برای روایی، پایایی، انصاف و استفاده از آزمون فراهم می‌کند.

جمع‌بندی

یک آزمون خوب باید بتواند از نتیجه خود دفاع کند: چرا این سؤال‌ها، چرا این نمره‌گذاری و چرا این تفسیر؟ وقتی این زنجیره روشن است، سنجش از تولید عدد به تولید شواهد آموزشی نزدیک می‌شود.