ارزیابی جامع و تعیین استانداردهای علمی چیرگی در آزمون های تخصصی ورود به دوره های انترنی رشت? پزشکی با استفاده از مدل های کلاسیک و خصیص? مکنون
چکیده
مقدمه علی رغم استفاد? گسترده از آزمون پره- انترنی و اهمیت آن در ارزیابی دانشجویان پزشکی، مطالعه ای که یک تحلیل روان سنجی نظام مند از سوالات و استانداردهای چیرگی این آزمون فراهم کند وجود نداشت. لذا پژوهش حاضر ضمن ارزیابی جامع روان سنجی آزمون پره- انترنی اسفند 1389 با استفاده از مدل های کلاسیک و خصیص? مکنون، استانداردهای چیرگی در آن را از طریق روش های علمی تعیین کرده است. روش در این پژوهش ترکیبی (کمی و کیفی)، تجزیه و تحلیل سوالات آزمون با استفاده از روش های کلاسیک و خصیص? مکنون انجام شد. به منظور ارزیابی ساختاری و محتوایی سوالات و تعیین استانداردهای چیرگی آزمون، از قضاوت متخصصان پزشکی و روان سنجی در قالب 23 پنل تخصصی استفاده گردید. تعیین استاندارد با روش آنگوف تغییر یافته انجام شد و شواهد رویه ای، درونی و بیرونی تعیین استاندارد مورد بررسی قرار گرفت. اعتبار استانداردهای تعیین شده برای موضوعات درسی نیز با استفاده از روش تحلیل مولفه های واریانس و در قالب یک طرح سوال- ارزیاب تعیین شد. نتایج 30 سوال (15 درصد) در باز? قابل قبول ضرایب دشواری و تمیز قرار داشتند. ضریب اعتبار آزمون 913/0 به دست آمد. 73 سوال (%5/36) از لحاظ گزینه های انحرافی دارای ایراد بودند. بررسی بعدیت آزمون نشان داد که آزمون تک بعدی است. با استفاده از مدل سه پارامتری میانگین و انحراف معیار پارامتر دشواری (519/0، 813/1)، پارامتر تشخیص (597/0، 262/0) و پارامتر حدس (235/0 ، 097/0) به دست آمد. بیشترین میزان آگاهی آزمون در سطح توانایی 1/1 قرار داشت و آزمون در نقاط برش از آگاهی کمتری نسبت به سطوح بالاتر توانایی برخوردار بود. براساس ارزیابی ساختاری و محتوایی سوالات، تقریبا 70 درصد سوالات آزمون دارای اشکال ساختاری بودند و با ملاک سهل گیران? 7/0 در حدود نیمی از سوالات ضروری و بقیه مفید و غیرضروری شناسایی شدند. همچنین، 59 سوال (%5/29) دارای تاکسونومی 1، 110 سوال (%55) دارای تاکسونومی 2 و 31 سوال (%5/15) دارای تاکسونومی 3 بودند. استاندارد قبولی آزمون 114 (از 200) و یا 57 (از 100) تعیین شد. استانداردهای پیشنهاد شده از شواهد روایی مطلوبی برخوردار بوده و در اکثر موضوعات درسی (%78 موارد) اعتبار قابل قبولی داشتند. در 22 پنل میانگین همسانی درون- ارزیابان بالاتر از 8/0 قرار داشت و توافق بین- ارزیابان در 21 پنل (%91) در مراحل دوم و سوم نسبت به مرحل? اول افزایش داشت. در تحلیل ناهمسانی درون- ارزیابان با استفاده از نظری? خصیص? مکنون، میانگین خطا برابر با 18/0 و میانگین همسانی برابر 75/0 به دست آمد. بین سه استاندارد قبولی (مطلق، نسبی و آنگوف) تفاوت معنی داری وجود داشت و نوع ملاک در میزان قبولی/ مردودی افراد موثر بود. نتیجه گیری یافته های پژوهش نشان داد که بهره گیری از تحلیل های کمی و کیفی سوالات و تعیین استانداردهای چیرگی در آزمون پره- انترنی می تواند آن را به یک ابزار قوی برای ارزیابی آموخته های دانشجویان پزشکی تبدیل کند.
