ТЕСТОВЕТЕ ОТ ТИПА "МНОЖЕСТВЕН ИЗБОР": ЗАЩО И КАК Гл. ас. Атанас Аврамов Гл. ас. Стефан Грозев Катедра "Математика и статистика" СА Д. А. Ценов Резюме: В този материал авторите продължават дискусията върху тестовете, като обективна форма за оценка на знанията. Тук те разглеждат теоретичните основи, върху които се базира разработването на тестовете. Обсъждат се и въпросите, свързани с използването на санкция като способ за елиминиране на случайния фактор при определяне на оценката. Ключови думи: Образование, тест, санкция, дистрактор В предходната наша статия Тестовете: за или против ние дискутирахме с въображаем опонент по различни въпроси, свързани с използване на тестовете за проверка и оценка на знанията. Напомняме, че става дума за т. нар. Тестове с множествен избор, т.е. към всеки въпрос са приведени няколко отговора, само един от които е правилен. Основен аргумент на противниците на тестовете е възможността изпитът да се вземе като тото, защото достатъчен брой верни отговори могат да бъдат познати случайно, без да се притежават нужните знания. Ние не отричаме подобна възможност. Наистина, някои от правилните отговори могат да бъдат налучкани. (Всъщност, о ужас!, теоретично всички отговори могат да се познаят). Забележете, казваме теоретично, което означава, че вероятността за подобен
Атанас Аврамов, Стефан Грозев 65 резултат е ПРАКТИЧЕСКИ нула! В това едва ли някой се съмнява. Проблемът обаче идва от друга посока! Всички знаем, че за да се вземе изпитът, е необходим един минимум от знания, който оценяваме със среден 3. Този минимум знания съответства на някакъв определен брой верни отговори. Именно тук е сърцевината на проблема. Той трябва да бъде решен така, че вероятността изпитът да се вземе случайно, без знания, чрез механизма на тотото, да бъде ПРАКТИЧЕСКИ нула! Решаването на този фундаментален въпрос зависи от следните фактори: - общ брой на въпросите в теста; - брой отговори към всеки въпрос; - минималния брой верни отговори за вземане на изпита; - евентуална санкция за грешен отговор. Общият брой на въпросите в един тест се определя главно от обема на учебното съдържание на дисциплината. Колкото и субективно да изглежда това, по наше скромно мнение един тест трябва да включва най-малко 20 въпроса. По преобладаващата част от нашите математически дисциплини, чийто хорариум е 30/30 или 45/30, тестовете съдържат по 20 въпроса. Само по една от дисциплините с хорариум 75/75 тестовете са с по 40 въпроса. Броят отговори към всеки въпрос в теста трябва да бъде такъв, че вероятността за случайно улучване на верния отговор да е разумно малка. Явно, при 2 отговора тази вероятност е 50%; при 3 отговора тя е малко над 33%; при 4 отговора 25%; при 5 отговора 20% и т.н. В световната практика, например в системата SAT, се използват въпроси с 4 или 5 отговора. Минималният брой верни отговори за вземане на изпита (среден 3) трябва да определи сам преподавателят на базата на следните съображения:
Атанас Аврамов, Стефан Грозев 66 - значимостта на дисциплината за професионалното изграждане на специалиста. Струва ни се, че един тест по счетоводна дисциплина за бъдещи счетоводители трябва да изисква поне 50% вярно решени въпроси за среден 3. Докато за математическите дисциплини, които са с общообразователно значение за икономистите, достатъчни са и 25% верни отговора. - минималният обем знания, който е достатъчен за оценка среден 3. При тестовете този въпрос се решава сравнително леко, тъй като въпросите се конструират съобразно темите в учебното съдържание. Преподавателят трябва да прецени колко теми са необходими за минималната оценка и оттам какъв е минималният брой на вярно решените въпроси. - субективна преценка за трудността на учебното съдържание. Ние например, смятаме, че математиката е трудна за нашите студенти икономисти и затова изискванията ни са по-скромни. Предназначението на санкцията е да не се поддаде студентът на изкушението да отговаря по случен начин на въпроси, на които не знае верния отговор. С други думи, както споменахме в предходния материал, санкцията принуждава изпитвания да избягва играта на тото, когато не знае как да отговори на даден въпрос. Да припомним, че санкцията е всъщност едно точно определено отрицателно число, което се поставя при посочен неверен отговор. Тук съществуват два принципни проблема: ) Винаги ли трябва да се използва санкция за сгрешените отговори? 2) В случая, че използването на санкция е наложително, какъв да е нейният размер? По първия проблем нашето мнение е следното: Когато броят на въпросите в един тест е голям, например над 40, и за вземането на изпита е необходимо около половината да бъдат решени вярно, може да се мине и без санкция. Това е така, защото вземането на
Атанас Аврамов, Стефан Грозев 67 изпита чрез случаен избор на верните отговори е практически с нулева вероятност! Тестовете, които ние използваме по математическите дисциплини, се състоят от 20 въпроса. За успешното вземане на изпита изискваме поне 5 вярно решени въпроса. При липса на санкция вероятността това да стане по случаен начин е към 40%, което е недопустимо и би компрометирало тестовата система. Има и още един случай, когато санкцията обикновено се пренебрегва при изпити с конкурсен характер. При такъв тест целта е да се ранжират изпитваните и затова техният стремеж е да наберат максимален, а не някакъв минимален резултат. Впрочем, последните години, когато се апробира тестовата форма за прием в някои средни и висши училища, потвърждават това наблюдение. По въпроса дали да има или да няма санкция при изпитване чрез тестове нашето лично мнение е в полза на санкцията! Практиката ни убеди, че санкцията притежава и определена възпитателна функция. Тя действително приучва студента да пропуска въпросите, по които има несигурни или никакви знания. От друга страна, така се реализира и обратната връзка в учебнопреподавателския процес. Въпрос, на който значителна част от изпитваните не са отговорили, свидетелства, че съответният фрагмент от учебната материя ги е затруднил. Това е важна информация за преподавателя, служеща за коректив в неговата бъдеща дейност. И най-сетне, санкцията практически елиминира играта на случая при формиране на оценката и последната действително става обективен измерител на знанията по възприетата педагогическа скала. Вторият важен проблем, свързан със санкцията, е как да се определи нейната стойност. Това е една типична и несложна задача
Атанас Аврамов, Стефан Грозев 68 от Теорията на вероятностите. Ще си позволим да изложим нейното решение. Нека тестът да включва приведени по въпроса. Към всеки от тях са отговора, само един от които е верен. При посочен верен отговор се получава точка, а при неверен отговор санкция от s точки. При разсъжденията ще стъпим на презумпцията, че студентът напълно случайно отговаря на всеки въпрос. Тогава неговият краен резултат е дискретната случайна величина n представляваща сума от n еднакво разпределени случайни величини X, X 2, K, X n, т.е. K = X + X 2 + L+ X n. Всяка от случайните величини X, X 2, K, X i P X n има разпределение s, i =, 2, K,n Справедливостта изисква средният резултат на такъв студент (математическото очакване на случайната величина K ) да бъде 0, т.е. където E( K ) = 0. Според законите на Теорията на вероятностите E( K ) = E( X ) + E( X 2 ) + L + E( X n ) = nx = 0, X = E( X i ) = s. +. От n X = 0 следва, че X = 0. Тогава: ) + = 0 s =. s( Вижда се, че санкцията s зависи единствено от броя на неверните отговори (дистракторите) към всеки въпрос! Така например, ако работим с тестове с по 2 отговора, санкцията е s = ; с тестове по 3 отговора - s = 0,5 ; с тестове по 4 отговора - s = 0,33 и т.н. В нашата практика прилагаме тестове с по 5 отговора и санкция s = 0,25. Изпитани са вече хиляди студенти и категорично можем да твърдим, че при игра на тото резултатите се колебаят около нулата! В Статистиката фундаментално значение има теоремата на Ляпунов, според която сумата на достатъчно голям брой независими случайни величини е нормално разпределена. От теоремата следва, K,
Атанас Аврамов, Стефан Грозев 69 че резултатите на достатъчно голяма съвкупност студенти, получени чрез тестове, ще има характер на нормалното разпределение. Факт, който отново се потвърждава категорично в нашата практика. Това всъщност не ни изненадва, защото е известно, че преобладаващата част от явленията и процесите в природата притежават характер на нормалното разпределение.