Национален семинар по проблеми на образованието по стохастика Тестово оценяване на базата на шаблона на тестовия отговор Д. Атанасов 1, В. Стоименова

Препис

1 Национален семинар по проблеми на образованието по стохастика Тестово оценяване на базата на шаблона на тестовия отговор Д. Атанасов 1, В. Стоименова 2, Д. Димитров 3 1. Нов български университет 2. СУ "СВ. Климент Охридски" 3. NCA, KSA.

2 1. Въведение 2. Проблематика 3. Реализация 4. Ресурси

3 Въведение

4 Въведение Оценяване на големи популации

5 Въведение Оценяване на големи популации Оценяване чрез относително големи тестове

6 Въведение Оценяване на големи популации Оценяване чрез относително големи тестове Формализиране на оценяването

7 оценяване на способностите

8 оценяване на способностите използване на шаблона на отговорите

9 оценяване на способностите използване на шаблона на отговорите оценяване на параметрите на тестовите въпроси

10 Най-често използвани подходи

11 Най-често използвани подходи Тестов бал

12 Най-често използвани подходи Тестов бал Rasch, IRT

13 Най-често използвани подходи Тестов бал Rasch, IRT други

14 IRT където θ - ability levels, P(θ) = c + (1 c) e ad(θ b), P(θ) - probability of correct response from a person with ability θ, b - difficulty, a - discrimination, c - guessing. D - constant, D = 1.72.

15

16 Оценяване на параметрите Неизместеност и състоятелност

17 Оценяване на параметрите Неизместеност и състоятелност ML,JML

18 Оценяване на параметрите Неизместеност и състоятелност ML,JML ЕМ

19 Оценяване на параметрите Неизместеност и състоятелност ML,JML ЕМ Проблеми

20 Реализация X i = {X ij = 0, 1} J j=1; i = 1,, N

21 Реализация X i = {X ij = 0, 1} J j=1; i = 1,, N δ j - характеристика на тестовата задача

22 Реализация X i = {X ij = 0, 1} J j=1; i = 1,, N δ j - характеристика на тестовата задача D i = J δ j X ij j=1 J δ j j=1

23 Реализация X i = {X ij = 0, 1} J j=1; i = 1,, N δ j - характеристика на тестовата задача D i = J δ j X ij j=1 J δ j j=1 δ j могат да се интерпретират като "трудност"

24 Реализация X i = {X ij = 0, 1} J j=1; i = 1,, N δ j - характеристика на тестовата задача D i = J δ j X ij j=1 J δ j j=1 δ j могат да се интерпретират като "трудност" δ j = 1 d j ; d j = N X ij i=1 N

25 D i и δ j се намират на една скала

26 D i и δ j се намират на една скала D i, δ j [0, 1]

27 D i и δ j се намират на една скала D i, δ j [0, 1] имат логична интерпретация

28 Оценяване на δ j чрез d j - зависи от извадката

29 Оценяване на δ j чрез d j - зависи от извадката чрез бутстрапинг

30 d j btsrp_min btsrp_mean btsrp_mode btsrp_median btsrp_max btsrp_se

31 Параметризиране на δ j P(X ij = 1 D i, α, β, γ) = 1 1 ( γ ) α. 1 + β - difficulty, α - discrimination, γ - guessing. D i β

32

33 IIF I (D) = (P ) P(1 P) TIF

34 IIF I (D) = (P ) P(1 P) TIF Банка от тестови задачи

35 IIF I (D) = (P ) P(1 P) TIF Банка от тестови задачи Съставяне на "оптимални"тестове

36

37 Baker F. B. (1987). Methodology review: Item parameter estimation under one-, two-, and threeparameter ligistic models. Applied Psychological Measurement, 11, Baker, Frank B.; Kim, Seock-Ho (2004). Item Response Theory: Parameter Estimation Techniques (2nd ed.). Bock R. D., Aitkin, M. (1981). Marginal Maximum Likelihood estimation of item parameters. An application of an EM algorithm. Psychometrika, 46, Dimitrov, D. M. (2015a). A Method of Scoring Tests With Binary Items and Its Application in Test Equating. Riyadh, Saudi Arabia: National Center for Assessment in Higher Education (Research Note: RN ) Dimitrov, D. M., & Atanasov, D. V. (2013). TEQNCA: A computer program for IRT true score equating of multiple test forms. Riyadh, KSA: National Center for Assessment in Higher Education. Domingue, B. W., & Dimitrov, D. M. (2015). A comparison of IRT theta estimates and Delta Scores from the perspective of additive conjoint measurement. National Center for Assessment in Higher Education (Research Report: RN ).