Измерение - Как Именно Определить Измерительную Способность Предмета По Irt?

Я изложу свои подозрения, чтобы лучше помочь ответчику понять, где я нахожусь в плане знаний и понимания.

Итак, у нас есть некая одномерная, скрытая и предположительно измеримая черта. Если нам повезет, возможно, у нас будут какие-то сведения о его распространении среди населения; то есть как степень признака связана с его распространенностью в популяции. Это, конечно, требует построения воображаемой шкалы, даже не имея теста для ее измерения.

В любом случае, в этом совершенно идеальном случае мы уже кое-что знаем, как должно выглядеть распределение оценок, что может помочь проверить тест. Однако мы не просто хотим знать, насколько хорош тест, мы также хотим знать, насколько хороши отдельные элементы.

При построении предметов они должны с первого раза иметь одинаковую сложность (это для того, чтобы можно было выделить фактор измеряемости предмета). Таким образом, все элементы в этом прототипном тесте представляют собой параллельные конструкции.

Итак, идет анализ. Мы создаем несколько тестов и распределяем их по разным, достаточно большим размерам выборкам, и они проходят тесты. Выборки должны быть разными, чтобы их навыки сдачи тестов не улучшались в ходе обучения. Теперь тест(ы), распределение баллов по которым достаточно похоже на ожидаемую кривую в популяции, развиваются дальше. Эти тесты анализируются на уровне заданий.

Участники теста, находящиеся в определенном диапазоне баллов, должны набрать примерно одинаковые/плохие оценки по каждому пункту (при условии, что тест не истощает их к концу). Таким образом, элементы, баллы которых существенно отклоняются от ожидаемого, удаляются. Чтобы гарантировать, что эти отклонения не являются причиной факторов, не связанных с производительностью, результаты по этим заданиям сравниваются между разными испытуемыми. Если все испытуемые имеют оценки, которые отклоняются от их обычных оценок по этому пункту, то виноват именно этот элемент, а не конкретный испытуемый(и), у которого отклоняющиеся оценки.

Это все, что у меня есть. Этот пример также был совершенно идеальным, поскольку у них был очень удобный ресурс заранее знать, какое распределение оценок наиболее вероятно.

Вопрос:

Как определить измерительную способность предмета? Является ли то, что я описал выше, способом сделать это? Чтобы уточнить, то, что я описал выше, было воображаемым способом количественной оценки отклонения фактического результата задания от ожидаемого результата задания; чем больше отклонение, тем хуже измерительная способность объекта, поскольку это отклонение подразумевает, что объект измеряет что-то другое.

Под «выходом баллов» я подразумеваю баллы, которые дает предмет. Следующие описания относятся к определенной категории испытуемых. Допустим, задача решена $x/y$ раз, и всякий раз, когда она решена, она решается в среднем за $z$ минут. Однако испытуемые в этой группе способностей в среднем решают остальные задачи $(x \pm a)/y$ раз и решают их в среднем за $(z\pm b)$ минут. Учитывая, что все предметы одинаковой сложности, это означает, что что-то не так. Я предполагаю, что в таком случае предмет должен обладать каким-то качеством, которое делает его неспособным измерить признак; возможно, он измеряет другую, похожую черту? Однако он не совпадает с результатом других элементов, поэтому он удаляется (при условии, что $a$ и $b$ достаточно велики, то есть отклонение достаточно велико).

$$x,y,z,a,b, \in \Bbb R $$

#измерение #тест