что отражает трудность заданий теста

Что отражает трудность заданий теста

Если педагогический тест определить кратко как систему заданий равномерно возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Немало руководителей школ считают, что их учителя в состоянии «придумать» за короткое время могут сколько угодно «тестов». На самом же деле можно придумать довольно много заданий в тестовой форме. А совсем не тесты, а только задания. Их нельзя включать в настоящий тест до тех пор, пока не станет известной мера их трудности, а также и другие характеристики. Мера трудности проверяется эмпирически. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания не выдерживают предъявляемых к ним требований, и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа.

Внимательный читатель вероятно уже уловил различия в лексике трех как бы «незаметно» введенных здесь основных понятий теории педагогических измерений: понятие педагогического теста, задания в тестовой форме и тестового задания. Требования к первому из них уже было рассмотрено в статье «Определение педагогического теста» (УШ № 30, август 1999г.).

Требования ко второму понятию лучше ввести сейчас, сделав это хотя бы кратко перечислив их, для того чтобы не отвлечься от основной темы статьи. К заданиям в тестовой форме предъявляются следующие требования:

-логическая форма высказывания;

-одинаковость правил оценки ответов;

-наличие определенного места для ответов;

-одинаковость инструкции для всех испытуемых;

-правильность расположения элементов задания;

-адекватность инструкции форме и содержанию задания

Аванесов В.С. Основы педагогической теории измерений // Педагогические Измерения, 1, 2004г. С. 17.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным, потому что в хорошем тесте трудность может зависеть только от трудности содержания заданий и от уровня подготовленности самих испытуемых. В то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации. Особого упоминания в этой связи заслуживает вредная практика нацеленной подготовки учащихся единому государственному экзамену. Педагогов, занимавшихся таким делом, министр образования России 1907 года И.Толстой называл натаскивателями. Но педагоги виноваты менее всего. Виновата ошибочная система «егирования», которая подталкивает к такой ошибочной практике. Каков контроль, таково и образование.

Принцип возрастающей трудности используется при изложении содержания многих учебников и пособий, особенно по тем учебным дисциплинам, которые построены по кумулятивному принципу, что означает: знание последующих элементов курса в явном виде зависит от знания предыдущих учебных элементов. Такое построение присуще учебникам по математике, логике, иностранным языкам, статистике, техническим и многим другим наукам. В них ранее изученные понятия активно используются в последующих темах. Поэтому изучать такие дисциплины нужно только с самого начала, и без пробелов.

Л.Н. Ланда объяснял трудность учебной задачи тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. Если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода, с незнанием, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи (2). Возникающие затруднения объясняются тем, что педагог часто старается дать знания о содержании изучаемого и значительно меньше заботится о том, как надо думать, рассуждать (там же). Подобное истолкование пересекается с идеей о связи сложности задания с числом операций, которые необходимо совершить для достижения успеха. Эти определения трудности и сложности являются, по большей части, психологическими; они полезны при психологическом анализе содержания тестовых заданий.

Естественным образом принимается, что p_j + q_j = 1. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм (4).

При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам т.н. классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за абстрактной теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности. Этот феномен в теори известен как парадокс теоретика американской психометрики Ф.Лорда

Если тестируется слабая, по подготовленности, группа учащихся, то оказывается, что трудные задания теста просто не работают, потому что ни один учащийся не может правильно на них ответить. Такие задания из дальнейшей обработки данных изымаются. В адаптивных контролирующих системах они не предлагаются. Содержание теста для слабых учащихся будет заметно отличаться от содержания теста для сильных учащихся. У последних, наоборот, не работают легкие задания, так как все знающие испытуемые на легкие задания отвечают правильно. Таким образом, содержание традиционного теста существенным образом варьирует в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых нацелен тест.

Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы. Содержание теста выражается в одной из четырех основных форм заданий. Это: 1) задания с выбором одного или нескольких правильных ответов из числа предложенных; 2) задания открытой формы, где ответ испытуемый дописывает сам, в отведенном для этого месте; 3) задания на установление соответствия, и 4) задания на установление правильной последовательности действий.

Опубликовано в газете «Управление школой» № 40, октябрь, 1999г.

Источник

Оценка качества тестовых заданий

4.1. Качество тестирования: основные факторы и меры

Тестовые задания (тесты) измеряют свойства тех или иных выборок потенциальных испытуемых. Экспертиза качества заданий и всего теста – это оценка не только каждого его элемента (дистракторы, их количество и др.), но и всего теста, его структуры, взаимоотношений с другими заданиями.

У тестовых заданий, всего теста есть структурные элементы, характеризуемые внутренними и внешними свойствами, своей структурой. На эти свойства влияют определяющим образом много факторов:

Полный учет свойств позволяет сконструировать «желаемые» тесты – тесты с наперед задаваемыми (согласно гипотезе тестирования) качествами, статистическими свойствами, например, «параллельные» тесты, субтесты и др. Нужно учитывать также меру дифференциации, способность заданий (тестов) дифференцировать тестируемых, например, способность дифференцировать относительно максимального или минимального уровня обучения.

Первостепенно важны для анализа такие характеристики, как трудность (сложность) задания и его различающая способность. Трудность задания отражает уровень ее выполнимости в данной статистической выборке (стандартной). Ее оценивают часто отношением количества правильно выполнивших задание к количеству выборки испытуемых.

Чем ближе этот показатель к 1, тем выше трудность задания, чем ближе к 0 – тем ниже его трудность.

В качестве показателя трудности задания теста используют индекс трудности U вычисляемый по формуле:

где n – количество правильно ответивших на задание, N – общее количество испытуемых (выборки).

При построении критериально-ориентированного теста, для повышения его трудности добавляют задания более высокой трудности, для понижения – включают больше заданий низкой трудности.

Трудность задания (теста) бывает:

Трудность – относительная величина, зависящая от возрастных, профессиональных и иных различий испытуемых, поэтому эти особенности влияют на результаты тестирования, на надежность теста. Необходимы меры выравнивания условий (минимизации таких воздействия на тестируемых). Для этого используют направленное комплектование выборки, стандартизацию процедуры тестирования, т.е. необходима эффективная диагностическая методика, приводящая к «золотой середине», балансу трудных, среднего уровня и простых заданий.

Слишком трудные задания ухудшают статистические характеристики оценивания (мало решающих, неудача на трудном задании может повлиять на решение других заданий и т.п.). Слишком простые задания ведут к малоинформативным однообразным результатам, затрудняющим анализ качества обучения, вызывают негативное отношение испытуемых к тесту и тестированию.

В критериально-ориентированных аттестационных тестах основная часть заданий легче, что ограничивает процент неаттестованных студентов.

Пример. Если прогнозный процент неаттестованных должен быть не больше 10%, а критерий «неуспеваемости» – 70% (выполнившие лишь до 30% заданий – не аттестованы), в тест следует включить от 70% легких заданий, посильных 90% тестируемых (рис. 4.2).

Поэтому важно выбрать тест, оптимальный по сложности заданий, группам сложности, структуре теста. Если на вопрос правильно отвечает большинство испытуемых, его обычно помещают в начале теста, а остальные вопросы – по мере роста их трудности. Такое расположение заданий позволяет оценить приблизительно порог трудности для каждого испытуемого, его место в рейтинге.

Практическое тестирование свидетельствует: максимально отражается индивидуальный уровень знаний, навыков, умений испытуемых при использовании заданий средней трудности с включением небольшого количества остальных заданий.

Есть специальная характеристика, называемая различающей способностью заданий. Она показывает меру эффективности различения тестируемых на группы: овладевшие учебным материалом и не овладевшие им.

Определяется различающая способность задания на пилотном тестировании и для него потребуются две серии измерений: а) повторное тестирование; б) тестирование на разных выборках.

Меру различения (различающую способность) R можно в самом простом выражении определить по формуле:

где N, M – количество испытуемых, попавших, соответственно, в «высокую» и «низкую» контрастные группы, а n, m – верно ответивших, соответственно, на задание из «высокой» и «низкой» группы.

Чем ближе R к значению +1, тем больше различающая способность задания.

Чем ближе R к нулю, тем меньше различение заданием испытуемых, овладевших или не овладевших учебным материалом.

Чем ближе R к значению –1, тем также больше различение, но в инверсном порядке: испытуемые, овладевшие материалом, ответили неправильно, и наоборот. Это редкий случай, он свидетельствует, например, о пробелах в методике, спонтанности ее.

Источник

Трудность и дискриминативность заданий теста. Психометрический парадокс.

Определение степени трудности тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности заданий сводится к выбору оптимальных по сложности заданий, которые затем можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.

Трудность задания определяется числом правильных ответов на данное задание в сравнении с общим объемом выборки по формуле:

Где — количество испытуемых, давших правильный ответ, – общее количество испытуемых.

Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства тестов принято, что задания с Психометрическое обоснование диагностических методик от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых, в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).

где b – количество решивших первую задачу, но не решивших вторую,c – количество решивших вторую задачу, но не решивших первую.

При χ2 > 6,631 различия в индексах трудности двух задач следует считать достоверными.

Дискриминативность тестовых заданий

При разработке теста необходимо стремиться к тому, чтобы его задания как можно тоньше измеряли тестируемое свойство. Например, если в результате обследования почти все испытуемые получают примерно одинаковые результаты, то это означает, что тест измеряет очень грубо. Чем большее количество градаций результатов можно получить при помощи теста, тем выше его разрешающая способность. Мера тонкости измерения (или степень диффиренцируемости результатов) теста называется в психометрикедискриминативностью. Дискриминативность теста измеряется показателем дельта Фергюсона:

Наименьшаядискриминативность теста при δ = 0, наибольшая при δ = 1

Психометрический парадокс — явление, возникающее при использовании личностных опросников. Его сущность состоит в том, что вопросы (утверждения), имеющие высокий показатель дискриминативности, являются неустойчивыми по отношению к повторяемости результата, и, наоборот, стабильность ответа часто отмечается у тех вопросов, которые обладают низкой дискриминативностью.

П. Айзенбергом (1941) было показано, что вопросы, которые позволяют отличать больных неврозом от других больных или здоровых, являются ненадежными; иначе говоря, мала вероятность получения того же самого ответа при повторном обследовании. В то же время с помощью вопросов, определяемых как надежные, различение изучаемых групп не достигалось или было неудовлетворительным. Позднее изучению этого явления, получившего название психометрический парадокс были посвящены работы Л. Голдберга (1963) и М. Новаковской (1975).

Голдберг рассматривает психометрический парадокс как определенную зависимость между постоянством и вариабельностью ответов на вопросы.

Психометрический парадокс не может быть объяснен без психологического анализа процесса формирования ответов на вопросы личностных опросников. Согласно М. Новаковской, вопросы, оставаясь формально неизменными, подвержены семантическим (психологическим) преобразованиям как в плане интериндивидуальном, так и интраиндивидуальном. Интериндивидуальная изменчивость обусловлена двумя причинами: различия в выраженности измеряемой черты (свойств) у разных обследуемых и различия в понимании значения вопросов. Интраиндивидуальная изменчивость обусловлена вариабельностью значения, трудностью принятия решения об ответе и флуктуацией выраженности черты (последний источник изменчивости можно не учитывать, если интервал между повторными исследованиями невелик).

Для психологической интерпретации психометрического парадокса М. Новаковская предлагает различать три детерминанты ответов: выраженность черты у обследуемого; значение, придаваемое вопросу; степень легкости принятия решения об ответе. Она подчеркивает также необходимость отличать вопросы однозначные от многозначных, которые в известном смысле могут быть уподоблены проективным стимулам.

М. Новаковская предлагает различать два вида психометрического парадокса — типа А и типа В — и исходит из следующих гипотез их возникновения.

Парадокс типа А возникает при вопросах, поддающихся различному истолкованию (многозначных), а также в том случае, когда трудно принять решение об ответе. Такие вопросы имеют высокий показатель дискриминативности при значительной вариабельности ответа. Например, «Ваше настроение обычно хорошее?» (в одном из вариантов опросника на определение нейротизма).

Парадокс типа В возникает при однозначных вопросах, для которых легко подобрать ответ. Сюда же должны быть отнесены т. н. односторонние диагностические вопросы или те вопросы, для которых только один тип ответа является диагностически значимым. Подобные вопросы характеризуются слабой дискриминативностью и незначительно выраженной вариабельностью. Например: «Часто ли вам снится, что вы оказались в пасти крокодила?» (в одном из вариантов опросника для определения уровня тревожности). Вопрос является диагностически односторонним, поскольку из ответа «да» мы можем заключить о наличии тревожности, а из ответа «нет» мы не можем сделать никакого вывода.

Чем больше в методике вопросов, дающих парадокс типа В, тем больше надежность, определяемая коэффициентом корреляции между результатами повторных исследований. Однако одновременно снижается дискриминативная сила вопросов.

Исследователь, зная о существовании психометрического парадокса, может регулировать вариабельность ответов путем подбора вопросов с соответствующими параметрами.

Необходимо учитывать психометрический парадокс при конструировании (адаптации) личностных опросников.

Дата добавления: 2019-07-17 ; просмотров: 618 ; Мы поможем в написании вашей работы!

Источник

Подходы к определению уровня сложности тестовых заданий

Дата публикации: 21.02.2017 2017-02-21

Статья просмотрена: 5475 раз

Библиографическое описание:

Жунусакунова, А. Д. Подходы к определению уровня сложности тестовых заданий / А. Д. Жунусакунова. — Текст : непосредственный // Молодой ученый. — 2017. — № 4.1 (138.1). — С. 55-58. — URL: https://moluch.ru/archive/138/39700/ (дата обращения: 13.12.2021).

В статье рассматриваются вопросы методического аспекта разработки заданий в тестовой форме, определения уровня сложности тестовых заданий в соответствии с их назначением.

При разработке тестовых заданий очень важно понять, как определить уровень сложности задания. Сложность заданий определяется в два этапа. Сначала сложность заданий определяет сам составитель. Второй этап – сложность заданий проходит проверку, и затем – на стадии экспертной оценки – с участием экспертов.

На первом этапе при разработке заданий в тестовой форме он изучает их структуру, т. е. ход решения заданий. Выявляя содержащиеся в нем элементы знания, операции и т. д., располагает их по возрастающей сложности, отвечая на вопросы: как выражается этот результат по завершению обучения, каким образом учащиеся должны демонстрировать ими усвоенный материал?

Для подхода к определению уровня сложности тестового задания, обратимся В. А. Красильниковой, которая приводит по уровням сложности тестовые задания к общепризнанной таксономии Блума (таблица 1).

Как видно из таблицы 1 сложность тестовых заданий зависит от той совокупности деятельности мыслительной обучающегося, которая потребуется для его выполнения. Данная схема отражает связи между планируемыми уровнями усвоения учебного материала и структурой заданий, выявляющих соответствующий уровень, то есть связь между теоретическими и эмпирическим. По сути, она является моделью создания заданий в соответствии с их назначением.

Возможности заданий первого (простого) уровня сложности: тестовые задания первого уровня сложности позволяет провести оценку минимального уровня подготовленности обучающегося. Тестовые задания можно представить в форме вопроса или форме высказываний с необходимостью ввода обучающимся ответа в открытой или закрытой форме. Первый уровень сложности заданий характеризует воспроизведение знаний и умение применить знания по образцу. Этот уровень носит репродуктивный характер мыслительной деятельности. От учащихся требуется воспроизвести основные понятия, отдельные важные положения учебного материала, например, некоторые алгоритмы решения линейных, квадратных уравнений, вычисления производной, пределов и т. д.

Уровни познавательной деятельности

Познавательный уровень (категория)

Познавательный процесс (интеллектуальные умения)

Часто употребляемые ключевые слова/вопросы для построения тестовых заданий

Узнавание фактов, терминов, условий, понятий, определений принципов

Определите, перечислите, идентифицируйте, назовите. Кто? Где? Когда? Какой (что)?

Объяснение, интерпретация знакомого учебного материала

Объясните, предскажите, интерпретируйте, суммируйте, преобразуйте, переведите, приведите пример, вычислите, перескажите.

Использование понятий или принципов для решения проблемы (задачи) в знакомых и конкретных ситуациях

Примените, решите, докажите, покажите используйте, измените, продемонстрируйте, вычислите

Деструктурирование системы на ее составляющие части для выявления отношений и иерархии, организация связей между частями

Создание чего-то нового, оригинального из составных частей (элементов, слов, др.)

Спроектируйте, сконструируйте, разработайте, сформулируйте, вообразите, создайте, измените так, чтобы, др.

Формирование суждения, основанного на предоставленном наборе критериев

Спроектируйте, сконструируйте, разработайте, сформулируйте, вообразите, создайте, измените так, чтобы. Что было лучше?

Задания, соответствующее этому уровню также характеризуют применение знаний в типичных ситуациях, т. е. задания этого уровня предполагают умение осуществить практические и умственные действия по образцу, непосредственного применения усвоенных знаний без существенного преобразования, решать типовые задачи. Заданиями этого уровня могут быть такие формы тестовых заданий, как задания на установление алгоритмической последовательности, установления соответствия. Причем система заданий низкого уровня должна быть составлена с учетом достижения образовательного минимума знаний.

Примеры: Обвести кружком номер правильного ответа.

а)

б)

в)

г)

a) квадратичная функция

b) линейная функция

c) обратно-пропорциональная функция

d) степенная функция

Возможности заданий второго уровня сложности: Предлагаемый тип заданий рекомендуется применять при: проверке знаний и понимания составления единого правильного ответа из разных составных частей; умений упорядочить по определенной классификации объекты или совокупность операций, составляющих определенное действие; позволяет проверить способность анализа и установления причинно-следственных связей между событиями или объектами; выполнять математические и логические операции. Относится к заданиям закрытого типа.

Второй, средний уровень сложности предполагает использование заданий, характеризующих выявление умения в применении знаний в знакомой ситуации. Этот уровень характеризуется продуктивной умственной и практической деятельностью, предполагает интенсивную работу мышления. От ученика требуется знание содержания и объема понятия, умение анализировать, сравнивать, обобщать и систематизировать при выполнении действий в знакомых, но отличающихся от образца ситуациях.

Обвести кружком номер правильного ответа.

3. Прямая , где с — некоторое число, касается гиперболы в точке с отрицательными координатами. Найдите с.

Выберите все правильные ответы.

Пример 4. На реке Нарын находится ГЭС:

Пример 5. К функциям относятся

3) У=arccosx 7) у=cos2x

4) У=e x 8) у=

Возможности заданий третьего уровня сложности:

Предлагаемый третий тип заданий рекомендуется применять при проверке знаний, умений и навыков. Предлагаемый тип тестового задания имеет высокие дидактические возможности для постановки тестовых и обучающих заданий, дает возможность тестировать разные виды творческой деятельности. Таким образом, система заданий третьего уровня сложности должны носить элементы творчества. Она характеризует широкий перенос имеющихся знаний и умений в незнакомые, новые подчас неожиданные ситуации, и требует от учащихся сформированности умений, исследования учебно-познавательных проблем. Задания такого уровня предполагают более сложную умственную деятельность, чем задания второго уровня. В каких умениях и действиях проявляются элементы творческой деятельности? Это, прежде всего умение найти новую проблему в привычной ситуации, видение новой функции знакомого объекта, умение самостоятельно увидеть элементы рассматриваемого объекта в их взаимосвязи, видение альтернатив, вариантов решения, комбинирование ранее известных способов. В систему таких тестовых заданий включаются задания проблемного характера, призванные раскрыть перечисленные проблемно-познавательные действия учащихся.

Пример 6. Прямая проходит через точку . Угловой коэффициент этой прямой равен 3,5. Запишите уравнение этой прямой.

Пример 7. Формула объема — ___________.

Таким образом, при разработке уровня сложности тестовых заданий необходимо сделать акцент на компоненты и элементы результата обучения, которое должно быть наиболее полно представительно в соответствующих программах учебных предметов, в виде требований к знаниям и умениям учащихся. Они должны быть представлены в программах в виде результатов обучения по конкретным темам и разделам.

Следует обратить внимание на то, чтобы тестовое задание было валидным, объективным и обеспечивало надежность и эффективность измерения, оно должно отвечать ряду требованиям и удовлетворять определенным принципам. В работах В. С. Аванесова, М. Б. Челышковой, А. Н. Майорова, Г. В. Ельниковой, С. К. Калдыбаева находим ряд правил касающихся по разработки различных тестовых заданий.

Источник