Оценивание заданий с множеств выбором

Дата: Пн, 26.10.2009, 17:03 | Повідомлення № 1

Досвідчений учасник

Повідомлень: 1236

Нагороди: 3

Рейтинг: 84

Возникла такая проблема. У меня в программе задания с выбором нескольких правильных ответов оцениваются 1м баллом (или максимальным) - если выбраны все правильные, в противном случае 0 баллов.

Одна из пользователей попросила исправить, и чтобы оценивание было пропорциональным, т.е., например, если 3 правильных из 5и, то каждый из 3х оценивается по 0,3.
Но в таких случаях такая неопределенность: как оценивать, если выбирается неправильный ответ, - в принципе проявляются не только знания, но и незнания, плюс елемент случайности - скажем выбор очевидно неправильного. К тому же полноту знаний проверяет не одно тестовое задание, а их совокупность.

В некоторых системах тестирования поступают как я, либо 0 либо 1 за все задание.
Как быть?
Такое решение: если выбирается хоть 1н неправильный - все задание оценивать в 0 баллов.

Как вы думаете какой подход более оправдан: оценивать частично задание либо только полный ответ?

[admin]Шановні форумчани!!!!!
Повідомлення, які не відповідають темі або несуть некорисний зміст будуть видалятись без попередження!!!

Відредаговано: W-w-W - Чт, 07.01.2016, 21:18

sgrecords

Дата: Вт, 27.10.2009, 10:21 | Повідомлення № 2

Активний учасник

Повідомлень: 612

Нагороди: 2

Рейтинг: 64

В своей пргограмме даю +1 за каждый правильный и -1 за каждый неправильный, также -1 за невыбраный вообще. Например выбрал один правильный и один неправильный вариант - получает 0 баллов за вопрос в целом. Справедливо ?

Andrey123q

Дата: Вт, 27.10.2009, 15:01 | Повідомлення № 3

Досвідчений учасник

Повідомлень: 1236

Нагороди: 3

Рейтинг: 84

Т.е. возможно получить отрицательный балл за задание? Вообще, в вашем алгоритме предусмотрено оценивание отрицательными баллами любых типов вопросов?
Хотя в вашей схеме получается, если, например, в заданиях по 5ть ответов, и тестируемый будет знать, что стабильно во всех из них всегда 3и правильных, то он всегда будет выбирать по 4е вопроса, и в 2х случаях из 3х будет в плюсе.

А если оценивать по такой формуле: х=n/p, n - количество правильных в ответе, р - общее количество правильных в задании, если же выбирается неправильный ответ, то оценивать в 0 баллов. - ?

Не поступать ли как в ЗНО - либо все правильно, либо 0 баллов ?

Відредаговано: Andrey123q - Вт, 27.10.2009, 16:12

sgrecords

Дата: Вт, 27.10.2009, 16:27 | Повідомлення № 4

Активний учасник

Повідомлень: 612

Нагороди: 2

Рейтинг: 64

Quote (Andrey123q)

Т.е. возможно получить отрицательный балл за задание?

В ходе выполнения теста да, но дойдя до конца иметь в итоге минус - вопрос, где он был на парах ?

Quote (Andrey123q)

и тестируемый будет знать, что стабильно во всех из них всегда 3и правильных

Откуда он будет знать? Я так не составляю тесты.

Quote (Andrey123q)

если же выбирается неправильный ответ, то оценивать в 0 баллов. - ?
Не поступать ли как в ЗНО - либо все правильно, либо 0 баллов ?

Я подстраиваюсь под студентов, немогут они все знать, это понятно, и если один неправильный перечеркивает все их знания, у них не будет, как это... мотивации

Quote (Andrey123q)

в вашем алгоритме предусмотрено оценивание отрицательными баллами любых типов вопросов?

одно время я сильно увлекся тестами и программированием, поэтому писал тестовую программу ради того чтобы писать, для себя. Глобальных планов не строил. Поэтому там был один ходовой тип вопроса множественный, он же мог быть и одиночным. Думаю возобновить работу на програмкой (сеть, дополнить другими типами) Свой алгоритм мне нравится, но для всех типов вопросов наверное не подойдет. А с другой стороны я уже довольно таки разочаровалься в тестировании, буквально сегодня на паре получил неожиданно страшные результаты :(

Andrey123q

Дата: Вт, 27.10.2009, 17:03 | Повідомлення № 5

Досвідчений учасник

Повідомлень: 1236

Нагороди: 3

Рейтинг: 84

Quote (sgrecords)

Откуда он будет знать? Я так не составляю тесты.

ну в принципе знать конечно не будет. И если один неправильный из скажем 7и перечеркнет все - конечно не правильно.
Если в таком подходе, когда за задание на множеств выбор, набирается отрицательный балл округлять до 0 ?

Відредаговано: Andrey123q - Вт, 27.10.2009, 18:10

sgrecords

Дата: Ср, 28.10.2009, 08:55 | Повідомлення № 6

Активний учасник

Повідомлень: 612

Нагороди: 2

Рейтинг: 64

Quote (Andrey123q)

Если в таком подходе, когда за задание на множеств выбор, набирается отрицательный балл округлять до 0 ?

Можно и так. Тогда вообще не мудрить с минусами. Только тестируемый при этом расслабляется, ответил неправильно - просто не заработал дополнительный бал.
Вообще надо наверное иметь несколько вариантов оценивания, например программа гипертест (не поддерживается) имела 3 алгоритма

Равномерное распеределение процентов на (не)правильные ответы
Система оценки, при которой проценты на правильные и неправильные ответы распределяются равномерно. Например, если в вопросе 7 ответов, из них 4 правильных и 3 неправильных, то "вес" каждого правильного ответа будет составлять "плюс 25%", а каждого неправильного - "минус 33%". Т.е. 100% в первом случае делятся на 4, а во втором случае, при неправильных ответах, 100% делятся на 3.

Равномерная, с определением процента на первый (не)правильный ответ
Эта система аналогична предыдущей, только в случае, когда определено несколько правильных или неправильных ответов, за первый правильный/неправильный дается определенное число процентов. Оставшаяся часть процентов распределяется на оставшиеся ответы по-ровну. Допустим, что количество процентов за первый правильный/неправильный равно 50. Т.о., если в вопросе 5 ответов, из них 3 правильных и 2 неправильных, то если пользователь выбрал только 2 правильны ответа, ему прибавиться 50% (за первый правильный) и 25% (т.е. оставшиеся 50% распределяем по-ровну на количество оставшихся правильных ответов).

Учет 100% ответа
Отличается более жестим требованием к тестируемому. Ответ засчитывается только в том случае, если он верен на все 100%. Малейшее отклонение означает потерю баллов за весь вопрос.

Andrey123q

Дата: Ср, 28.10.2009, 14:56 | Повідомлення № 7

Досвідчений учасник

Повідомлень: 1236

Нагороди: 3

Рейтинг: 84

Просто моя программа не поддерживает алгоритм оценивания с учетом отрицательных баллов за ответ. Можете описать этот алгоритм и насколько он практичен, используетсся ли в системах образования зарубежом?

sgrecords

Дата: Нд, 13.12.2009, 22:25 | Повідомлення № 8

Активний учасник

Повідомлень: 612

Нагороди: 2

Рейтинг: 64

Quote (Andrey123q)

ожете описать этот алгоритм и насколько он практичен, используетсся ли в системах образования зарубежом?

Я думаю алгоритм "правильный". За заграницу ничего не скажу, не искал, не интересно уже.
Вот и у Вас уже он появился, в карантине даром не сидели

И это правильно.
Холостяк наверное?

ЛЕВ-КОРОЛЬ

Дата: Ср, 26.05.2010, 22:01 | Повідомлення № 9

Експерт по тестах

Повідомлень: 109

Нагороди: 1

Рейтинг: 7

Quote (sgrecords)

Вообще надо наверное иметь несколько вариантов оценивания, например программа гипертест (не поддерживается) имела 3 алгоритма

Цікаво.

Стосовно питань з множинним вибором, то пам’ятаю на форумі обговорення MyTest3 були і інші цікаві пропозиції. Хай колись систематизую та напишу.

Ну а стосовно алгоритму оцінювання? Ну просто цими питаннями не слід "увлекатца", а вносити в тест тільки ті питання, на які існує, існувало і буде існувати декілька ОДНОЗНАЧНИХ і ОЧЕВИДНИХ відповідей, а "мутних" питань з "мутною" кількістю відповідей краще не писати. Ось і все. А оцінювати, 1 - якщо всі вірні відповіді вказано, 0 - в інших випадках.

Шестопалов

Дата: Чт, 27.05.2010, 15:49 | Повідомлення № 10

Видавець посібників

Повідомлень: 1711

Нагороди: 18

Рейтинг: 280

Чего проще?
• запитання з однією правильною відповіддю: 0 або 1 бал;
• запитання з двома правильними відповідями: 0; 0,5 (одна правильна відповідь) або 1 бал (дві правильні відповіді);
• запитання з 3-ма правильними відповідями: 0; 0,33 (одна правильна відповідь); 0,67 (дві правильні відповіді) або 1 бал (три правильні відповіді);

mouse

Дата: Чт, 27.05.2010, 16:11 | Повідомлення № 11

Ветеран спілкування

Повідомлень: 2026

Нагороди: 4

Рейтинг: 62

Quote (Шестопалов)

Чего проще?

А якщо учень обирає разом з правильними і неправильні? Тоді як це враховувати?
Наприклад, 5 відповідей, з них 3 правильні. Учень вибрав всі 5. Скільки йому будемо ставити?

Andrey123q

Дата: Чт, 27.05.2010, 17:02 | Повідомлення № 12

Досвідчений учасник

Повідомлень: 1236

Нагороди: 3

Рейтинг: 84

Quote (mouse)

Например, пост № 6, см. Равномерное распеределение процентов на (не)правильные ответы.
Спасибо, sgrecords, именно такой алгоритм и реализовал. Плюс, если выходит отрицательный результат - округлять до 0.

mouse

Дата: Чт, 27.05.2010, 17:04 | Повідомлення № 13

Ветеран спілкування

Повідомлень: 2026

Нагороди: 4

Рейтинг: 62

Quote (Andrey123q)

Например, пост № 6,

Я мав на увазі, що це вже не так і просто як і пості №10.
А про проценти та округлення - цілком згоден і підтримую

Andrey123q

Дата: Чт, 27.05.2010, 17:18 | Повідомлення № 14

Досвідчений учасник

Повідомлень: 1236

Нагороди: 3

Рейтинг: 84

Quote (mouse)

Я мав на увазі, що це вже не так і просто як і пості №10.

Я Вас понял

просто высказался немного не правильно...

Відредаговано: Andrey123q - Чт, 27.05.2010, 17:35