Нд, 19.11.2017, 10:51
Форум інформатиків України
Головна Реєстрація Вхід
Вітаю Вас, Гість · RSS
Вітання на форумі
Незнайомець
Вітаємо на форумі,
Незнайомцю!

   
зареєструйтесь
Перед реєстрацією обов’язково прочитайте:
Оновлення Учасники Пошук
Особисті повідомлення
Видавництво ’’Аспект’’ Видавництво

Сторінка 1 з 11
Модератор форуму: Ktara, Bandalak, НІКОЛЯ, volevikt 
Форум інформатиків » РОЗДІЛ I: ІНФОРМАТИКА, ПРОБЛЕМИ, ОБГОВОРЕННЯ, ВИРІШЕННЯ » 1.8 Тестуючі системи » Оценивание заданий с множеств выбором (тестирование)
Оценивание заданий с множеств выбором
Andrey123q Дата: Пн, 26.10.2009, 17:03 | Повідомлення № 1
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Возникла такая проблема. У меня в программе задания с выбором нескольких правильных ответов оцениваются 1м баллом (или максимальным) - если выбраны все правильные, в противном случае 0 баллов.

Одна из пользователей попросила исправить, и чтобы оценивание было пропорциональным, т.е., например, если 3 правильных из 5и, то каждый из 3х оценивается по 0,3.
Но в таких случаях такая неопределенность: как оценивать, если выбирается неправильный ответ, - в принципе проявляются не только знания, но и незнания, плюс елемент случайности - скажем выбор очевидно неправильного. К тому же полноту знаний проверяет не одно тестовое задание, а их совокупность.

В некоторых системах тестирования поступают как я, либо 0 либо 1 за все задание.
Как быть?
Такое решение: если выбирается хоть 1н неправильный - все задание оценивать в 0 баллов.

Как вы думаете какой подход более оправдан: оценивать частично задание либо только полный ответ?


[admin]Шановні форумчани!!!!!
Повідомлення, які не відповідають темі або несуть некорисний зміст будуть видалятись без попередження!!!


Відредаговано: W-w-W - Чт, 07.01.2016, 21:18
sgrecords Дата: Вт, 27.10.2009, 10:21 | Повідомлення № 2
Активний учасник
Повідомлень: 604
Нагороди: 2
Рейтинг: 59
В своей пргограмме даю +1 за каждый правильный и -1 за каждый неправильный, также -1 за невыбраный вообще. Например выбрал один правильный и один неправильный вариант - получает 0 баллов за вопрос в целом. Справедливо ?
Andrey123q Дата: Вт, 27.10.2009, 15:01 | Повідомлення № 3
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Т.е. возможно получить отрицательный балл за задание? Вообще, в вашем алгоритме предусмотрено оценивание отрицательными баллами любых типов вопросов?
Хотя в вашей схеме получается, если, например, в заданиях по 5ть ответов, и тестируемый будет знать, что стабильно во всех из них всегда 3и правильных, то он всегда будет выбирать по 4е вопроса, и в 2х случаях из 3х будет в плюсе.

А если оценивать по такой формуле: х=n/p, n - количество правильных в ответе, р - общее количество правильных в задании, если же выбирается неправильный ответ, то оценивать в 0 баллов. - ?

Не поступать ли как в ЗНО - либо все правильно, либо 0 баллов ?

Відредаговано: Andrey123q - Вт, 27.10.2009, 16:12
sgrecords Дата: Вт, 27.10.2009, 16:27 | Повідомлення № 4
Активний учасник
Повідомлень: 604
Нагороди: 2
Рейтинг: 59
Quote (Andrey123q)
Т.е. возможно получить отрицательный балл за задание?

В ходе выполнения теста да, но дойдя до конца иметь в итоге минус - вопрос, где он был на парах ?

Quote (Andrey123q)
и тестируемый будет знать, что стабильно во всех из них всегда 3и правильных

Откуда он будет знать? Я так не составляю тесты.

Quote (Andrey123q)
если же выбирается неправильный ответ, то оценивать в 0 баллов. - ?
Не поступать ли как в ЗНО - либо все правильно, либо 0 баллов ?

Я подстраиваюсь под студентов, немогут они все знать, это понятно, и если один неправильный перечеркивает все их знания, у них не будет, как это... мотивации :)

Quote (Andrey123q)
в вашем алгоритме предусмотрено оценивание отрицательными баллами любых типов вопросов?

одно время я сильно увлекся тестами и программированием, поэтому писал тестовую программу ради того чтобы писать, для себя. Глобальных планов не строил. Поэтому там был один ходовой тип вопроса множественный, он же мог быть и одиночным. Думаю возобновить работу на програмкой (сеть, дополнить другими типами) Свой алгоритм мне нравится, но для всех типов вопросов наверное не подойдет. А с другой стороны я уже довольно таки разочаровалься в тестировании, буквально сегодня на паре получил неожиданно страшные результаты :(
Andrey123q Дата: Вт, 27.10.2009, 17:03 | Повідомлення № 5
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Quote (sgrecords)
Откуда он будет знать? Я так не составляю тесты.

ну в принципе знать конечно не будет. И если один неправильный из скажем 7и перечеркнет все - конечно не правильно.
Если в таком подходе, когда за задание на множеств выбор, набирается отрицательный балл округлять до 0 ?


Відредаговано: Andrey123q - Вт, 27.10.2009, 18:10
sgrecords Дата: Ср, 28.10.2009, 08:55 | Повідомлення № 6
Активний учасник
Повідомлень: 604
Нагороди: 2
Рейтинг: 59
Quote (Andrey123q)
Если в таком подходе, когда за задание на множеств выбор, набирается отрицательный балл округлять до 0 ?

Можно и так. Тогда вообще не мудрить с минусами. Только тестируемый при этом расслабляется, ответил неправильно - просто не заработал дополнительный бал.
Вообще надо наверное иметь несколько вариантов оценивания, например программа гипертест (не поддерживается) имела 3 алгоритма

Равномерное распеределение процентов на (не)правильные ответы
Система оценки, при которой проценты на правильные и неправильные ответы распределяются равномерно. Например, если в вопросе 7 ответов, из них 4 правильных и 3 неправильных, то "вес" каждого правильного ответа будет составлять "плюс 25%", а каждого неправильного - "минус 33%". Т.е. 100% в первом случае делятся на 4, а во втором случае, при неправильных ответах, 100% делятся на 3.

Равномерная, с определением процента на первый (не)правильный ответ
Эта система аналогична предыдущей, только в случае, когда определено несколько правильных или неправильных ответов, за первый правильный/неправильный дается определенное число процентов. Оставшаяся часть процентов распределяется на оставшиеся ответы по-ровну. Допустим, что количество процентов за первый правильный/неправильный равно 50. Т.о., если в вопросе 5 ответов, из них 3 правильных и 2 неправильных, то если пользователь выбрал только 2 правильны ответа, ему прибавиться 50% (за первый правильный) и 25% (т.е. оставшиеся 50% распределяем по-ровну на количество оставшихся правильных ответов).

Учет 100% ответа
Отличается более жестим требованием к тестируемому. Ответ засчитывается только в том случае, если он верен на все 100%. Малейшее отклонение означает потерю баллов за весь вопрос.

Andrey123q Дата: Ср, 28.10.2009, 14:56 | Повідомлення № 7
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Просто моя программа не поддерживает алгоритм оценивания с учетом отрицательных баллов за ответ. Можете описать этот алгоритм и насколько он практичен, используетсся ли в системах образования зарубежом?
sgrecords Дата: Нд, 13.12.2009, 22:25 | Повідомлення № 8
Активний учасник
Повідомлень: 604
Нагороди: 2
Рейтинг: 59
Quote (Andrey123q)
ожете описать этот алгоритм и насколько он практичен, используетсся ли в системах образования зарубежом?

Я думаю алгоритм "правильный". За заграницу ничего не скажу, не искал, не интересно уже.
Вот и у Вас уже он появился, в карантине даром не сидели :) И это правильно.
Холостяк наверное? :)
ЛЕВ-КОРОЛЬ Дата: Ср, 26.05.2010, 22:01 | Повідомлення № 9
Експерт по тестах
Повідомлень: 109
Нагороди: 1
Рейтинг: 7
Quote (sgrecords)
Вообще надо наверное иметь несколько вариантов оценивания, например программа гипертест (не поддерживается) имела 3 алгоритма

Цікаво.

Стосовно питань з множинним вибором, то пам’ятаю на форумі обговорення MyTest3 були і інші цікаві пропозиції. Хай колись систематизую та напишу.

Ну а стосовно алгоритму оцінювання? Ну просто цими питаннями не слід "увлекатца", а вносити в тест тільки ті питання, на які існує, існувало і буде існувати декілька ОДНОЗНАЧНИХ і ОЧЕВИДНИХ відповідей, а "мутних" питань з "мутною" кількістю відповідей краще не писати. Ось і все. А оцінювати, 1 - якщо всі вірні відповіді вказано, 0 - в інших випадках.

Шестопалов Дата: Чт, 27.05.2010, 15:49 | Повідомлення № 10
Видавець посібників
Повідомлень: 1403
Нагороди: 11
Рейтинг: 182
Чего проще?
• запитання з однією правильною відповіддю: 0 або 1 бал;
• запитання з двома правильними відповідями: 0; 0,5 (одна правильна відповідь) або 1 бал (дві правильні відповіді);
• запитання з 3-ма правильними відповідями: 0; 0,33 (одна правильна відповідь); 0,67 (дві правильні відповіді) або 1 бал (три правильні відповіді);
mouse Дата: Чт, 27.05.2010, 16:11 | Повідомлення № 11
Ветеран спілкування
Повідомлень: 2025
Нагороди: 4
Рейтинг: 62
Quote (Шестопалов)
Чего проще?

А якщо учень обирає разом з правильними і неправильні? Тоді як це враховувати?
Наприклад, 5 відповідей, з них 3 правильні. Учень вибрав всі 5. Скільки йому будемо ставити?

Andrey123q Дата: Чт, 27.05.2010, 17:02 | Повідомлення № 12
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Quote (mouse)
А якщо учень обирає разом з правильними і неправильні? Тоді як це враховувати?
Наприклад, 5 відповідей, з них 3 правильні. Учень вибрав всі 5. Скільки йому будемо ставити?

Например, пост № 6, см. Равномерное распеределение процентов на (не)правильные ответы.
Спасибо, sgrecords, именно такой алгоритм и реализовал. Плюс, если выходит отрицательный результат - округлять до 0.
mouse Дата: Чт, 27.05.2010, 17:04 | Повідомлення № 13
Ветеран спілкування
Повідомлень: 2025
Нагороди: 4
Рейтинг: 62
Quote (Andrey123q)
Например, пост № 6,

Я мав на увазі, що це вже не так і просто як і пості №10.
А про проценти та округлення - цілком згоден і підтримую :?

Andrey123q Дата: Чт, 27.05.2010, 17:18 | Повідомлення № 14
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Quote (mouse)
Я мав на увазі, що це вже не так і просто як і пості №10.

Я Вас понял :) просто высказался немного не правильно...


Відредаговано: Andrey123q - Чт, 27.05.2010, 17:35
Форум інформатиків » РОЗДІЛ I: ІНФОРМАТИКА, ПРОБЛЕМИ, ОБГОВОРЕННЯ, ВИРІШЕННЯ » 1.8 Тестуючі системи » Оценивание заданий с множеств выбором (тестирование)
Сторінка 1 з 11
Пошук:


© Форум інформатиків України, 2007-2017.