Вт, 12.12.2017, 16:05
Форум інформатиків України
Головна Реєстрація Вхід
Вітаю Вас, Гість · RSS
Вітання на форумі
Незнайомець
Вітаємо на форумі,
Незнайомцю!

   
зареєструйтесь
Перед реєстрацією обов’язково прочитайте:
Оновлення Учасники Пошук
Особисті повідомлення
Видавництво ’’Аспект’’ Видавництво

Сторінка 1 з 212»
Модератор форуму: Ktara, Bandalak, НІКОЛЯ, volevikt 
Форум інформатиків » РОЗДІЛ I: ІНФОРМАТИКА, ПРОБЛЕМИ, ОБГОВОРЕННЯ, ВИРІШЕННЯ » 1.8 Тестуючі системи » Алгоритми тестування (методика проведенння тестування)
Алгоритми тестування
Andrey123q Дата: Нд, 24.05.2009, 13:36 | Повідомлення № 1
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Пропоную в цій темі викладати і обговорити конкретні алгоритми тестування (в основному комп'ютерного, назви алгоритмів можна умовні). Розпочнемо:

1й алгоритм:Випадковий:
питання в базі даних мають однакову вагу і обираються програмою з бази даних в випадково.

2й алгоритм Послідовний:
питання в базі мають однакову вагу, але розділені на декілька категорій (наприклад, по складності) і обираються программою послідовно, спочатку блок питань 1ї категорії, потім стільки ж 2ї і т.п., питання що залишаються - останньої категорії.

3й алгоритм:Адаптивний (рос. мовою):
Адаптивным тестированием называется такая диалоговая тестовая программа, которая изменяет порядок предъявления тестовых заданий в зависимости от результатов выполнения испытуемым уже предъявленных заданий.
Упрощенный 3х уровневый алгоритм (вопросы разделены на 3и уровня сложности):
После первой пятерки самых простых заданий программа сразу же подсчитывает процент правильных ответов. Если решены все 5 заданий, то программа сразу переводит испытуемого на самый высокий уровень трудности- Если решены от 2 до 4 заданий, то программа переводит испытуемого на средний уровень трудности. В противном случае испытуемый остается на первом уровне трудности. На втором этапе программа применяет аналогичную логику. С теми, кто справился с 4—5 заданиями высшего уровня трудности, тестирование можно прекращать и ставить балл, учитывающий общий процент решенных задач с учетом их цены (более трудные имеют, конечно, более высокую цену). Если же на высшем уровне трудности испытуемый допустил более одной ошибки, то тестирование продолжается уже на среднем уровне трудности. Те испытуемые, которые долго остаются на среднем уровне, выполняют тест значительно дольше — пока колебания их текущего балла (процента правильных ответов) не стабилизируются в рамках пренебрежимо малого интервала, равного ошибке измерения.


[admin]Шановні форумчани!!!!!
Повідомлення, які не відповідають темі або несуть некорисний зміст будуть видалятись без попередження!!!


Відредаговано: W-w-W - Чт, 07.01.2016, 21:10
filnick Дата: Нд, 24.05.2009, 19:58 | Повідомлення № 2
Мудрий вчитель
Повідомлень: 2238
Нагороди: 7
Рейтинг: 124
Quote (Andrey123q)
После первой пятерки самых простых заданий программа сразу же подсчитывает процент правильных ответов.

А чому саме після перших п'яти питань? Може краще за результатами п'яти попередніх питань.
Andrey123q Дата: Нд, 24.05.2009, 20:17 | Повідомлення № 3
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Ну имелось ввиду, что к примеру дается 5ть вопросов на каждый блок. На самом деле n-го количества вопросов в блоке вопросов 1го уровня сложности или другого уровня.
Ссылка на статью: http://tests2009.ucoz.ua/adapt.html


Відредаговано: Andrey123q - Нд, 24.05.2009, 20:22
mouse Дата: Пн, 25.05.2009, 11:07 | Повідомлення № 4
Ветеран спілкування
Повідомлень: 2025
Нагороди: 4
Рейтинг: 62
Про це вже була мова на форумі.
http://informatic.org.ua/forum/44-101-4
Я відстоював позицію адаптивної системи. Вона схожа на швейцарську систему змагань з шахів.
В неї гарна перевага в тому, що сильний учень може набрати необхідну кількість балів відповідаючи на меншу кількість питань, які мають більшу вагу.
Учень, слабкий, може набрати свої бали на свій рівень відповідаючи на прості питання. Зрозуміло, що не буде 10 балів. Але в нього буде ситуація успіху, коли він буде бачити на екрані питання, які розуміє.
---------------------------
Тут також не потрібно забувати про самі питання. "Как вы яхту назовете, так она и поплывет".


Відредаговано: mouse - Пн, 25.05.2009, 12:37
Andrey123q Дата: Нд, 30.08.2009, 15:54 | Повідомлення № 5
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Да я читал. Хотелось бы почитать и о других алгоритмах. И по конкретнее об адаптивном алгоритме. Четкие варианты этой методики, с конкретными математическими выкладками расчета баллов, переходов к следующим уровням и т.п.

Додано (30.08.2009, 15:54)
---------------------------------------------
Здравствуйте. Хочу реализовать в своей программе адаптивный алгоритм тестирования. В принципе некоторый план набросал, но хотелось бы увидеть четкие рекомендации или инструкции по его реализации. Статей перечитал не так уж и мало, но четких инструкций так и не увидел. Может у кого есть мысли или материалы, был бы очень благодарен.

pasichov Дата: Нд, 30.08.2009, 17:29 | Повідомлення № 6
Наполегливий учасник
Повідомлень: 946
Нагороди: 3
Рейтинг: 70
Давно известно, что качество тестирования пределяется надежностью оценки качества знаний. И этот параметер слабо зависит от алгоритма тестирования, настолько слабо, что алгоритм может быть любым. Значительнио сильнее влияет качество самих тестовых заданий, а также, в заввисимости от задачи, стоящей перед тестом ("входной", "выходной", етс)соотношение количества тествых заданий тех или иных видов.
Когда испытуемый проходит тестирование без использоавания ПК, то последовательность с одной сторны задана бланком (изначальной последовательностью вопросов), а с другой стороны тестируемый сам выбирает последовательность ответов. ИМХО, компьютерная система тестирования лрожна обеспечивать подобный алгоритм.
Andrey123q Дата: Нд, 30.08.2009, 18:38 | Повідомлення № 7
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Ну реализация алгоритма заданого бланком, когда тестируемый сам выбирает последовательность заданий (принцип навигации), на компьютере довольно проста
А вот адаптивный тест, который ориентируется на уровень подготовки, и кроме того, имея еще массу преимуществ (подтвержденных во многих источниках конкретными сравнительными статистическими характеристиками), не так то просто реализовать в тестировании без ПК.
Цитата (http://ite.ksu.ks.ua/?q=en/node/393):
Quote
В результате эксперимента было установлено, что при адаптивном контроле знаний было сэкономлено 12,5% времени отводимого на тест по сравнению с первой группой, а также оценивание знаний стало более дифференцированным, что отображено на рис.

По-моему алгоритм учитывающий правильность расположения заданий в тесте в зависимости от сложности, тематики и т.п. существенно отличается от алгоритма со случайным подбором заданий или без учета веса вопросов.
Грубо говоря, под алгоритмом теста можно понимать упорядочивание его содержания. Без упорядочивания содержания на данный момент не представляются ни тесты ЕГЭ (Россия) ни ЗНО (Украина).
Комарик Дата: Нд, 30.08.2009, 22:33 | Повідомлення № 8
Прописаний назавжди
Повідомлень: 228
Нагороди: 0
Рейтинг: 14
ну... я знаю ще одну систему.
можливо не дуже й популярну.
отож дана система передбачає те, що за кожну відповідь на питання нараховується певний бал.
звісно, за правильну відповідь найвищий бал, за іншу, найбільш подібну до правильної - менше (у декілька разів).
така система найбільш виправдана, коли тести подаються у вигляді невеличких задачок, кожна з яких потребує окремого розв*язку.
при складанні тесту, передбачається, які помилки міг допустити учень і результати, таких хибних розв*язків, подають як варіант відповіді.
так і виходить, чим "грубша" помилка - тим менше балів.


Відредаговано: Комарик - Нд, 30.08.2009, 22:34
Вчитель Дата: Пн, 31.08.2009, 12:28 | Повідомлення № 9
Прописаний назавжди
Повідомлень: 317
Нагороди: 1
Рейтинг: 13
Варіантів може бути досить багато, наприклад:
варіанти в базі мають різну вагу (ранг), але вибираються випадково;
тестування припиняється тоді, коли респондент або:
а) набрав максимально можливу кількість балів;
б) використав максимально допустиму кількість спроб (максимально можливий час);
в) відмовився від подальшого проходження тесування.
За цим алгоритмом кращий учень завершить тестування раніше (п.а), гірший - сидітиме доти, доки не закічиться час (п.б), або не зрозуміє, що непідготовлений (п.в), той, для якого достатньо не найвищої оцінки - вийде за п.в).
І не потрібно системи з елементами ШІ!
Наскільки я знаю, ця ідея схожа на ідею покійного Довгялло у СПОК-ВУЗ, але тільки схожа ... Я її придумав сам!!!

Додано (31.08.2009, 12:28)
---------------------------------------------

Quote (Andrey123q)
Статей перечитал не так уж и мало, но четких инструкций так и не увидел. Может у кого есть мысли или материалы,

Моя порада як автора однієї з таких систем (якщо чули, була така ARBEIT): не перейматись занадто формуванням оцінкового судження, хай це робить учитель, тому чим прозоріша (без особливої математики) буде система виведення результатів, тим краще.
Минулого року вийшла книжка П.А.Ротаєнка і Ю.О.Дорошенка, у якій "трохи" математики щодо тестування... Зверніться до мене на пошту, або особисто - подарую...


Відредаговано: Вчитель - Пн, 31.08.2009, 12:32
Andrey123q Дата: Пн, 31.08.2009, 16:24 | Повідомлення № 10
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Quote (Вчитель)
Минулого року вийшла книжка П.А.Ротаєнка і Ю.О.Дорошенка, у якій "трохи" математики щодо тестування... Зверніться до мене на пошту, або особисто - подарую...

Был бы очень благодарен!

Кстати, так же неплохая книга в ел. варианте: "Современные средства оценивания результатов обучения" - http://tests2009.ucoz.ua/temp/ocen_zn.rar.

Насчет адаптивного алгоритма, просто элементарные алгоритмы в своей программе (Тесты 2009) в принципе реализовал. Хотелось бы реализовать другие, самому интересно было бы аппробировать. В принципе суть алгоритма не так уж и сложна, думаю учителя не слишком бы перегрузились, при желании конечно.

Quote (Вчитель)
чим прозоріша (без особливої математики) буде система виведення результатів, тим краще.

На уровне школ абсолютно согласен, хотя вот на уровне ВУЗов преподаватели наверное являются наоборот сторонниками усложнения подобных систем.
Вчитель Дата: Пн, 07.09.2009, 22:20 | Повідомлення № 11
Прописаний назавжди
Повідомлень: 317
Нагороди: 1
Рейтинг: 13
Quote (Andrey123q)
Был бы очень благодарен!

vlapinsky.at.ua, vit_lap@ua.fm


Відредаговано: Вчитель - Пн, 07.09.2009, 22:22
pasichov Дата: Пт, 11.09.2009, 08:49 | Повідомлення № 12
Наполегливий учасник
Повідомлень: 946
Нагороди: 3
Рейтинг: 70
Основна мета тестового контролю знань - диференціація учнів по їх рівню знань, навчальна мета, яка взагалі приустня і при контролі) - мінімальна в порівнянні з іншими формами (усна відповідь чи розгорнута письмова робота)
Так ось, тестологи говорять, що диференціація практично не залежить від алгоритму тестування, головне, щоб він був однаковий для всього масиву респондентів. А ось якість самих тестових завдань на це впливає суттєво, і при зовні вірних, але неякісних завданнях може дати картинку з точністю "до навпаки"
Вчитель Дата: Сб, 12.09.2009, 21:55 | Повідомлення № 13
Прописаний назавжди
Повідомлень: 317
Нагороди: 1
Рейтинг: 13
Quote (pasichov)
А ось якість самих тестових завдань на це впливає суттєво, і при зовні вірних, але неякісних завданнях може дати картинку з точністю "до навпаки"

Згоден! Валідність тесту досягнень залежить від якості завдань на 70%.
Про інші тести можна сказати ще жорсткіше!
Але й від алгоритму дещо залежить, але на дуже простих алгоритмах така залежність не виявляється!
Навчальна функція процесу тестування, на мою думку, сильніше виявляється тоді, коли подання тестових завдань мають властивості когнітивності...
Здається я десь описував рисунок електричної праски з терморегулятором і два варіанти запитання - на репродуцію і домислювання...
Andrey123q Дата: Нд, 13.09.2009, 16:18 | Повідомлення № 14
Досвідчений учасник
Повідомлень: 1236
Нагороди: 3
Рейтинг: 84
Як ви думаєте якою повинна бути оптимальная кількість питань в тесті, скажиімо для підсумково-залікового, поточного і т.д. тесту, чи це річ суто індивідуальна?
Вчитель Дата: Сб, 26.09.2009, 21:27 | Повідомлення № 15
Прописаний назавжди
Повідомлень: 317
Нагороди: 1
Рейтинг: 13
Quote (Andrey123q)
Як ви думаєте якою повинна бути оптимальная кількість питань в тесті, скажиімо для підсумково-залікового, поточного і т.д. тесту, чи це річ суто індивідуальна?

Не знаю, все залежить від самих запитань і алгоритму їх подання і опрацювання. Знову ж рекомендую - напросіться на подарунок книжки у мене!
Форум інформатиків » РОЗДІЛ I: ІНФОРМАТИКА, ПРОБЛЕМИ, ОБГОВОРЕННЯ, ВИРІШЕННЯ » 1.8 Тестуючі системи » Алгоритми тестування (методика проведенння тестування)
Сторінка 1 з 212»
Пошук:


© Форум інформатиків України, 2007-2017.