Друк

Please login or register.
1 година 1 день 1 тиждень 1 місяць Назавжди
Увійти

[gro-za]

http://www.parta.com.ua/ext_testing/articles/33/  -  Як виконується рангування?
Першоджерело та критика.

Тестові бали учасника тестування (тобто сума балів, які він отримав за правильно виконані завдання тесту ЗНО) спочатку повинні бути переведені в 12–бальну шкалу (відшкальовані за 12–бальною шкалою). Для цього спеціалізована предметна комісія визначає, яка мінімальна кількість тестових балів відповідає кожній оцінці від 1 до 12.
12–бальна шкала є простою і зрозумілою, проте вона не є найкращою для проведення відбору абітурієнтів для вступу до ВНЗ, адже ніхто не знає, скільки учасників можуть отримати найвищий бал – 12 балів.

А коли ніхто не отримає?

Якщо така група абітурієнтів буде надто великою, то ВНЗ матимуть значні труднощі з відбором на навчання кращих абітурієнтів. У такому разі, зіткнувшись із великою кількістю добре підготовлених абітурієнтів з однаковими оцінками за тести, ВНЗ повинні проводити якісь додаткові іспити (тести) для того, щоб визначити найкращих.

А якщо буде дуже велика група "середнячків" або "двієчників", як будете діяти, панове?

З іншого боку, учасники ЗНО за тестовими балами вже були відрейтинговані на основі використання 12-бальної шкали з її 12 різними оцінками (кількість яких декілька разів менша за максимальну кількість тестових балів ЗНО). Це може призвести до того, що абітурієнти з різними тестовими балами отримають однакові оцінки за 12-бальною шкалою. З цього випливає, що шкала результатів для використання під час вступу до ВНЗ повинна мати більше категорій (позначок).

А Ви не рейтингуйте за 12-бальною шкалою. Нехай кожен отримає ту кількість балів за тест, яка передбачена авторами.

УЦОЯО вибрав 100-бальну шкалу для відображення результатів тестування учасників ЗНО, проте для уникнення непорозумінь з її інтерпретацією (кількість правильних відповідей, відсоток правильних відповідей тощо), було вирішено збільшити цю шкалу на 100 одиниць, установивши початкову точку цієї шкали на числі 100, щоб можливі бали учасників знаходилися в інтервалі від 100 до 200 балів. Причому результати за будь-яким тестом будуть виражатися за шкалою 100-200 балів незалежно від того, скільки завдань містить тест або яку максимальну кількість балів можна отримати за тест.

І чому вони вирішили перенести початкову точку на 100 балів? Це ж зменшує диференціацію результатів. З таким же успіхом можна було б перенести її, наприклад, ще на 50 балів.

Університетам потрібно порівнювати успішність результатів тестування студентів. Метод шкалювання, який застосовує УЦОЯО, базується на тестових балах учасників тестування. За шкалою 100-200 балів найкращі результати будуть завжди дорівнювати 200 балам (навіть у тих випадках, коли тест був надто складним і не було можливості отримати всі бали за тест).

Ну цього нескладно було досягти. Кожен випускник таку задачку з математики вирішить елементарно.

Учасник тестування, який знаходиться в середині рейтингової послідовності учасників за тестовими балами, повинен отримати 150 балів, оскільки це число є серединою шкали 100-200 балів. Такий метод шкалювання певною мірою нагадує поданий вище приклад щодо конвертування валюти.

Здорово! А щось інше не можна було придумати? 

УЦОЯО обрав теоретично ідеальний тест із розподілом балів учасників тестування за відомим Гаусовим законом (який повинен відігравати роль шкали Євро для валют), а потім перетворює розподіли результатів учасників тестування у цей ідеальний розподіл.

В чому полягає ідеал? Що це за Гаусовий закон і чому шкала Євро повинна бути аналогією у випадку відбору кандидатів у студенти?

Метод, що використовується для такого перетворення, відповідає двом головним принципам, що були зазначені вище (учасник з більшою кількістю тестових балів отримає за шкалою 100-200 балів оцінку, яка не є нижчою за оцінку учасника з меншою кількістю тестових балів; усі учасники з однаковою кількістю тестових балів отримують однакові бали за шкалою 100-200 балів), перерахунок здійснюється на основі порівняння двох процентних рангів (спеціалісти називають цей спосіб методом еквіпроцентилів).

Ой, яке велике досягнення наукової думки. А що, інакше, простіше і без заплутування не можна було цього здійснити?

Процентний ранг учасника тестування визначається як процент учасників тестування, що мають тестові бали менші за тестовий бал конкретного учасника (процент обчислюється від кількості всіх учасників тестування з даного тесту). Наприклад, якщо результат Данила має процентиль, дорівнює 65%, то це означає, що він випередив 65% учасників даного тесту, а відповідно 35% учасників даного тесту (тобто 100% - 65%) отримали тестові бали такі або вищі за бали Данила.

Який політ наукової фантазії! І на кого розрахований?  Зрозуміло й так, які досягнення у Данила, і кого він випередив.

Отже, процентний ранг учасника тестування виконує функцію «числової мітки» в довжелезній черзі учасників тестування, впорядкованій за їхніми тестовими балами. За допомогою комп'ютера вже розраховано такі числові мітки для ідеального тесту (який, можливо, ніколи не здійсниться на практиці). Ці мітки прив'язано до результатів за шкалою 100-200 балів. Такий зв’язок у вигляді таблиці перерахування процентилів за шкалою 100-200 балів залишається єдиним і незмінним для всіх тестувань.

Дурниця оце усе. Ніякої нової інформації будь-яке шкалювання чи рангування не додає до первісних результатів. А чим була б гіршою гістограма? Тільки тим, що вона доступніша для контролю, у тому числі громадського? Робимо мутну водичку, а потім ловимо у ній рибку.

Лише після того, як буде проведено реальне тестування, комп’ютерна програма УЦОЯО впорядкує учасників тестування за тестовими балами і присвоїть їм числові ранги (процентні ранги). Процентні ранги учасників тестування будуть порівняні з процентними рангами ідеального тесту, і на цій основі учасники тестування отримають свої результати за шкалою 100–200 балів.

І знову дурниця - порівняння з якимось гіпотетичним "ідеальним" тестом. Знову локшина на вуха. Порівнюйте фактичні результати. Зведіть їх у прозору таблицю, побудуйте гістограму, і дайте абітурієнтам на руки.

І

нші частини цієї статті:
    * Оцінювання і шкалювання результатів учасників ЗНО (І частина)
    * Чому потрібне шкалювання? (ІІ частина)
    * Головні принципи шкалювання (ІІІ частина)?
    * Яку інформацію може отримати учасник тестування після шкалювання результатів? (V частина)

Не скажу, що решта частин цієї псевдонаукової статті є кращою від тільки-но критично проаналізованої.
Джерело Testportal.com.u
А тепер про результати ЗНО 2009 р. з англійської мови.

На перевірку надійшло 56 701 бланків відповідей, що складає 100% від загальної кількості тих, хто взяв участь у тестуванні. Всі роботи розпізнані, ідентифіковані та перевірені.
Учасники зовнішнього оцінювання показали такі результати за шкалою від 100 до 200 балів:
 

Результат	Кількість учасників зовнішнього оцінювання, які виявили результати в межах цих показників	Відсоток від загальної кількості учасників
від 100 до 123,5 балів	5 599	9,89
від 124 до 150 балів	21 475	37,92
від 150,5 до 180 балів	25 260	44,60
від 180,5 до 190 балів	2 896	5,11
від 190,5 до 199,5 балів	1 385	2,45
200 балів	23	0,04

За порушення Порядку проведення зовнішнього незалежного оцінювання анульовано результати 63 учасників.

Так їм і треба!
А чим моя таблиця, побудована на Ваших даних, була б гіршою?

Результат	Кількість учасників зовнішнього оцінювання, які виявили результати в межах цих показників	Відсоток від загальної кількості учасників
Тестовий бал від 0 до 11	5 599	9,89
Тестовий бал від 12 до 27	21 475	37,92
Тестовий бал від 28 до 45 балів	25 260	44,60
Тестовий бал від 46 до 50	2 896	5,11
Тестовий бал від 51 до 57 балів	1 385	2,45
Тестовий бал від 58 до 60 балів	23	0,04

Тільки тим, що в ній збережені первісні дані, без псевдонауковості (без приведення до трохи нелінійної шкали від 100 до 200 балів). Нагадую, що відповідно до теорії інформації, ніяка математична обробка не створює нової інформації. Може лише зменшити первісний обсяг, або навіть спотворити.

І чим моя таблиця була б гіршою для використання приймальними комісіями? Або який спротив могла б викликати у випускників шкіл чи їх батьків?

А потім слід повернутися до методології складання тестових завдань. Але це вже не математична вправа.

[ВАВАНчик]

А чим моя таблиця, побудована на Ваших даних, була б гіршою?

ОТВЕЧАЮ:
При вступительної кампании у абитуриентов сравниваются их знания с разных предметов
Например нужно сравнить 3х абитуриентов один из которых сдавал УКР, МАТИКУ, ФИЗИКУ
а второй сдавал РУС, АНГЛ, ИСТОРИЮ...
а третий  Укр, Историю, АНгл.
И вот тут берем ВАШУ шкалу: например было заданий (следовательно и максимальный балл)
Матика 80 заданий
Укр 75
Рус 68
Англ 53
Истор. 58
Физика 85.
Предположим что все трое сдали на максимальный балл...
Считаем сумму блов для каждого абутуриента:
1=75+80+85=240
2=68+53+58=179
3=75+58+53=186
По 200 бальной шкале все трое бы получили по 600
Но и это не все: предположим что первый по одному предмету (матике) набрал только половину: итого его балл 200, и он всеравно выигрывает.
Предположим что по 200 бальной у него в этом случае было бы 150 и с баллом 550 он остается в аутсайдерах .
В. И. не понимаю почему вы такое внимание уделяете этим тестам?
ЗЫ: еще нужно Вам чтото доказывать (например почему средний балл атестата перед плюсованиеам к баллам тестов нужно перевести в 200 бальную шкалу?!)

[gro-za]

На « Reply #1 : Сьогодні в 10:07:10 »« Reply #1 : Сьогодні в 10:07:10 »« Reply #1 : Сьогодні в 10:07:10 »
Читайте уважно: я проти всяких перерахунків за сумнівними шкалами. Нехай надають інформацію в абсолютних балах по кожному предмету, як це здійснюється у всьому світі. Плюс гістограму, або таблицю за моєю формою (див. попереднє повідомлення Інформація про ЗНО-2009 « : 12 Червень 2010, 17:15:43 »). Я противник усяких неузаконених і безглуздих з наукової точки зору схем оцінювання, які неможливо перевірити. Оце й створює додаткову напругу в суспільстві та недовіру до влади.
Свою форму розміщую повторно:
А чим моя таблиця, побудована на Ваших даних, була б гіршою?

Результат	Кількість учасників зовнішнього оцінювання, які виявили результати в межах цих показників	Відсоток від загальної кількості учасників
Тестовий бал від 0 до 11	5 599	9,89
Тестовий бал від 12 до 27	21 475	37,92
Тестовий бал від 28 до 45 балів	25 260	44,60
Тестовий бал від 46 до 50	2 896	5,11
Тестовий бал від 51 до 57 балів	1 385	2,45
Тестовий бал від 58 до 60 балів	23	0,04

Вручіть кожному учаснику тестування подібну таблицю по кожному предмету, а також отримані ним тестові бали. Цього достатньо для об'єктивного відбору переможців, а заодно й ті, хто програв, будуть мати первинну, не спотворену інформацію про результати тестування. Чому необхідно вигадувати велосипед? Невже зарубіжні університети цивілізованих країн гірші наших? Чому ж тоді не запозичити їх багаторічний досвід? Що заважає? Амбіція. А комусь хочеться показати свої видатні наукові досягнення у галузі тестування, шкалювання, рангування, та можливо отримати черговий науковий ступінь. Мені ця проблематика  (тестування, шкалювання, рангування) добре відома. Я викладав прикладну математику, теорію ймовірностей, математичну статистику. Можу повідомити, що значний вклад у цю проблему зарубіжні вчені здійснили майже 40 років тому назад (Крускал та ін.). Я використовував теорію багатовимірного шкалювання у власних наукових дослідженнях та в докторській дисертації 1971 року. То маю всі підстави протестувати проти недоосвічених чиновників Міносвіти. Та ще й нечесних.

[gro-za]

...
В. И. не понимаю почему вы такое внимание уделяете этим тестам?
ЗЫ: еще нужно Вам чтото доказывать (например почему средний балл атестата перед плюсованиеам к баллам тестов нужно перевести в 200 бальную шкалу?!)

А чому нікчемні методики ЗНО не повинні хвилювати вчених, та й абітурієнтів чи їх батьків? Якщо вони не мають ніяких юридичних наслідків, то тоді вони й не повинні застосовуватися. Але насправді все навпаки. Аргументи чиновників оприлюднені, я їх опублікував разом зі своїми запереченнями. Звісно, не для нігілістів, а для тих, хто має право опротестувати дії та бездіяльність суб'єктів владних повноважень.
Будь-які порушення повинні отримувати належну оцінку та відсіч. Інакше вони подібно до ракових пухлин продукують метастази і знищують весь організм держави та суспільства.

[ВАВАНчик]

В.И, простоите, но вы меня не слышите
Я Вам уже 1 раз обьяснил чем правильнее та система по сравнению с Вашей таблицей! Я Вам еще счас попробую графики нарисовать, может они Вас убедят.....
А на счет НЕПРОЗРАЧНОСТИ: как только будут проверены ВСЕ работы абитуриентов, компьютерная программа расчитает соответствие между кол-вом правильных ответов, и и полученным баллом . Точно так же как в прошлом году эту таблицу (преревода) выложат....
Скажу Вам больше: в этом году (не знаю как раньше) таблица перевода зависит даже от дня в который абитуриент проходил тестирование!!!!

Про визначення результатів тестування з української мови та літератури, математики, історії України  

У зв′язку з надходженням великої кількості звернень повідомляємо, що результати тестування з української мови та літератури, математики, історії України за рейтинговою шкалою визначатимуться за КОЖНОЮ СЕСІЄЮ ОКРЕМО.

Результати, отримані абітурієнтами під час різних сесій, порівнюватися НЕ БУДУТЬ.

Это правильно, ибо разной сложности могут быть задания!

[gro-za]

В.И, простоите, но вы меня не слышите
Я Вам уже 1 раз обьяснил чем правильнее та система по сравнению с Вашей таблицей! Я Вам еще счас попробую графики нарисовать, может они Вас убедят.....
А на счет НЕПРОЗРАЧНОСТИ: как только будут проверены ВСЕ работы абитуриентов, компьютерная программа расчитает соответствие между кол-вом правильных ответов, и и полученным баллом . Точно так же как в прошлом году эту таблицу (преревода) выложат....
Скажу Вам больше: в этом году (не знаю как раньше) таблица перевода зависит даже от дня в который абитуриент проходил тестирование!!!!

Про визначення результатів тестування з української мови та літератури, математики, історії України  

У зв′язку з надходженням великої кількості звернень повідомляємо, що результати тестування з української мови та літератури, математики, історії України за рейтинговою шкалою визначатимуться за КОЖНОЮ СЕСІЄЮ ОКРЕМО.

Результати, отримані абітурієнтами під час різних сесій, порівнюватися НЕ БУДУТЬ.

Это правильно, ибо разной сложности могут быть задания!

Дурниці були в минулому році, маємо в поточному. Комп'ютерна програма розрахує. А Вам відомо визначення комп'ютера? Це аналог млина, який перемелює все, що в нього закладено, у тому числі програму. Якщо на вході сміття, то й на виході сміття.

У зв′язку з надходженням великої кількості звернень повідомляємо, що результати тестування з української мови та літератури, математики, історії України за рейтинговою шкалою визначатимуться за КОЖНОЮ СЕСІЄЮ ОКРЕМО.

Що дає нові можливості для маніпулювання.
Полеміку з Вами закінчуємо. Я Вас до цього закликав, але Ви не дослуховуєтеся.
Тому тема закривається. Нікому не цікаво.