Вопрос тестовый 12

Разновидности заданий в тестовой форме

Вопрос тестовый 12

Жунусакунова А. Д. Разновидности заданий в тестовой форме [Текст] // Актуальные вопросы современной педагогики: материалы II Междунар. науч. конф. (г. Уфа, июль 2012 г.). — Уфа: Лето, 2012. — URL https://moluch.ru/conf/ped/archive/60/2572/ (дата обращения: 11.01.2020).

В статье рассматриваются проблемы форм тестовых заданий как одного из видов педагогического контроля, изучены виды заданий тестовой формы на примерах.

При анализе педагогико-дидактических литератур и зарубежной практики тестирования в результативности следующих утверждений: для увеличения эффективности испытания, для обеспечения адекватности поставленной цели с полученными результатами, большую роль играет задача соответствующего выбора видов тестовых заданий.

Знакомство учителей с различными видами тестовых заданий, умение отделять различие между ними, умение применять в учебном процессе (с целями) являются предпосылкой для успешной организации процесса-контроля. Каждый вид задания по своему намечает цели. Если некоторые подходят для выяснения обязательно знания учащегося, другие виды определялись не только знания учащегося, но и творческие знания и навыки.

Разновидности тестовых заданий посвящены исследования многих ученных. Исследователь С.А.

Мышко выделяет следующие формы тестовых заданий:

  • задания с выбором единственного правильного ответа;
  • задания с несколькими возможными правильными ответами;
  • задания, имеющие два ответа: один из которых правильный, в торой неправильный;
  • задание на завершение предложений;
  • вопросы на установления взаимосвязей;
  • задания с краткими ответами [8,47]

За прошедшее время вопрос о формах тестовых заданий обсуждались регулярно, и авторами предложены следующие их разновидности:

  • тест- опознание;
  • тест различие;
  • тест соотношение;
  • тест подстановка;
  • конструктивный тест;
  • тест-задача;
  • тест-процесс [2,154-157].

Обобщая исследования по разновидностям тестов, В.С. Аванесов подчеркивает: «форма тестовых заданий – это способ организации, упорядочения и существования содержания теста»[3].

Более подробно описаны различные формы заданий у Аванесова В.С., Майорова А.М., М.Б. Челышкова, С.К. Калдыбаева [3;6;7;12;13] ссылаясь на зарубежную литературу предлагает следующую классификацию тестовых заданий:

1. задания закрытой формы (с множеством выбором), в которых учащиеся выбирает правильный ответ из данного;

2. задание на дополнение (открытые задания) требующее самостоятельного получения ответов;

3. задание на установления соответствия (с множественным выбором), выполнения которых связано с выявлением соответствия между элементами нескольких множеств;

4. задание на установление правильной последовательности, в которых от учащегося требует указать порядок действий или процессов, перечисленных педагогами.

1. Задание закрытой формы.

Под тестовым заданием закрытой формы понимают такое тестовое задание, где есть готовые ответы, из которых тестируемый должен выбрать.

В закрытой форме тестовых заданий можно выделить несколько видов:

1) тестовые задания с выбором одного правильного ответа;

2) тестовые задания с выбором нескольких правильных ответов.

Под тестовым заданием с выбором одного правильного ответа понимают тестовые задание закрытой формы, в котором среди предложенных ответов лишь один правильный.

В заданиях с выбором одного правильного ответа можно выделить несколько подвидов. В.С. Аванесов [1] выделяет следующее:

1) задание с двумя вариантами ответов; 2) задания с тремя вариантами ответов;
3)задания с четырьмя видами ответов; 4) задания с пятью видами ответов.

Задание такой формы больше других распространены в тестовой практике. Некоторые авторы именно их называют тестами. Причина столь широкого распространения этой формы тестовых заданий несколько: 1) сравнительная простота выполнения;2) традиционность; 3) удобство для быстрого и автоматизированного контроля знаний.

При составлении тестовых заданий наиболее существенным является подбор вариантов ответов, называемых неправильными, которые расположены рядом с правильными. Считается, что эти варианты должны быть “правдоподобными”.

Неправильные, но правдоподобные ответы называется дистракторами [13,15] (от анг. to distract- отвлекать).

Если в задании имеется k ответов, то тогда ответ, доля выбора которого близка к значению 1/k-идеальный дистрактор; доля выбора меньше, чем 1/k- доминирующий дистрактор в задании.

Современная практика показывает что, чаще всего можно встретить задания с одним правильным ответов, в которых предлагается 4 или 5 возможных ответов. Например, при использовании четырех вариантов ответов вероятность угадывания правильного ответа составляет 25%, а при пяти ответах -20%.

1 пример: история 11 класс. В данное время какое место считается потомком города Баласагын? Ответы : а) Токмок; б) Бухара; в) Бурана; г) Узген д)Ташкент2 пример: Математика 7-класс, тема: Многочлен.

На какие множители можно разложить тождество х (р-а) + у (а-р) – (р-а) Ответы: а) (а-р)(х+у+1); в) (р-а)(х+у+1);б) (а-р)(х+у-1); г (а-р)(-х+у+1);3 пример: Русская литература 11 класс Укажите произведение Л.Н.

Толстого, которое имеет подзаголовок “Кавказкая повесть”. Ответы: а) Набег б) Два гусарав) Кавказский пленник г) Казаки

Задание с множественным выбором (с выбором несколько правильных ответов).

Под тестовым заданием с выбором нескольких правильных ответов понимают тестовое задание закрытой формы в котором допускается выбор нескольких правильных ответов из числа предложений.

Эффективность использования этого вида задания повышается если: 1. используется серия заданий;
2. формулировка задания четкая и понятная; 3. задания не предназначены для выявления высокого уровня, усвоения комплекса элементов; 4. время выполнения ограничено и его достаточно мало.

Чаще всего такие тесты используется для проверки усвоения базовых понятий, основных свойств, элементов содержания.

4 пример: Кыргызская литература, 11 – класс

Какой писатель родился в 1904 году?

Ответы:

а) К. Баялинов б) К. Жантошов

в) Т. Сыдыкбеков г) М. Элебаев

2) Какое произведение относится названному писателю?

Ответы:

а) Каныбек б) Кен – Суу

в) Кыйын кезек? г) Курман жылга?

5 пример: Математика 6 – класс.

В тождестве

Найти общий знаменатель дроби.

Ответы:

а) а+2; б) а-2;

в) а-4; г) а2 – 4.

Каков результат вычитания дробей?

а) ; б) ; в) ; г) .

6 пример: Кыргызская литература 10 – класс.

Об А.С. Пушкине писал кыргызский поэт:

Ты не заметил дерзости моей,

И понял я, что меня сильней.

Тогда перед тобой я поклонился;

Сам утонул в поэзии твоей.

Кто автор стихотворения?

Ответы:

а) Дж. Боконбаев; б) А. Осмонов;

в) А. Токомбаев; г) А. Усенбаев.

В каком году родился названный писатель?

Ответы:

а) 1894 г.; б) 1904 г.; в) 1910 г.; г) 1915 г.

Таким образом, тестовые задания множественного выбора – это наиболее часто используемый в педагогических тестах вид задания.

2. Тестовые задания открытой формы.

Заданиями открытой формы называют задания без указания возможных вариантов ответа. Такие задания называют еще открытыми заданиями или заданиями на дополнение. Такие задания требует от учащихся самостоятельно сформулировать ответ, а не выбрать готовый.

Достоинством заданий закрытой формы можно считать то, что они не допускают возможности угадываниях [3,79].

7 пример: Информатика 11-класс

Дан неполный фрагмент программы для суммы двухзначных четных чисел:

10 к=10; s=0

20 s=s+k

30 k=k+2

40 …

50 PRINT “S=”; S

Найти оператор 40-й строки.

а) IFk3->1; b) 2->4->3->1;

c) 4->3->1->2; d) 4->3->2->1.

17 пример: Биология 9 класс.

1. Гусеница 2. Куколка;

3. Имаго; 4. Яйцо.

Названные слова показывают 4 стадии развития в жизни бабочки. Какая из нижеприведенных последовательностей дает правильный порядок стадии жизненного цикла бабочки?

Ответы:

а) 1 ->2 – >4 – >3; б) 2 – >4->1->3

в) 4->2->1->3; г) 4->1->2->3.

Кроме рассмотренных четырех основных форм, существует группа заданий, обладающих свойствами заданий тестовой формы, но не обладающих свойством тестовых заданий. Характерный признак таких заданий –зависимость одних заданий от решения других.

Такие задания не включается в состав педагогических тестов, однако они успешно могут быть использованы в учебном процессе. Такие задания В.С. Аванесовым названы системой заданий в тестовой форме.

Основными их видами являются: цепные, тематические, текстовые и ситуационные и др.

“Форма тестовых заданий является одной из тех проблем тестирования, научное изучение и разрешение которых чрезвычайно важно и неотложно”, писал Г.С. Костюк 1928 году[11]. Однако, поиск оптимальной формы тестового задания, в наилучшей степени отражающей содержание теста и анализируемой предметной области, является важной актуальной задачей и на сегодняшний день.

Литература:

  1. Аванесов В.С. Научные проблемы тестового контроля знаний.- М.,1994.-135с.

  2. Аванесов В.С. Композиция тестовых задании. -2-ое изд.испр. и доп.-М.,1998.-217с.

  3. Аванесов В.С. Форма тестовых заданий. 2-изд., переработанное и расширенное. М.:”Центр тестирования”,2005.-156с.

  4. Беспалько В.П. Программированное обучение (дидактические основы).

    -М.,1970, 300с.

  5. Самылкина Н.Н. Современные средства оценивание результатов обучения.М: БИНОМ.,2007.-172с.

  6. Майоров А.Н. Теория и практика создания тестов для системы образования .-М.: Народное образвание,2000.-352с.

  7. Майоров А.Н. Теория и практика создания тестов для системы образования –М., «Интеллект центр», 2001.-296с.

  8. Мышко С.А.

    Проблема тестирования в системе образования США. Дисс…к.п.н.-Ужгород, 1982

  9. Звонников В.И. Контроль качества обучения при аттестации: компетентностный подход: учебное пособие/В.И. Звонников, М.Б. Челышкова.-М.: Университетская книга; Логос, 2009.-279с.

  10. Ингенкамп Карлхайнц. Педагогическая диагностика: пер. с нем.-М: Педагогика, 1991г.-240 с.

  11. Костюк Г.С.

    О зависимости результатов тестирования от формы теста // Тесты: теория и практика-М.: Моск. тестолог. объединение, 1928 г. -205с.

  12. Калдыбаев С.К.,Ажыбаев Д.М., Бекежанов М.М. Компьютерная диагностика результатов обучения в общеобразовательной школе:Практико-ориентированная моногорафия.-Б:2007.-136с.

  13. Челышкова М.Б.

    Теория и практика конструирования педагогических тестов.-М.,2001- 432 с.

Источник: https://moluch.ru/conf/ped/archive/60/2572/

Как подходить к тестовым заданиям: советы от тех, кто их проверяет

Вопрос тестовый 12

Зачем нужны тестовые задания, как их оценивают и как с их помощью хорошо себя зарекомендовать, особенно если вы пытаетесь обойти конкурентов на вакансию Junior? Об этом мы расспросили IT-специалистов, которые в своих компаниях ответственны за проверку таких заданий.

Максим Ковтун, Chief Software Architect в Sigma Software

Процесс найма сотрудников — это воронка, каждый этап которой призван отсеять часть кандидатов. Цель воронки — оптимизировать процесс и затраты на найм.

Представьте, что на входе у вас 100 кандидатов, и вы просто приглашаете каждого на техническое собеседование и потом на повторное с руководителем.

Если собеседования длятся по часу и в них участвует по два собеседующих, то вы потратите 400 часов на обработку кандидатов.

После собеседований вы понимаете, что у части кандидатов вообще нет нужного вам опыта, часть не владеет нужной технологией, часть не разделяет ваши ценности, часть не может написать код, но на каждого вы потратили по 4 часа.

Возникает вопрос: а могу ли я узнать неподходящих мне кандидатов, потратив меньше четырех часов? Наверное, я могу посмотреть резюме кандидата и понять, есть ли у него нужный мне опыт. Это займет 5-10 минут и позволит отсеять вообще нерелевантных.

Я могу 20 минут пообщаться с кандидатом по телефону и получить ответы на критические для меня вопросы. Я могу дать тестовое задание, проверка которого займет 10-20 минут.

Этапы в процессе выстраиваются в порядке затратности: сначала идут те, которые занимают меньше времени, и дальше по увеличению затратности.

Если из резюме и общения с кандидатом мы не увидели, что кандидат может писать код, решать задачи, проектировать модули системы, мы даем тестовое задание.

Начинающим программистам мы предлагаем несложные алгоритмические задачи, суть которых обычно сводится к написанию одной или нескольких функций. Это задачи уровня Fizzbuzz. Но как бы удивительно это ни было, все еще попадаются специалисты с немалым стажем, которые не могут решить Fizzbuzz.

Более опытным даем задачи на дизайн классов или структурный дизайн приложения (будет состоять из таких-то проектов, зависимости будут такие, модули будут подключаться динамически/статически, зависимости будут инджектиться вот так-то).

Как оцениваем тестовые работы. Мы стараемся детально указывать в тексте задания критерии оценки. Обращаем внимание кандидатов на то, что важно для нас, указываем, что нужно сделать обязательно, а какие вещи будут плюсом.

В отличие от решения практических задач на собеседовании, где мы больше смотрим на ход мыслей, а не результат, решение тестового задания происходит не в такой напряженной обстановке. А значит, ничто не мешает кандидату решить задачу правильно и полностью. Поэтому при оценке важны корректность и полнота решения.

Также важна эффективность решения с точки зрения алгоритмической сложности, количества кода и затраченного времени.

Дальше мы оцениваем, насколько написанный код близок к коммерческому исполнению, а не просто является лабораторной работой. Здесь мы смотрим на стилистику кода, обработку исключительных ситуаций и ошибок, валидацию аргументов, обработку edge-кейсов.

Если у задачи есть пользовательский интерфейс, будь то веб-страничка или просто консольная программа, смотрим, насколько это дружественно пользователю. Мы не требуем клевый дизайн или юзабилити. Но если программа выводит пользователю какой-то текст, то хорошо, если этот текст будет понятен не только программисту, написан без ошибок и с большой буквы 🙂

Какие бывают ошибки. Самая распространенная ошибка — это сразу бросаться писать код, не прочитав задание целиком и не вдумываясь в написанное.

Доходит до абсурда, когда в требованиях к задаче написано, например, не использовать Linq, а в коде он использован. Или явно требуется представить данные в древовидной структуре в памяти, а вместо этого данные лежат в плоской коллекции.

Сделать не так, как явно требуется в задаче, — это грубый фейл. После него сложно воспринимать кандидата позитивно.

Вторая ошибка, которая мешает выполнить задание успешно, — не задавать вопросы. Если что-то в формулировке задачи не понятно или есть сомнения, мы всегда предоставляем кандидату возможность пообщаться с техническим специалистом, который будет проверять тестовое задание.

Это не занимает много времени, и лично я такой ход воспринимаю очень позитивно. Для меня это признак того, что для специалиста важно выполнить поставленную задачу, а не просто сделать что-нибудь. В работе эта проблема тоже очень актуальна, поэтому мы обращаем на это внимание.

Как кандидату хорошо себя зарекомендовать. Тестовое задание — это лучшая возможность представить себя. В отличие от собеседования и практической задачи, тестовое задание выполняется без присутствия чужих людей, не в чужом офисе, без стрессовой обстановки и часто без ограничений по времени. Представьте, что вы делаете просто одну из задач на работе.

Источник: https://dou.ua/lenta/articles/test-task/

ЗНО-2020: как рассчитать балл по истории Украины – Освіта.UA

Вопрос тестовый 12

Определение результатов внешнего независимого оценивания по истории Украины осуществляется в два этапа. На первом этапе определяется тестовый балл участника внешнего оценивания (максимум – 94 балла).

На втором этапе, на основе тестового балла определяется рейтинговая оценка результатов участника внешнего оценивания по 200-балльной шкале, используемой при составлении рейтингового списка абитуриентов при поступлении в вузы Украины.

Также результаты тестирования по истории Украины каждого абитуриента будут переведены в оценку по шкале 1-12 баллов для того, чтобы результаты ЗНО были засчитаны как государственная итоговая аттестация.

Как государственная итоговая аттестация по истории Украины будет засчитано выполнение заданий №1-30 (максимум 47 баллов за задания ДПА).

КАК РАССЧИТЫВАЕТСЯ ТЕСТОВЫЙ БАЛЛ

Задания с выбором одного правильного ответа – тест содержит 46 заданий с выбором одного правильного ответа (№1-23 и №31-53), которые оцениваются в 0 или 1 балл; 1 балл, если указан правильный ответ; 0 баллов, если указан неправильный ответ, или указано более одного ответа, или ответ не предоставлен.

Задания на установление соответствия – тест содержит шесть заданий на установление соответствия (№24-26 и №54-56), которые оцениваются в 0, 1, 2, 3 или 4 балла: 1 балл за каждое правильно установленное соответствие («логическую пару»); 0 баллов, если не указано ни одной правильной «логической пары» или ответ на задание не предоставлен.

Задания на установление правильной последовательности – тест содержит 4 задания на установление правильной последовательности (№27-28 и №57-58), которые оцениваются в 0, 1, 2 или 3 балла: 3 балла, если правильно указана последовательность всех событий; 2 балла, если указаны первое и последнее события; 1 балл, если указано или первое, или последнее событие; 0 баллов, если указан неправильный ответ или ответ на задание не предоставлен.

Задания с выбором трех правильных ответов из семи предложенных вариантов ответа (с коротким ответом множественного выбора) – тест содержит четыре задания (№29-30 и №59-60) с выбором трех правильных ответов из семи предложенных вариантов ответа (с коротким ответом множественного выбора), которые оцениваются в 0, 1, 2 или 3 тестовых балла: 1 балл за каждый правильно указанный ответ (цифру) из трех возможных; 0 баллов, если не указано ни одного правильного ответа (цифры), или ответ на задание не предоставлен. Порядок написания цифр значения не имеет.

Максимальное количество баллов, которое сможет набрать участник тестирования за выполнение задач государственной итоговой аттестации, равна 47 тестовым баллам. Максимальное количество баллов, которое может набрать участник тестирования, правильно выполнив все задания теста по истории Украины, – 94.

КАК РАССЧИТЫВАЕТСЯ РЕЙТИНГОВЫЙ БАЛЛ

Для получения результатов участника внешнего оценивания по 200-балльной шкале используется Таблица перевода тестовых баллов в рейтинговую шкалу от 100 до 200 баллов.

Таблица перевода тестовых баллов в рейтинговую шкалу от 100 до 200 баллов публикуется Украинским центром оценивания (УЦОКО) только после проверки правильности выполнения заданий каждого участника тестирования и определения порогового балла «сдал / не сдал».

Таблица перевода тестовых баллов должна быть опубликована не позднее 20 июня 2020 года. Указанная шкала является рейтинговой, поскольку указывает на место результата участника внешнего независимого оценивания среди результатов других участников тестирования по истории Украины.

При расчете указанной шкалы не будут приниматься во внимание результаты участников тестирования, которые не преодолели пороговый тестовый балл по результатам тестирования.

Пороговый балл определяют группы экспертов, которые анализируют фактическое выполнение тестовых заданий участниками тестирования и на основании этого анализа устанавливают количество тестовых баллов, определяющих пороговый тестовый балл по истории Украины.

Участники ЗНО, которые не преодолеют определенный пороговый тестовый балл, будут считаться не сдавшими тест.

Следует отметить, что определение рейтингового балла по таблицам перевода тестовых баллов прошлых лет будет неточным. овый балл может существенно отличаться учитывая разные уровни тестов и различные фактические результаты выполнения теста участниками тестирования. Таблицы перевода тестовых баллов прошлых лет можно посмотреть по следующей ссылке.

КАК РАССЧИТЫВАЕТСЯ БАЛЛ ДПА

Результат выполнения заданий №1-30 ( «История Украины ХХ – начала XXI века») по выбору выпускника может быть засчитан как государственная итоговая аттестация по истории Украины.

Максимальное количество баллов, которое может получить участник ЗНО по истории Украины, правильно выполнив все задания № 1-30, которые будут засчитываться как государственная итоговая аттестация, равно 47 тестовым баллам.

Таблица перевода тестовых баллов в оценку по шкале 1-12 баллов также публикуется после проверки правильности выполнения заданий каждого участника тестирования по истории Украины не позднее 20 июня 2020 года.

ОРИЕНТИРОВОЧНЫЙ РАСЧЕТ БАЛЛА ПО ШКАЛЕ 2019 ГОДА

Для расчета ориентировочного рейтингового балла по шкале 100-200 баллов введите свой тестовый балл в поле ниже (максимум 94 балла):

Для получения ориентировочного значения собственного балла по шкале 1-12 баллов введите свой тестовый балл за задания №1-30 в поле ниже (максимум 47 баллов):

Источник: http://ru.osvita.ua/test/ball/47179/

Комил Джалилов — об иске ГЦТ

Вопрос тестовый 12

С удивлением узнал, что против меня и издания, которое опубликовало мой репортаж с пресс-конференции Министерства народного образования, Государственный центр тестирования подал в суд и требует опровержения и возмещения морального ущерба.

Предоставляя юристам юридическую сторону вопроса, а вопросы свободы слова — специалистам в этой сфере (я не являюсь ни тем, ни другим), хотел бы обратить внимание на научные вопросы, которые у меня как специалиста в области педагогики и педагогического оценивания (тестологии) возникли после ознакомления с исковым заявлением ГЦТ.

ГЦТ заявляет: «Вышеуказанные некачественные тестовые задания никак не могли оказаться в базе заданий ГЦТ по объективным и субъективным причинам.

Поскольку формирование базы тестовых заданий — это сложный процесс, который осуществляется в несколько этапов.

Оценивается соответствие заданий требованиям тестологии и проводится экспертиза в несколько этапов, после чего они включаются в базу заданий».

В современной науке о тестах — тестологии — валидность, или точнее, конструктивная валидность, является единственным критерием качества тестовых заданий.

Чтобы иметь право заявлять, что тестовые задания соответствует требованиям тестологии и являются качественными, т. е.

являются валидными, организация должна предоставлять как теоретические, так и эмпирические (практические) доказательства.

Первое. Мы уже говорили, что валидность — это адекватность интерпретации (толкования) результатов теста по отношению к цели тестирования.

Тест — это инструмент измерения, только мы мерим не физические величины, которые легко поддаются измерению (например, рост, вес, объем), а более абстрактные, сложно измеряемые понятия, такие как, например, психологические свойства человека, его знания, компетенции (в науке эти понятия называются «конструктами» — отсюда и «конструктивная валидность»). Так же как мы не можем использовать одни и те же инструменты для измерения разных физических свойств, например, линейку для измерения и длины, и веса, тестологи не могут использовать одни и те же инструменты (тестовые задания) для измерения разных конструктов. Выбор инструмента измерения (тестовых заданий) всегда будет зависеть от цели тестирования.

Отвечая на мой вопрос о тестовых заданиях, первый заместитель министра народного образования сказал, что для тестирования учителей ГЦТ использовал ту же базу, которая используется для тестирования абитуриентов.

Здесь у меня возникает вопрос к специалистам ГЦТ: неужели в этих двух совершенно разных ситуациях — отборе абитуриента, вчерашнего школьника, для дальнейшего обучения в вузе и оценке профессиональной компетенции педагога — измеряемые конструкты настолько схожи, что можно использовать одни и те же инструменты измерения (тестовые задания) как в первом, так и во втором случае? Если быть более научным, могут ли результаты использования одной и той же базы тестовых заданий позволять делать совершенно разные выводы о совершенно разных категориях тестируемых?

Второе. ГЦТ отмечает, что «тестовые задания разрабатываются в соответствии с учебными планами общего среднего и среднего специального и профессионального образования». Тестовые задания не могут быть разработаны в соответствии с учебными планами.

Тестовые задания должны быть разработаны в соответствии с образовательными стандартами — документами, где прописывается, какими умениями, навыками, компетенциями должен обладать выпускник того или иного уровня образования.

Например, если стандарты говорят, что выпускник должен уметь «проанализировать реальность, отраженную в художественном произведении» или «оценить идейно-художественные характеристики произведения», значит, тест должен позволять делать вывод, умеет ли тестируемый это делать. А учебные планы — это не что иное, как путь, который намечает для себя образовательная организация или отдельно взятый педагог для достижения целей, заложенных в стандартах. И эти пути могут существенно различаться, несмотря на общность цели.

Например, если взять опыт России, где школы свободны в выборе учебных планов, методик, учебников для достижения целей, заложенных в Федеральных образовательных стандартах, Единый госэкзамен не составляется на основе учебных планов или учебников, используемых теми или иными образовательными учреждениями, а измеряет, насколько учащиеся достигли целей стандарта — насколько они овладели компетенциями, прописанными в стандартах. То же самое и с другими экзаменами, такими как, например, международные тесты по английскому языку IELTS или TOEFL — они измеряют уровень сформированности компетенций, заложенных в международных стандартах по английскому языку, независимо от того, где, при каких обстоятельствах, с помощью каких учебных планов или учебников тестируемый изучал этот язык до экзамена.

Возвращаясь к вопросу о компетенциях. Мне как специалисту интересно, какие компетенции, заложенные в образовательных стандартах, проверяют следующие тестовые задания: «Какая семья владела имением Лысые горы в „Войне и мире“ Толстого?» (официальный сборник ГЦТ по русскому языку и литературе, стр.

 106, задание 4)? В части второй третьего тома произведения читаем: «Лысые Горы, именье князя Николая Андреича Болконского, находились в шестидесяти верстах от Смоленска, позади его, и в трех верстах от Московской дороги».

Какую компетенцию хотят увидеть авторы этого задания? Запоминание учеником текста четырехтомного произведения? А если авторы задания хотят здесь увидеть ассоциацию «Лысые горы — Голгофа» и «князь Андрей — мученик и Христос — мученик», как это видят некоторые филологи, насколько правомерно требовать такого рода анализы, требующие глубоких знаний не только литературы, но и истории и религиоведения, с ученика школы?

Другие примеры. «Кто подарил скатерть-самобранку мужикам-правдоискателям в поэме „Кому на Руси жить хорошо?“ Некрасова?» (тот же сборник, стр. 106, задание 27). «Как звали арбакеша, о котором так печется мать, в романе „День и ночь“ Чулпана?» (официальный сборник ГЦТ по узбекскому языку и литературе, стр.

 112, задание 17). «В семнадцатой песне”Наставлений”Абая связанность чего с телом поддерживает Знание? Варианты: сердца, энергии, ума, ума и сердца» (тот же сборник по узбекскому языку и литературе, стр. 117, задание 15). «Кто сказал ту или иную фразу в таком-то эпосе?» (тот же сборник, стр.

70−75) «Какое сооружение изображено на рисунке?», «Какое божество изображено на рисунке?» или «Какой деятель изображен на рисунке?» (официальный сборник ГЦТ по истории, стр. 110−116).

Опять же, на измерение каких компетенций, заложенных в образовательных стандартах, направлены такие задания? Какие обоснованные выводы о компетенциях тестируемых можно сделать, анализируя их ответы на подобные задания? Или с какой целью в сборник по английскому языку включены задания, основанные на текстах, по лексическому, грамматическому и стилистическому строю превышающие уровень B1, требуемый от абитуриента к концу средней школы?

Я как специалист, изучавший тестологию в рамках программы магистратуры, не вижу принципиальной разницы между образцами заданий, озвученных мной на пресс-конференции МНО и приведенными выше.

А ведь примеры, которые я привел выше, взяты из сборников, официально опубликованных ГЦТ из базы заданий 2019 года. И те, и другие не валидны — не позволяют измерить те конструкты, которые они должны измерять.

Третье. Надежность тестов является одной из характеристик, напрямую влияющих на их валиднось — ненадежные тесты не могут быть валидными.

Объясняя простыми словами, если сегодня Иванов по вашим тестам набрал 90 баллов, а через некоторое время он же по этим же тестам набрал, скажем, 50 или 150 баллов, значит, тесты не надежные и, соответственно, не валидные. Для вычисления надежности проводится апробация всей (!) базы заданий на репрезентативной выборке.

Цифры, полученные в результате апробаций, вставляются в формулы, которые показывают различные характеристики этих заданий: их уровень сложности, дискриминационная сила и другие. Полученные цифры непосредственно влияют на надежность тестового варианта, в котором используется эти задания.

Причем задания могут показывать разные характеристики в разных комбинациях — вполне «нормальные» задания в одном варианте могут «повести себя ненормально» (т. е. показывать неприемлемые характеристики), если их включить в другой вариант.

https://www.youtube.com/watch?v=y7EXg0wO5Bc

В науке о тестах существуют определенные стандарты, которым должны соответствовать тестовые задания и варианты.

Например, сложность заданий должна быть в пределах 0,3−0,7, дискриминационная способность должна быть выше 40%, DIF (Differential item functioning &mdash уровень дискриминации различных групп тестируемых заданием) должен быть равен нулю. Коэффициент надежности всего варианта должен быть выше 0,85.

Мы говорили, что организации, занимающиеся тестированием, публикуют для общественности всю статистику, необходимую для получения представления о качестве заданий и сопоставимости результатов.

Если, как утверждает ГЦТ, качество заданий соответствует требованиям тестологии, то почему на сайте ГЦТ нет каких-либо цифр, позволяющих в этом убедиться? Проводилась ли апробация заданий, предложенных педагогам в Сырдарьинской области, на репрезентативной выборке педагогов? В каких пределах были такие характеристики, как сложность заданий, дискриминационная способность, DIF тестовых заданий? В каких пределах были коэффициенты надежности вариантов и стандартная ошибка измерения? Учитывая невозможность добиться идентичного уровня сложности всех вариантов при использовании многовариантной системы, как проводилось шкалирование результатов тестирования педагогов до того, как эти результаты были представлены МНО и другим организациям?

Четвертое. Как правильно отметил ГЦТ, формирование базы тестовых заданий — это сложный процесс, который осуществляется в несколько этапов.

Эти этапы зафиксированы в основополагающем документе любой организации, занимающейся тестированием, — «Стандартах педагогического и психологического тестирования».

К каждому этапу — начиная от составления спецификации теста и подбора составителей теста, апробацией заданий и анализом результатов апробации, компиляцией вариантов тестов и заканчивая проведением (администрацией) теста, обработкой и оглашением результатов — предъявляются конкретные требования. Насколько процедуры, принятые в ГЦТ, соответствуют этим требованиям, чтобы некачественные тестовые задания не могли оказаться в базе заданий по объективным и субъективным причинам?

Например, одним из требований «Стандартов» является прозрачность.

Все участники тестирования должны знать и понимать, что требуется в тесте, как работа тестируемых будет оценена и как будут интерпретированы результаты тестирования.

Обладали ли педагоги в Сырдарье достаточной информацией по этому поводу? Каким образом была доведена до их сведения спецификация теста с подробной информацией, какие их компетенции будут измерены и каким образом?

Подобные вопросы, равно как и другие, я пытаюсь поднять благодаря «Газете.uz», которая предоставляет мне площадку для моих анализов. Эти вопросы поднимаются мной не с целью «дискредитации Государственного центра тестирования и его сотрудников, ущемление чести, достоинства и деловой репутации», как это, к сожалению, видит ГЦТ.

Тесты ГЦТ обладают огромной силой «эффекта отлива» — влияют на дальнейшие действия участников системы образования и через них — на систему образования в целом.

Например, в случае с тестированием педагогов ответственные органы, такие как МНО, Госинспекция по надзору за качеством образования, Кабинет Министров принимают определенные решения, намечают мероприятия, требующие, в том числе, бюджетных затрат.

Поэтому крайне важно, чтобы организация, на которую возложено измерение, следовало всем требованиям науки о тестах и информировало общественность об этом.

К сожалению, ни я, ни читатели «Газеты.uz» до сих пор не получили четких ответов на многие вопросы, поднятые в публикациях. Но проблема существует, и ее надо решать. Это значит, что к подобным вопросам мы вынуждены постоянно возвращаться, нравится это кому-то или нет.

С уважением,
Комил Джалилов

Источник: https://www.gazeta.uz/ru/2019/12/21/tests/

Почему не стоит давать тестовые задания. И почему не стоит их делать

Вопрос тестовый 12

Тестовое задание как инструмент поиска сотрудников имеет плохое соотношение полученной информации к потраченному времени, высокий показатель ошибочно негативных результатов, а также увеличивает имиджевые риски.

Для начала определимся с контекстом. Тестовое задание (домашнее задание, ДЗ) — это задание, выполняемое кандидатом вне собеседования, схожее с его должностными обязанностями. Далее мы будем рассматривать применимость ДЗ как этап фильтрации кандидатов на позиции разработчиков. Скорее всего, похожие проблемы будут возникать и при найме других технических специалистов.

Теоретически ДЗ выглядит очень привлекательно, ибо наниматель, как он считает, может увидеть, что умеет кандидат в «боевых условиях», и тем самым упростить процесс найма.

Проблема в том, что это так выглядит только на первый взгляд.

На практике же часто оказывается, что «достойных» кандидатов находить становится еще сложнее, а на рынке полно «неадекватов», которые берут ДЗ и отвечают «мы вам перезвоним».

Чтобы понять, насколько применимо ДЗ для поиска специалистов, попробуем ответить на 2 вопроса:

  • Какие выводы можно сделать из невыполненного задания?
  • Какие выводы можно сделать из выполненного задания?

Какие выводы можно сделать из невыполненного задания

Можем ли мы сказать, что кандидат не является хорошим специалистом, если он не выполнил ДЗ? К сожалению, нет. Оказывается, что у людей бывают и другие интересы помимо программирования.

И поскольку программированием человек занимается 8 часов (ну или 4-6) на работе, то в свободное время ему логично уделять другим своим интересам.

Те же, кому не хватает 8 рабочих часов для любимого занятия, довольно часто имеют свои пет-проекты, и совсем не факт, что ваше ДЗ будет интереснее, чем уже начатые проекты.

Бывает и еще одна категория людей — те, у кого не установлено все необходимое для работы на домашнем компьютере. Таким образом, в придачу к тем, кто не может выполнить задание, мы также отсеиваем тех, кто не хочет выполнять или не может выделить достаточно времени на выполнение задания.

Какие выводы можно сделать из выполненного задания

ДЗ часто используют при найме джунов, так как с начинающими специалистами не поговоришь об их прошлом опыте. И если джун сделал ДЗ, то, скорее всего, он имеет больший потенциал чем тот, кто не выполнил. Но тут не стоит забывать про такое интересное словосочетание как «намутить лабу».

Если синьор, с большой долей вероятности, не будет заморачиваться с поиском решения в интернете и просить товарищей сделать тестовое, то вот с джуниорами все может оказаться (и на практике оказывалось) не так радужно.

И тут ДЗ может сыграть с вами злую шутку, поскольку на момент собеседования у интервьюера может сложиться излишне позитивное впечатление о кандидате, так и кандидату проще «сдавать зачет», когда он знает подмножество тем.

Излишне позитивное впечатление от ДЗ может создать похожие проблемы и при найме «не джуниоров». Как-то во время собеседования у меня не спрашивали ни одного вопроса по Spring, потому что «из моего решения было очевидно, что у меня большой опыт с этим фреймворком». На тот момент мой опыт со Spring состоял из 2 просмотренных видосиков и проекта длиной в 3 дня.

Размер и типы заданий

В размере тестового задания как раз и кроется основной фактор, который делает его неэффективным инструментом. Если задание занимает менее часа, то его вполне можно дать во время собеседования. При таком подходе есть возможность проверить те самые «problem solving skills», которые многие путают с алгоритмическими задачками.

Как раз благодаря небольшому времени на решение довольно популярны алгоритмические задачи. Из плюсов таких задач можно отметить простоту проверки, ибо если код читабельный (это требование актуально для всех адекватных компаний), то на проверку такой задачи уйдет минут 10-30.

А еще есть Codility и другие сервисы, которые позволяют автоматизировать процесс. К сожалению, у этого подхода есть небольшой недостаток: сама алгоритмическая задачка проверяет только знание кандидатом конкретного алгоритма (максимум группы алгоритмов).

Многие подсознательно устанавливают порядок между базовыми знаниями CS и всем остальным (работа с БД, корректное применение паттернов, умение писать тесты и т.д.). В реальном мире эти навыки параллельны.

В задание менее 4 часов довольно сложно впихнуть задачу, требующую большего, чем просто выполнение механических действий. Именно поэтому типовые задачи в диапазоне 2-4 часа — это напилить CRUD, разобраться с API или инструментом.

С точки зрения проверки такого задания, оно схоже с ревью небольшого незнакомого вам проекта. Если задача — просто быстро понять, нет ли грубых залетов, такое ревью можно и на 15 минут сделать.

Но в таком случае зачем было давать тестовое, подобное решение может быть закрыто прочтением резюме и тем же 15-минутным общением с кандидатом по телефону (если уж хочется сэкономить время на проведение собеседования).

Более же вдумчивое ревью займет минут 30-60, что соизмеримо по времени с общением на интервью, но проверяющий не имеет возможности уточнить, почему были приняты те или иные решения, в отличие от интервью.

Задания от 4 часов до 2-3 дней. Из позитивных моментов, вы сможете проверить насколько кандидат мотивирован получить работу в вашей компании (по крайней мере насколько он прямо сйечас мотивирован).

При этом в плане затрат вашего времени на вдумчивую проверку задания уйдут те же 30-60 минут, но уже с большей вероятностью 60, чем 30. На таких заданиях уже можно ожидать какого-то определенного уровня качества. При этом нужно понимать, что любое решение задачи — это всегда trade-off между качеством и скорость выполнения.

И вполне может оказаться, что решение было сделано хуже, чем могло бы быть, как раз потому что кандидат не сложен к overengineering. Чтобы узнать, почему было принято определенное решение, нам нужно таки провести собеседование. Таким образом, мы потратили дополнительно час своих работников.

Также необходимо понимать, что любое задание, которое занимает больше одного вечера (теоретически вечер — это 4 часа, в реальности — 2), очень существенно уменьшает количество желающих его выполнять.

Идеальное тестовое задание — это испытательный срок (ИС). Практика показывает, что большинство негативных моментов связанных с компетентностью человека и его умением работать в команде, всплывают в первую неделю-две испытательного срока (конечно же, бывают случаи, когда такие моменты проявляются уже после ИС, независимо от его длины 🙂 ).

Поэтому некоторые компании практикуют ДЗ на 3-5 дней. За этот период мы можем увидеть, как человек решает достаточно комплексные задачи, насколько качественный код он выдает, как общается с командой (уточняя требования, например). Тут есть 2 проблемы. Первая — затраты времени со стороны компании будут составлять где-то 1 час на день задания.

Вторая проблема состоит в том, что множество людей, которые согласятся его выполнять, будет сведено к тем, у кого (на момент решения задания) достаточно свободного времени, чтобы впихнуть в него 24-40 рабочих часов, и достаточно денег, чтобы потратить 24-40 часов не на работу и не на отдых.

Хотя это, наверное, не проблема, а просто новый вызов для ПМов и ХРов: как мотивировать такого человека работать предсказуемо в течение длительного периода времени 🙂

Ранее были описаны случаи, когда ДЗ идет как этап, предшествующий интервью. Бывают случаи, когда ДЗ дают после интервью.

Зачем же? Формулировки бывают разные, но они сводятся к тому, что после интервью наниматель не получил достаточно информации, чтобы принять решение. К сожалению, ДЗ и в этой ситуации не помощник. Тут нужно приводить в порядок процесс самого интервью.

Понять, что человек не подходит, можно за 15-45 минут, понять, что человек подходит, можно за 30-60. В этом случае ДЗ — это просто попытка интервьюера снять с себя ответственность.

Еще одним видом ДЗ являются задания непосредственно перед интервью, прямо в офисе компании. Несмотря на то, что такие задания очень схожи с практическими заданиями, решаемыми прямо на интервью, они имеют ряд недостатков.

Наиболее заметным является то, что мы теряем возможность оценить те самые problem solving skills, так как мы не видим ход мыслей кандидата, а видим лишь результат. Также одним из подводных камней этого подхода является, то что кандидата нужно не забыть уведомить заранее, что ему придется часок-другой провести в переговорке наедине со стопкой бумаги или ноутбуком.

Подобный сюрприз может негативно сказаться на желании кандидата работать в компании и на тех отзывах, которые он будет давать о компании.

Когда тестовое задание эффективно

Как ни странно, тестовое задание является очень эффективным способом уменьшить поток кандидатов на интервью.

Единственное, что надо понимать — уменьшение будет происходить не столько за счет отсеивания менее квалифицированных кандидатов (как этого бы хотелось), а в основном за счет отсеивания менее мотивированных в данный момент. Но даже с учетом этого, вопрос с долгосрочной мотивацией останется открытым.

Далеко не всегда получается определить уровень квалификации человека по тому, как он рассказывает о задачах, которые ему приходилось решать. Поэтому во многих случаях некоторое практическое задание все же будет уместно.

Такие задания лучше давать во время интервью и при этом не просто присутствовать при решении задачи, а принимать участие в этом решении, давая подсказки, если кандидат входит в ступор, и меняя условия или ограничения, если задача решается без видимых затруднений.

Но я люблю делать тестовые задания

Бывают случаи, когда кандидаты предпочитают делать ДЗ. Наиболее распространены 2 типа мотивации: кандидату интересно делать ДЗ, кандидат предпочитает сделать ДЗ вместо «задачи на бумажке». В первом случае все намного проще: нравится — делайте.

Но, возможно, стоит задуматься о более предсказуемых способах получения задач для своего хобби или самообучения. Второй же случай сигнализирует о серьезном пробеле в ваших профессиональных навыках.

Ибо, как указывалось ранее, «задачки на листиках» проверяют во многом способность человека получить необходимую для решения информацию и объяснить свой подход другому человеку (интервьюеру или члену команды).

Image by Visual Generation

Темы: junior, найм, собеседование

Источник: https://dou.ua/lenta/articles/test-assignment-for-job-seekers/

Юридический спектр
Добавить комментарий