Summative assessment / Summative evaluation

Итоговый контроль предназначен для того, чтобы объективно подтвердить достигнутый уровень обученности, определить степень сформированности фонетических, лексических, грамматических навыков и умений в различных видах иноязычной речевой деятельности по завершении определенного этапа обучения. Итоговый контроль свидетельствует об эффективности программы обучения, выявляет ее сильные стороны и недостатки. При итоговом контроле доминирует оценочная функция.

Итоговый контроль обычно осуществляется в форме письменных контрольных работ, устных зачетов, экзаменов (письменных и устных) с использованием различных приемов проверки и оценки сформированности умений в рецептивных и экспрессивных видах речевой деятельности.

Formative assessment / Formative evaluation

Текущий контроль призван обеспечивать своевременную обратную связь, способствовать улучшению самого учебного процесса. Он помогает выявить отклонения от запланированной программы действий в ходе учебного процесса и принять оперативные решения по коррекции программы освоения языкового материала и овладения различными видами речевой деятельности. При текущем контроле проявляются практически все функции контроля в обучении иностранному языку: проверочная, оценочная, стимулирующая, дисциплинирующая и другие. Включение тестов текущего и промежуточного контроля (progress achievement tests) в учебные пособия способствует систематичности проведения текущего контроля.

Self-assessment / Self-evaluation

Самоконтроль — это способность человека сознательно оценивать и регулировать производимые им действия. Самоисправление ошибочных действий предполагает наличие внешних и внутренних образцов-эталонов, с которыми сравниваются производимые действия. При обучении иностранному языку внешними эталонами для становления речевых навыков и умений служат правила, речевые образцы, подсказки, комментарии, ключи, инструкции. На их основе создаются внутренние модели — эталоны речевых действий. В результате эффективного функционирования самоконтроля и его составляющих — самонаблюдения, самоанализа, сличения речевых действий с эталонами, самокоррекции и самооценки — достигается безошибочность речи, а уровень самоконтроля рассматривается как один из показателей степени совершенства умений и навыков. Самоконтроль проявляется в самом факте и характере исправления ошибок, допущенных в речи, развивается параллельно с формированием речевых навыков при наличии контроля со стороны учителя (Миньяр-Белоручев 1990, с. 205; Зимняя и др. 1991).

Testing / Language testing

1. Контроль. Термин testing в широком значении используется в англоязычной методике как синоним терминов evaluation, assessment и соответствует русскому «контроль» в широком толковании.

2. Лингводидактическое тестирование является, с одной стороны, областью

 

3.

методики преподавания иностранных языков, занимается разработкой и использованием языковых и речевых тестов; с другой стороны, относится к педагогическому (предметному) тестированию как часть общей тестологии (Davies 1990, р. 10).

Test / Language test

Тест. Возникнув как название специфической формы контроля знаний, умений и навыков, английский термин test стал употребляться в зарубежной методике для обозначения любого контролирующего задания, как синоним понятий «контрольная работа», «опрос», «зачет», «экзамен». При расширенном толковании термина test американскими тестологами выделены две основные группы: объективные тесты (objective tests) и субъективные (subjective tests). В объективных тестах определение правильности ответа осуществляется механически, по заготовленному ключу; в субъективных оно основывается на оценочном суждении проверяющих (Povey and Walshe 1982, p. 153; Bachman 1990; Oiler 1992).

В отечественной методике термины «объективный тест» и «субъективный тест» не получили распространения, а сам термин «тест» закрепился только в узком значении — «объективный тест», под которым понимается «подготовленный в соответствии с определенными требованиями комплекс заданий, прошедший предварительное опробование... и позволяющий выявить у тестируемых степень их языковой... и/или речевой... компетенции, результаты которого поддаются оценке по заранее установленным критериям» (Глухов, Щукин 1993, с. 114).

Этот комплекс заданий существует в форме совокупности вопросов, обеспечивающих (в большинстве случаев) однозначность ответов испытуемых. Его отличает тщательность разработки в соответствии с определенными правилами и процедурами, предварительная экспериментальная проверка, наличие таких характеристик эффективности, как валидность (validity) и надежность (reliability). Имеющийся эталон ответа гарантирует объективность результатов тестирования, которые поддаются количественному учету и математической обработке.

Основное отличие теста от контрольной работы состоит в том, что он всегда предполагает измерение. Другим важным отличием является то, что тесты проходят процедуру стандартизации. Поэтому отметка, выставляемая по итогам тестирования, отличается большей объективностью, чем оценка контрольной работы, вынесенная на основании личного суждения проверяющего (Davies 1990; Weir 1990, 1993; Hughes 1993; Heaton 1994; Alderson et al. 1995; Фоломкина 1986; Рапопорт и др. 1987; Поляков 1994; Симкин 1996).

Тест обычно состоит из двух частей: информационной и операционной. Информационная часть содержит ясно и просто сформулированную инструкцию и примеры правильного выполнения заданий. Операционная часть состоит из некоторого количества заданий или вопросов (items). Тестовое задание является минимальной составляющей единицей теста, которая предполагает определенную вербальную или невербальную реакцию тестируемого. Каждое тестовое задание Содержит основу (stem, lead) в виде утвердительного предложения (полного либо неполного), вопроса или небольшого текста. Основа представлена таким образом, что содержит конкретную частную задачу, требующую поиска решения (ответа), и, как правило, подсказывает направление поиска.

 

 

Тестовое задание может сопровождаться набором ответов (responses), называемых также выборочными ответами (options) или альтернативами (alternatives). Среди ответов содержится один правильный ответ (key / answer / correct option) и несколько неправильных, неподходящих (destractors). Основы и варианты выбора в тесте могут быть представлены языковыми знаками разной величины: от звука или буквы до текста. Все варианты выбора должны быть приблизительно одной величины и относиться к одному уровню языковой трудности.

Тесты со многими (более 40-50) заданиями называются комплексными тестами или тестовыми батареями (test batteries) и состоят из частей (parts) и субтестов (subtests). Субтест составляется на один конкретный объект тестирования и содержит однотипные задания (test tasks).

Tester

Тестирующий, человек (преподаватель), проводящий тест среди тестируемых, или участников теста (testees / test-takers) — людей (учащихся, студентов), которые выполняют тест. Некоторые зарубежные авторы предпочитают использовать слово learner вместо testee или test-taker, считая его более привлекательным и уважительным.

Проведение лингводидактических тестов обозначается как test administration, а понятие «проводить тестирование» отражается словосочетанием to administer tests.

Washback effect / Backwash

Влияние контроля (его формы, содержания и приемов) на учебный процесс. Термин washback широко распространен в зарубежной прикладной лингвистике и методике для обозначения положительного или отрицательного влияния контроля на обучение и овладение иностранным языком. Наряду с терминами washback и backwash в англоязычной методической литературе встречаются синонимы test impact и test feedback (Alderson and Wall 1993; Hamp-Lyons 1997; Brown and Hudson 1998, p. 668).

Положительное влияние (positive / beneficial washback) достигается тогда, когда контроль учитывает дидактические цели, задачи, условия, опирается на содержание и приемы обучения. Положительное влияние контроля выражается в изменении учебной программы, улучшении качества учебных материалов, приемов обучения, то есть в необходимой корректировке учебного процесса, а также в повышении мотивации учащихся. Отрицательное влияние (negative / harmful washback) имеет место в том случае, когда нарушаются основные требования, предъявляемые к контролю: целенаправленность и адекватность проверяемым объектам и целям контроля, соответствие условиям и методическим принципам обучения. В этом случае происходит разрыв, наблюдается противоречие между учебным процессом и контролем, в то время как между ними должны существовать отношения партнерства, при которых контроль поддерживает, корректирует процесс обучения (Hughes 1993). Отрицательное влияние отмечается и в случае так называемого «натаскивания», когда обучение подгоняется под предстоящий контроль.

В отечественной методике при рассмотрении контроля традиционно описываются его педагогические функции и требования, предъявляемые к нему.

 

 

Непосредственно с понятием washback связаны управленческая и корректировочная функции контроля и соблюдение в первую очередь таких требований, как целенаправленность и адекватность. При условии выполнения этих требований и реализации вышеназванных функций контроль оказывает положительное влияние на процесс обучения (Практикум 1985; Глухов, Щукин 1993; Денисова, Симкин 1995, с. 12; Мусницкая 1996).

Error

Ошибка — результат ошибочного речевого действия, типичное отклонение от правил и норм иностранного языка, которое допускается обучаемым в ходе овладения этим языком. Ошибки такого рода не поддаются самокоррекции, поскольку они являются отражением определенной стадии освоения иностранного языка. В современной методике утвердилось понимание ошибки (error), предложенное С.-П. Кордером. Согласно его теории, ошибки характеризуют путь, который проходит учащийся в процессе овладения иноязычной речью. Они выявляют внутренние индивидуальные особенности усвоения языка, выступают как проявление активности индивида в процессе формирования и проверки им своих гипотез относительно правил изучаемого языка (Corder 1993).

Проблема ошибок в обучении иноязычной речи (их природа, классификация, коррекция, диагностирование и предсказуемость) подробно исследуется лингвистами, психологами, методистами (Lennon 1991; Richards 1993; Залевская 1996; Цейтлин 1997). Ошибки классифицируются по аспектам языка: фонетические, лексические, грамматические (phonological, lexical, syntactic errors). Наряду с явными ошибками (formal / overt errors) выделяются скрытые ошибки (covert errors), семантически или стилистически неприемлемые языковые формы. В зависимости от влияния на понимание речи, то есть по «коэффициенту смыслоискажения» (Склизков 1986, с. 10), выделяются «сильные» ошибки (global errors), абсолютно затрудняющие понимание речи, и «слабые» ошибки (local errors), особо не влияющие на ее понимание. Различаются межъязыковые ошибки (interlingual errors) и внутриязыковые ошибки (intralingual errors). Межъязыковые ошибки возникают в результате влияния родного языка, то есть межъязыковой интерференции. Внутриязыковые ошибки отражают специфику процесса овладения иностранным языком, ход этого процесса, и в частности влияние ранее усвоенных явлений иностранного языка на последующие. Например, усвоенные правила образования грамматических форм (множественного числа существительных, степеней сравнения прилагательных или «правильных» глаголов) могут переноситься обучаемыми на так называемые исключения, то есть использоваться слишком широко. Такие случаи сверхобобщения (overgeneralization) являются естественными в процессе овладения иностранным языком, в связи с чем внутриязыковые ошибки определяются также как ошибки развития (developmental errors). При овладении иностранным языком наблюдаются также ошибки, спровоцированные обучением (induced errors) (Залевская 1996, с. 31).

В пбследнее десятилетие в англоязычных публикациях через анализ внутриязыковых ошибок выявляются стратегии, используемые обучаемыми для облегчения задачи овладения иностранным языком (learning strategies). Кроме сверхобобщения примерами таких стратегий являются:

 

 

• игнорирование ограничений на применение правила (ignorance of rule restrictions);

• неполное применение правила (incomplete application of rules);

• формулирование ошибочных гипотез по поводу изучаемых языковых явлений (false concepts hypotheses).

При оценке уровня владения иноязычной речью, помимо характера допускаемых ошибок, следует учитывать «соотношение их количества с общим объемом высказывания на иностранном языке, т. е. плотность ошибок» (Мусниц-кая 1996, с. 36).

Наряду с термином error в англоязычной методике для обозначения ошибочных действий обучаемых существует термин mistake, который, в отличие от error, определяется как ошибка (оплошность), представляющая собой отклонение от нормы в потоке речи вследствие усталости, возбуждения, рассеянности и т. п., когда возможно быстрое самоисправление со стороны говорящего (пишущего). Впервые различие между двумя типами ошибок, обозначаемыми разными терминами, определил С.-П. Кордер (Corder 1993). В отечественной методике существует один термин «ошибка» для обозначения ошибочных речевых действий, которые различаются по своему характеру и происхождению. В учебной практике термины mistake и error часто не дифференцируются и употребляются как синонимы. В учебно-методической литературе различие между ними объясняется их стилистической окраской (Povey and Walshe 1982, p. 179).

Mark / Grade

Отметка. С помощью отметок фиксируются результаты контроля, который проверяет усвоение знаний, сформированность навыков и умений и оценивает выполнение различных учебных заданий. Отметка дает количественную характеристику результатов учебного процесса в отличие от оценки, которая указывает на качество учения и его результатов (см. Assessment, 2, с. 187). Принятая в настоящее время в российской средней и высшей школе пятибалльная система отметок как форма учета успеваемости является недостаточно совершенной.

В Великобритании существует несколько систем выставления отметок в зависимости от объекта контроля, вида контроля (тестового задания), типа учебного заведения, а в некоторых случаях и от личных предпочтений преподавателей. Отметки могут выражаться в баллах в пределах десятибалльной шкалы, в процентах или в буквенной форме с добавлением знака «плюс» или «минус». Отметка, выраженная буквами, обычно называется grade; высшей считается «А», а самой низкой «Е». (Подробнее о системах отметок, принятых в Великобритании, см.: Povey and Walshe 1982, pp. 169-171.) В американской методике обучения неродному языку эквивалентом русского термина «отметка» является grade.

Marking / Grading

Выставление отметок учителем (экзаменатором) по результатам оценки учебной деятельности обучаемых, по итогам выполнения контрольных работ, тестовых заданий (см. выше, Mark).

Scoring — подсчет учителем (экзаменатором) правильных ответов испытуемого на вопросы или задания лингводидактического теста.

 

 

6.2. Test types — Виды лингводидактических тестов

Test types

В зависимости от различных критериев выделяются следующие виды лингво-дидактических тестов.

• По цели применения: proficiency test — тест общих умений, achievement test — тест успеваемости, diagnostic test — диагностический тест, placement test — тест «размещения», aptitude test — тест определения способностей. Следует подчеркнуть, что указанные виды тестов кроме основной цели имеют дополнительные, сопутствующие цели, то есть по существу являются многоцелевыми.
• По характеру осуществления контроля: progress achievement test — тест текущего и промежуточного контроля успеваемости, final achievement test — тест итогового контроля успеваемости.
• По объекту контроля и характеру контролируемой деятельности: linguistic test — тест лингвистической компетенции, измеряющий усвоение языкового материала (навыки владения языковым материалом); pragmatic test — тест коммуникативной компетенции, измеряющий сфор-мированность речевых умений (прагматический тест).
• По направленности тестовых заданий: discrete-point test — дискретный тест, integrative test / global test — интегральный или глобальный тест.
• По соотнесению с нормами или критериями: norm-referenced test — тест, ориентированный на нормы (нормо-ориентированный тест); criterion-referenced test — тест, ориентированный на критерий (критериально-ориентированный тест).
• По формальным признакам (по структуре и способу оформления ответа): recognition-type test — избирательный тест, recall-type test — тест со свободно конструируемым ответом.

См.: Bachman 1990; Alderson et al. 1995; Фоломкина 1986; Рапопорт 1989, с. 20.

Pragmatic test

Прагматический тест. Эффективные (валидные) тесты этого типа удовлетворяют требованиям прагматики и направлены на выявление коммуникативной компетенции обучаемых. Концепция прагматического тестирования опирается на одно из направлений современной лингвистики, в центре которой находится прагматический аспект языка (Oiler 1987; Tan 1994; Гак 1982). Прагматические тесты отвечают двум главным критериям: наличие естественного контекста и его соотношение с экстралингвистической реальностью.

К достоинствам прагматического тестирования относятся стремление придать процедуре тестирования естественный характер, приблизить ее к ситуациям реального общения, а также внимание к экстралингвистическим компонентам процесса коммуникации. Эти установки определяют отбор образцов связной естественной речи в качестве тестовых основ и обеспечивают интегральный характер используемых тестовых заданий, что дает возможность по результатам теста оценить коммуникативную компетенцию испытуемых (см. Integrative test, с. 194). Прагматическое тестирование отличается особым вниманием к разработке стандартизированных процедур тестирования устной коммуникации и специальных шкал для объективизации оценки результатов тестирования (Рапопорт 1985, 1990, с. 23; Коккота 1989).

 

 

Не существует законченного списка приемов прагматического тестирования. Наиболее широко используются и хорошо зарекомендовали себя различные виды диктантов, клоуз-тесты (визуальные и аудитивные),- варианты сочетания диктанта и клоуз-тестов, тесты редактирования, перифраз, частичный или полный перевод без словаря, устное собеседование, написание различных видов письменных сообщений, включая сочинение.

Discrete-point test

Дискретный тест. Дискретные тесты измеряют степень владения отдельными элементами фонетики, грамматики, лексики в рамках одного речевого умения (аудирования, говорения, чтения, письма) или сформированность конкретного речевого умения. Являясь узконаправленными, дискретные тесты не удовлетворяют требованиям прагматического тестирования и противопоставляются интегральным тестам (см. Pragmatic test, с. 193; Integrative test, см. ниже).

Основная функция дискретных тестов — диагностическая. Они способствуют выявлению специфических трудностей в усвоении языковых единиц. Данные, полученные в результате проведения дискретных тестов, полезны для разработки учебно-методических материалов, направленных на преодоление этих трудностей.

Типичными дискретными тестами являются тесты множественного выбора, си-тесты, аудиотесты на дискриминацию отдельных фонем, слов, грамматических форм, на определение ударения в словах, словосочетаниях и предложениях (см. Multiple-choice test, C-test, с. 199).

Интересным примером дискретного теста с более высокой степенью валид-ности (см. Validity, с. 203) является письменный тест редактирования (editing test). Обучаемым предлагается обнаружить и исправить языковые ошибки в тексте, который был написан учащимся того же уровня владения языком. Такой тест может положительно влиять на развитие умения редактировать собственное письменное произведение.