Выражением «эксперимент ex post facto» обозначаются попытки имитировать экспериментальное исследование по плану 3 путем попарного уравнивания исходного состава групп на основании сведений об испытуемых до введения X. Сам метод и его название впервые ввел Чэпин (Chapin, Qeen [20]). Он же [19], а также Гринвуд [46] в дальнейшем широко его использовали. Хотя эти работы относятся скорее к области социологии, чем к педагогике, и хотя мы считаем, что этот анализ подчас приводит к ошибкам, здесь уместно рассмотреть его. Этот метод представляет собой одну из наиболее серьезных попыток приблизиться к квазиэкспериментальному исследованию.
В одном типичном исследовании ex post facto (Chapin [19, с. 99—124]) в роли X выступало школьное обучение (в частности, окончание средней школы), а в роли О — индивидуальные интервью, дававшие информацию об успехе в жизни и социальной адаптированности обследуемых 10 лет спустя. Уравнивание
групп производилось на основании школьных архивов (в аналогичных, но еще более слабых исследованиях факты о состоянии до воздействия брались из итоговых опросов). Из первоначальных данных следовало, что окончившие школу не только лучше преуспевали, но также имели более высокие отметки в 5—8 классах, лучшее окружение, были моложе, их родители занимали более высокие должности и т. д. Очевидно, эти предпосылки могли способствовать не только окончанию средней школы, но и дальнейшим успехам.
|
|
Добавило ли что-либо обучение в школе к лучшей стартовой позиции детей по сравнению с этими факторами? «Решение», предложенное Чэпином, состояло в изучении групп учеников, уравненных по всем этим факторам, но отличавшихся по признаку окончания школы. Введение очередного признака уравнивания сокращало итоговое различие между группами, которые подвергались и не подвергались воздействию, но, когда попарное уравнивание было завершено, различие все еще оставалось значимым. Из этого Чэпин заключил, хотя и осторожно, что среднее образование дало свой эффект. Изначальное число 2127 человек сократилось до 1194 (с ними удалось провести интервью, и о них сохранились нужные архивные записи). Уравнивание сократило число пригодных для использования случаев до 46, по 23 на группу окончивших и не окончивших школу —менее 4% опрошенных. Чэпин правильно отмечает, что 46 сопоставимых случаев лучше, чем 1194 несопоставимых, и подкрепляет это аргументами, аналогичными тем, которые мы приводили в пользу большей важности внутренней валидности по сравнению с внешней. Трагедия в том, что его 46 случаев все еще оставались несопоставимыми и, кроме того, даже если встать на его точку зрения, в сокращении данных не было необходимости.
|
|
Его уравнивание было недостаточным по двум причинам. Во-первых, попарное уравнивание приводит в действие механизм дифференциальной регрессии, который создает различия в результатах, имеющие то же направление, что и наблюдавшиеся Чэпином (см. замечания Р. Л. Торндайка [125], а также обсуждение проблемы уравнивания в плане 10). Направление псевдоэффекта, обусловленного регрессией показателей к
групповым средним после попарного уравнивания, в этом случае вполне однозначно, поскольку различия по факторам уравнивания для преуспевших и непреуспевших направлены в ту же сторону, что и различия между окончившими и не окончившими школу. Каждый признак, детерминирующий подверженность X, даже в отсутствие X детерминирует и О. Все переменные уравнивания коррелируют с X и О в одном и том же направлении. Хотя это и не обязательно должно иметь место по каждой переменной во всех исследованияхex post facto, тем не менее такая картина наблюдается в большинстве, если не во всех опубликованных примерах использования этого метода. Ошибки регрессии и сокращения числа случаев можно избежать, применяя современные статистические методы, которые позволяют избавиться от ошибки уравнивания в плане 10. Переменные уравнивания могли бы быть использованы как сопутствующие переменные в многомерном ковариационном анализе. Насколько мы можем судить, такой анализ показал бы отсутствие эффектов, оказавшихся якобы значимыми в исследовании, представленном Чэпином. Однако применение ковариационного анализа к подобным задачам подвергается критике.
Но имеется и второй, в сущности неустранимый, источник неэквивалентности групп в исследовании Чэпина. Гринвуд [46] называет его самоотбором испытуемых в группы, подвергающиеся и не подвергающиеся воздействию. Наличие X является закономерным результатом многочисленных предпосылок. Для выбывания из школы до ее окончания, как мы знаем, имеются бесчисленные причины, помимо тех шести факторов, по которым производилось уравнивание. Мы можем с большой уверенностью предположить, что большинство из них повлияло на последующий успех независимо от их действия через X. Это приведет к еще большей неэквивалентности групп, помимо той, которая вызвала ошибку регрессии. Даже проводя ковариационный анализ исходных данных и результатов О, мы можем интерпретировать наличие значимого эффекта X только после учета всех совместно действующих переменных уравнивания.