Исследования по оценке эффективности в США становятся признанным инструментом принятия социальных решений. Определенные социальные индикаторы, отбираемые с помощью таких социологических методов, как выборочные обследования, уже получили этот статус: таковы индексы безработицы и стоимости жизни, которыми располагает Статистическое управление министерства труда. Поскольку они составляют постоянную часть процесса принятия политических решений, полезно рассматривать их по аналогии с голосованием в ходе политических выборов (Gordon, Campbell [46]; Campbell [18]). При таком широком подходе, подтверждаемом качественными социологическими исследованиями того,
как создается общественная статистика, я прихожу к следующим пессимистическим законам (по крайней мере, для практики США): чем более какой-либо количественный социальный индикатор используется для принятия социального решения, тем больше будет он подвержен искажающим влияниям, и тем более вероятно он будет извращать, и нарушать социальные процессы, контролировать которые он предназначен. Я проиллюстрирую эти два закона некоторыми примерами, которые я принимаю всерьез, хотя они и носят по преимуществу анекдотический характер.
|
|
Воспользуемся для примера сравнением статистики голосования и данными переписи в Чикаго. Процесс голосования сопровождается детально разработанными предохранительными мерами, рассчитанными на то, чтобы обеспечить его честность; в отношении процесса переписи таковых мало, и обойти их ничего не стоит. Тем не менее, в нашем регионе статистика голосования внушает подозрения, тогда как статистика переписи пользуется неограниченным доверием (если не считать неполного учета взрослых мужчин-негров). Я нахожу такой порядок относительного доверия оправданным. Лучше всего он объясняется тем фактом, что «голоса» постоянно используются — это связано с реальными последствиями, поскольку дело касается работы, денег и власти, — и поэтому испытывают на себе мощное давление попыток исказить их. Данные же переписи до последнего времени не использовались у нас для выработки политических решений. (Даже конституционное требование, согласно которому следует менять избирательные округа, чтобы приводить их в соответствие с расселением после каждой переписи, игнорировалось десятилетиями.)
Другой пример. В согласии с духом научного управления, ответственной подотчетности, стратегии «PPBS» (о которой уже упоминалось) и т. п. полицейские участки в некоторых административных округах оцениваются с помощью «показателя очистки», иначе говоря, пропорцией раскрытых преступлений, и в случае, когда этот показатель низок, следствием является значительное давление со стороны администрации и общественности. Сколник [84] показывает, что это давление вы-
|
|
зывает как искажение самого индикатора, так и коррупцию уголовного судопроизводства. Регистрация не всех поступающих от населения жалоб или регистрация их задним числом, уже после раскрытия преступления, — таковы простые уловки, которые трудно разоблачить, поскольку отсутствует независимая регистрация жалоб. Более сложный случай коррупции возникает при сочетании «показателей очистки» с «заключением сделки о признании». Это переговоры истца и суда с обвиняемым, завершающиеся соглашением относительно преступления, в котором обвиняемый готов признать себя виновным, и наказания, на которое он согласен. Тем самым сокращается стоимость и длительность судебного разбирательства. Хотя этот обычай и является законным лишь частично, в большинстве случаев он, вероятно, не столь уж нежелателен. Однако в сочетании с «показателями очистки» он, как обнаружил Сколник, ведет к следующему злоупотреблению в отправлении правосудия. Для грабителя, пойманного с поличным, дело может кончиться тем, что он получит тем менее суровое наказание, чем большее число ранее совершенных и нераскрытых преступлений он готов взять на себя. Заключением сделки о признании он оказывает полиции большую услугу, улучшая «показатель очистки», а та в свою очередь гарантирует более мягкое наказание. Сколник полагает, что во многих случаях грабитель сознается в преступлениях, которых он на самом деле не совершал. Цифры преступности являются в целом индикаторами, подверженными искажению. Для многих преступлений изменение числовых показателей отражает скорее изменение активности полицейских, а не изменение числа актов правонарушения (Gardiner [41]; Zeisel [105, 106]). Представляется достаточно хорошо документированным фактом то, что одна из широко известных преднамеренных попыток социального изменения — меры, принятые Никсоном против преступности, — имела своим главным следствием искажение количественных показателей преступности (Seidman, Couzens [81]; Morrissey [70]; Twigg [91]), связанное с неполной регистрацией преступлений и их неправомерной квалификацией как менее серьезных.
Имеются данные о сходных искажениях, происходящих при пользовании административными записями также и других типов (Kitsuse, Cicourel [59]; Garfinkel [42]). Блаy [9] приводит целый ряд примеров того, как нормы производительности, установленные для работников правительственных учреждений, отрицательно сказываются на их деятельности, губительно влияя на эффективность программы. Оценивание служащих по числу посетителей, которые прошли «через их руки», привело в одном бюро по найму к поспешности и неэффективности, как в интервьюировании, так и в решениях об определении на работу. Количественная оценка персонала по числу трудоустроенных лиц привела к концентрации усилий на самых легких случаях и к игнорированию тех посетителей, кто более других нуждается в помощи, — тактика, известная как «снимание пенок» (Miller et al. [68]). В пессимистическом очерке Риджуэя о дисфункциональных последствиях измерений выполняемых действий (Ridgeway [72]) приводится еще ряд примеров.
Весьма красноречивую иллюстрацию этого принципа можно найти в одной экспериментальной программе компенсаторного образования. В эксперименте, проведенном в городе Тексаркана и посвященном «контракту о выполнении» (Stake [86]), дополнительное обучение менее подготовленных детей проводилось лицами, заключившими контракт, которые приходили в школы со специальными обучающими машинами и особыми инструкциями. Искажающие давления были весьма сильны, так как размер платы этим лицам зависел от оценок выполнения теста их учениками. Оказалось, что лица, заключавшие контракт, обучали ответам на конкретные вопросы теста, которые должны были использоваться при итоговом тестировании, и по результатам которых и производилась выплата вознаграждения. Хотя они приводили в свою защиту логико-позитивистский, операционально-дефиниционалистский аргумент о том, что цель, на которую они согласились, была определена как улучшение показателей по одному только данному тесту, этот случай был расценен всеми как скандальный. Однако вопрос о том, насколько приемлемо натаскивание учащихся на сходных вопросах из других тестов, дебатируется до сих пор. С моей
|
|
точки зрения, тесты успеваемости вполне могут служить ценными показателями общей школьной успеваемости в условиях нормального преподавания, ставящего своей целью общую образованность. Но когда тестовые оценки становятся целью процесса обучения, они утрачивают свое значение как индикаторы образовательного статуса и в то же время извращают в нежелательном отношении процесс образования. (Использование «объективных» тестов в курсах обучения и на вступительных экзаменах сопровождается, несомненно, подобными же погрешностями.) С компенсаторным образованием в целом связаны случаи еще и других искажений процесса измерения, таких, например, как проведение предварительного тестирования в расчете на получение как можно более низких показателей, с тем чтобы итоговое тестирование обнаружило более значительное улучшение, или выбор для специального обучения только тех, кто при предварительном тестировании показал наихудшие результаты, так чтобы регрессия к среднему обнаружила явное улучшение. Стэйк [86] приводит перечень еще и других проблем. Тесты успеваемости фактически являются индикаторами, весьма подверженными искажениям.
Эта серьезная методологическая проблема, возможно, является универсальной. Я убежден, что это одна из главных проблем, которые предстоит решить, если мы собираемся достичь осмысленных оценок наших усилий в осуществлении запланированных социальных изменений. Эта проблема будет стоять тем острее, чем большее распространение получат количественные оценки социальных программ. Мы должны разрабатывать средства, позволяющие избежать этой проблемы, если собираемся идти вперед. Нам следовало бы изучать социальные процессы, посредством которых обнаруживается коррупция и искажение, пытаться проектировать социальные системы, наделенные этими средствами. В исследовании по теме «Контракт о выполнении» данную проблему обнаружил «внешний оценщик». В одном из более поздних американских исследований такого рода роль «караульного» взял на себя Союз учителей Сиэтла. Мы должны искать и институционализировать подобные формы и средства, предотвращающие утрату объективности. Нам следовало бы, кроме того, изучить
|
|
институциональную форму таких индикаторных систем, как индексы переписи населения или стоимости жизни в США, которые представляются сравнительно невосприимчивыми к искажениям. Многие комментаторы, включая меня самого (Campbell [16]), считают, что применение многочисленных индикаторов, из которых каждый признан несовершенным, облегчит решение проблемы; Риджуэй [72], однако, сомневается в этом. Имеются еще и другие проблемы, которые можно предвидеть в будущем. Особого внимания требует группа проблем, сконцентрированных вокруг использования при оценке эффективности программ обследований общественного мнения, вопросников или измерений социальных установок. В США дело идет к тому, что в скором времени нужно будет предварительно сообщать всем, кто участвует в подобных опросах, как будут использоваться полученные данные, и высылать им копии результатов. Участники будут иметь право пользоваться этими результатами в своих собственных политических целях. (Когда дело касается обследований общественного мнения, к которым прибегает правительство США, существующего у нас статуса свободы информации было бы достаточно, чтобы установить это право уже сейчас.) Можно ожидать, что в этих условиях использование опросов для оценки локальных программ правительственных служб, если оно будет осуществляться в сложных в политическом отношении сообществах, каковые мы находим в некоторых из наших беднейших городских кварталов, приведет к следующим новым проблемам. Будут проходить политические кампании, рассчитанные на то, чтобы участники обследования отвечали именно так, как угодно местным политическим организациям, — точно так же, как проводятся кампании, имеющие своей целью влиять на результаты голосования. Будут попытки того же порядка, что и подтасовка избирательных бюллетеней. «Ошибка интервьюера» станет проблемой в еще большей степени. Нужно ждать и эффектов «бэндвагона» 1,то есть кон-
_________________________________________________________________________________
1 Bandwagon (амер.) — сторона, победившая на выборах. Буквально обозначает автобус с музыкантами, сопровождающими предвыборные и послевыборные действа. Эффект «бэндвагона» связан с отношением к движению, имеющему или получившему шансы на
формного влияния со стороны опубликованных результатов предшествующих обследований. Появятся новые смещения вроде повышенного числа жалоб.
Мне думается, что обследования общественного мнения будут все-таки полезны, если принять соответствующие меры предосторожности. Это в большинстве своем проблемы, исследованием которых мы могли бы заниматься уже сейчас, предвосхищая будущие запросы. (Гордон и Кэмпбелл [46] приводят подробное обсуждение этих проблем на материале оценки эффективности одной программы службы социального обеспечения.)
* * *