ОКАЗЫВАЕМЫХ ЗАПЛАНИРОВАННЫМ
СОЦИАЛЬНЫМ ИЗМЕНЕНИЕМ 1
Одна из отличительных особенностей всех современных обществ состоит в том, что мы сознательно выбираем и составляем проекты, которые призваны усовершенствовать наши социальные институты. Наше общее затруднение заключается в том, что наши проекты не всегда дают ожидаемые эффекты. Вполне вероятно, на практике все согласятся, что часто мы не можем определить, оказал ли вообще данный проект какое-либо воздействие, — настолько сложен поток исторических изменений, идущих своим чередом, и так велико число других проектов, от которых можно ждать изменений тех же самых показателей.
Эта общая совокупность проблем в сочетании с явной релевантностью процедур социального исследования должна, по-видимому, неизбежно вести к появлению в большинстве стран особой отрасли методологии, а также специалистов-методологов, которые сосредоточивают свое внимание на проблеме измерения воздействий, оказываемых запланированным социальным изменением. Настоящая работа основывается на допущении, что эта методология в значительной своей части может быть с пользой для дела принята всеми, несмотря на различия в формах правления, а также в под-
|
|
_____________________________________________________________________________
1 C a m p b e l l D. T. Assessing the impact of planned social change. — In: Social Research and Public Policies. Ed. by G. M. L y o n s. Hanover, New Hampshire, Univ. Press of New England, 1975. © University Press of New England, 1975. Один вариант работы был представлен на конференцию по социальной психологии в Вышеграде (Венгрия), 1974 г. Публикуется с сокращениями.
ходах к социальному планированию и выработке решений. Методология оценки эффективности социальных проектов является одной из тех областей науки, которые обладают достаточной универсальностью, чтобы сделать обмен научным опытом взаимовыгодным. Как часть этого обмена, настоящая работа информирует о методологии измерения эффективности программ в том ее варианте, который разрабатывается сейчас в США.
Наиболее распространенным в США наименованием этой развивающейся области исследования является «исследование по оценке эффективности», что в настоящее время почти всегда предполагает «оценивание программ» (хотя термин «оценивание» уже давно употребляется для обозначения процедур определения пригодности тех или иных лиц для выполнения тех или иных социальных ролей). В этой области уже имеется ряд публикаций — сборников и пособий (Suchman [87]; Caro [28]; Weiss [94, 95]; Rivlin [74]; Rossi, Williams [77]; Glaser [43]; Fairweather [39]; Wholey et al. [100, 101]; Caporaso, Roos [27]; Riecken, Boruch, Campbell, Caplan, Glennan, Pratt, Rees, Williams [73]). Издаются также журнал «Evaluation» и журнал, посвященный оценке программ в сфере образования, — «Evaluation Comment: The Journal of Educational Evaluations». Ряд других журналов, например «Social Science Research», «Law and Society Review» и др., публикует данные об исследовательских методах в этой области.
|
|
Специалисты приходят в эту область из самых разных социальных дисциплин. Широко представлены экономисты. Вносят свой вклад специалисты в области исследований операций и других сфер «научного управления». В работе участвуют статистики, социологи, психологи, специалисты в области политических наук, исследователи в сфере социального обслуживания, педагогики. То, что их работы и рекомендации, в конечном счете, сходны, свидетельствует о стремительном становлении новой самостоятельной дисциплины, которая, отделившись от своих столь различных «родителей», может вскоре обрести свою собственную индивидуальность.
Поскольку сам я пришел в эту область из социальной психологии, я, хотя и рассматриваю то, над чем работаю сейчас, скорее как «прикладную социальную
науку», нежели как собственно социальную психологию, испытываю тем не менее потребность прокомментировать тот особый вклад, который может внести социальная психология в рассматриваемую область. Во-первых, из всех дисциплин, связанных с интересующей нас сферой исследований, одна лишь психология характеризуется ориентацией на лабораторный эксперимент, и именно социальные психологи располагают наибольшим опытом распространения лабораторных экспериментальных моделей на социальные ситуации. С тех пор как для уменьшения неопределенности того, «что чем вызвано», в исследованиях по оцениванию программ появляется модель экспериментальной науки (см. основополагающую работу Шухмана [87]), это наиболее значительный вклад, как в отношении общей ориентации, так и в отношении специфических умений.
Во-вторых, психологи лучше всего подготовлены к работе с критическими и аналитическими понятиями в области измерений. Психология благодаря давней традиции построения и критического анализа своих собственных мер разработала понятия и математические модели надежности и валидности, в которых очень нуждается практика оценивания программ, даже, несмотря на то, что эти меры, вероятно, все еще непригодны для изучения некоторых специальных психологических проблем. Понятие отклонения, или «погрешности», в то виде, в каком оно разработано старой психофизикой при различении «постоянной ошибки» (bias) и «переменной ошибки» (ненадежности), а также более поздние труды по измерению личностных переменных и установок, включая измерение установок на ответ, галоэффектов, факторов социальной желательности, индексной корреляции, факторных методов и т. д. (Cronbach [33, 34]; Edwards [38]; Jackson, Messick [54]; Campbell, Siegman, Rees [25]; Campbell, Fiske [24]), также очень важны и не находят отражения в понятии валидности, если оно определяется как коэффициент корреляции с некоторым критерием. Конечно, это не является нашей монополией. В самом деле, кто, как не представители качественной социологии, исследует условия, при которых складывает оружие социальная статистика (см., например, Becker et al. [6, 7]; Douglas [37]; Garfinkel [42]; Kitsuse, Cicourel [59]; Beck [5]), от кого, как не
от них, исходит необходимый скептицизм по поводу таких мер, как данные о частоте самоубийств и преступлений? Однако даже здесь именно у психологов оказалось достаточно опыта, чтобы различить степени валидности, располагающиеся между полной незначимостью и высшим совершенством, и именно у психологов явилось желание использовать, хотя бы критически, те меры, которые, как они знали, были отчасти ненадежны и ошибочны.
В-третьих, многие методологические проблемы осуществления социальных проектов и измерения их воздействий связаны с изучением социально-психологических аспектов взаимодействия между гражданами и проектами, или между гражданами и способами экспериментального воплощения проектов (рандомизация, контрольные группы), или между гражданами и специальными измерительными процедурами, используемыми при оценивании. Это специальные проблемы формирования социальных установок и их влияния на ответы, явно находящиеся в сфере нашей компетенции.
|
|
После этих замечаний о профессиональных сторонах исследований по оценке эффективности программ в США я хотел бы перейти к проблемам, с которыми мы сталкивались до сих пор, и к решениям, которые нами предлагались. Замечу с сожалением, что со времени моей более ранней работы (Campbell [16]) мы ушли не слишком далеко; однако я попытаюсь привести новые иллюстрации.
Последующее изложение сосредоточено, таким образом, на трудностях и проблемах, о которых я считаю необходимым предупредить. Если мы претендуем на то, чтобы быть методологами, мы тем самым намерены быть экспертами по этим проблемам, и, хотелось бы надеяться, теми, кто вырабатывает решения. Не было бы нужды в такой специальности, если бы не существовали эти проблемы. С этой точки зрения не нужно никаких оправданий. Но мне хотелось бы привлечь новых участников в новую профессию и вдохновить их на то, чтобы они посвятили свои усилия делу, которое может принести плоды только с большой отсрочкой. На потенциальных новых участников, а также и на тех, кто уже занялся этим делом вплотную, полный перечень стоящих перед нами трудностей, включая проблему такого
использования наших умений, которое у нас самих не вызвало бы сожалений, может подействовать только расхолаживающе. Мы пока не можем предложить полный перечень профессиональных умений, гарантирующих необходимую эффективность. В нескольких случаях успешного осуществления немногих выгодных программ, оцененных однозначно, общество вполне обходится (или могло бы обойтись) без нашей помощи. Мы все еще не можем привести примеров значительных вкладов в общественные нововведения, которыми эти последние были бы обязаны нашим методологическим умениям. Потребность в нашей специальности и конкретные рекомендации, исходящие от нас, все еще должны быть обоснованы скорее обещаниями, чем уже достигнутыми результатами. Наши рекомендации априорны в том смысле, что они представляют собой экстраполяции в новом контексте, не прошедшие, однако, в этом контексте перекрестной валидизации. Что касается меня, то я склонен считать проблему проверки социальных образований реальностью настолько важной, что наши усилия и профессиональные обязанности полностью оправдываются обещанием. Я полагаю, что проблемы неоднозначности свидетельств в пользу эффективности программ настолько близки общим проблемам научного вывода, что указанные экстраполяции в разработке рекомендаций относительно процедур оценивания программ при наличии соответствующей взаимной критики могут быть хорошо обоснованы. Как бы то ни было, исходя отчасти из представления о том, что слишком многочисленные обещания оказываются одним из основных препятствий для осмысленного оценивания программ, я стремлюсь, однако, с двойственных позиций дать честную пессимистическую картину этих проблем.
|
|
Второй круг проблем связан с тем, что множество методологических трудностей неизбежно создается взаимодействием различных аспектов политической ситуации, образующих контекст социальных программ и их оценивания.
Именно в сфере методологических проблем, вызванных к жизни политическими соображениями, теряют силу исходные посылки об универсальности наших методологических принципов, едва только мы сопоста-
вим практику резко отличающихся друг от друга социальных, экономических и политических систем. Ученым, собирающимся на международные конференции, большей частью удается избежать разобщающих политических вопросов путем концентрации внимания на научных задачах, которые объединяют их как ученых. Когда темой является измерение воздействия, оказываемого запланированными социальными изменениями, мы не можем позволить себе такую роскошь. И все же я не теряю надежды на разработку такой технологии, которая принесет пользу любой политической системе. Я полагаю, что методология оценивания программ будет во многом независима от содержания самой программы. В пользу этого свидетельствует подчеркивание роли специалистов в области социальных наук, когда дело касается их помощи обществу при выявлении эффектов, вызванных происходящими в этом обществе политическими процессами, и преуменьшение роли этих специалистов в разработке новых программ. Возможна ли такая независимость от идеологии, и если да, то, как совместима она с долгом социального ученого способствовать развитию более аутентичного человеческого сознания и созданию более человечных форм общественной жизни, — вот вопросы, которые я пока что не рассматривал должным образом, не говоря уже об их решении.
В последующих разделах я сгруппировал наши проблемы под тремя общими заголовками, однако не очень заботился о том, чтобы строго придерживаться этой рубрикации при обсуждении. Вначале идут специальные вопросы нашего научного сообщества: их следовало бы поставить даже в том случае, если бы ученые, оценивающие программы, стремились лишь к одноплановому оцениванию программ. Это «Метанаучные проблемы» и «Статистические проблемы». Последний раздел включает взаимодействие с общественным контекстом. В разделе «Проблемы политической системы» я обращаюсь к вопросам, которые касаются преимущественно политических процессов и правительственных институтов. Некоторые из этих вопросов являются, вероятно, общими для всех крупных бюрократических обществ, а другие — специфическими для условий США.