Методом экспертных оценок называется совокупность эмпирических процедур, направленных на оценку объекта в определенной шкале путем его экспозиции экспертам (эксперту) с последующей регистрацией их (его) оценочных суждений (Шошин В.П., 1987, с.17).
В.П. Шошин выделяет четыре смысловых инварианта, определяющих метод экспертных оценок: наличие готового объекта, подлежащего оценке; получение оценки объекта путем обращения к высказываниям специально отобранных людей (экспертов); наличие более или менее строгих процедурных правил работы экспертов; наличие заранее обусловленного ассортимента суждений (количественных или качественных), с помощью которых эксперту предписывается выражать свое мнение об объекте, – балльная шкала, классификация и т.д.
Благодаря методу экспертной оценки можно решать разные классы задач. Использование экспертной оценки в процедуре контент-анализа позволяет принять решение типа категоризации (категоризация объекта предусматривает его отнесение к определенному классу в рамках данной классификации); оценить объекты, для которых еще не разработаны или в принципе не могут существовать объективные методы оценки. Например, в психологических исследованиях при анализе текстов свободных самоотчетов к экспертам чаще всего обращаются, когда необходимо оценить результаты выполненных исследовательских шагов:
|
|
-правомерность выделения основных смысловых единиц контент-анализа;
-соответствие основных названий категорий контент-анализа их содержанию;
-четкость и однозначность в формулировании формальных признаков категорий контент-анализа;
-обоснованность содержания смысловых единиц.
Кроме этого, экспертов просят произвести идентификацию основных категорий и подкатегорий контент-анализа.
В работе каждого отдельного эксперта можно условно выделить следующие этапы.
I этап. Исследование объекта и наблюдение за ним. Задача этапа – сформировать определенное впечатление об объекте исследования. Этот этап должен быть достаточно длительным.
II этап. Формирование имплицитной оценки. Задача этапа – сформировать впечатление об объекте на уровне имплицитного сознания, не представленного средствами внутренней речи или, тем более, в произносимых словах и иных коммуникативных средствах. Например: эксперту может понравиться или не понравиться название той или иной категории контент-анализа. Или прочитав высказывание «обычно я «водопад», а сейчас скорее озеро спокойное», эксперт, еще не относя его к какой-то конкретной категории, отдает себе отчет в том, что работает с многогранным феноменом, в котором представлены индивидуальные характеристики, эмоциональные переживания субъекта, а также происходит обращение к метафорическому образу.
|
|
III этап. Экспликация оценки. Задача эксперта на этом этапе состоит в том, чтобы подыскать для имплицитной оценки наилучшее соответствие в заданной ему системе шкальных значений. На этом этапе происходит перевод с внутреннего, имплицитного «языка» на доступный восприятию язык специальных словесных формулировок. Этот процесс нередко сопряжен с искажением исходной, имплицитной оценки. В. П. Шошин называет три основных источника таких искажений: 1) недостаточная четкость впечатления, которая приводит к более или менее случайному называнию одной из возможных позиций эксплицитной шкалы; 2) неуверенное владение эксплицитной шкалой, недостаточное понимание ее устройства, смысла каждой из ее позиций; 3) сознательное смещение оценки при экспликации. Такое смещение может быть не только данью сложившейся традиции, молчаливого соглашения, но и результатом прямой недобросовестности или, наоборот, стремления застраховать себя от вероятных обвинений в предвзятости (Шошин В.П., 1987).
IV этап. Информационный обмен между экспертами. Задача этапа – оглашение, комментирование своих оценок, обмен мнениями между экспертами.