В квалиметрии экспертный метод применяется:
1) для измерения показателей качества;
2) для определения значений весовых коэффициентов. Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине, в искусстве (жюри) и т.д.
Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:
· экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективного;
· в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждений экспертов;
· мнения экспертов должны быть независимыми;
· вопросы, поставленные перед экспертами, не должны допускать различного толкования;
· эксперты должны быть компетентны в решаемых вопросах;
· ответы экспертов должно быть однозначными и обеспечивать возможность их математической обработки;
· количество экспертов должно быть оптимальным.
|
|
Качественный состав экспертной комиссии – важное условие эффективности экспертного метода. Во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надёжности и проверку согласованности мнений.
Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.
Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества.
Весьма показательной является взаимная оценка экспертами друг друга. Для этого они должны, разумеется, иметь опыт совместной работы.
При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надёжности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал.
При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещённой или несмещённой оценкой дисперсии отсчёта. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации
|
|
W= ;
где: S – сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов;
n – число экспертов;
m – число объектов экспертизы.
В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).
Пример расчёта
Вычисляем среднее арифметическое рангов:
∑ран =(21+15+9+28+7+25+35)/7=20
Используя результаты промежуточных вычислений, приведённые в таблице 1 определяем сумму квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга:
S = 1+25+121+64+169+25+225 = 630
Вычисляем коэффициент конкордации:
W=
Таблица 6.1