Метод экспертного оценивания

Возрастающая сложность управления хозяйством страны требует тщательного анализа целей и задач деятельности, путей и средств их достижения, оценки влияния различных факторов на повышение эффективности работы. Это приводит к необходимости широкого применения экспертных оценок в процессе формирования и выбора решений.

Идея экспертного оценивания состоит в следующем: для получения необходимой информации формируется группа экспертов, которые проводят интуитивно-логический анализ того или иного вопроса с целью вынесения качественного или количественного суждения по нему. Суждения экспертов определенным образом обрабатываются с использованием соответствующего математического аппарата, в результате чего получают, так называемые экспертные оценки. Эти оценки, по-прежнему субъективны, и степень доверия к ним зависит от квалификации экспертов и процедур организации экспертного опроса.

Методы экспертного оценивания можно использовать для получения информации о предпочтениях. Вместе с тем, при практическом использовании этих методов необходимо иметь в виду, что экспертная оценка – это не решение, а лишь полезная информация, помогающая вырабатывать обоснованное решение. Принимать решение на основе своих предпочтений может лишь лицо, принимающее решение (ЛПР), которое и несет за него ответственность. Эксперты несут ответственность лишь за свои рекомендации.

Под организацией экспертного оценивания принято понимать комплекс взаимосвязанных мероприятий, определяющих цель работы, условия и способы ее проведения, обеспечение экспертного оценивания, права и обязанности привлекаемых лиц.

Количество характеристик, описывающих изделия, обычно достаточно велико. Анализ всех характеристик изделия может существенно усложнить процедуру сравнения изделий и сделать ее неприемлемой.

Так, например, в технических условиях даже такое изделие как транзистор характеризуется более чем двумя десятками характеристик.

В ряде работ вводится в рассмотрение главная характеристика, чем обеспечивается сведение задачи векторного сравнения технического уровня изделий к скалярной. Известны практические случаи использования главной характеристики в задачах оптимизации типоразмерных рядов изделий.

Однако в большинстве практических ситуаций выделить из множества характеристик изделия главную характеристику или сформулировать достаточно обоснованный обобщенный показатель в виде какой-либо функциональной зависимости весьма затруднительно.

Вместе с тем, возможно, из общего множества Т характеристик рассматриваемых изделий (входящих в исходную номенклатуру) выделить подмножество Т* Í Т основных характеристик, которые позволяют с заданной достоверностью b сравнить конкурирующие изделия.

Причем выбор основных характеристик должен проводиться с позиции человека или группы людей, в чьих интересах осуществляется сравнение изделий. Поэтому решение задачи определения принадлежности характеристики к группе основных характеристик является весьма субъективной процедурой. Однако к результатам ее решения следует предъявить достаточно жесткие требования, поскольку выбор основных характеристик в определяющей мере формирует множество допустимых решений, из которого будет выбираться оптимальное.

Достаточно традиционным путем решения таких слабо формализуемых задач служит методический подход, основанный на процедурах экспертных оценок.

Постановку этой задачи можно сформулировать следующим образом.

Если Q_k – вероятность того, что k -я характеристика принадлежит к множеству основных характеристик Т*, то q первых членов вариационного ряда

Q₁ ³ Q₂ ³.... ³ Q_q ³ Q_q+1 ³.... ³ Q _k ³... ³ Q_t,

при удовлетворении неравенству

.

Определяют множество основных характеристик Т*, позволяющих сравнивать изделия с достоверностью b.

Значения определяются методом экспертного опроса. За величину принимается среднее статистическое нормализованных оценок "веса" -ой характеристики , выставленных m экспертами.

Общая идея экспертного оценивания состоит в том, что для получения необходимой информации из имеющейся исходной формируется группа экспертов. Эксперты проводят анализ конкретных вопросов с целью вынесения качественной обработки суждений и получают экспертные оценки.

Рекомендуется для задач выбора состава основных характеристик изделий использовать следующий типовой алгоритм проведения экспертного опроса:

- формирование цели и задачи экспертного оценивания;

- формирование группы управления экспертным опросом;

- выбор метода получения экспертной информации и способа ее обработки;

- определения количества экспертов и их целенаправленный подбор;

- разработка опросной анкеты;

- проведение экспертного опроса (заполнение экспертами анкет);

- обработка результатов экспертного опроса:

нормирование оценок экспертов;

вычисление средних статистических оценок;

упорядочение оцениваемых характеристик;

определение достоверности и согласованности оценок экспертов;

- интерпретация результатов.

Рис. 1. Этапы экспертного оценивания

Этап интерпретации полученных результатов необходим для организации обратной связи в процессе экспертного оценивания. Обратную связь с экспертами группа управления осуществляет либо методом Дельфи, либо методов совещаний с обсуждением результатов анонимных опросов. Взаимосвязь указанных этапов представлена на рис. 1.

Выбор количества и состав экспертов признается одним из ответственных решений, которое обязаны принять организаторы экспертного опроса.

С одной стороны, если следовать народной мудрости "ум хорошо, а два – лучше", целесообразно стремиться к увеличению количества экспертов, чтобы оценка отдельного эксперта не имела чрезвычайно большого веса. Однако, с другой стороны, при неправомерном увеличении числа экспертов увеличивается трудоемкость и стоимость процедуры, возникают трудности в подборе достаточно компетентных экспертов, что приводит к снижению достоверности выбора основных характеристик.

Для задач выбора основных характеристик при оптимизации типоразмерных рядов изделий приемлемые результаты получены на основе использования известных соотношений математической статистики, используемых при определении требуемого числа испытаний.

Тогда количество m экспертов можно определить, используя следующую формулу:

,

где g - достоверная вероятность;

d - допустимая относительная ошибка;

u - коэффициент вариации;

- коэффициент Стьюдента, соответствующий доверительной вероятности g при (m-1) степени свободы.

Оценка количества экспертов при различных значениях относительной ошибки и доверительной вероятности приведена в табл. 1 на рис. 2

Таблица 1

Количество экспертов-респондентов, m	Относительная ошибка, d
Доверительная вероятность, g
g=0,8	g=0,9
	0,23	0,51
	0,15	0,19
	0,12	0,15
	0,10	0,13
	0,09	0,11
	0,08	0,10

Рис. 2. Влияние изменения относительной ошибки и доверительной вероятности

на необходимое количество экспертов

Прежде чем подобрать экспертов возникает вопрос о том, каким требованиям они должны удовлетворять. Среди основных, можно отметить следующие:

оценки экспертов должны быть стабильными во времени и не меняться в течение опроса без дополнительной информации;

эксперт должен быть компетентным в данной области знаний и быть признанным специалистом;

эксперт должен обладать некоторым опытом в данной области (по латыни " expertus " означает "опытный").

Здесь уместно вспомнить высказывание американского ученого А. Кларка: "Эксперт - это человек, совершивший уже достаточное количество ошибок".

Поэтому можно констатировать, что точно определить способности человека к правильным оценкам в настоящее время не представляется возможным. Хотя имеется обширная литература по этому вопросу.

Однако, можно, основываясь на опыте проведения экспертных опросов в задачах выбора основных характеристик изделий, рекомендовать в качестве экспертов высококвалифицированных специалистов НИИ, заказывающих и эксплуатирующих организаций, ведущих конструкторов и проектировщиков, научных сотрудников предприятий промышленности и профессорско – преподавательский состав высшей школы.

Одним из наиболее простых способов реализации экспертного опроса является анкета.

В опросную анкету включаются все характеристики (за исключением стоимостных характеристик и характеристик материально-технического снабжения). Упри этом количество внесенных в анкету характеристик может быть пр необходимости расширено экспертом. На рис. 3 приведен пример опросной анкеты.

Номер характеристики	Наименование характеристики	Оценка весомости характеристики
	Мощность
	Масса
	Точность ориентации
	Частота

Рис. 3. Форма опросной анкеты и пример ее заполнения

В графе "оценка параметра" опросной анкеты эксперты указывают по десятибалльной шкале (1, 2,..., 10) весомость характеристики с точки зрения сопоставительного анализа изделий. При проведении опроса целесообразно заранее предупредить экспертов, что порядок следования характеристик в анкете произвольный и не отражает воззрений организаторов опроса на этот счет.

По результатам экспертного опроса проводится нормировка оценок экспертов по каждой характеристике с использованием следующей формулы:

,

где l – номер эксперта;

k – номер характеристики;

t – общее количество характеристик, внесенных в опросную анкету;

- оценка в баллах важности k - ой характеристики, выставленной l -м экспертом;

- нормированная оценка k - ой характеристики, выставленная l - м экспертом.

Затем вычисляется среднее статистическое оценок характеристик по формуле:

После этого проводится упорядочение характеристик. В зависимости от выставленных оценок характеристики располагаются в порядке уменьшения от наибольшего значения к наименьшему и перенумеровываются, причем номер k =1 присваивается характеристике с наибольшим значением , а номер k = t – характеристике с наименьшим значением .

Затем определяется достоверность полученных оценок Q_k по разбросу "весов" k - ой характеристики в оценках экспертов и по степени совпадения мнений экспертов по всей совокупности характеристик. Для этого вычисляется для каждой k - ой характеристики (k = 1, 2,…, t) коэффициент вариации u (относительное среднеквадратическое отклонение), а для всей совокупности – коэффициент конкордации W и уровень значимости a.

Коэффициент вариации определяется по следующей формуле:

Статистика обычно считается удовлетворительной при и хорошей при . При следует подобрать новый состав экспертов и повторить опрос.

Вычисление W, a производится с использованием рангов, присвоенных характеристикам в зависимости от "веса", выставленного экспертами.

Процедура присвоения рангов заключается в следующем:

Оценкам "веса" t характеристик, выставленных l - м экспертом, ставятся в соответствие натуральные числа. Число 1 – максимальной оценке, а число t – минимальной. Остальным оценкам присваиваются числа от 2 до (t - 1) по мере уменьшения значения "веса".

Если среди оценок, выставленных l - м экспертом, есть одинаковые, то им присваивается ранг, равный среднему арифметическому значению.

Коэффициент конкордации вычисляется по формуле:

где - сумма рангов, назначенных m экспертами k -й характеристике;

- среднее арифметическое сумм рангов, полученных всеми t характеристиками;

- показатель одинаковых рангов, назначенных l -м экспертом;

- число групп характеристик с одинаковыми оценками рангов в решениях l -го эксперта;

- число характеристик в d - й группе с одинаковыми рангами.

Уровень значимости определяется по таблицам - распределения при числе степеней свободы (t - 1), где

Значение определяет вероятность того, что согласованность мнений экспертов, характеризуемая коэффициентом конкордации W, неслучайная.

Совпадение мнений экспертов по совокупности всех оцениваемых характеристик обычно считается удовлетворительным при W ³ 0.5 и хорошим, если W ³0.7 при a =0.01 и a =0.001, соответственно. При W <0.5 следует подобрать новый состав экспертов и повторить опрос.