Обработка экспертной информации.
Опрос экспертов.
Обычно опрос экспертов осуществляется с помощью анкет.
Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с другими вопросами и отвечает поставленным целям.
Анкета должна обеспечить единственное толкование вопросов и, по возможности, формирование их количественной оценки. Если последнее не удается сделать, то прибегают к оценке сравнительной интенсивности признака с помощью методов упорядочивания.
Вопросы анкеты принято различать по:
1. содержанию:
а) объективные данные о самом эксперте (возраст, образование, профессия, стаж работы, научное звание, специализация и т.д.);
б) характеристики для определения мотивов, которыми руководствуется эксперт при оценке исследуемой проблемы;
в) основные вопросы, касающиеся существа проблемы.
2. форме:
а) прямые и косвенные:
б) открытые и закрытые.
В прямых вопросах цель экспертизы просматривается явно, а в косвенных она замаскирована (или нет уверенности, что эксперт может дать определенную информацию по интересующей проблеме).
|
|
На открытые вопросы ответ может даваться в любой, произвольной форме. Преимущество таких вопросов в том, что могут появиться новые, зачастую неожиданные аспекты решаемой проблемы. Недостатком же является высокая вероятность индивидуальной интерпретации вопросов экспертами, что приводит к несопоставимости данных, получаемых от них. Кроме того, анализ ответов на такие вопросы весьма трудоемок.
В отличие от этого закрытый вопрос уже в своей формулировке содержит варианты возможных ответов (альтернатив) при т.н. дихотомическом вопросе – «да» или «нет». Достоинства – строгость и однозначность восприятия вопросов, а также малые затраты труда на обработку ответов; недостаток – существующая опасность навязывания ответов эксперту.
При ответе на поставленный вопрос эксперту позволительно уклоняться от него или выдвигать свою альтернативу ответа.
Конкретный вопрос с определенным набором ответов называется признаком анкеты.
Методы опроса можно разделить на:
- индивидуальные и групповые;
- очные (личные) и заочные;
- открытые (для посторонних) и закрытые и т.д.
Каждый метод опроса экспертов должен быть основан на учете взаимосвязи явно выраженных признаков и скрытой (латентной) переменной, связанной с определенным отношением эксперта к исследуемой проблемы.
При экспертизе довольно часто приходится сталкиваться с ситуацией, когда не представляется возможным непосредственно измерить и сравнить факторы (порой различной природы), от которых зависят конечные результаты. Тогда прибегают к т.н. ранжированию.
|
|
Ранжирование – это процесс расположения факторов в порядке возрастания или убывания какого-либо присущего им свойства, т.е., упрощенно, по их относительной значимости (важности) в решении поставленной проблемы.
В общем случае, ранжирование используют тогда, когда:
- факторы не соизмеримы по своей сущности;
- их необходимо упорядочить по какому-то признаку (свойству), определяющему степень влияния на решаемую задачу;
- не требуется точно определять само влияние фактора;
- измерение, в принципе, возможно, но не требуется сейчас.
При ранжировании эксперт сначала должен расположить объекты в порядке, который представляется ему наиболее рациональным. Затем приписать каждому из них число натурального ряда – ранги: например,
«1» – самому предпочтительному,
«N» - самому незначительному. Или наоборот.
В идеальном случае число рангов должно быть равно числу ранжируемых объектов.
Но на практике эксперт может сомневаться и присвоить разным объектам один и тот же ранг. Тогда имеет место случай, когда идеальное условие не соблюдается и ранжировку нормализуют: факторам с одинаковыми рангами приписывают дробный ранг (“вес”), равный среднему значению мест, которые эти факторы поделили между собой.
Пример: пусть шести факторам присвоены следующие ранги:
Факторы ранжирование | ||||||
Простая | ||||||
Нормализованная | 2,5 | 5,5 | 2,5 | 5,5 |
Здесь 2-ой и 4-ый факторы поделили 2-е и 3-е места, поэтому их нормализованные ранги будут равны (2 + 3)/2 = 2,5. Соответственно для 3-го и 6-го факторов - (5 + 6)/2 = 5,5. Оставшемуся 5-му фактору (4-е место) будет присвоен 4-й ранг.
В результате, сумма рангов для n факторов будет равна сумме чисел натурального ряда:
где: Ri – ранг i -го фактора
Это является условием нормальной ранжировки.
При групповой экспертизе ранжирование производят так:
сначала для каждого i -го фактора подсчитывают сумму рангов Sij, полученных от всех экспертов:
А затем для каждого фактора устанавливают результирующий ранг.
В итоге формируется следующая «матрица рангов»:
Таблица 4.2.
Матрица рангов
Факторы (i) | Эксперты (j) | Сумма рангов | Результирующий ранг | |||
R11 | R12 | R13 | R14 | R1 | ||
R21 | R22 | R23 | R24 | R2 | ||
R31 | R32 | R33 | R34 | R3 | ||
R41 | R42 | R43 | R44 | R4 | ||
R51 | R52 | R53 | R54 | R5 | ||
R61 | R62 | R63 | R64 | R6 | ||
Здесь Rij – ранг, присвоенный i -ому фактору j -ым экспертом.
Результирующие ранги тоже могут быть нормализованы.
Для наглядности и возможного априорного отсеивания факторов можно построить диаграмму убывания влияния факторов. Для этого пользуются данными графы «сумма рангов». Причем, если самый значимый фактор оценивался «единицей», то отсчет начинают не с «нуля» по оси ординат, а с числа, несколько большего максимальной суммы рангов для отдельных факторов.
Пример:
Рис 4.1. Диаграмма убывания степени влияния факторов.
Здесь показан наиболее благоприятный случай быстрого экспоненциального падения степени влияния факторов. Диаграмма показывает, что основное влияние на изучаемую проблему оказывают 1,2,4 и 5-й факторы. 3 и 6-й факторы несущественны и ими можно пренебречь, т.е. в дальнейшем не рассматривать.
Если же распределение близко к равномерному, то это свидетельствует о большом расхождении мнений экспертов в оценке влияния факторов. И, видимо, в разных условиях одни и те же факторы оказывают разное влияние:
Рис 4.2. Диаграмма влияния факторов, близкое к равномерному.
Замечание. Точность и надежность ранжирования во многом зависят от количества оцениваемых факторов. Считается, что чем их меньше, тем выше их «различимость» с т.з. эксперта. Тем более надежно можно установить ранг фактора.
По мнению специалистов, наибольшая надежность обнаруживается при n<10.
|
|
Более четкое различие между факторами достигается в других модификациях метода ранжирования. Рассмотрим некоторые из них.