Методы организации сложных экспертиз

Рассмотренные выше недостатки экспертных оценок привели к необходимости создания методов, повышающих объективность получения оценок путем расчленения большой первоначальной неопределенности проблемы, предлагаемой эксперту для оценки, на более мелкие, лучше поддающиеся осмыслению.

В качестве простейшего из этих методов может быть использован способ усложненной экспертной процедуры, предложенный в методике ПАТТЕРН [4.12] и кратко рассматриваемый в гл. 4. В

этой методике выделяются группы критериев оценки рекомендуется ввести весовые коэффициенты критериев. Введение критериев позволяет организовать опрос экспертов более дифференцировано, а весовые коэффициенты - повышают объективность результирующих оценок.

Развитием этого метола является введение коэффициентов компетентности экспертов и различные методы совершенствования обработки оценок, даваемых разными экспертами по различным критериям.

В качестве второго метода организации сложных экспертиз можно использовать метод решающих матриц, идея которого была предложена Г.С.Поспеловым [2.29, 4.16] как средство стратифицированного представления проблемы с большой неопределенностью на подпроблемы и пошагового получения оценок.

Например, при создании сложных производственных комплексов, реализации крупных проектов и организации решения других аналогичных проблем нужно определить влияние на проектируемый объект фундаментальных научно-исследовательских работ, чтобы запланировать эти работы, предусмотреть их финансирование и распределить средства между ними.

Получить от экспертов объективные и достоверные оценки влияния фундаментальных НИР на проектирование сложного объекта практически невозможно.

Для того, чтобы облегчить экспертам эту задачу, можно вначале спросить их, какие направления (области) исследований могут быть полезны для создания комплекса (или какие подпроблемы нужно решить для реализации всей проблемы) и попросить определить относительные веса этих направлений (подпроблем) а₁,..., a_na. Затем - составить план опытно-конструкторских работ для получения необходимых результатов по названным направлениям и оценить их вклад b₁,…, b_nb. Далее нужно определить перечень прикладных научных исследований и их относительные веса g₁,..., g_ng. И, наконец, - оценки влияния фундаментальных НИР на прикладные d₁,…, d_nd.

Таким образом, область работы экспертов представляется в виде нескольких уровней:

направления (подпроблемы)→ОКР→ прикладные НИР→фундаментальные НИР (рис. 2.13).

Относительные веса по всем уровням должны быть нормированы. В методе решающих матриц для удобство опроса экспертов относительные веса определяются не в долях единицы, а в процентах, и нормируются по отношению к 100:

Непосредственно экспертами оцениваются только веса направлений (подпроблем), остальные относительные веса вычисляются. Эксперты оценивают вклад каждой альтернативы (ОКР, НИР) в реализацию элементов более высокого уровня, непосредственно предшествующего уровню данной альтернативы. Так, вклад ОКР в реализацию направления (подпроблемы) оценивается некоторой величиной p_ij. Естественно, для каждой ОКР относительные веса также нормированы:

Таким образом, каждая строка решающей матрицы характеризует относительный вклад i - й ОКР в реализацию каждой из j -х подпроблем.

Оценив предварительно a_i,..., a_na, и используя решающую матрицу можно получить относительные веса ОКР:

Аналогично, зная и оценив , можно получить относительные веса прикладных НИР g_k, а затем - и фундаментальных НИР d_y.

В результате при использовании метода решающих матриц оценка относительной важности сложной альтернативы сводится к последовательности оценок более частных альтернатив, что обеспечивает их большую достоверность при прочих равных условиях.

Иными словами, большая неопределенность, имевшая место в начале решения задачи, как бы разделена на более "мелкие", лучше поддающиеся оценке, в соответствии с одной из основных идей системного анализа.

При применения метода решающих матриц в особо сложных ситуациях целесообразно создавать и накапливать базы данных о возможных фундаментальные, прикладных НИР и ОКР, проводимых в стране и за рубежом по проблемам, аналогичным или смежным с рассматриваемой, и анализировать их влияние друг на друга в соответствии с методом решающих матриц.

Метод решающих матриц применялся для реализации крупных дорогостоящих проектов (космос, оборона, фундаментальные научные исследования и т. п.), при создании, реконструкции, конверсии предприятий или научно-исследовательских организаций, инвестируемых государством, т. е. в ситуациях, для которых повышаются требования к тщательности анализа факторов, влияющих на принятие решений.

Используя метод решающих матриц и сформировав многоуровневую структуру факторов, влияющих на создание и функционирование предприятий (организаций), можно провести более тщательный анализ вклада конкретных факторов нижнего уровня этой структуры (многие из которых могут быть количественно оценены с помощью детерминированных или вероятностных характеристик) на процесс проектирования и функционирования предприятия.

Другие возможные приложения метода решающих матриц приводятся в гл. 6.

Еще более объективный анализ можно получить с помощью подхода к организации сложных экспертиз, базирующегося на использовании методов структуризации, косвенных количественных и информационных оценок степени целесоответствия исследуемых компонентов (факторов, средств автоматизации и т. п.), т. е. их влияние на реализацию целей предприятия.

Структуризация целей, факторов, проблем помогает уточнить представление о них, распределить их по уровням иерархии и оценивать последовательно влияние составляющих нижележащих уровней на вышележащие, что способствует повышению объективности и достоверности анализа.

Информационные оценки, как будет показано ниже, обеспечивают более удобную обработку оценок, возможность сочетать вероятностные оценки с количественными детерминированными характеристиками, что также способствует повышению объективности и достоверности оценок, и. кроме того, позволяет на основе изменения измеряемых детерминированных параметров получать динамику изменения степени влияния подцелей, факторов, средств на реализацию целей предприятия (организации). Подход будет изложен в гл. 3. а примеры его применения, включая сравнительный анализ с методом решающих матриц, - в гл. 6, 7.

Реализация методов организации сложных экспертиз - достаточно трудоемкая задача, которую можно облегчить с помощью автоматизации получения и обработки оценок в диалоговом режиме.

Процедуры должны предоставлять пользователю возможность ввода количества оцениваемых составляющих и критериев оценки (для первого из рассмотренных методов), количество уровней, составляющих и оценок для каждого из них (для метода решающих матриц): соответствующих характеристик и т. д. (при использовании информационного подхода).

Морфологические методы.

Термином морфологии в биологии и языкознании определяется учение о вну т ренней структуре исследуемых систем (организмов, языков) или сама внутренняя структура этих с истем.

Идея морфологического способа мышления восходит к Аристотелю и Платону, к известной средневековой модели Р. Луллия. Однако в систематизированном виде методы морфологического анализа сложных проблем были разработаны швейцарским астрономом (венгром по происхождению) Ф.Цвикки, и долгое время морфологический подход к исследованию и проектированию сложных систем был известен под названием метода Цвикки [2.67, 2.68].

Основная идея морфологического подхода - систематически находить наибольшее число возможных вариантов (а в пределе - все варианты) решения поставленной проблемы или реализации системы путем комбинирования основных (выделенных исследователем) структурныхэлементов системы или их признаков. При этом система или проблема может разбиваться на части разными способами и рассматриваться в различных аспектах.

Отправными точками системного исследования Ф. Цвикки считает:

1) равный интерес ко всем объектам морфологического моделирования;

2) ликвидацию всех оценок и ограничений до тех пор, пока не будет получена полная структура исследуемой области;

3) максимально точную формулировку поставленной проблемы.

Кроме этих общих положений, Цвикки предложил ряд отдельных способов (методов) морфологического моделирования:

метод систематического покрытия поля (МСПП);

метод отрицания и конструирования (МОК);

метод морфологического ящика (ММЯ);

метод экстремальных ситуаций (МЭС);

метод сопоставления совершенного с дефектным (МССД);

метод обобщений (МО).

Наибольшую известность получили три первых метода.

Метод систематического покрытия поля предполагает, что существует некоторое число "опорных пунктов" знания в любой исследуемой области. Этими пунктами могут быть теоретические положения, эмпирические факты, известные на данный момент компоненты сложной системы, открытые законы, в соответствии с которыми протекают различные процессы и т.п. Исходя из ограниченного числа опорных пунктов знания и достаточного числа принципов мышления (в т. ч. различных мер близости), с помощью МСПП ищут возможные варианты решения поставленной проблемы.

Метод отрицания и конструирования основывается на соображениях, которые Ф.Цвикки сформулировал следующим образом: "На пути конструктивного прогресса лежат догмы и компромиссные или диктаторские ограничения. Следовательно, есть смысл их отрицать. Однако одного этого недостаточно. То, что получается из отрицания, необходимо конструктивно переработать" [2.35].

В соответствии с этим МОК реализуется с помощью трех этапов:

1) формирование ряда высказываний (положений, утверждений, аксиом и т. п.), соответствующих современному уровню развития исследуемой области знаний;

2)размена одного, нескольких или всех сформулированных высказываний на противоположные;

3) построение всевозможных следствий, вытекающих из такого отрицания и проверка непротиворечивости вновь полученных и оставшихся неизменными высказываний.

МОК может быть реализован в форме одного из методов мозговой атаки - метода "судов".

Метод морфологического ящика основан на формировании и анализе морфологической таблицы - морфологического ящика. (МЯ). Построение и исследование "морфологического ящика» по Цвикки проводится в пять этапов [2.35]:

1) формулировка поставленной проблемы;

2) определение параметров (классификационных признаков) Р_n, от которых зависит решение проблемы (процедура анализа может быть итеративной с изменением набора Р_п по мере уточнения представлений об исследуемом объекте или процессе принятия решений);

3) деление параметров Р_n на их значения р_п^ki (формирование классификаторов по выбранным признакам Р_n) и представление их в виде матриц-строк: набор значений (по одному из каждой строки) различных параметров представляет собой возможный вариант решения моделируемой задачи: например, вариант < p₁¹, р₂², …,р_п²>; общее число вариантов, содержащихся в МЯ, , где k_i (i =1, 2,..., т) - число значений i-го параметра;

4) оценка всех имеющихся в МЯ вариантов;

5) выбор наилучшего (у Цвикки - оптимального, что, как будет показано ниже, неверно) варианта решения задачи.

С математической точки зрения идея морфологического перебора базируется на получении размещений с повторением из k по n, число которых в общем случае подсчитывается, как показано выше, а в частном случае при одинаковом числе значений каждого из параметров (т. е. при ) определяется с помощью известной теоремы комбинаторики:

где n - число строк МЯ; k - число элементов в каждой строке.

Для сокращения перебора этапы 3 и 4 могут быть совмещены, и явно неприемлемые варианты можно сразу исключить из рассмотрения в п. 5.

Следует отметить, что. строго говоря, речь об оптимизации идти не может. Идею поиска наилучшего варианта (вариантов) решения лучше квалифицировать как постепенно ограничиваемый перебор, который с самого начала сокращается, благодаря формированию МЯ (число размещений с повторениями меньше числа сочетаний, и по мере увеличения объемов МЯ разрыв увеличивается и ограничение перебора сказывается в большей степени), затем область выбора решения ограничивается в результате исключения явно неприемлемых вариантов, а дальнейшее огра­ничение области возможных решений можно организовать путем введения и учета количественных, а затем (при прочих равных условия) и качественных критериев, подобно тому, как это предлагается в примерах применения ММЯ в планировании при позаказной системе производства в гл. 7.

Возможны следующие пути выбора решений из МЯ (рис. 2.14):

применение одного критерия, полностью исключающего все варианты решений, кроме одного (рис. 2.14 а);

последовательное применение нескольких критериев А, В, С, постепенно исключающих все варианты, кроме одного (рис. 2.14 в);

расчленение проблемы на подпроблемы (или задачи на подзадачи) и последовательное применение нескольких критериев для выбора по одному варианту решения по каждой из подпроблем (подзадач), которые вместе взятые и составляют искомое решение (рис. 2.14 в).

В последнем случае может быть получено не одно решение, составленное из решений подпроблем, а несколько таких решений, и тогда для уменьшения этих вариантов дальнейшее сужение области допустимых решений может осуществляться путем введения дополнительных критериев (как правило, качественных), как это делается, например, в гл. 7).

Следует также оговорить, что решения по подпроблемам, hi которых формируется общий вариант решения, могут быть взаимозависимыми, что также иллюстрируется в примерах в гл. 7 (в частности, при размещение по линиям сборки один и тот же заказ не может в соответствующем плановом периоде помещаться на разные взаимозаменяемые линии сборки).

Ф.Цвикки и его последователи разрабатывали и исследовали МЯ различного вида. Например, известен вариант МЯ, в котором значения одного и того же параметра откладывались и по горизонтальной, и по вертикальной осям двумерной матрицы-"ящика", и варианты решений получались на пересечении различных значений параметров, т. е. как элементы этой матрицы.

МЯ могут быть также не только двумерными. Трехмерные МЯ и МЯ большей размерности находят, например, применение при разработке прогнозов и при макропроектировании вариантов новой техники.

Однако при формировании и анализе многомерных МЯ, особенно при анализе проблем организационного управления, возникают существенные трудности в их представлении лицам, принимающим решения, в интерпретации результатов. Поэтому удобнее становится, используя идею морфологического подхода, разрабатывать языки моделирования (автоматизации моделирования, автоматизации проектирования и т. п.), которые применяются для "порождения" возможных ситуации в системе, возможных вариантов решения, и часто как вспомогательное средство формирования нижних уровней иерархической структуры целей и функций или организационных структур систем управления. В этом случае термин "морфологический подход" применяется в более широком смысле.

Предложенные Ф.Цвикки методы нашли широкое применение как средство активизации изобретательской деятельности. А при моделировании задач автоматизации проектирования, задач планирования, например, распределения заказов по плановым периодам, размещения их по производствам, линиям сборки и т. п. удобным средством оказался ММЯ, который охарактеризуем несколько подробнее.

Обратим внимание на тот факт, что при формировании морфологической таблицы (морфологического ящика) другие методы морфологического моделирование могут использоваться как вспомогательные.

В практике объемно-календарного планирования оказалось удобным как бы перевернуть двумерный МЯ и комбинировать не элементы строк, а элементы столбцов (такие таблицы привычнее для работников плановых отделов).

Расширению практического применения ММЯ существенно способствует автоматизация морфологического моделирования. При этом важно автоматизировать не только получение вариантов решения, т. е. собственно перебор, но и получение оценок этих вариантов, и даже формирование МЯ. Примеры алгоритмов автоматизации морфологического моделирования приведены в гл.7.