Метод экспертных оценок имеет логически взаимосвязанные этапы

Как и всякая исследовательская технология, экспертиза подразделяется на ряд этапов и процедур. В самом общем виде ее можно разделить на 3 этапа: подго­товку (включая отбор экспертов), проведение опроса экспертов и обработку ре­зультатов экспертизы. Сложность и специфика экспертизы, однако, требуют боль­шей детализации этого процесса.

Обобщая различные подходы и описания, в процессе экспертного опроса мож­но выделить:

формирование целей и задач экспертизы (другими словами, разработка программы исследования);

- создание рабочей группы для проведения экспертизы;

- разработку рабочих документов (анкет, инструкций, макетов обра­ботки данных);

формирование группы экспертов; '

- обеспечение экспертов рабочими материалами (задачами и условиями ра­боты, опросными листами) и - при необходимости - исходной либо дополни­тельной информацией;

- непосредственное проведение экспертизы; оценку качества полученной информации; обработку данных по заранее разработанному алгоритму;

- обобщение данных и подведение итогов экспертизы.

Начальный этап (организация экспертизы) включает:

• определение цели и задач экспертизы, постановку проблемы;

• определение меры ответственности, прав и полномочий рабо­чей группы экспертов;

• установление сроков проведения экспертизы;

• подбор экспертов, формирование экспертных групп (при не­обходимости определение их компетентности).

Этап организации очень важен в том плане, что любой недостаток, недоработка в процессе организа­ции может свести на нет все усилия, затраченные средства и время. Поэтому лучше затратить некото­рую часть времени на решение важных организаци­онных вопросов, чем получить результаты, которые не найдут своего применения. Организационный период распадается на четыре основных этапа: формирование группы организаторов, постановка пробле­мы, отбор экспертов иопределение объема экспертной группы

2.1 Формирование группы организаторов экспертизы____

Опыт проведения экспертиз показывает, что для ее подготовки должна быть сформирована группа в 5-7 человек специалистов-организаторов, достаточно хорошо знающих проблему, по которой будет прово­диться экспертиза. Кроме того, в нее включаются специалисты по экспертным методам (экономисты, социологи, психологи и т.д.). Очень желательно, что­бы данная группа была официально утверждена и получила соответствующие полномочия.

Эта группа должна обеспечить условия для эф­фективной деятельности экспертов, разработать про­цедуру экспертизы, наиболее соответствующую ха­рактеру данной проблемы.

В целом задачи группы организаторов можно сформулировать в следующем виде:

I. Постановка проблемы, определение целей и задач экспертизы;

2. Разработка процедуры экспертизы;

3. Отбор экспертов, проверка их компетент­ности и формирование групп экспертов;

4. Проведение опроса и согласование оценок;

5. Формализация полученной информации, ее

обработка, анализ и интерпретация. Данные задачи оформляются техническим зада­нием, которое утверждается заказчиком.

2.2 Постановка проблемы экспертизы

Подготовку экспертизы прежде всего начинают с постановки проблемы. Для этого прежде всего зна­комятся с предысторией и состоянием проблемы, устанавливают ее характер, место и значение, а также рассматривают доводы в пользу необходимости ее решения, обсуждают эти доводы с руководителями (заказчиками), как основными заинтересованными лицами.

На данном этапе очень важно вовремя распо­знать мнимые и реальные проблемы (псевдопроблемы). Значение данного момента доста­точно велико. Очень часто решение хорошо извест­но, но заказчик пытается по политическим или эко­номическим причинам найти другие варианты или просто хочет с помощью проведенной исследователь­ской работы обосновать невозможность решения проблемы. В этом случае необходимо обращение к нескольким специалистам с просьбой отвергнуть или выдвинуть тезисы и аргументы в защиту проблемы, найти слабые, неубедительные места, обратить вни­мание на трудности и реальные пути решения про­блемы. Нельзя превращать исследовательскую работу в профанацию.

В случае принятия проблемы к изучению необ­ходимо провести ее предварительный анализ, уточ­нить внутреннюю структуру и внешние взаимосвязи, определить границы проблемы и границы рассмотре­ния. Для этого организаторы экспертизы выдвигают центральный вопрос, а затем "расщепляют" его на подвопросы. Они стараются отделить известное от неизвестного и ограничивают "поле" рассмотрения лишь теми подвопросами, без ответов на которые нельзя получить ответ на центральный вопрос.

Все это позволяет организаторам экспертизы приступить к формулировке ее целей и задач. Опыт показывает, что четко поставленная проблема, ясно выделенные и ограниченные цели и задачи являются обязательными для обеспечения эффективности своего решения. Кроме этого данная процедура по­зволяет подготовить при необходимости перечень оцениваемых событий и установить совокупность факторов, которые характеризуют эти события.

Содержание задания конкретному эксперту должно быть четким и отвечать ряду требований;

• перед экспертом следует ставить лишь те во­просы, для решения которых действительно необхо­димы специальные знания;

• недопустимо в задание включать вопросы, ко­торые не входят в компетенцию данного эксперта;

• эксперт не должен заниматься формулирова­нием вопросов, подлежащих экспертизе, собирать материалы на экспертизу;

• каждое задание должно быть четко сформули­ровано, чтобы исключить его двусмысленное толко­вание.

Такой перечень необходим для разработки про­цедуры и, в частности, для того, чтобы примерно определить число и профиль экспертов.

2.3 Методы отбора экспертов_______

На основании знания объекта экспертизы, его специфики и утвержденного задания группа органи­заторов определяет способ проведения экспертизы. Эти две организационные процедуры взаимосвязаны, поскольку основные проблемы экспертизы опреде­ляют состав экспертов, их число я необходимые ре­сурсы.

При определении состава группы экспертов учитывается прежде всего уровень знаний в области специализации, опыт и включенность в решение по­добных задач. Считается, что состав экспертов дол­жен быть таким, чтобы были "закрыты" все пробле­мы. При этом каждая из них должна рассматриваться как минимум двумя экспертами - специалистами по данному вопросу.

Работа по отбору специалистов, участвующих в экспертизе, обычно начинается с составления пер­вичного списка компетентных в исследуемой области лиц (специалистов). Этот список служит основой для отбора экспертов с помощью специальных методов.

Различают четыре основных группы таких мето­дов: самооценки, групповой оценки, оценки на основе результатов прошлой деятельности, методы определения компетентности.

2.3.1 Метод самооценки

Для этого предполагаемым экспертам раздается небольшая анкета, в которой представлены как раз­личные вопросы, так и перечень возможных необхо­димых качеств: память, настойчивость, способность к аналитическому мышлению, внимание и т.д.

Получив анкету, кандидаты в эксперты отвеча­ют на ее вопросы. Их ответы должны показать эру­дицию, способность к анализу и другие необходимые эксперту качества. Особое внимание уделяют органи­заторы экспертизы способности специалиста в ко­роткий срок (5-10 минут) ответить на поставленные вопросы и дать оценку своим знаниям по каждому вопросу по определенной численной шкале, напри­мер, пятибалльной, В некоторых случаях шкалу уве­личивают (до 7-ми или 9-ти бальной) для проверки способности экспертов более дифференцированно оценивать различные явления.

Собрав самооценки, организаторы экспертизы могут рассчитать среднюю арифметическую группо­вую самооценку и получить численный индекс, ха­рактеризующий, например, знания, которыми по мнению группы, она обладает на данное время.

Опыт проведения многочисленных экспертиз и у нас, и за рубежом показывает, что группы с высо­кой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше дру­гих. Существует даже зависимость между групповой самооценкой и средней групповой ошибкой экспер­тов: средняя: групповая ошибка уменьшается с воз­растанием средней самооценки. Если, например, вся группа кандидатов в эксперты разделена на подгруп­пы, первая из которых имеет более высокую само­оценку, чем группа в целом, а вторая - более низ­кую, то экспертные оценки первой подгруппы будут в среднем более точными, а второй - менее точными, чем вес группы.

Здесь же с помощью самооценок определяют компетентность эксперта, оценивая аргументы, по­служившие ему основанием для ответа, а также сте­пень ого знакомства с рассматриваемой лроолемои и опыт в решении подобных или схожих задач.

2.3.2 Метод коллективной оценки____

В случаях, когда кандидаты в эксперты знают друг друга, наряду с самооценкой используется метод коллективной оценки каждого из них остальными членами группы. Коллективные оценки часто оказы­ваются менее точны, чем самооценки.

Используя оба метода, организаторы эксперти­зы предлагают каждому из кандидатов заполнить опросные листы на себя и на других участников опроса. На листе самооценок указывается фамилия кандидата, чтобы знать, кому принадлежит данная самооценка. В опросных листах, одинаковых и для самооценок, и для оценок, содержится перечень наиболее существенных для эксперта черт, противо­положных по своему значению. В одной из процедур такой лист выглядел, например, следующим образом:

Глубокие -знания 54321 Неглубокие знания по специальности по специальности

Обладает творческим 54321 Не обладает творческим воображением воображением и т.д.

Каждый эксперт должен был обвести кружком соответствующий балл.

(например, "1" - очень неглубокие знания). Причем при оценке предлагалось исходить из среднего для группы уровня (это связано с тем, что обычно сред­ний для группы отобранных кандидатов в эксперты уровень по ряду качеств значительно выше, чем во­обще специалистов в данной сфере).

Все самооценки и оценки выводятся но укруп­ненным группам качеств:

I - интеллектуальные качества (глубина знаний по специальности, широта интеллектуальных интере­сов, одаренность и т.д.);

2 - деловые качества (умение руководить, при­влечь людей, организовать работу и т.д.);

III - импульсивно - волевые свойства (сдержанность, эмоциональность, воля и т.д.);

IV - качества, характеризующие мотивы поведе­ния (альтруизм, стремление к истине, честолюбие и т.д.);

V - качества, характеризующие отношение к жизни (оптимизм, чувство юмора и т.д.).

В результате проведения такой процедуры оказалось, что большинство специалистов склонно занижать в своих самооценках свои интеллектуальные качества и завышать качества, характеризующие мотивы поведения и отношению к жизни.

Анализ групповой оценки каждого из специалистов, их самооценок, а также характера расхождений между групповой оценкой и самооценкой несомненно позволяют осуществить более обоснованный отбор экспертов.

2.3.3 Метод оценки прошлых результатов

Более объективными, чем самооценки и грун­товые оценки, представляются методы, основанные на использовании опенки результатов прошлой дея­тельности специалистов.

Если есть данные о результатах участия специа­листа в экспертизах в прошлом, то они могут слу­жить базой для оценки качеств эксперта с помощью статистических методов. Одним из них является, на­пример, определение степени надежности эксперта (К), то есть относительной частоты случаев, когда эксперт дал оценки, наиболее близкие к.истинным, или, точнее, приписал наибольшую вероятность ги­потезам, которые впоследствии оказались верными:

М_с - число случаев, когда эксперт, встретившись с несколькими альтернативными гипотезами, приписал наибольшую вероятность той, которая потом подтвердилась;

N - общее число случаев, когда данный эксперт давал оценку.

В тех случаях, когда специалист участвует в коллективной экспертизе, его деятельность можно сравнить с деятельностью коллег. Для этого приме­няется критерий относительной надежности, кото­рый определяется как отношение "абсолютной" сте­пени надежности данного эксперта к средней надеж­ности, исчисленной для некоторой группы экспертов.

Данный метод имеет недостаток в том, что необходимо накопление информации по проведенным экспертизам и по экспертам, принимающим в них участие. Это достаточно слож­но, так как проблемы очень разнообразны и редко когда имеется возможность работать даже с относи­тельно постоянной группой экспертов.

Наиболее часто используется простейший из способов отбора экспертов - отбор специалистов по профилю деятельности, стажу работы, по ученому званию или степени, по занимаемой должности и т.д.

2,3.4 Тестирование в подборе экспертов

Как специфический метод отбора экспертов тестирование применяется достаточно редко. Это связано с двумя факторами. Во-первых, очень мало специализированных тестов и они не очень надежны. Во-вторых, далеко не каждый эксперт даст согласие на тестирование и будет подвергать свою репутацию испытанию.

Тем не менее не следует совсем отказываться от этого приема отбора экспертов. В прогностическом исследовании о роли чтения в будущем экспертам были заданы вопросы, касающиеся тенденций в раз­витии средств массовой информации. При этом ор­ганизаторы экспертизы представляют достоверную информацию об этих тенденциях на современном этапе. Так, например, экспертов просили высказать свое мнение о характере изменений посещений кино в стране на одного человека: о том. в каком соотно­шении находятся темпы роста тиражей газет, журна­лов и книг; увеличивается или уменьшается число книг, выданных в среднем одному читателю библиотеки страны в целом и т.п. ответы экспертов на эти вопросы позволили в некоторой степени оценить их компетентность по данной проблеме.

Во время экспертного опроса • специалистов по методике и технике социологических исследований в анкету включались вопросы, ответы на которые дали возможности определить уровень квалификации со­циолога в данной конкретной методологической сфере.

Конечно, приведенные примеры достаточно условны и специфичны, но они показывают наличие возможностей для профессионального тестирования по теме экспертизы.

Основной этап экспертизы связан со сбором данных, про­ведением исследовательской работы и экспертной оценкой, ана­лизом имеющегося материала. Технология экспертизы, использо­вание совокупности методов и критериев оценки зависят от ха­рактера экспертизы, области ее применения.

Для педагогической экспертизы чаще всего требуется разработ­ка анкет, опросников, тестов, контрольно-диагностических зада­ний. Экспертная оценка является результатом аналитической дея­тельности, основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть и находить нестандартные способы решения.

Завершающий этап экспертизы — опрос экспертов (ин­дивидуальный или групповой; личный, очный или заочный; устный или письменный), оформление документа (отчет, справка, рецен­зия и пр.), принятие экспертного заключения — основы для компе­тентного управленческого решения, которое принимает менеджер.

«Экспертное заключение» и «экспертная оценка» — понятия близкие, но не тождественные.

Экспертное заключение — это документ, оформленный в соот­ветствии с установленными требованиями и содержащий мотивиро­ванную экспертную оценку, т. е. мнение, суждение эксперта о пред­мете экспертизы.