№ п.п. / Эксперты | |||||
0.4 | 0.38 | 0.42 | 0.38 | 0.5 | |
0.6 | 0.6 | 0.6 | 0.6 | 0.6 | |
0.8 | 0.7 | 0.78 | 0.7 | 0.7 | |
0.8 | 0.81 | 0.8 | 0.81 | 0.81 | |
0.6 | 0.61 | 0.61 | 0.71 | 0.52 | |
0.7 | 0.7 | 0.7 | 0.7 | 0.72 | |
0.76 | 0.69 | 0.6 | 0.61 | 0.69 | |
0.6 | 0.5 | 0.56 | 0.5 | 0.35 |
Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.
Таблица 3
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.4 | ||
0.6 | ||
0.6 | ||
0.6 | ||
0.7 | ||
0.76 | ||
0.8 | 7.5 | |
0.8 | 7.5 |
Так как в матрице имеются связанные ранги в оценках 2-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
|
|
Таблица 4
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.38 | ||
0.5 | ||
0.6 | ||
0.61 | ||
0.69 | ||
0.7 | 6.5 | |
0.7 | 6.5 | |
0.81 |
Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.5.
Таблица 5
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.42 | ||
0.56 | ||
0.6 | 3.5 | |
0.6 | 3.5 | |
0.61 | ||
0.7 | ||
0.78 | ||
0.8 |
Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.6
Таблица 6
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.38 | ||
0.5 | ||
0.6 | ||
0.61 | ||
0.7 | 5.5 | |
0.7 | 5.5 | |
0.71 | ||
0.81 |
На основании переформирования рангов строится новая матрица рангов.
Таблица 7
№ п.п. / Эксперты | |||||
3.5 | |||||
7.5 | 6.5 | 5.5 | |||
7.5 | |||||
6.5 | 5.5 | ||||
3.5 | |||||
Матрица рангов
Таблица 8
Факторы / Эксперты | Сумма рангов | d | d2 | |||||
x1 | -16.5 | 272.25 | ||||||
x2 | 3.5 | 16.5 | -6 | |||||
x3 | 7.5 | 6.5 | 5.5 | 32.5 | ||||
x4 | 7.5 | 39.5 | ||||||
x5 | -0.5 | 0.25 | ||||||
x6 | 6.5 | 5.5 | 7.5 | 56.25 | ||||
x7 | 3.5 | 23.5 | ||||||
x8 | -12.5 | 156.25 | ||||||
∑ |
где
|
|
Проверка правильности составления матрицы на основе исчисления контрольной суммы:
Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости.
Факторы | Сумма рангов |
x1 | |
x8 | |
x2 | 16.5 |
x5 | |
x7 | 23.5 |
x6 | |
x3 | 32.5 |
x4 | 39.5 |
Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):
где S = 911, n = 8, m = 5
Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(33-3) + (23-2)]/12 = 2.5
T2 = [(23-2)]/12 = 0.5
T3 = [(23-2)]/12 = 0.5
T4 = [(23-2)]/12 = 0.5
∑Ti = 2.5 + 0.5 + 0.5 + 0.5 = 4
W = 0.88 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:
Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 8-1 = 7 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 30.96> табличного (14.06714), то W = 0.88 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x1 = 1/6 = 0.167
x8 = 1/10 = 0.1
x2 = 1/16.5 = 0.0606
x5 = 1/22 = 0.0455
x7 = 1/23.5 = 0.0426
x6 = 1/30 = 0.0333
x3 = 1/32.5 = 0.0308
x4 = 1/39.5 = 0.0253
Факторы | Величины, обратные сумме рангов | Коэффициенты весомости параметров |
x1 | 0.17 | 0.33 |
x8 | 0.1 | 0.2 |
x2 | 0.0606 | 0.12 |
x5 | 0.0455 | 0.0901 |
x7 | 0.0426 | 0.0843 |
x6 | 0.0333 | 0.066 |
x3 | 0.0308 | 0.061 |
x4 | 0.0253 | 0.0502 |
Таблица 2
Оценочные элементы фактора "надежность аналога 1"
Наименование | Э1 | Э2 | Э3 | Э4 | Э5 |
Возможность обработки ошибочных ситуаций | 0,7 | 0,67 | 0,77 | 0,67 | 0,6 |
Наличие тестов для проверки допустимых значений входных данных | 0,8 | 0,7 | 0,83 | 0,67 | 0,72 |
Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств | 0,9 | 0,88 | 0,91 | 0,88 | 0,8 |
Наличие требований к программе по восстановлению результатов при отказах процессора, ОС | 0,7 | 0,8 | 0,7 | 0,83 | 0,82 |
Наличие возможности разделения по времени выполнения отдельных функций программ | 0,6 | 0,6 | 0,63 | 0,66 | 0,56 |
Наличие возможности повторного старта с точки останова | 0,8 | 0,85 | 0,7 | 0,85 | 0,85 |
Наличие проверки параметров и адресов по диапазону их значений | 0,5 | 0,5 | 0,55 | 0,5 | 0,5 |
Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае ошибок или помех | 0,1 | 0,2 | 0,15 | 0,2 | 0,25 |
Этап 1. Создание экспертной комиссии.
Число факторов n = 8, Число экспертов m = 5
Этап 2. Сбор мнений специалистов путем анкетного опроса.
Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов.
Этап 3. Составление сводной матрицы рангов.
№ п.п. / Эксперты | |||||
0.7 | 0.67 | 0.77 | 0.67 | 0.6 | |
0.8 | 0.7 | 0.83 | 0.67 | 0.72 | |
0.9 | 0.88 | 0.91 | 0.88 | 0.8 | |
0.7 | 0.8 | 0.7 | 0.83 | 0.82 | |
0.6 | 0.6 | 0.63 | 0.66 | 0.56 | |
0.8 | 0.85 | 0.7 | 0.85 | 0.85 | |
0.5 | 0.5 | 0.55 | 0.5 | 0.5 | |
0.1 | 0.2 | 0.15 | 0.2 | 0.25 |
Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.
|
|
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.1 | ||
0.5 | ||
0.6 | ||
0.7 | 4.5 | |
0.7 | 4.5 | |
0.8 | 6.5 | |
0.8 | 6.5 | |
0.9 |
Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.15 | ||
0.55 | ||
0.63 | ||
0.7 | 4.5 | |
0.7 | 4.5 | |
0.77 | ||
0.83 | ||
0.91 |
Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.2 | ||
0.5 | ||
0.66 | ||
0.67 | 4.5 | |
0.67 | 4.5 | |
0.83 | ||
0.85 | ||
0.88 |
На основании переформирования рангов строится новая матрица рангов.
№ п.п. / Эксперты | |||||
4.5 | 4.5 | ||||
6.5 | 4.5 | ||||
4.5 | 4.5 | ||||
6.5 | 4.5 | ||||
Матрица рангов
Факторы / Эксперты | Сумма рангов | d | d2 | |||||
x1 | 4.5 | 4.5 | 0.5 | 0.25 | ||||
x2 | 6.5 | 4.5 | 5.5 | 30.25 | ||||
x3 | 15.5 | 240.25 | ||||||
x4 | 4.5 | 4.5 | 5.5 | 30.25 | ||||
x5 | -7.5 | 56.25 | ||||||
x6 | 6.5 | 4.5 | 10.5 | 110.25 | ||||
x7 | -12.5 | 156.25 | ||||||
x8 | -17.5 | 306.25 | ||||||
∑ |
где
|
|
Проверка правильности составления матрицы на основе исчисления контрольной суммы:
Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости
Факторы | Сумма рангов |
x8 | |
x7 | |
x5 | |
x1 | |
x2 | |
x4 | |
x6 | |
x3 |
Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):
где S = 930, n = 8, m = 5
Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(23-2) + (23-2)]/12 = 1
T3 = [(23-2)]/12 = 0.5
T4 = [(23-2)]/12 = 0.5
∑Ti = 1 + 0.5 + 0.5 = 2
W = 0.89 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:
Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 8-1 = 7 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 31.3> табличного (14.06714), то W = 0.89 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x8 = 1/5 = 0.2
x7 = 1/10 = 0.1
x5 = 1/15 = 0.0667
x1 = 1/23 = 0.0435
x2 = 1/28 = 0.0357
x4 = 1/28 = 0.0357
x6 = 1/33 = 0.0303
x3 = 1/38 = 0.0263
Факторы | Величины, обратные сумме рангов | Коэффициенты весомости параметров |
x8 | 0.2 | 0.37 |
x7 | 0.1 | 0.19 |
x5 | 0.0667 | 0.12 |
x1 | 0.0435 | 0.0808 |
x2 | 0.0357 | 0.0664 |
x4 | 0.0357 | 0.0664 |
x6 | 0.0303 | 0.0563 |
x3 | 0.0263 | 0.0489 |
Таблица 3
Оценочные элементы фактора "надежность аналога 2"
Наименование | Э1 | Э2 | Э3 | Э4 | Э5 |
Возможность обработки ошибочных ситуаций | 0,1 | 0,2 | 0,21 | 0,2 | 0,2 |
Наличие тестов для проверки допустимых значений входных данных | 0,5 | 0,6 | 0,5 | 0,65 | 0,6 |
Наличие требований к программе по восстановлению процесса выполнения в случае сбоя операционной системы, процессора, внешних устройств | 0,2 | 0,12 | 0,22 | 0,12 | 0,3 |
Наличие требований к программе по восстановлению результатов при отказах процессора, ОС | 0,8 | 0,79 | 0,8 | 0,8 | 0,7 |
Наличие возможности разделения по времени выполнения отдельных функций программ | 0,4 | 0,43 | 0,54 | 0,43 | 0,43 |
Наличие возможности повторного старта с точки останова | 0,8 | 0,8 | 0,8 | 0,8 | 0,8 |
Наличие проверки параметров и адресов по диапазону их значений | 0,7 | 0,66 | 0,67 | 0,65 | 0,67 |
Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае ошибок или помех | 0,4 | 0,3 | 0,4 | 0,37 | 0,3 |
Этап 1. Создание экспертной комиссии.
Число факторов n = 8, Число экспертов m = 5
Этап 2. Сбор мнений специалистов путем анкетного опроса.
Оценку степени значимости параметров эксперты производят путем присвоения им рангового номера. Фактору, которому эксперт дает наивысшую оценку, присваивается ранг 1. Если эксперт признает несколько факторов равнозначными, то им присваивается одинаковый ранговый номер. На основе данных анкетного опроса составляется сводная матрица рангов.
Этап 3. Составление сводной матрицы рангов.
№ п.п. / Эксперты | |||||
0.1 | 0.2 | 0.21 | 0.2 | 0.2 | |
0.5 | 0.6 | 0.5 | 0.65 | 0.6 | |
0.2 | 0.12 | 0.22 | 0.12 | 0.3 | |
0.8 | 0.79 | 0.8 | 0.8 | 0.7 | |
0.4 | 0.43 | 0.54 | 0.43 | 0.43 | |
0.8 | 0.8 | 0.8 | 0.8 | 0.8 | |
0.7 | 0.66 | 0.67 | 0.65 | 0.67 | |
0.4 | 0.3 | 0.4 | 0.37 | 0.3 |
Так как в матрице имеются связанные ранги (одинаковый ранговый номер) в оценках 1-го эксперта, произведем их переформирование. Переформирование рангов производиться без изменения мнения эксперта, то есть между ранговыми номерами должны сохраниться соответствующие соотношения (больше, меньше или равно). Также не рекомендуется ставить ранг выше 1 и ниже значения равного количеству параметров (в данном случае n = 8). Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.1 | ||
0.2 | ||
0.4 | 3.5 | |
0.4 | 3.5 | |
0.5 | ||
0.7 | ||
0.8 | 7.5 | |
0.8 | 7.5 |
Так как в матрице имеются связанные ранги в оценках 3-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.21 | ||
0.22 | ||
0.4 | ||
0.5 | ||
0.54 | ||
0.67 | ||
0.8 | 7.5 | |
0.8 | 7.5 |
Так как в матрице имеются связанные ранги в оценках 4-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.12 | ||
0.2 | ||
0.37 | ||
0.43 | ||
0.65 | 5.5 | |
0.65 | 5.5 | |
0.8 | 7.5 | |
0.8 | 7.5 |
Так как в матрице имеются связанные ранги в оценках 5-го эксперта, произведем их переформирование. Переформирование рангов производится в табл.
Номера мест в упорядоченном ряду | Расположение факторов по оценке эксперта | Новые ранги |
0.2 | ||
0.3 | 2.5 | |
0.3 | 2.5 | |
0.43 | ||
0.6 | ||
0.67 | ||
0.7 | ||
0.8 |
На основании переформирования рангов строится новая матрица рангов.
№ п.п. / Эксперты | |||||
5.5 | |||||
2.5 | |||||
7.5 | 7.5 | 7.5 | |||
3.5 | |||||
7.5 | 7.5 | 7.5 | |||
5.5 | |||||
3.5 | 2.5 |
Матрица рангов
Факторы / Эксперты | Сумма рангов | d | d2 | |||||
x1 | -15.5 | 240.25 | ||||||
x2 | 5.5 | 24.5 | ||||||
x3 | 2.5 | 8.5 | -14 | |||||
x4 | 7.5 | 7.5 | 7.5 | 36.5 | ||||
x5 | 3.5 | 20.5 | -2 | |||||
x6 | 7.5 | 7.5 | 7.5 | 38.5 | ||||
x7 | 5.5 | 29.5 | ||||||
x8 | 3.5 | 2.5 | -7.5 | 56.25 | ||||
∑ | 1001.5 |
где
Проверка правильности составления матрицы на основе исчисления контрольной суммы:
Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости
Факторы | Сумма рангов |
x1 | |
x3 | 8.5 |
x8 | |
x5 | 20.5 |
x2 | 24.5 |
x7 | 29.5 |
x4 | 36.5 |
x6 | 38.5 |
Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):
где S = 1001.5, n = 8, m = 5
Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(23-2) + (23-2)]/12 = 1
T3 = [(23-2)]/12 = 0.5
T4 = [(23-2) + (23-2)]/12 = 1
T5 = [(23-2)]/12 = 0.5
∑Ti = 1 + 0.5 + 1 + 0.5 = 3
W = 0.97 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:
Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 8-1 = 7 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 33.87> табличного (14.06714), то W = 0.97 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x1 = 1/7 = 0.143
x3 = 1/8.5 = 0.118
x8 = 1/15 = 0.0667
x5 = 1/20.5 = 0.0488
x2 = 1/24.5 = 0.0408
x7 = 1/29.5 = 0.0339
x4 = 1/36.5 = 0.0274
x6 = 1/38.5 = 0.026
Факторы | Величины, обратные сумме рангов | Коэффициенты весомости параметров |
x1 | 0.14 | 0.28 |
x3 | 0.12 | 0.23 |
x8 | 0.0667 | 0.13 |
x5 | 0.0488 | 0.0968 |
x2 | 0.0408 | 0.081 |
x7 | 0.0339 | 0.0673 |
x4 | 0.0274 | 0.0544 |
x6 | 0.026 | 0.0515 |
Аналогичным образом выполняем расчеты по другим показателям качества.
Оценочные элементы фактора "сопровождаемость нашего ПИ"
Код элемента | Наименование | |||||
C0803 | Наличие комментариев в точках входа и выхода программы | 0,7 | 0,8 | 0,8 | 0,78 | 0,78 |
С0303 | Осуществляется ли передача результатов работы модуля через вызывающий его модуль | 0,6 | 0,6 | 0,6 | 0,67 | 0,66 |
С0801 | Наличие комментариев ко всем машинозависимым частям программы | 0,78 | 0,75 | 0,75 | 0,78 | 0,78 |
С0901 | Соответствие комментариев принятым соглашениям | 0,7 | 0,7 | 0,7 | 0,7 | 0,7 |
С1001 | Используется ли язык высокого уровня | 0,5 | 0,65 | 0,55 | 0,52 | 0,52 |
С0301 | Наличие проверки корректности передаваемых данных | 0,8 | 0,8 | 0,8 | 0,82 | 0,8 |
C0602 | Соблюдение принципа разработки программы сверху вниз | 0,57 | 0,63 | 0,63 | 0,57 | 0,57 |
C0101 | Наличие модульной схемы программы | 0,7 | 0,75 | 0,85 | 0,74 | 0,7 |
C0102 | Оценка программы по числу уникальных модулей | 0,56 | 0,7 | 0,6 | 0,57 | 0,57 |
C0903 | Оценка ясности и точности описания последовательности функционирования всех элементов программы | 0,8 | 0,6 | 0,6 | 0,63 | 0,58 |
Матрица рангов
Факторы / Эксперты | Сумма рангов | d | d2 | |||||
x1 | 9.5 | 8.5 | 8.5 | 8.5 | 13.5 | 182.25 | ||
x2 | 1.5 | 18.5 | -9 | |||||
x3 | 7.5 | 8.5 | 8.5 | 39.5 | ||||
x4 | 5.5 | 6.5 | 2.5 | 6.25 | ||||
x5 | -19.5 | 380.25 | ||||||
x6 | 9.5 | 9.5 | 8.5 | 47.5 | ||||
x7 | 2.5 | 2.5 | -11.5 | 132.25 | ||||
x8 | 7.5 | 6.5 | 9.5 | 90.25 | ||||
x9 | 5.5 | 2.5 | 2.5 | 15.5 | -12 | |||
x10 | 9.5 | 1.5 | -5.5 | 30.25 | ||||
∑ | 1590.5 |
где
Проверка правильности составления матрицы на основе исчисления контрольной суммы:
Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости
Факторы | Сумма рангов |
x5 | |
x9 | 15.5 |
x7 | |
x2 | 18.5 |
x10 | |
x4 | |
x8 | |
x3 | 39.5 |
x1 | |
x6 | 47.5 |
Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):
где S = 1590.5, n = 10, m = 5
Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(33-3) + (23-2)]/12 = 2.5
T2 = [(23-2) + (23-2) + (23-2) + (23-2)]/12 = 2
T3 = [(23-2) + (33-3)]/12 = 2.5
T4 = [(23-2) + (23-2)]/12 = 1
T5 = [(23-2) + (23-2) + (23-2)]/12 = 1.5
∑Ti = 2.5 + 2 + 2.5 + 1 + 1.5 = 9.5
W = 0.79 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:
Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 10-1 = 9 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 35.52> табличного (16.91898), то W = 0.79 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x5 = 1/8 = 0.125
x9 = 1/15.5 = 0.0645
x7 = 1/16 = 0.0625
x2 = 1/18.5 = 0.0541
x10 = 1/22 = 0.0455
x4 = 1/30 = 0.0333
x8 = 1/37 = 0.027
x3 = 1/39.5 = 0.0253
x1 = 1/41 = 0.0244
x6 = 1/47.5 = 0.0211
Факторы | Величины, обратные сумме рангов | Коэффициенты весомости параметров |
x5 | 0.13 | 0.26 |
x9 | 0.0645 | 0.13 |
x7 | 0.0625 | 0.13 |
x2 | 0.0541 | 0.11 |
x10 | 0.0455 | 0.0942 |
x4 | 0.0333 | 0.0691 |
x8 | 0.027 | 0.056 |
x3 | 0.0253 | 0.0525 |
x1 | 0.0244 | 0.0505 |
x6 | 0.0211 | 0.0436 |
Оценочные элементы фактора "сопровождаемость аналога 1"
Код элемента | Наименование | |||||
C0803 | Наличие комментариев в точках входа и выхода программы | 0,7 | 0,8 | 0,8 | 0,78 | 0,78 |
С0303 | Осуществляется ли передача результатов работы модуля через вызывающий его модуль | 0,6 | 0,6 | 0,6 | 0,67 | 0,66 |
С0801 | Наличие комментариев ко всем машинозависимым частям программы | 0,78 | 0,75 | 0,75 | 0,78 | 0,78 |
С0901 | Соответствие комментариев принятым соглашениям | 0,7 | 0,7 | 0,7 | 0,7 | 0,7 |
С1001 | Используется ли язык высокого уровня | 0,5 | 0,65 | 0,55 | 0,52 | 0,52 |
С0301 | Наличие проверки корректности передаваемых данных | 0,8 | 0,8 | 0,8 | 0,82 | 0,8 |
C0602 | Соблюдение принципа разработки программы сверху вниз | 0,57 | 0,63 | 0,63 | 0,57 | 0,57 |
C0101 | Наличие модульной схемы программы | 0,7 | 0,75 | 0,85 | 0,74 | 0,7 |
C0102 | Оценка программы по числу уникальных модулей | 0,56 | 0,7 | 0,6 | 0,57 | 0,57 |
C0903 | Оценка ясности и точности описания последовательности функционирования всех элементов программы | 0,8 | 0,6 | 0,6 | 0,63 | 0,58 |
Матрица рангов
Факторы / Эксперты | Сумма рангов | d | d2 | |||||
x1 | 7.5 | 4.5 | 6.5 | 33.5 | ||||
x2 | 4.5 | 23.5 | -4 | |||||
x3 | 6.5 | 42.5 | ||||||
x4 | 9.5 | 7.5 | 6.5 | 39.5 | ||||
x5 | 2.5 | 2.5 | -15.5 | 240.25 | ||||
x6 | 6.5 | 39.5 | ||||||
x7 | -22.5 | 506.25 | ||||||
x8 | 9.5 | 37.5 | ||||||
x9 | 2.5 | 2.5 | -14.5 | 210.25 | ||||
x10 | 4.5 | 4.5 | 1.5 | 2.25 | ||||
∑ |
где
Проверка правильности составления матрицы на основе исчисления контрольной суммы:
Сумма по столбцам матрицы равны между собой и контрольной суммы, значит, матрица составлена правильно.
Этап 4. Анализ значимости исследуемых факторов.
В данном примере факторы по значимости распределились следующим образом (табл.).
Расположение факторов по значимости
Факторы | Сумма рангов |
x7 | |
x5 | |
x9 | |
x2 | 23.5 |
x10 | |
x1 | 33.5 |
x8 | 37.5 |
x4 | 39.5 |
x6 | 39.5 |
x3 | 42.5 |
Этап 5. Оценка средней степени согласованности мнений всех экспертов.
Воспользуемся коэффициентом конкордации для случая, когда имеются связанные ранги (одинаковые значения рангов в оценках одного эксперта):
где S = 1624, n = 10, m = 5
Li - число связок (видов повторяющихся элементов) в оценках i-го эксперта, tl - количество элементов в l-й связке для i-го эксперта (количество повторяющихся элементов).
T1 = [(23-2) + (23-2) + (23-2)]/12 = 1.5
T2 = [(23-2) + (23-2)]/12 = 1
T3 = [(23-2) + (33-3) + (23-2)]/12 = 3
T4 = [(33-3)]/12 = 2
T5 = [(23-2)]/12 = 0.5
∑Ti = 1.5 + 1 + 3 + 2 + 0.5 = 8
W = 0.8 говорит о наличии высокой степени согласованности мнений экспертов.
Этап 6. Оценка значимости коэффициента конкордации.
Для этой цели исчислим критерий согласования Пирсона:
Вычисленный χ2 сравним с табличным значением для числа степеней свободы K = n-1 = 10-1 = 9 и при заданном уровне значимости α = 0.05
Так как χ2 расчетный 36.13> табличного (16.91898), то W = 0.8 - величина не случайная, а потому полученные результаты имеют смысл и могут использоваться в дальнейших исследованиях.
Этап 7. Подготовка решения экспертной комиссии.
На основе получения суммы рангов (табл.) можно вычислить показатели весомости рассмотренных параметров. Для этого произведем следующие вычисления. Сначала по каждому параметру вычислим величины, обратные сумме рангов, то есть:
x7 = 1/5 = 0.2
x5 = 1/12 = 0.0833
x9 = 1/13 = 0.0769
x2 = 1/23.5 = 0.0426
x10 = 1/29 = 0.0345
x1 = 1/33.5 = 0.0299
x8 = 1/37.5 = 0.0267
x4 = 1/39.5 = 0.0253
x6 = 1/39.5 = 0.0253
x3 = 1/42.5 = 0.0235
Факторы | Величины, обратные сумме рангов | Коэффициенты весомости параметров |
x7 | 0.2 | 0.35 |
x5 | 0.0833 | 0.15 |
x9 | 0.0769 | 0.14 |
x2 | 0.0426 | 0.0749 |
x10 | 0.0345 | 0.0607 |
x1 | 0.0299 | 0.0526 |
x8 | 0.0267 | 0.047 |
x4 | 0.0253 | 0.0446 |
x6 | 0.0253 | 0.0446 |
x3 | 0.0235 | 0.0414 |
Оценочные элементы фактора "сопровождаемость аналога 2"
Код элемента | Наименование | |||||
C0803 | Наличие комментариев в точках входа и выхода программы | 0,7 | 0,8 | 0,8 | 0,78 | 0,78 |
С0303 | Осуществляется ли передача результатов работы модуля через вызывающий его модуль | 0,6 | 0,6 | 0,6 | 0,67 | 0,66 |
С0801 | Наличие комментариев ко всем машинозависимым частям программы | 0,78 | 0,75 | 0,75 | 0,78 | 0,78 |
С0901 | Соответствие комментариев принятым соглашениям | 0,7 | 0,7 | 0,7 | 0,7 | 0,7 |
С1001 | Используется ли язык высокого уровня | 0,5 | 0,65 | 0,55 | 0,52 | 0,52 |
С0301 | Наличие проверки корректности передаваемых данных | 0,8 | 0,8 | 0,8 | 0,82 | 0,8 |
C0602 | Соблюдение принципа разработки программы сверху вниз | 0,57 | 0,63 | 0,63 | 0,57 | 0,57 |
C0101 | Наличие модульной схемы программы | 0,7 | 0,75 | 0,85 | 0,74 | 0,7 |
C0102 | Оценка программы по числу уникальных модулей | 0,56 | 0,7 | 0,6 | 0,57 | 0,57 |
C0903 | Оценка ясности и точности описания последовательности функционирования всех элементов программы | 0,8 | 0,6 | 0,6 | 0,63 | 0,58 |
Матрица рангов
Факторы / Эксперты | Сумма рангов | d | d2 | |||||
x1 | -13.5 | 182.25 | ||||||
x2 | 4.5 | 12.5 | -15 | |||||
x3 | 6.5 | 25.5 | -2 | |||||
x4 | 7.5 | 8.5 | 16.5 | 272.25 | ||||
x5 | 2.5 |
|