Расчет коэффициента конкордации

Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, предложенный Кендаллом:

где - количество анализируемых объектов,

- количество экспертов,

- средняя сумма рангов для всех единичных показателей;

- сумма ранговых оценок экспертов по каждому единичному показателю (объекту);

- показатель одинаковости.

Величины и определяются отношениями:

;

где - балл (ранг) -го показателя, проставленный -ым экспертом.

Показатель одинаковости:

где - количество оценок одинакового ранга -того эксперта;

- количество групп рангов с одинаковыми оценками -того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации.

Этот уровень можно определить по функции хи квадратного распределения