Шкалирование методом парного сравнения

Шкалирование методом парного сравнения имеет те же цели, что и предыдущий метод, но техника его несколько иная. Каждый случай, подлежащий оценке, последовательно сравнивается попарно со всеми другими случаями, при этом каждый арбитр должен решить, какое из слов (или фраз) в каждой паре «сильнее» (или интенсивнее) другого. Так, если надо сравнить пять утверждений (случаев), то каждый арбитр будет последовательно сравнивать сначала 1-е из них со 2-м, с 3-м, 4-м, 5-м, потом 2-е с 3-м, 4-м, 5-м и т. д., всякий раз при этом отмечая, какое из двух более интенсивно. Подсчитав, сколько раз каждый случай оказался в оценке всех арбитров «сильнее» других, и разделив полученное число на число арбитров (то есть вычислив среднюю оценку, вынесенную группой арбитров каждому утверждению), мы получаем возможность осуществить количественное ранжирование всех случаев по степени их интенсивности. Чем выше средняя оценка некоторого утверждения, тем оно, по мнению арбитров, «сильнее».^[8]

Однако, с методами Q-сортировки и парного сравнения связаны по меньшей мере две сложности. Во-первых, в обоих этих случаях исследователь полагается полностью на решения арбитров, критерии оценки которых могут быть, а могут и не быть правомерными и/или состоятельными. В экспертизе такого рода стандарты не всегда ясны или, во всяком случае, не всегда ясно определены, и вследствие этого сами оценки носят дискуссионный характер. Встречаются случаи, когда один и тот же арбитр выставляет различные оценки одному и тому же утверждению в серии идентичных испытаний. Кроме того, отбор арбитров в высшей степени произволен. Следовательно, и надежность результатов, полученных при опоре на таких арбитров, весьма относительна. Поэтому данные процедуры следует использовать, делая скидку на «человеческий фактор».^[8]