Хороший тест лучше среднего интервьюера

К сожалению, в наших дебатах вокруг тестов редко апеллируют к результатам исследований сравни­тельной прогностической эффектив­ности тестов и нетестовых диагнос­тических процедур. Нет ничего уди­вительного в том, что наши специа­листы просто не располагают таки­ми данными, ведь подобные исследо­вания очень дорогостоящи. За рубе­жом подобные исследования неодно­кратно проводились на весьма ре­презентативных выборках испытуе­мых. Таблицы сравнительной эффек­тивности (для прогнозирования про­фессиональной деятельности) раз­личных тестов и такой процедуры, как интервью, публикуются практи­чески в любом западном учебном по­собии по организационному поведе­нию (Fincham, Rhodes, 1998).

Суммируя различные источники, я бы так оценил в настоящее время выявленные коэффициенты прогнос-тичности:

А. Г. Шмеле а

Почему же столь низкой оказы­вается валидность обыкновенного интервью? Все дело в том, что из­влечение диагностически значимой информации из интервью требует не только значительного опыта ин­тервьюирования (личного проведе­ния сотен и тысяч интервью), но и определенного искусства, куда входит умение владеть собственны­ми эмоциями, не выражать их резко, чтобы не индуцировать какое-то си­туационное атипичное ответное эмоциональное состояние у интер­вьюируемого (настороженность и замкнутость, лицемерную любез­ность, развязность, восторженно-прекраснодушное воодушевление и т. п.). Живое общение людей (ка­ким бы объективным профессиона­лом ни старался быть интервью­ер) — это всегда вольный или не­вольный обмен эмоциями, который создает весьма различный фон в за­висимости от ситуационного ком­муникативного контекста, возник­шего здесь и теперь в той или иной диаде (группе) общающихся друг с другом людей. На практике выясня­ется, что все разговоры о том, что «точнее всего понимаешь человека, когда посмотришь ему в глаза», как правило, лишь прикрывают стрем­ление отстоять режим личной влас­ти над судьбами.

Соотношение эффективности формализованных и неформализо­ванных процедур в области психоди­агностики можно сравнить с ситуа­цией противостояния шахматиста и шахматной программы. Хотя гроссмейстеры успешно конкуриру­ют с шахматными суперкомпьютера­ми, средней руки разрядники (не го­воря про новичков и любителей)

проигрывают хорошей компьютер­ной программе весьма устойчиво. Имеется в виду программа, которая опирается, например, на компьютер­ный банк отработанных дебютов. Ведь подобный дебютный репертуар выработал коллективный разум со­тен и тысяч профессиональных шах­матистов в течение всей писаной ис­тории шахмат.

Так получается и с тестами. Пло­хой тест может уступать среднему интервьюеру, но хороший тест, про­шедший психометрическую апроба­цию на сотнях испытуемых, пока­завший прогностическую валид­ность, превосходит среднего оди­ночного интервьюера (подчеркнем здесь слово «одиночного», так как коллектив интервьюеров всегда ра­ботает эффективнее). Особенно это касается многофакторных тестов. Сколько параметров (характерис­тик) индивидуальности способен оперативно отслеживать интервью­ер? Опросы показывают, что всего лишь чуть больше, чем обычный че­ловек, — в пределах 5-7 (что-то по­хожее на магическое число 7 ± 2?), и в этом случае уже батарея из 12-16 факторов дает значительное пре­имущество.

Более высокое положение в ука­занной таблице методики «Ассес-смент-центр» вполне объяснимо как раз в логике совмещения тестов и экспертных оценок, о которой мы говорили в предыдущем параграфе: здесь имеет место сочетание мето­дов тестирования и интервьюирова­ния, плюс деловые игры с множест­венной экспертной оценкой (при­влекаются независимые судьи, спо­собные сообща отследить больше параметров).

Тест как оружие

Выводы

Подводя итоги этой статьи, еще раз подчеркну главный тезис: нынеш­ние дискуссии по поводу метода тес­тов, по моему убеждению, часто ока­зываются непродуктивными из-за то­го, что участники дискуссии (причем неважно, сторонники это тестов или противники) не вполне адекватно воспринимают статус теста как инст­румента. Тест является инструментом не только научного исследования, не только индивидуального консуль­тирования и помощи, но и социаль­ной практики в малых и больших ор­ганизациях. Большая часть недоразу­мений связана даже не с качеством (увы, подчас низким) разработанных тестов, но с их неправильным, неква­лифицированным использованием. Значительная часть пользователей тестов в России до сих пор руковод-

ствуется нетехнологичными пред­ставлениями о возможностях тестов, можно даже сказать, мифологически­ми. Значимость тестовых результа­тов либо резко переоценивается, ли­бо недооценивается, причем некото­рые пользователи приписывают от­ветственность за ошибки при тести­ровании разработчикам, не понимая, что это они сами — прежде всего са­ми — несут ответственность за вы­бор и адекватное применение инстру­мента.

Тест — это оружие. И пользовать­ся им надо умело. Надо правильно заряжать это оружие и нацеливать в нужную сторону. Как нет универ­сального оружия, пригодного во всех ситуациях, так нет и универсальных тестов. Тест больше полезен, когда включен в контекст более широких процедур, использующих, кроме тес­тирования, экспертные оценки.

Литература

Анастази А. Психологическое тести­рование. В 2 т. М.: Педагогика, 1982.

Бодалев А.А., Стопин В.В. (ред.) Об­щая психодиагностика. М.: Изд-во МГУ, 1987.

Болотов В.А. (ред.) Единый государ­ственный экзамен. Научные основы, ме­тодология и практика организации экс­перимента. М.: Логос, 2002.

Виноградов М.В. Кто не станет обо­ротнем // Российская газета. 2003. 11 дек.

Лучшие психологические тесты. Пет­розаводск, 1992.

Холодная М.А. Тестирование и права личности // Независимая газета. Прило­жение «Наука». 1999.

Шмелев А.Г. (ред.) Основы психоди­агностики. Ростов н/Д: Феникс, 1996.

Шмелев А.Г. Дилетанты и шарлата­ны // Психологическая газета. 1996. №4.

Шмелев А.Г. Продуктивная конку­ренция. М.: Открытое общество, Ма­гистр, 1997.

Шмелев А.Г. «Каша из топора», или История адаптации 16PF в России // Психологическая газета. 1999. № 5.

Шмелев А.Г. Тесты: не угроза, а за­щита прав личности // Независимая газе­та. 1999. 17 нояб.

Шмелев А.Г. Телетестинг. Тесты для старшеклассников и абитуриентов. М.: Первое сентября, 1999-2000.

Fincham R., Rhodes P. Principles of organisational behavior. Oxford: Univ. Press, 1998.

ЧТО ВЫЯВЛЯЮТ ТЕСТЫ ИНТЕЛЛЕКТА И КРЕАТИВНОСТИ?