Детские болезни психологии: воспроизводимость экспериментов

Наверняка в жизни каждого юного исследователя бывают моменты, когда хочется отложить учебную литературу и на время и окунуться в мир современной науки, где без остановки ведутся поиски истины и проводится огромное количество инновационных экспериментов… Однако, если вам действительно неравнодушен мир передовой психологии, то осмелюсь предположить, что после нашего рассказа при чтении статей данного раздела вы будете ощущать неприятный осадок: самые громкие новости мира психологии связаны совсем не с научными прорывами. Уже догадались, о чём пойдет речь?


Хроника упадка

Почти год назад команда учёных-добровольцев в количестве 270 человек, возглавляемых Брайаном Нозеком, решила проверить воспроизводимость психологических экспериментов, представленных в статьях за 2008 год. Выборкой послужили публикации трёх влиятельных журналов: Psychological Science (PSCI); Journal of Personality and Social Psychology (JPSP); Journal of Experimental Psychology: Learning, Memory, and Cognition (JEP: LMC). Результаты их работы, опубликованные в августовском номере журнала Science, произвели настоящий фурор: истина, которую Reproducibility Project так чаял обрести, показалась невероятной даже самым ярым критикам научности психологии.

Согласно полученным данным, только 39% из проверенных исследований оказались воспроизводимыми, но даже в этом скромном проценте размер эффекта был в среднем в два раза ниже, чем заявленный в оригинальных статьях. Для дальнейшего анализа всех витков этой истории давайте сначала разберёмся, что есть воспроизводимость и почему этот показатель так важен для объективности науки. Психологическое исследование считается успешным, если его р-уровень значимости (p-value) меньше 0,05; это значит, что статистическая вероятность возникновения данного эффекта в схожих лабораторных или реальных условиях составляет 95%. Далее, исследование считается успешно воспроизведённым, если при повторном его проведении достигаются статистически значимые результаты (то есть, p-value находится близко к эталонному значению). А теперь ужасающая правда: большинство репликаций оригинальных исследований даже не приблизились к этим цифрам. Ещё немного тревожной статистики, над которой стоит задуматься: в среднем исследования из когнитивного Journal of Experimental Psychology были успешно воспроизведены в 50% случаев, в то время как из социально-психологических исследований Journal of Personality and Social Psychology удалось воспроизвести лишь в 25%. Эффект репликационного проекта Нозека и соавторов в мире психологии был сродни термоядерной бомбе и наделал много шума, задев болезненную мозоль исследователей, но благодаря их усилиям нам был дан шанс встретиться с основными проблемами научной психологии лицом к лицу и попытаться исправить положение дел.


Кто виноват?

Солью Reproducibility Project является информация о том, по каким причинам психологические исследования хромают на обе ноги. Сам Нозек выделяет следующий фактор: современную культуру научных публикаций, благодаря которой предпочтение отдаётся подтверждаемым гипотезам и новизне выявленных эффектов. Публикация работы для молодых специалистов становится сверхцелью, и в таком случае совсем неудивительно, что подгоняемые поговоркой «Публикуйся или исчезни» («Publish or perish») ученые относятся к обработке результатов и дизайну эксперимента не так трепетно, как могли бы. На данный момент многие исследователи страдают такими научными недугами, как вольная интерпретация полученных данных, использование в опубликованной выборке только лучших образцов, а также формирование якобы подтверждённой гипотезы уже после того, как был проведен эксперимент, — такое мнимое обладание «даром предвидения» создаёт дополнительное давление в сфере публикации только положительных результатов. И это далеко не полный список ухищрений, на которые идут исследователи, пусть даже не осознавая всей тяжести последствий!


У психологии есть свои адвокаты

Не спешите хоронить психологию в склепе алхимии, эзотерики и астрологии, всё не так просто! Реакцией на статью стали скрупулезные перепроверки и критические комментарии многих других серьёзных учёных. Вкратце опишем самые серьёзные замечания. К примеру, Алекс Этз использовал байесовский анализ для проверки истинности полученных результатов: оказалось, что около трети репликаций не подтверждают, но и не опровергают начальную гипотезу, следовательно, являются неинформативными. Нетрудно заметить, что это серое пятно в результатах «портит» полученный процент. Дэниел Гилберт из Гарварда при анализе проекта заметил три другие погрешности, устранение которых могло бы ощутимо повлиять на злополучный процент.

Во-первых, критикуется малая мощность репликаций (ManyLabs проводили схожее исследование, но в их случае эксперимент повторялся не 1, а 35 раз; благодаря таким мега-выборкам общая успешность воспроизведений была намного выше).

Во-вторых, большие вопросы вызывает точность воспроизведений, многие из которых проводились в других странах и при других условиях. Авторы проекта парируют, что изменения в дизайне экспериментов были минимальными и достаточными для успешной репликации.

В-третьих, в огород Нозека падает камень статистики: его гарвардские коллеги считают, что сами участники Reproducibility Project неточно интерпретировали данные! Но здесь придётся поверить им на слово, ибо жонглирование процентами и споры о статистических критериях — дело очень тёмное и малопонятное. К тому же, грешит с воспроизводимостью экспериментов не только психология. Сам Нозек в оригинальной статье упоминает другую работу, связанную с проверкой онкологических исследований, — их воспроизводимость оказалась ещё ниже, чем в психологии. Может быть, 39% — это не так уж мало? В итоге и авторы проекта, и их критики соглашаются в одном: эффекты психологических исследований являются такими хрупкими из-за главного участника исследований — человека, психика которого, как известно, весьма непостоянна.


Словно феникс

Пока ваш внутренний критик в смятении оценивает все «за и «против», решая, кому же в итоге верить, приведём комментарий самих авторов Reproducibility Project: «Любой, кто поддастся искушению интерпретировать эти результаты как поражение для психологии или науки в целом, должен считаться с тем фактом, что данный проект демонстрирует должное поведение науки». Действительно, основной критерий истины — не что иное, как практика, и только с помощью практики мы сможем построить фундамент объективности для психологии и развить её в нужном русле. Так почему бы не начать заново?

Автор: Мария Юрлова

Источники: 1. http://thinkcognitive.org/ru/blog/o-reproducibility-p.. 2. http://kot.sh/statya/974/nepovtorimyy-effekt 3. https://nplus1.ru/news/2015/08/28/psychology-studies-.. 4. http://science.sciencemag.org/content/349/6251/aac4716 5. http://science.sciencemag.org/content/349/6251/aac4716 6. http://www.theatlantic.com/science/archive/2015/08/ps..

Subscribe to Our Newsletter

  • White Facebook Icon

© 2023 by TheHours. Proudly created with Wix.com