요약: 새로운 연구에서는 모범 사례를 적용할 때 사회 행동 과학 연구 결과의 재현성을 보여주는 연구 결과가 나왔습니다.
6년간의 프로젝트에는 사전 등록 및 대규모 표본 크기와 같은 방법을 사용하여 16개의 새로운 결과를 발견하고 복제하는 작업이 포함되었습니다.
이 작업은 이전 수치 약 50%에 비해 평균 97%의 재발률을 보여줌으로써 해당 분야에서 출판된 문헌의 신뢰성에 대한 이전 우려에 도전합니다.
중요한 사실:
- 이 연구에는 6년 동안 120,000명의 참가자가 포함되었으며, 이는 사회 행동 과학에서 16가지 새로운 현상을 발견하고 복제하는 결과를 가져왔습니다.
- 연구진은 대규모 표본 크기, 사전 등록, 공개 자료 등의 모범 사례를 사용했으며 통계적 유의성을 기준으로 86%의 복제율을 달성했습니다.
- 이 프로젝트의 혁신적인 설계는 기본 결과에 관계없이 모든 연구를 복제하고 종종 긍정적인 결과를 선호하는 출판 및 복제 편견을 해결하는 데 중점을 둡니다.
원천: 캘리포니아 대학교, 산타바바라
거의 20년 동안 사회 행동 과학, 특히 심리학 분야에서 출판된 문헌의 신뢰성에 관한 지역 사회 수준의 설명이 등장했습니다.
몇몇 대규모 연구에서는 이전에 발표된 결과를 성공적으로 재현하지 못하거나 훨씬 적은 양으로 재현하려고 시도했으며 결과의 신뢰성과 사회 행동 과학의 향후 연구에 의문을 제기했습니다.
그러나 해당 분야의 선도적인 전문가 그룹은 모범 사례를 사용하면 복제 가능성이 높다는 사실을 보여주기 시작했습니다.
6년 동안 산타바바라 캘리포니아 대학교, 버클리 캘리포니아 대학교, 스탠포드 대학교, 버지니아 대학교 연구소의 연구원들은 16개의 새로운 발견을 발견하고 사전 등록을 포함하여 표면적으로는 최적의 표준 모범 사례를 사용하여 이를 복제했습니다. , 큰 샘플 크기 및 정밀한 복제.
그들의 연구 결과는 인간 행동의 본질이미 모범 사례를 통해 높은 재현성을 달성할 수 있음을 나타냅니다.
“이것은 우리가 새로운 발견을 발견하고 이를 매우 높은 수준에서 복제할 수 있다는 실존적 증거입니다.”라고 UC Santa Barbara의 저명한 교수이자 UCSF의 META 연구소 소장이자 의식 및 인간 잠재력 센터의 수석 연구원인 Jonathan Schooler는 말했습니다. 작가. 종이에서.
“주요 발견은 온라인 사회 행동 연구를 수행하고 복제하는 데 있어 현재의 모범 사례를 따를 때 일반적으로 높고 안정적인 복제율을 달성할 수 있다는 것입니다.”
연구의 복제 결과는 평균적으로 원래 결과 크기의 97%였습니다. 이에 비해 이전 복제 프로젝트에서는 약 50%의 복제 결과가 관찰되었습니다.
본 논문의 수석 연구원은 샌프란시스코 캘리포니아 대학교와 센트럴 코네티컷 주립대학교(CCSU) META 연구소의 John Protzko, 스탠포드 대학교 정치 심리학 연구 그룹의 John Krosnick, 하스 대학의 Leif Nelson이었습니다. University of California, Berkeley의 비즈니스 및 버지니아 대학교 소속 Brian Nosek. 그는 독립 오픈 사이언스 센터(Center for Open Science)의 전무이사입니다.
“지난 몇 년 동안 많은 과학의 재현성에 대해 많은 우려가 있었지만 심리학은 이 문제를 체계적으로 조사하기 시작한 첫 번째 분야 중 하나였습니다.”라고 Schooler Lab의 연구원이자 수석 저자인 Protzko가 말했습니다. 그는 기반을 두었습니다. “. 연구 중 박사후 연구원. 그는 현재 CCSU의 심리학 조교수입니다.
“문제는 이전 복제 실패와 낮은 효과 크기가 내가 관찰한 다양한 과학 분야에 본질적으로 내재되어 있는지 여부였습니다. 예를 들어 일부에서는 새로 발견된 결과가 시간이 지남에 따라 복제 가능성이 떨어지거나 작아질 수 있다는 것이 과학 사업의 고유한 측면이라고 추측했습니다. .시간.
이 그룹은 개방형 과학의 새로운 모범 사례를 사용하여 새로운 연구를 수행한 다음, 연구자들이 결과에 관계없이 초기 확증 연구를 반복하는 혁신적인 설계로 이를 복제하기로 결정했습니다.
6년에 걸쳐 각 실험실의 연구팀은 다른 모든 실험실에서 복제된 연구를 개발했습니다.
전체적으로 연합은 16개의 새로운 현상을 발견했으며 120,000명의 참가자를 대상으로 각 현상을 4번 반복했습니다.
“새로운 과학을 발견하는 데 대규모 샘플, 사전 등록 및 공개 자료의 모범 사례를 사용하고 원래 프로세스를 최대한 충실하게 복제하면 재현성이 매우 높은 과학이 탄생할 것입니다.” Protzko는 결과에 대해 말했습니다.
이 연구를 통해 소개된 주요 혁신 중 하나는 모든 참여 실험실이 결과에 관계없이 초기 확증 연구를 반복하는 데 동의했다는 것입니다.
이는 과거에 효과 크기에 대한 초기 평가를 부풀리는 데 기여했을 수 있는 긍정적인 결과만 게시하고 복제하는 과학계의 일반적인 편견을 제거했습니다.
더욱이, 이 접근법을 통해 연구자들은 연구 설계가 원래 주장에서 유의미한 결과를 도출하지 못한 많은 사례를 관찰할 수 있었고, 나중에 다른 실험실에서 재현했을 때 신뢰할 수 있는 효과를 얻을 수 있었습니다.
전반적으로 이 프로젝트는 사회적 행동 결과에 대해 매우 높은 재발률을 나타냈으며 재발 감소에 대한 통계적으로 유의미한 증거는 없었습니다.
연구진은 표본 크기와 효과 크기를 고려할 때 통계적 유의성을 기준으로 관찰된 재발률 86%가 이보다 높을 수 없다고 지적했습니다.
연구 결과의 참신성을 테스트하기 위해 그들은 새로운 연구 결과의 방향과 적용 가능성에 대한 사람들의 기대에 대해 독립적인 테스트를 수행했습니다.
순진한 참가자들이 새로운 연구와 이전 복제 프로젝트와 관련된 설명에 대한 설명을 평가한 여러 후속 설문 조사에서는 각각의 예측 가능성에 차이가 없음을 발견했습니다.
따라서 이러한 연구의 성공은 필연적으로 반복될 것으로 예상되는 명확한 결과를 발견했기 때문이 아닙니다. 실제로 새로 발견된 연구 결과 중 다수는 이미 고품질 저널에 독립적으로 출판되었습니다.
Schooler는 “완벽하게 명확한 결과를 재현하는 것이 쉽다는 사실을 발견하는 것은 특별히 흥미롭지 않을 것입니다.”라고 말했습니다.
“그러나 우리 연구는 과거에 복제하기 어려웠던 연구와 놀랍게도 유사했습니다.
“우리 연구와 이전 복제 노력의 유사한 두 가지 조건 연구에서 두 가지 조건에 대한 요약을 받은 훈련받지 않은 심사관들은 이전 연구 결과와 비교하여 우리 연구 결과의 방향을 예측하는 것이 마찬가지로 어렵다는 것을 알았습니다.”
각 연구실은 자체 연구를 개발했기 때문에 마케팅, 정치 심리학, 편견, 의사결정 등 다양한 사회적, 행동적, 심리학적 분야에서 연구를 진행했습니다. 그들은 모두 인간을 대상으로 삼았으며 속임수를 사용하지 않는 등 특정 제한 사항을 준수했습니다.
Protzko는 “우리는 개별 실험실이 독립적으로 운영될 수 있도록 프로세스를 실제로 구성했습니다.”라고 말했습니다. “그들은 자신이 관심을 갖고 있는 일반적인 주제와 연구 진행 방법에 대해 이야기하곤 했습니다.”
종합적으로, 그들의 과학적 연구는 낮은 재현성과 낮은 효과가 불가피하지 않다는 증거를 제공합니다. 엄격함을 강화하는 관행은 재발률이 매우 높을 수 있지만 어떤 관행이 가장 효과적인지 정확하게 결정하려면 추가 연구가 필요합니다.
정확성을 동시에 높이기 위해 여러 실습을 사용하는 이 연구의 “주방 싱크대” 접근 방식은 단일 실습의 효과를 분리하지 않았습니다.
이 연구에 대한 추가 연구원은 Jordan Axt(캐나다 몬트리올에 있는 McGill University의 심리학과)입니다. 매트 버넷(맷 버넷 컨설팅); Nicholas Butrick(위스콘신 대학교 매디슨 심리학과), Matthew Dibble(스탠포드 대학교 사회과학 연구소), Charles R. Ebersol(버지니아 대학교 심리학과), Sebastian Lundmark(대학교 SOM 연구소) 스웨덴 예테보리); Bo McInnis(스탠포드 대학교 커뮤니케이션학과), Michael O’Donnell(조지타운 대학교 McDonough 경영대학원); Hannah Perfecto(세인트루이스 워싱턴 대학교 Olin 경영대학원); 제임스 E. Pustiowski(위스콘신 대학교 매디슨 캠퍼스 교육 심리학과); 스콧 S. Roeder(사우스캐롤라이나대학교 달라 무어 경영대학원); Jan Walczyk(독일 베를린 Fennoscience 연구소).
사회 행동 연구 뉴스 소개
작가: 데브라 헤릭
원천: 캘리포니아 대학교, 산타바바라
의사소통: 데브라 헤릭(Debra Herrick) – 캘리포니아대학교 산타바바라 캠퍼스
그림: 이미지 제공: 신경과학 뉴스
원래 검색: 오픈 액세스.
“새로 발견된 사회적 행동 결과의 높은 재현성을 얻을 수 있습니다.“Jonathan Schooler 외. 인간 행동의 본질
요약
새로 발견된 사회적 행동 결과의 높은 재현성을 얻을 수 있습니다.
새로운 발견에 대한 증거를 복제하는 데 실패함으로써 과학자들은 이러한 신뢰성이 차선의 방법 구현으로 인한 것인지 아니면 이상적인 방법이 실제로는 최적이 아닌지 의문을 제기하게 되었습니다.
이 논문은 확증 테스트, 대규모 표본 크기, 사전 등록 및 방법론적 투명성과 같은 엄격함을 강화하는 방법을 사용하여 16개의 새로운 실험 결과의 잠재적 재현성에 대한 4개 조정 실험실의 연구를 제시합니다.
평균 50%의 복제율을 보고한 이전의 체계적인 복제 노력과 달리, 여기서의 복제 시도는 유의성 테스트에서 예상한 효과를 생성했습니다(에스<0.05) 86%의 시험에서 관찰된 효과 크기와 표본 크기를 기반으로 예상되는 최대 재현성을 약간 초과했습니다.
한 실험실에서 다른 실험실에서 발견한 효과를 재현하려고 시도했을 때 반복실험의 효과 크기는 원래 연구의 효과 크기의 97%였습니다.
이러한 높은 재발률은 새로운 발견의 재현성을 높이기 위한 정밀도 향상 방법에 대한 신뢰를 정당화합니다.
“란 현기는 다양한 장르의 책을 즐겨 읽는 전문 독자입니다. 그는 TV 프로그램에 깊은 애정을 갖고 있으며, 적극적으로 소셜 미디어를 활용합니다. 베이컨과 다양한 음식에 대한 그의 애정은 특별하며, 그의 글속에서도 그 애정이 느껴집니다.”