호손 효과

Hawthorne effect

호손 효과는 개인이 관찰되는 것에 대한 인식에 반응하여 행동의 한 측면을 수정하는 반응성의 한 유형을 가리킨다.[1][2] 일부 학자들은 호손 웨스턴 전기 공장에서 행해진 연구의 맥락에서 발견된 이 잘 알려져 있고 주목할 만한 효과에 대한 묘사가 허구임이 밝혀졌다고 생각한다.[3]

원래 연구에는 일리노이주 시케로에 있는 웨스턴 전기 공장인 호손 워크스(Hawthorne Works)에서 전기 계전기를 만든 노동자들이 참여했다. 1924년과 1927년 사이에 유명한 조명 연구가 실시되었다. 노동자들은 조명에서 거의 변화가 없을 때 생산성이 증가한다고 하는 일련의 조명 변화를 경험했다. 이것은 사실이 아닌 것으로 밝혀졌다.[3] 1928년부터 1932년까지 진행된 엘튼 마요와 관련된 연구에서는, 5명의 여성으로 구성된 그룹으로 일련의 업무 구조 변화(예: 휴식기 변화)가 실시되었다. 그러나 이것은 어떤 확실한 결론도 도출할 수 없는 방법론적으로 빈약하고 통제되지 않는 연구였다.[4]

랜즈버거의 후기 해석 중 하나는 연구 주체가 되는 것의 신기함과 그로 인해 높아진 관심이 노동자들의 생산성을 일시적으로 증가시킬 수 있다는 것을 시사했다.[5] 이 해석은 "호손 효과"라고 불렸다.

역사

호손 작품 항공전, 1925년경

호손 효과(Hawthorne effect)라는 용어는 1958년 헨리 A에 의해 만들어졌다. 랜즈버거는[5] 1924년부터 1932년 사이에 호손 워크스(시케로, 시카고 외곽의 웨스턴 전기 공장)에서 행해진 호손 연구를 분석하던 중이었다. Hawthorne Works는 근로자들이 더 높은 레벨의 빛에서 더 생산적이 될 것인지 아니면 더 낮은 레벨의 빛에서 더 생산적이 될 것인지를 결정하기 위한 연구를 의뢰했다. 변화가 생기면 노동자들의 생산성이 향상되는 것 같았고, 연구가 끝나자 슬럼프에 빠졌다. 생산성 이득은 근로자에게 보여지는 이익의 동기가 되는 효과의 결과로 발생한다고 제안되었다.[6]

이 효과는 미세한 조도 증가를 위해 관찰되었다. 이러한 조명 연구에서는 빛 강도가 근로자 생산성에 미치는 영향을 조사하기 위해 변경되었다. 대부분의 산업 또는 직업 심리학 및 조직 행동 교과서는 호손 효과를 논할 때 조명 연구를 참조한다.[7] 오직 가끔씩만 나머지 연구들이 언급된다.[7]

작업장 조명에 대한 조명 연구가 Hawthorne 효과의 기초를 이루었지만, 깨끗한 워크스테이션 유지, 장애물 바닥 청소, 작업대 이전 등 다른 변화들은 단기간 동안 생산성 향상을 가져왔다. 따라서 이 용어는 모든 유형의 단기 생산성 증가를 식별하기 위해 사용된다.[5][8][9]

릴레이 조립 실험

한 연구에서 연구원들은 두 명의 여성을 시험 과목으로 선택했고 시험 그룹에 들어갈 다른 네 명의 근로자를 선택하라고 했다. 여자들은 5년(1927–1932) 동안 전화 릴레이를 조립하는 동안 별도의 방에서 함께 일했다.

각 작업자가 슈트를 떨어뜨린 완성된 릴레이의 개수를 세어 출력을 기계적으로 측정했다. 이 측정은 실험실로 여성들을 옮기기 2주 전에 비밀리에 시작되어 연구 내내 계속되었다. 실험실에서 그들은 그들의 생산성과 함께 변화에 대해 토론하는 감독관을 두었다. 변수 중 일부는 다음과 같았다.

  • (가장 긴 시간에 대해 그들과 논의한 후) 2번의 5분 휴식 시간을 준 다음 (그들의 선호도가 아닌) 2번의 10분 휴식 시간으로 변경한다. 생산성은 높아졌지만 5분 동안 6차례나 휴식을 취하자 이를 싫어해 생산량을 줄였다.
  • 휴식 시간 동안 음식을 제공하는 것.
  • 하루의 시간을 30분 단축(출력이 증가), 단축(시간당 출력이 증가했지만 전체 출력이 감소함), 첫 번째 조건(출력이 정점을 찍은 경우)으로 복귀.

변수를 변경하면 변수가 원래 상태로 되돌아가는 변화일 뿐일지라도 대개 생산성이 높아졌다. 그러나 이는 실험이 일어나는 목적을 알지 못한 채 인간이 환경에 적응하는 자연스러운 과정이라고 한다. 연구진은 근로자들이 개별적으로 모니터링을 받는다고 생각했기 때문에 더 열심히 일했다고 결론지었다.

연구자들은 자신의 동료들을 고르고, 그룹으로 일하고, 특별하게 대우받고(별실 근무에서 증명된 바와 같이), 동정심 있는 감독자를 두는 것이 생산성 증대의 진짜 이유라고 가설을 세웠다. 주로 엘튼 마요에 기인하는 [10]한 가지 해석은 "6명의 개인이 한 팀이 되어 팀은 실험에 협력하는 데 전폭적이고 자발적으로 자신을 바쳤다."(첫 번째 실험에 비해 결과가 유의미하지 않은 두 번째 릴레이 조립체 시험실 연구가 있었다).

은행 배선실 실험

다음 연구의 목적은 지급 인센티브가 생산성에 어떤 영향을 미칠지 알아내는 것이었다. 놀라운 결과는 생산성이 실제로 감소했다는 것이다. 노동자들은 자신들의 생산성이 나중에 일부 노동자들을 해고하는 것을 정당화하기 위해 향상되었을지도 모른다는 의심을 갖게 된 것 같다.[11] 이 연구는 엘튼 메이오와 W에 의해 수행되었다. 로이드 워너는 1931년과 1932년 사이에 전화 교환 장비를 조립한 14명의 남자들로 구성된 그룹을 만들었다. 연구진은 근로자들이 개별 생산성에 따라 급여를 지급받았지만 남성들이 회사가 기준금리를 낮출 것을 우려해 생산성이 떨어진다는 사실을 밝혀냈다. 남자들에 대한 세밀한 관찰을 통해 형식적인 집단 내에 비공식적인 집단이나 "집단"이 존재한다는 것이 밝혀졌다. 이 집단들은 그것을 시행하기 위한 메커니즘뿐만 아니라 비공식적인 행동 규칙을 개발했다. 이 집단들은 통제 그룹 멤버들과 상사를 관리하는 역할을 했고, 상사들이 질문을 할 때, 비록 그들이 사실이 아니라고 할지라도, 그 집단 멤버들은 같은 대답을 했다. 이러한 결과는 근로자들이 경영진의 통제와 장려책보다 또래 집단의 사회적 힘에 더 많이 반응했음을 보여준다.

해석과 비평

리처드 니스벳은 호손 효과를 "일화를 얻으면 자료를 버릴 수 있다"고 미화한 일화라고 표현해 왔다.[12] 다른 연구자들은 다양한 해석으로 그 효과를 설명하려고 시도했다. J. G. Adair는 Hawthorne 효과에 대한 대부분의 2차 간행물에서 심각한 사실상의 부정확성을 경고했고 많은 연구들이 그것을 발견하지 못했다고 말했다.[13] 그는 오네(1973)의 실험 수요 효과의 변형으로 봐야 한다고 주장했다. 아데어의 경우 호손 효과는 참가자들의 상황 해석에 따라 달라졌다. 사회과학 실험에서는 조작 점검이 중요하다는 것을 시사한다. 그는 관찰되는 것에 대한 인식이 효과의 근원은 아니지만, 참가자들의 상황 해석이 매우 중요하다는 견해를 발전시켰다. 참가자들의 상황 해석은 참가자들의 목표와 어떻게 상호작용하였는가?

호손 효과에 대한 가능한 설명은 실험자에 대한 피드백과 동기 부여의 영향을 포함한다. 그들의 성과에 대한 피드백을 받는 것은 실험이 처음으로 이 피드백을 제공할 때 그들의 능력을 향상시킬 수 있다.[14] 수요 효과에 대한 연구도 최소한 다른 동기와 상충하지 않는다면 사람들이 실험자를 기쁘게 하려는 동기를 부여할 수 있다는 것을 시사한다.[15] 그들은 또한 실험자의 목적을 의심하고 있을 수도 있다.[14] 따라서 호손 효과는 이용 가능한 피드백이나 동기부여의 변화가 있을 때만 발생할 수 있다.

파슨스는 호손 효과를 "실험자가 실험 대상자의 수행 결과가 어떻게 실험 대상자가 하는 일에 영향을 미치는지 깨닫지 못할 경우 발생하는 교란 요인"으로 정의했다[즉, 학습 효과, 영구적인 스킬 향상과 현재 목표에 맞는 피드백 가능 조정 둘 다]. 그의 핵심 주장은 노동자들이 완제품을 낙하산으로 떨어뜨린 연구에서 참여자들이 그들의 작업률 계산대에 접근할 수 있다는 것이었다.[14]

메이요는 근로자들이 관찰자들의 동정과 관심에 반응했기 때문이라고 주장했다. 그는 이번 연구를 실험자 효과의 입증으로서 논의했지만 경영진은 어떻게 노동자들이 다르게 느끼기 때문에 다른 성과를 낼 수 있는지에 대한 관리 효과로서 논했다. 그는 호손 효과의 많은 부분이 근로자들이 감독 받는 것보다 집단으로서 자유롭고 통제할 수 있다는 것을 우려한다고 제안했다. 실험적인 조작은 5인 특별 작업 그룹의 조건이 상점 바닥의 조건과 정말 다르다는 것을 근로자들이 이렇게 느끼도록 설득하는 데 중요했다. 이 연구는 미카 분쇄 노동자들에게도 유사한 효과를 보이며 반복되었다.[10]

클라크와 수그루는 교육 연구 리뷰에서 통제되지 않는 신규성 효과는 표준 편차(SD) 상승의 평균 30%(즉, 50%–63% 상승)에 영향을 미치며, 상승은 8주 후 훨씬 더 작은 효과로 감소한다고 보고했다. 보다 자세한 내용:[16]: 333 최대 4주간 SD의 50%, 5~8주간 SD의 30%, 8주 이상 SD의 20%(분산의 1%)

해리 브레이버먼은 호손 테스트가 산업 심리학에 기초하고 있으며 관련 연구자들은 고용 전 테스트를 통해 노동자들의 성과를 예측할 수 있는지 조사하고 있다고 지적했다. 그 호손 연구"는 노동자들의 성능 및 사실에 종종 반비례 관계 scores.을 시험하기를 자신의 능력에 작은 관계를 보여 주었다.그Weberian 모델에 관료적 형식적인 조직의 .".[17]Braverman은은 정말 공부는 직장이 아닐 것을 보여 준다고 주장했다"a 시스템도 비공식적 집단 관계를 체제로서. 마요와 그의 추종자들에 대한 해석에서, 오히려 권력의 체계, 계급의 적대감"이라고 말했다. 이번 발견은 경영진의 이익을 위해 노동자들을 조종하기 위해 행동과학을 적용하기를 원하는 사람들에게 타격이었다.[17]

경제학자 스티븐 레빗과 존 A. List는 오랫동안 원래의 조명 실험의 기초 데이터(실제 실험은 아니지만 몇몇 작가들은 실험이라고 이름붙여진)를 검색한 후 2011년 밀워키 위스콘신 대학의 마이크로필름에서 찾았다.[18] 다시 분석하여, 그들은 호손 효과에 대한 약간의 증거를 장기적으로는 발견했지만, 처음에 제시된 것만큼 극단적이지는 않았다. 이 발견은 1992년 S R G Jones가 릴레이 실험을 검토하면서 기사의 분석을 뒷받침했다.[20][21] 원래 연구에서 호손 효과에 대한 증거가 없음에도 불구하고, 리스트는 그 효과가 진짜라고 확신하고 있다고 말했다.[22]

구스타프 위크스트룀과 톰 벤딕스(2000년)는 가정된 '호손 효과'가 사실 모호하고 논란의 여지가 있다고 주장하며, 대신 연구자들이 개입 효과성을 평가하기 위해서는 결과에 영향을 미쳤을 수 있는 구체적인 심리적, 사회적 변수를 도입해야 한다고 권고한다.[23]

또한 조명 실험은 종방향 학습 효과에 의해 설명될 수 있다. 파슨스는 조명 실험이 제대로 발표되지 않아 세부 사항을 파악할 수 없다는 이유로 분석을 거부하고 있는 반면 로에틸리스버거와 딕슨과는 폭넓은 개인적 의사소통을 했다.[14]

호손 효과에 대한 평가는 현재에도 계속되고 있다.[24][25][26][27] 그러나 이러한 비판에도 불구하고, 이러한 현상은 연구와 그 결론을 설계할 때 종종 고려된다.[28] 몇몇은 또한 그것을 피하는 방법을 개발했다. 예를 들어, 양방향 거울과 같은 장벽 뒤에서, 또는 눈에 띄지 않는 수단을 사용하여 먼 곳에서 현장 연구를 실시할 때 관찰을 보류하는 경우가 있다.[29]

그린우드, 볼튼, 그린우드(1983)는 실험 참가자들 중 몇 명을 인터뷰한 결과 참가자들의 급여가 현저히 더 높은 것으로 나타났다.[30]

시행효과

여러 의학자들이 임상시험에서 가능한 임상시험 효과(임상시험 효과)를 연구해 왔다.[31][32][33] 일부에서는 단순히 주의와 관찰을 넘어 약간 더 나은 관리, 약간 더 나은 준수/ 고수, 그리고 선택 편향과 같은 다른 요소들이 관련될 수 있다고 가정한다. 후자는 다음과 같은 몇 가지 메커니즘을 가질 수 있다. (1) 의사는 고수 가능성이 더 높고 미래 손실의 가능성이 더 낮은 것으로 보이는 환자를 후속 조치를 위해 모집하는 경향이 있다. (2) 시험의 포함/배제 기준은 종종 최소한 일부 합병증을 배제한다. 비록 이것이 교란 요인을 예방하기 위해 종종 필요하지만, 그것은 또한 트라이아(tria)를 의미한다.ls는 더 건강한 환자 하위 집단과 함께 일하는 경향이 있다.

보조 관찰자 효과

호손 실험에서 대중화된 관찰자 효과가 아마도 거짓으로 확인됨에도 불구하고(위 토론 참조), 이론상 관찰자 효과의 인기와 타당성은 연구자들이 이 효과가 두 번째 수준에서 일어날 수 있다고 가정하도록 만들었다. 따라서 조사 데이터나 다양한 지표와 같은 2차 데이터로 작업하는 연구자가 자신의 과학 연구 결과에 영향을 미칠 수 있는 경우 2차 관찰자 효과가 있을 것으로 제안되었다. (1차 관찰자 효과와 마찬가지로) 피험자에게 영향을 미치기 보다는, 연구자들은 데이터를 처리하는 방법과 심지어 2차 출처로부터 얻는 데이터에 영향을 미치는 그들만의 특이점을 가지고 있을 가능성이 높다. 첫째로, 연구자들은 동일한 데이터(예: 가중치 부여 전략, 인자 분석 기법 또는 추정 선택)를 사용하여 유의하게 다른 결과를 초래하는 겉보기에 무해한 단계를 통계 분석에서 선택할 수 있다. 또한, 연구자들은 작지만 상당한 변동을 초래하는 다른 기본 설정을 가진 소프트웨어 패키지를 사용할 수 있다. 마지막으로, 연구자들이 사용하는 데이터는 그렇게 보여도 동일하지 않을 수 있다. 예를 들어, OECD는 다양한 사회경제적 데이터를 수집하고 배포하지만, 이러한 데이터는 시간이 지남에 따라 변화하기 때문에 2000년도의 호주 GDP 데이터를 다운로드하는 연구자가 몇 년 후 동일한 호주 GDP 2000 데이터를 다운로드하는 연구자와 약간 다른 값을 가질 수 있다. 2차 관찰자 효과에 대한 생각은 네이트 브레즈나우가 지금까지 비교적 잘 알려지지 않은 논문에서 발표되었다.[34]

비록 이 현상에 거의 관심을 기울이지 않았지만, 과학적 의미는 매우 크다.[35] 이러한 효과의 증거는 다수의 연구자나 연구팀에 특정한 문제를 부여한 최근의 연구에서 볼 수 있으며, 이들은 동일한 데이터를 사용해 해결책을 찾기 위해 독립적으로 작업한다. 이것은 크라우드소싱 데이터 분석이라고 불리는 과정으로, 실버존, 라파엘, 에릭 울만, 댄 마틴, 브라이언 노섹 외(2015)가 축구(즉, 축구)에서의 레드카드와 선수 경주에 대해 실시한 획기적인 연구에 사용되었다.[36][37]

참고 항목

참조

  1. ^ McCarney R, Warner J, Iliffe S, van Haselen R, Griffin M, Fisher P (2007). "The Hawthorne Effect: a randomised, controlled trial". BMC Med Res Methodol. 7: 30. doi:10.1186/1471-2288-7-30. PMC 1936999. PMID 17608932.
  2. ^ Fox NS, Brennan JS, Chasen ST (2008). "Clinical estimation of fetal weight and the Hawthorne effect". Eur. J. Obstet. Gynecol. Reprod. Biol. 141 (2): 111–4. doi:10.1016/j.ejogrb.2008.07.023. PMID 18771841.
  3. ^ Jump up to: a b Levitt, S. D.; List, J. A. (2011). "Was there really a Hawthorne effect at the Hawthorne plant? An analysis of the original illumination experiments" (PDF). American Economic Journal: Applied Economics. 3: 224–238. doi:10.1257/app.3.1.224.
  4. ^ Schonfeld, I. S.; Chang, C.-H. (2017). Occupational health psychology: Work, stress, and health. New York: Springer. ISBN 978-0-8261-9967-6.
  5. ^ Jump up to: a b c Landsberger, H. A. (1958). Hawthorne Revisited. Ithaca. OCLC 61637839.
  6. ^ Cox, Erika (2000). Psychology for AS Level. Oxford: Oxford University Press. p. 158. ISBN 0198328249.
  7. ^ Jump up to: a b Olson, R.; Verley, J.; Santos, L.; Salas, C. (2004). "What We Teach Students About the Hawthorne Studies: A Review of Content Within a Sample of Introductory I-O and OB Textbooks" (PDF). The Industrial-Organizational Psychologist. 41: 23–39. Archived from the original (PDF) on 2011-11-03.
  8. ^ 엘튼 메이요, 호손과 웨스턴 전기 회사, 1949년 루트리지 산업 문명의 사회적 문제
  9. ^ Bowey, Dr. Angela M. "MOTIVATION AT WORK: a key issue in remuneration". Archived from the original on 1 July 2007. Retrieved 22 November 2011.CS1 maint: bot: 원래 URL 상태를 알 수 없음(링크)
  10. ^ Jump up to: a b 마요, 엘튼(1945) 산업문명의 사회문제. 보스턴: 하버드 대학 경영대학원 연구부, 페이지 72
  11. ^ Henslin, James M. (2008). Sociology: a down to earth approach (9th ed.). Pearson Education. p. 140. ISBN 978-0-205-57023-2.
  12. ^ Kolata, G. (December 6, 1998). "Scientific Myths That Are Too Good to Die". New York Times.
  13. ^ Adair, J.G. (1984). "The Hawthorne Effect: A reconsideration of the methodological artifact" (PDF). Journal of Applied Psychology. 69 (2): 334–345. doi:10.1037/0021-9010.69.2.334. Archived from the original (PDF) on 2013-12-15. Retrieved 2013-12-12.
  14. ^ Jump up to: a b c d Parsons, H. M. (1974). "What happened at Hawthorne?: New evidence suggests the Hawthorne effect resulted from operant reinforcement contingencies". Science. 183 (4128): 922–932. doi:10.1126/science.183.4128.922. PMID 17756742. S2CID 38816592.
  15. ^ Steele-Johnson, D.; Beauregard, Russell S.; Hoover, Paul B.; Schmidt, Aaron M. (2000). "Goal orientation and task demand effects on motivation, affect, and performance". The Journal of Applied Psychology. 85 (5): 724–738. doi:10.1037/0021-9010.85.5.724. PMID 11055145.
  16. ^ Clark, Richard E.; Sugrue, Brenda M. (1991). "30. Research on instructional media, 1978-1988". In G.J.Anglin (ed.). Instructional technology: past, present, and future. Englewood, Colorado: Libraries Unlimited. pp. 327–343.
  17. ^ Jump up to: a b Braverman, Harry (1974). Labor and Monopoly Capitalism. New York: Monthly Review Press. pp. 144–145. ISBN 978-0853453406.
  18. ^ BBC 라디오 4 프로그램 More Or Less, "The Hawthorne Effect"는 존 리스트의 기고를 받아 팀 하포드가 2013년 10월 12일에 방송했다.
  19. ^ Levitt, Steven D.; List, John A. (2011). "Was There Really a Hawthorne Effect at the Hawthorne Plant? An Analysis of the Original Illumination Experiments" (PDF). American Economic Journal: Applied Economics. 3 (1): 224–238. doi:10.1257/app.3.1.224. S2CID 16678444.
  20. ^ "Light work". The Economist. June 6, 2009. p. 80.
  21. ^ Jones, Stephen R. G. (1992). "Was there a Hawthorne effect?" (PDF). American Journal of Sociology. 98 (3): 451–468. doi:10.1086/230046. JSTOR 2781455. S2CID 145357472.
  22. ^ 팟캐스트, 2013년 10월 12일 정도, 6m 15초 이후
  23. ^ Wickström, Gustav; Bendix, Tom (2000). "The "Hawthorne effect" — what did the original Hawthorne studies actually show?". Scandinavian Journal of Work, Environment & Health. Scandinavian Journal of Work, Environment and Health. 26 (4): 363–367. doi:10.5271/sjweh.555.
  24. ^ Kohli E, Ptak J, Smith R, Taylor E, Talbot EA, Kirkland KB (2009). "Variability in the Hawthorne effect with regard to hand hygiene performance in high- and low-performing inpatient care units". Infect Control Hosp Epidemiol. 30 (3): 222–5. doi:10.1086/595692. PMID 19199530. S2CID 19058173.
  25. ^ Cocco G (2009). "Erectile dysfunction after therapy with metoprolol: the hawthorne effect". Cardiology. 112 (3): 174–7. doi:10.1159/000147951. PMID 18654082. S2CID 41426273.
  26. ^ Leonard KL (2008). "Is patient satisfaction sensitive to changes in the quality of care? An exploitation of the Hawthorne effect". J Health Econ. 27 (2): 444–59. doi:10.1016/j.jhealeco.2007.07.004. PMID 18192043.
  27. ^ "What is Hawthorne Effect?". MBA Learner. 2018-02-22. Archived from the original on 2018-02-26. Retrieved 2018-02-25.
  28. ^ Salkind, Neil (2010). Encyclopedia of Research Design, Volume 2. Thousand Oaks, CA: SAGE Publications, Inc. p. 561. ISBN 9781412961271.
  29. ^ Kirby, Mark; Kidd, Warren; Koubel, Francine; Barter, John; Hope, Tanya; Kirton, Alison; Madry, Nick; Manning, Paul; Triggs, Karen (2000). Sociology in Perspective. Oxford: Heinemann. pp. G-359. ISBN 9780435331603.
  30. ^ Greenwood, Ronald G.; Bolton, Alfred A.; Greenwood, Regina A. (1983). "Hawthorne a Half Century Later: Relay Assembly Participants Remember". Journal of Management. 9 (2): 217–231. doi:10.1177/014920638300900213. S2CID 145767422.
  31. ^ Menezes P, Miller WC, Wohl DA, Adimora AA, Leone PA, Eron JJ (2011), "Does HAART efficacy translate to effectiveness? Evidence for a trial effect", PLoS ONE, 6 (7): e21824, Bibcode:2011PLoSO...621824M, doi:10.1371/journal.pone.0021824, PMC 3135599, PMID 21765918.
  32. ^ Braunholtz DA, Edwards SJ, Lilford RJ (2001), "Are randomized clinical trials good for us (in the short term)? Evidence for a "trial effect"", J Clin Epidemiol, 54 (3): 217–224, doi:10.1016/s0895-4356(00)00305-x, PMID 11223318.
  33. ^ McCarney R, Warner J, Iliffe S, van Haselen R, Griffin M, Fisher P (2007), "The Hawthorne Effect: a randomised, controlled trial", BMC Medical Research Methodology, 7: 30, doi:10.1186/1471-2288-7-30, PMC 1936999, PMID 17608932.
  34. ^ Breznau, Nate (2016-05-03). "Secondary observer effects: idiosyncratic errors in small-N secondary data analysis". International Journal of Social Research Methodology. 19 (3): 301–318. doi:10.1080/13645579.2014.1001221. ISSN 1364-5579. S2CID 145402768.
  35. ^ Shi, Yuan; Sorenson, Olav; Waguespack, David (2017-01-30). "Temporal Issues in Replication: The Stability of Centrality-Based Advantage". Sociological Science. 4: 107–122. doi:10.15195/v4.a5. ISSN 2330-6696.
  36. ^ Silberzahn, Raphael; Uhlmann, Eric L.; Martin, Daniel P.; Nosek, Brian A.; et al. (2015). "Many analysts, one dataset: Making transparent how variations in analytical choices affect". OSF.io. Retrieved 2016-12-07.
  37. ^ "Crowdsourcing Data to Improve Macro-Comparative Research". Policy and Politics Journal. 2015-03-26. Retrieved 2016-12-07.


  • 시멘, 쇼시 "코스트코는 코로나바이러스 발병으로 인해 대규모 쇼핑이 급증함에 따라 미국 전역의 시간당 2달러를 추가로 지급하고 있다." 비즈니스 인사이더, 비즈니스 인사이더, 2020년 3월 23일 www.businessinsider.com/costco-pays-workers-2-dollars-an-hour-more-coronavirus-2020-3
  • 밀러, 캐서린, 그리고 조슈아 바버. 조직 통신: 접근 방식 및 프로세스 7판. Cengage Learning, 2014.

링크