현장 실험

Field experiment
시리즈의 일부
조사.
A laptop computer next to archival materials
학술 분야 목록
리서치 디자인.
철학
조사 전략
방법론
방법들
도구 및 소프트웨어
철학 포털

현장 실험은 실험실 환경 밖에서 수행되는 실험입니다.

인과 관계의 주장을 검정하기 위해 치료 또는 관리 그룹에 피실험자(또는 다른 표본 추출 단위)를 랜덤하게 할당합니다.무작위 할당은 치료와 대조군의 비교 가능성을 확립하는 데 도움이 되며, 따라서 치료가 투여된 후에 나타나는 차이가 그룹 간의 기존 차이보다는 치료의 영향을 합리적으로 반영할 수 있다.현장 실험의 구별되는 특징은 실제 환경에서 종종 눈에 띄지 않게 수행된다는 것이다.이것은 인위적이고 고도로 통제된 실험실의 환경에서 가설을 실험함으로써 과학적 통제를 강화하는 실험실 실험과는 대조적이다.현장 실험은 자연발생 실험 및 준실험과 [1]몇 가지 맥락적 차이가 있다.자연발생 실험은 무작위화 처리 할당과 이행을 통제하는 외부 세력(예: 정부, 비영리 등)에 의존하는 반면, 현장 실험은 연구자가 무작위화와 이행을 통제해야 한다.준실험은 치료제를 무작위로 투여할 때 발생한다(예: 후보자가 얇은 마린,[2] 날씨 패턴, 자연재해 등으로 승리하는 미국 의회 선거구).

현장 실험에는 다양한 수준의 일반성을 가진 광범위한 실험 설계가 포함됩니다.일반성의 일부 기준(예: 치료, 참가자, 맥락 및 결과 측정의 신뢰성)은 실험 표본의 대상과 나머지 모집단 사이의 맥락적 유사성을 참조한다.그것들은 보건, 교육, 범죄, 사회복지, 정치와 같은 분야에서 정책 관련 개입의 효과를 연구하기 위해 사회과학에서 점점 더 많이 사용되고 있다.

특성.

무작위 할당에서, 피실험자는 비결정론적 [3]확률을 기반으로 그룹에 할당되기 때문에 현장 실험의 결과는 실제 세계를 반영한다.다른 두 가지 핵심 가정은 편견이 없는 잠재적 결과를 수집할 수 있는 연구자의 능력의 기초가 된다. 배제 가능성과 [4][5]비간섭성이다.제외 가능성 가정은 유일하게 관련된 원인 인자가 치료제의 수령이라는 것을 제공한다.치료 및 대조군의 할당, 관리 또는 측정의 비대칭성은 이 가정을 위반한다.비간섭 가정 또는 안정적인 단위 치료 값 가정(SUTVA)은 결과 값이 대상에게 치료제가 할당되었는지 여부와 다른 대상자에게 치료제가 할당되었는지 여부에 따라서만 결정된다는 것을 나타냅니다.이 세 가지 핵심 가정이 충족되면 연구자들은 현장 실험을 통해 편향되지 않은 추정치를 제공할 가능성이 더 높습니다.

현장 실험을 설계하고 데이터를 수집한 후, 연구자들은 통계적 추론 테스트를 사용하여 피험자에 대한 개입 효과의 크기와 강도를 결정할 수 있습니다.현장 실험을 통해 연구자들은 다양한 양의 데이터를 수집할 수 있습니다.예를 들어, 연구자는 적절한 통계 추론 방법으로 시험 전 및 시험 후 정보를 사용하는 실험을 설계하여 개입이 결과의 주제 수준 변화에 영향을 미치는지 확인할 수 있다.

실용적인 용도

현장 실험은 연구자들에게 이론을 테스트하고 더 높은 외부 유효성으로 질문에 답할 수 있는 방법을 제공한다. 왜냐하면 그들은 실제의 [6]사건들을 시뮬레이션하기 때문이다.일부 연구자들은 현장 실험이 잠재적 편향과 편향된 추정치에 대한 더 나은 보호책이라고 주장합니다.또한 현장 실험은 관측 데이터를 실험 결과와 비교하는 벤치마크 역할을 할 수 있습니다.현장 실험을 벤치마크로 사용하는 것은 관찰 연구의 편향 수준을 결정하는 데 도움이 될 수 있으며, 연구자들은 종종 선험적 판단에서 가설을 개발하므로 벤치마크는 [7]연구에 신뢰성을 추가하는 데 도움이 될 수 있다.일부에서는 공변량 조정 또는 일치 설계가 치우침을 제거하는 데 효과적일 수 있다고 주장하지만 현장 실험은 관측된 [9]인자와 관측되지 않은 인자를 더 잘 할당하기 때문에 생략된 변수 치우침을 대체하여 확실성을 높일[8] 수 있습니다.

연구자들은 기계 학습 방법을 사용하여 실험 [10]데이터를 시뮬레이션, 재무게 부여 및 일반화할 수 있습니다.이를 통해 실험 결과 수집 속도와 효율성이 향상되고 실험 구현 비용이 절감됩니다.현장 실험의 또 다른 최첨단 기술은 다중 무장 밴디트 [11]설계의 사용이다. 여기에는 시간에 [12]따른 가변 결과와 가변 처리가 있는 실험에 대한 유사한 적응 설계가 포함된다.

제한 사항

다른 연구 설계(예: 실험실 실험, 조사 실험, 관찰 연구 등) 대신 현장 실험을 사용하는 것에 대한 제한과 반론이 있다.현장 실험은 반드시 특정한 지리적, 정치적 환경에서 이루어지기 때문에, 관심 집단에 관한 일반 이론을 형성하기 위해 결과를 외삽하는 것에 대한 우려가 있다.그러나 연구자들은 치료 인구와 외부 인구의 환경을 비교하고, 더 큰 표본 크기에서 정보에 접근하며,[13] 표본 내 치료 효과 이질성에 대한 설명과 모델링을 통해 표본 외부의 인과 효과를 효과적으로 일반화하는 전략을 찾기 시작했다.다른 사람들은 현장 실험 모집단에서 외부 [14]모집단으로 일반화하기 위해 공변량 블럭화 기법을 사용했습니다.

필드 실험에 영향을 주는 비준수 문제(일방 [15][16]및 양방 비준수 모두)는 특정 그룹에 할당된 피험자가 할당된 개입을 받지 않을 때 발생할 수 있습니다.데이터 수집의 다른 문제로는 특정 조건에서 수집된 데이터가 편향되는 소모(치료 대상자가 결과 데이터를 제공하지 않는 경우)가 있습니다.이러한 문제는 부정확한 데이터 분석을 초래할 수 있지만, 현장 실험을 사용하는 연구자는 이러한 어려움이 [16]발생하더라도 유용한 정보를 계산할 때 통계적 방법을 사용할 수 있다.

현장 실험을 사용하는 것은 또한 피실험자 간의 간섭에[17] 대한 우려로 이어질 수 있습니다.치료 대상자 또는 그룹이 (치환, 통신, 전염 등의 조건을 통해) 치료되지 않은 그룹의 결과에 영향을 미치는 경우, 치료되지 않은 그룹은 진정한 치료되지 않은 결과가 될 수 없다.간섭의 서브셋은 스필오버 효과이며, 이는 처리된 그룹의 처리가 인접 치료되지 않은 그룹에 영향을 미칠 때 발생합니다.

현장 실험은 비용이 많이 들고 시간이 오래 걸리고 재현이 어려우며 윤리적 함정에 시달릴 수 있습니다.치료제 선택에서 불공정성에 대한 인식이 있는 경우(예: '부정 소득세' 실험에서는 지역사회가 현금 이체를 위해 로비할 수 있으므로 할당이 순수하게 무작위적이지 않다) 피험자나 모집단이 시행 과정을 훼손할 수 있다.모든 피험자로부터 동의서를 수집하는데는 한계가 있다.개입을 하거나 데이터를 수집하는 동지들은 무작위화 계획을 오염시킬 수 있다.따라서 결과 데이터는 표준 편차가 크고 정밀도와 정확도가 떨어지는 등 더 다양해질 수 있다.따라서 현장 테스트에 더 큰 샘플 사이즈가 사용됩니다.그러나 다른 사람들은 반복성이 어렵더라도 실험 결과가 중요하면 실험이 반복될 가능성이 더 크다고 주장합니다.또한 현장 실험에서는 "스텝 웨지"[18] 설계를 채택할 수 있으며, 최종적으로는 샘플 전체가 다른 타이밍 스케줄의 개입에 액세스 할 수 있습니다.연구자들은 조작 가능성을 제거하기 위해 블라인드 현장 실험을 설계할 수도 있다.

예

연구소와 현장의 실험 역사는 물리, 자연, 생명과학에 오랜 영향을 끼쳤다.현대의 사용 현장 실험은 제임스 린드가 괴혈병 [19]치료제를 식별하기 위해 통제된 현장 실험을 이용했던 1700년대에 뿌리를 두고 있습니다.

현장 실험을 사용하는 과학의 다른 범주형 예는 다음과 같습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Meyer, B. D. (1995). "Natural and quasi-experiments in economics" (PDF). Journal of Business & Economic Statistics. 13 (2): 151–161. doi:10.2307/1392369. JSTOR 1392369.
  2. ^ Lee, D. S.; Moretti, E.; Butler, M. J. (2004). "Do voters affect or elect policies? Evidence from the US House". The Quarterly Journal of Economics. 119 (3): 807–859. doi:10.1162/0033553041502153. JSTOR 25098703.
  3. ^ Rubin, Donald B. (2005). "Causal Inference Using Potential Outcomes". Journal of the American Statistical Association. 100 (469): 322–331. doi:10.1198/016214504000001880. S2CID 842793.
  4. ^ Nyman, Pär (2017). "Door-to-door canvassing in the European elections: Evidence from a Swedish field experiment". Electoral Studies. 45: 110–118. doi:10.1016/j.electstud.2016.12.002.
  5. ^ Broockman, David E.; Kalla, Joshua L.; Sekhon, Jasjeet S. (2017). "The Design of Field Experiments with Survey Outcomes: A Framework for Selecting More Efficient, Robust, and Ethical Designs". Political Analysis. 25 (4): 435–464. doi:10.1017/pan.2017.27. S2CID 233321039.
  6. ^ Duflo, Esther (2006). Field Experiments in Development Economics (Report). Massachusetts Institute of Technology.
  7. ^ Harrison, G. W.; List, J. A. (2004). "Field experiments". Journal of Economic Literature. 42 (4): 1009–1055. doi:10.1257/0022051043004577. JSTOR 3594915.
  8. ^ LaLonde, R. J. (1986). "Evaluating the econometric evaluations of training programs with experimental data". The American Economic Review. 76 (4): 604–620. JSTOR 1806062.
  9. ^ Gordon, Brett R.; Zettelmeyer, Florian; Bhargava, Neha; Chapsky, Dan (2017). "A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook". doi:10.2139/ssrn.3033144. S2CID 197733986. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  10. ^ Athey, Susan; Imbens, Guido (2016). "Recursive partitioning for heterogeneous causal effects: Table 1". Proceedings of the National Academy of Sciences. 113 (27): 7353–7360. doi:10.1073/pnas.1510489113. PMC 4941430. PMID 27382149.
  11. ^ Scott, Steven L. (2010). "A modern Bayesian look at the multi-armed bandit". Applied Stochastic Models in Business and Industry. 26 (6): 639–658. doi:10.1002/asmb.874.
  12. ^ Raj, V.; Kalyani, S. (2017). "Taming non-stationary bandits: A Bayesian approach". arXiv:1707.09727 [stat.ML].
  13. ^ Dehejia, R.; Pop-Eleches, C.; Samii, C. (2015). From local to global: External validity in a fertility natural experiment (PDF) (Report). National Bureau of Economic Research. w21459.
  14. ^ Egami, Naoki; Hartman, Erin (19 July 2018). "Covariate Selection for Generalizing Experimental Results" (PDF). Princeton.edu. Archived from the original (PDF) on 10 July 2020. Retrieved 31 December 2018.
  15. ^ Blackwell, Matthew (2017). "Instrumental Variable Methods for Conditional Effects and Causal Interaction in Voter Mobilization Experiments". Journal of the American Statistical Association. 112 (518): 590–599. doi:10.1080/01621459.2016.1246363. S2CID 55878137.
  16. ^ a b Aronow, Peter M.; Carnegie, Allison (2013). "Beyond LATE: Estimation of the Average Treatment Effect with an Instrumental Variable". Political Analysis. 21 (4): 492–506. doi:10.1093/pan/mpt013.
  17. ^ Aronow, P. M.; Samii, C. (2017). "Estimating average causal effects under general interference, with application to a social network experiment". The Annals of Applied Statistics. 11 (4): 1912–1947. arXiv:1305.6156. doi:10.1214/16-AOAS1005. S2CID 26963450.
  18. ^ Woertman, W.; de Hoop, E.; Moerbeek, M.; Zuidema, S. U.; Gerritsen, D. L.; Teerenstra, S. (2013). "Stepped wedge designs could reduce the required sample size in cluster randomized trials". Journal of Clinical Epidemiology. 66 (7): 752–758. doi:10.1016/j.jclinepi.2013.01.009. PMID 23523551.
  19. ^ Tröhler, U. (2005). "Lind and scurvy: 1747 to 1795". Journal of the Royal Society of Medicine. 98 (11): 519–522. doi:10.1177/014107680509801120. PMC 1276007. PMID 16260808.
  20. ^ Bertrand, Marianne; Mullainathan, Sendhil (2004). "Are Emily and Greg more employable than Lakisha and Jamal? A field experiment on labor market discrimination" (PDF). American Economic Review. 94 (4): 991–1013. doi:10.1257/0002828042002561.
  21. ^ Gneezy, Uri; List, John A (2006). "Putting behavioral economics to work: Testing for gift exchange in labor markets using field experiments" (PDF). Econometrica. 74 (5): 1365–1384. doi:10.1111/j.1468-0262.2006.00707.x.
  22. ^ Ahmed, Ali M; Hammarstedt, Mats (2008). "Discrimination in the rental housing market: A field experiment on the Internet". Journal of Urban Economics. 64 (2): 362–372. doi:10.1016/j.jue.2008.02.004.
  23. ^ Edelman, Benjamin; Luca, Michael; Svirsky, Dan (2017). "Racial discrimination in the sharing economy: Evidence from a field experiment". American Economic Journal: Applied Economics. 9 (2): 1–22. doi:10.1257/app.20160213.
  24. ^ Pager, Devah; Shepherd, Hana (2008). "The sociology of discrimination: Racial discrimination in employment, housing, credit, and consumer markets". Annual Review of Sociology. 34: 181–209. doi:10.1146/annurev.soc.33.040406.131740. PMC 2915460. PMID 20689680.
  25. ^ Nesseler, Cornel; Carlos, Gomez-Gonzalez; Dietl, Helmut (2019). "What's in a name? Measuring access to social activities with a field experiment". Palgrave Communications. 5: 1–7. doi:10.1057/s41599-019-0372-0.
  26. ^ Ashraf, Nava; Berry, James; Shapiro, Jesse M (2010). "Can higher prices stimulate product use? Evidence from a field experiment in Zambia" (PDF). American Economic Review. 100 (5): 2383–2413. doi:10.1257/aer.100.5.2383. S2CID 6392533.
  27. ^ Karlan, Dean; List, John A (2007). "Does price matter in charitable giving? Evidence from a large-scale natural field experiment" (PDF). American Economic Review. 97 (5): 1774–1793. doi:10.1257/aer.97.5.1774. S2CID 10041821.
  28. ^ Fryer Jr, Roland G (2014). "Injecting charter school best practices into traditional public schools: Evidence from field experiments". The Quarterly Journal of Economics. 129 (3): 1355–1407. doi:10.1093/qje/qju011.
  29. ^ Field, Erica; Pande, Rohini (2008). "Repayment frequency and default in microfinance: evidence from India". Journal of the European Economic Association. 6 (2–3): 501–509. doi:10.1162/JEEA.2008.6.2-3.501.
  30. ^ Ahmed, A. S. (1984). "Al-Beruni: The First Anthropologist". Rain (60): 9–10. doi:10.2307/3033407. JSTOR 3033407.
  31. ^ Fisher, R.A. (1937). The Design of Experiments (PDF). Oliver and Boyd Ltd.
  32. ^ Gosnell, Harold F. (1926). "An Experiment in the Stimulation of Voting". American Political Science Review. 20 (4): 869–874. doi:10.1017/S0003055400110524.
  33. ^ Grodwohl, Jean-Baptiste; Porto, Franco; El-Hani, Charbel N. (2018-07-31). "The instability of field experiments: building an experimental research tradition on the rocky seashores (1950–1985)". History and Philosophy of the Life Sciences. 40 (3): 45. doi:10.1007/s40656-018-0209-y. ISSN 1742-6316. PMID 30066110. S2CID 51889466.