경쟁 가설의 분석

Analysis of competing hypotheses

경쟁 가설 분석(ACH)은 관측된 데이터에 대해 여러 경쟁 가설을 평가하는 방법론이다. 그것은 리차드 (Dick) J에 의해 개발되었다. 허어 주니어는 중앙정보부에서 45년간 근무한 베테랑으로 1970년대 중앙정보부에 의해 사용되었다.[1] ACH는 추론에 오류 위험이 높은 판단을 내리는 다양한 분야의 분석가들에 의해 사용된다. ACH는 분석가가 선견지명이 있는 인텔리전스 분석을 달성하기 어렵게 만드는 인지적 한계를 극복하거나 최소한 최소화하도록 돕는 것을 목표로 한다.[1]

ACH는 지능 분석 방법론에서 한 단계 발전한 것이지만, 처음에는 비교적 비공식적인 용어로 설명되었다. 불확실한 데이터에서 최선의 가용 정보를 생산하는 것은 산업, 학계 및 정부 분야의 연구자, 도구 제작자, 분석가의 목표로 남아 있다. 그들의 영역에는 데이터 마이닝, 인지심리학시각화, 확률통계 등이 포함된다. 유괴적 추론은 ACH와 유사성을 가진 초기 개념이다.

과정

Huer는 그의 저서 지능 분석의 심리학에서 ACH 과정을 상당히 심도 있게 개략적으로 설명하고 있다.[1] 다음 단계로 구성된다.

  1. 가설 – 프로세스의 첫 번째 단계는 모든 잠재적 가설을 식별하는 것이며, 가급적 다른 관점을 가진 분석가 그룹을 사용하여 가능성을 브레인스토밍하는 것이다. 이 과정은 분석가가 하나의 "거의" 가설을 선택하고 그 정확성을 증명하기 위해 증거를 사용하는 것을 단념시킨다. 인지 편향은 가능한 모든 가설을 고려할 때 최소화된다.[1]
  2. 증거 – 분석가는 각 가설에 대한 증거와 주장(가정 및 논리적 추론 포함)을 나열한다.[1]
  3. 진단 – 분석가는 매트릭스를 사용하여 가능한 한 많은 이론을 반증하기 위해 각 가설에 대한 증거를 적용한다. 어떤 증거는 다른 증거보다 더 큰 "진단"을 가질 것이다. 즉, 어떤 증거는 대체 가설의 상대적 가능성을 판단하는 데 더 도움이 될 것이다. 휴어 씨에 따르면 이 단계가 가장 중요하다고 한다. 분석가는 하나의 가설과 모든 증거("행렬을 하향 조정")를 보는 대신에 한 번에 하나의 증거를 고려하고 가능한 모든 가설("행렬을 가로지르는 작업")에 대해 검토하도록 권장된다.[1]
  4. 개선 – 분석가는 결과를 검토하고, 모든 격차를 파악하며, 가능한 한 많은 나머지 가설을 반박하는 데 필요한 추가 증거를 수집한다.[1]
  5. 불일치 – 분석가는 각 가설의 상대적 가능성에 대해 잠정적인 결론을 도출하려고 한다. 일관성이 낮다는 것은 가능성이 낮다는 것을 의미한다. 가장 일관성이 없는 가설은 제거된다. 행렬이 각 가설에 대해 결정적인 수학적 총계를 생성하는 동안, 분석가는 최종 결론을 내리기 위해 그들의 판단을 사용해야 한다. ACH 분석의 결과 자체가 분석가들의 판단을 초월해서는 안 된다.
  6. 민감도 – 분석가는 민감도 분석을 사용하여 결론을 테스트하며, 이 분석은 핵심 근거나 주장이 잘못되었거나 오해의 소지가 있거나 서로 다른 해석의 대상이 될 경우 결론에 어떤 영향을 미치는지 무게를 두고 있다. 결론의 린치핀과 동인의 건전성을 보장하기 위해 핵심 증거의 타당성과 중요한 주장의 일관성을 재확인한다.[1]
  7. 결론 및 평가 – 마지막으로 분석가는 의사결정자에게 검토된 대안 및 거부 이유에 대한 요약뿐만 아니라 결론도 제공한다. 또한 분석가는 향후 분석에서 지표 역할을 할 수 있는 공정의 이정표를 파악한다.[1]

ACH 매트릭스를 수행할 때의 몇 가지 이점은 다음과 같다.

  • 그것은 감사할 수 있다.
  • 이러한 믿음을 뒷받침할 강력한 경험적 증거가 부족하지만 인지적 편견을 극복하는 데 도움이 된다는 것이 널리 알려져 있다.[2]
  • ACH는 분석가가 행렬을 구축하도록 요구하기 때문에 근거와 가설은 역추적될 수 있다. 이것은 의사 결정자나 다른 분석가들이 결론을 이끌어낸 규칙과 데이터의 순서를 볼 수 있게 해준다.

약점

ACH 매트릭스를 수행할 때의 약점은 다음과 같다.

  • ACH를 만드는 과정은 시간이 많이 걸린다.
  • ACH 매트릭스는 복잡한 프로젝트를 분석할 때 문제가 될 수 있다.
  • 분석가가 다수의 증거를 가지고 대규모 데이터베이스를 관리하는 것은 번거로울 수 있다.
  • 증거 또한 믿을 수 없는 문제라면 문제를 제시한다.
  • 매트릭스에서 사용되는 증거는 정적이므로 시간 내에 스냅숏이 될 수 있다.

특히 정부 및 기업 정보에서 분석가들은 상대방이 지능적이고 속이기 위한 정보를 생성할 수 있다는 것을 항상 알고 있어야 한다.[3][4] 속임수는 종종 인지 덫의 결과물이기 때문에 엘세이서(Elsaesser)와 스테치는 관찰에 대한 인과적 설명을 생성하기 위해 주 기반의 위계적 계획 인식(납치적 추론 참조)을 이용한다. 결과 가설은 동적 베이지안 네트워크로 변환되고 정보 분석의 가치는 특정 가설의 경로 또는 결론의 평가에 내재된 가정을 분리하기 위해 사용된다. 상태나 가정의 관찰 형태의 증거가 관찰됨에 따라, 그것들은 별도의 검증의 대상이 될 수 있다. 가정이나 필요한 상태가 부정되면 그에 따른 가설은 거부된다. 이것은 근본 원인 분석의 한 형태다.

사회 구성주의 비판자들에 따르면, ACH는 또한 그리드를 만드는 데 사용된 가설의 초기 형성의 문제적 성격을 충분히 강조하지 못한다(또는 하나의 방법으로 다루기 위해). 예를 들어, 가설 생성에 영향을 미칠 수 있는 관료주의, 심리적, 정치적 편견 외에도, 직장 내 문화와 정체성의 요소도 존재한다는 상당한 증거가 있다. 이러한 사회적으로 구성된 요소들은 가설이 결국 고려되는 것을 제한하거나 미리 스크린화 할 수 있으며, 그리고 선택된 요인들에 대한 확인 편향을 강화할 수 있다.[5]

철학자 겸 주장 이론가 팀 반 겔더는 다음과 같은 비판을 했다.[6]

  • ACH는 분석가가 개별적인 판단을 너무 많이 내릴 것을 요구하고 있으며, 이 중 많은 것은 최선의 가설을 파악하는 데 거의 도움이 되지 않는다.
  • ACH는 증거 항목이 그 자체로 가설과 일관성이 없거나 일관성이 없다고 가정함으로써 증거 항목과 가설 사이의 관계의 성격을 오해한다.
  • ACH는 설정된 가설을 "플랫(flat)" 즉, 단순한 목록으로 처리하므로 적절한 추상화 수준의 가설과 증거를 연관시킬 수 없다.
  • ACH는 부차적인 주장, 즉 증거의 일부에 대한 주장을 나타낼 수 없다.
  • 현실적인 규모의 ACH 활동은 분석가들을 혼란스럽게 하거나 혼란스럽게 한다.

Van Gelder는 ACH의 대안으로 가설 매핑제안했다.[7][8]

경쟁 가설의 구조화된 분석

경쟁 가설의 구조화된 분석은 분석가들에게 원래의 ACH의 한계에 대한 개선을 제공한다.[discuss][9] SACH는 분석가가 하나의 가설을 두 개의 복잡한 가설로 나눌 수 있도록 허용함으로써 가능한 가설을 최대화한다.

예를 들어, 두 가지 검증된 가설은 이라크가 WMD를 가지고 있거나 이라크가 WMD를 가지고 있지 않다는 것일 수 있다. 만약 증거가 이라크에 WMD가 있을 가능성이 더 높다는 것을 보여준다면, WMD는 바그다드에 있고 WMD는 모술에 있다. 아니면, 분석가는 이라크가 어떤 종류의 대량살상무기를 가지고 있는지 알아야 할지도 모른다; 새로운 가설은 이라크가 생물학적 대량살상무기를 가지고 있고, 이라크가 화학적 대량살상무기를 가지고 있고, 이라크가 핵 대량살상무기를 가지고 있다는 것일 수 있다. ACH 구조를 제공함으로써, 분석가는 미묘한 추정을 할 수 있다.[10]

형식주의에 대한 기타 접근법

발토르타와 동료들이 확률론적 방법을 사용하는 한 가지 방법은 베이시안 분석을 ACH에 추가한다.[11] 이 개념을 분산된 분석가 커뮤니티에 일반화하면 베이즈(또는 베이시안) 커뮤니티의 개념을 도입한 CASE(Collaborative ACH Environment)가 개발된다.[12] 아크람과 왕씨의 작품은 그래프 이론의 패러다임을 적용한다.[13]

Madsen과 Hicks가 논의한 대로, 다른 작업은 확률론적 방법보다는 ACH에 대한 인지 및 시각화 확장에 초점을 맞추고 있다.[14] 자동화에 따라 논의되는 DELECT는 시각화 지향적이다.[15]

포프와 조상의 작품은 불확실성을 명백히 다루는 형식 수학 방법론인 주관적 논리를 사용한다.[16] 이 방법론은 베릴루마의 지능 평가 소프트웨어에 사용되는 쉐바 기술의 기초를 이룬다.

소프트웨어

다운로드 가능한 몇 가지 온라인 소프트웨어 도구는 ACH 프로세스를 자동화하는 데 도움이 된다. 이 프로그램들은 시각적으로 증거의 흔적을 남기고 분석가가 증거를 저울질할 수 있게 해준다.

  • PARC ACH 2.0은[17][18] PARC(Palo Alto Research Center)가 Richards J와 공동으로 개발했다. 휴어 주니어 분석가들이 증거를 입력하고 그 신뢰도와 관련성을 평가할 수 있는 표준 ACH 프로그램이다.
  • 의사 결정 명령 소프트웨어는 윌러드 짱윌에 의해 개발되었다.[19]
  • COUNT는 분석 연구 회사 SSS Research, Inc.에 의해 개발되었다.[15][20] COUNT는 분석가들이 ACH를 조작할 수 있게 할 뿐만 아니라, 복수의 시각화 제품을 제공한다.[21]
  • 경쟁 가설 분석(ACH)은 공개 소스 ACH 구현이다.[22]
  • ACH Template는[23] ACH의 채점 및 가중치 부여 방법론, 보다 구체적으로 가중 불일치 계수 알고리즘을 구현하는 Excel 시트다.

참고 항목

메모들

  1. ^ Jump up to: a b c d e f g h i Heuer, Richards J., Jr, "Chapter 8: Analysis of Competing Hypotheses", Psychology of Intelligence Analysis, Center for the Study of Intelligence, Central Intelligence Agency
  2. ^ Thomason, Neil (2010), "Alternative Competing Hypotheses", Field Evaluation in the Intelligence and Counterintelligence Context: Workshop Summary, National Academies Press
  3. ^ Elsaesser, Christopher; Stech, Frank J. (2007), "Detecting Deception", in Kott, Alexander; McEneaney, William (eds.), Adversarial Reasoning: Computational Approaches to Reading the Opponent's Mind, Chapman & Hall/CRC, pp. 101–124
  4. ^ Stech, Frank J.; Elsaesser, Christopher, Deception Detection by Analysis of Competing Hypotheses (PDF), MITRE Corporation, archived from the original (PDF) on 2008-08-07, retrieved 2008-05-01 MITRE 후원 연구 프로젝트 51MSR111, 부정행위 대응 의사결정 지원
  5. ^ 1장부터 4장까지
  6. ^ van Gelder, Tim (December 2008), "Can we do better than ACH?", AIPIO News, Australian Institute of Professional Intelligence Officers (55)
  7. ^ van Gelder, Tim (11 December 2012). "Exploring new directions for intelligence analysis". timvangelder.com. Retrieved 30 September 2018.
  8. ^ Chevallier, Arnaud (2016). Strategic Thinking in Complex Problem Solving. Oxford; New York: Oxford University Press. p. 113. doi:10.1093/acprof:oso/9780190463908.001.0001. ISBN 9780190463908. OCLC 940455195.
  9. ^ Wheaton, Kristan J., et al. (November–December 2006), "Structured Analysis of Competing Hypotheses: Improving a Tested Intelligence Methodology" (PDF), Competitive Intelligence Magazine, 9 (6): 12–15, archived from the original (PDF) on 2007-09-28, retrieved 2008-05-01
  10. ^ Chido, Diane E., et al. (2006), Structured Analysis Of Competing Hypotheses: Theory and Application, Mercyhurst College Institute for Intelligence Studies Press, p. 54
  11. ^ Valtorta, Marco; et al. (May 2005), "Extending Heuer's Analysis of Competing Hypotheses Method to Support Complex Decision Analysis", International Conference on Intelligence Analysis Methods and Tools (PDF)
  12. ^ 슈라거, J 등 (2009) 축구과학과 베이즈 커뮤니티 : 현대 과학 소통의 인지적 함의 탐구. 인지 과학의 주제, 2(1), 53–72.
  13. ^ Akram, Shaikh Muhammad; Wang, Jiaxin (23 August 2006), "Investigative Data Mining: Connecting the dots to disconnect them", Proceedings of the 2006 Intelligence Tools Workshop (PDF), pp. 28–34
  14. ^ Madsen, Fredrik H.; Hicks, David L. (23 August 2006), "Investigating the Cognitive Effects of Externalization Tools", Proceedings of the 2006 Intelligence Tools Workshop (PDF), pp. 4–11
  15. ^ Jump up to: a b Cluxton, Diane; Eick, Stephen G., ""DECIDE Hypothesis Visualization Tool"", 2005 Intl conf on Intelligence Analysis (PDF), archived from the original (PDF) on 2008-08-07, retrieved 2008-05-01
  16. ^ Pope, Simon; Josang, Audun (June 2005), Analysis of Competing Hypotheses using Subjective Logic (ACH-SL), Queensland University, Brisbane, Australia, ADA463908
  17. ^ Xerox Palo Alto Research Center and Richards J. Heuer, ACH2.0.3 Download Page: Analysis of Competing Hypotheses (ACH), archived from the original on 2008-03-18, retrieved 2008-03-13
  18. ^ "Download ACH by PARC". ach1.software.informer.com. Retrieved 2020-12-28.
  19. ^ "Quantinus Alignment Execution". web.archive.org. 2009-08-17. Retrieved 2020-12-28.
  20. ^ Lankenau, Russell A., et al. (July 2006), SSS Research, Inc. – DECIDE, VAST 2006 Contest Submission
  21. ^ SSS Research, DECIDE: from Complexity to Clarity, archived from the original on March 28, 2007
  22. ^ Burton, Matthew (2020-12-11), "Burton/Analysis-of-Competing-Hypotheses", GitHub, retrieved 2020-12-27
  23. ^ Stirparo, Pasquale (2020-12-10), "pstirparo/threatintel-resources", GitHub, retrieved 2020-12-28