상대평가

Adversary evaluation

정책 분석에서 적대적 평가 접근법은 가치 있는 지향성을 반영하는 접근법이다.[1] 이 접근방식은 정책 평가에서[2] 지배적인 객관화 접근방식에 대응하여 개발되었으며, 1) 평가자는 진정으로 객관적일 수 없으며, 2) 평가가 무가치할 수 없다는 개념에 기초한다.[3] 이를 위해, 접근방식은 두 개의 반대되는 견해를 제시하는 평가자 팀(이 팀들을 일반적으로 적대국 및 옹호자라고 부른다)을 이용한다. 그리고 나서 이 양측은 공통된 데이터베이스를 구성하는 데이터나 증거를 다루고, 그들의 주장을 제시하기 위한 문제에 합의한다. 중립적인 정당은 심리에 배정되며, 제시된 모든 증거들을 고려한 후 공정한 평결에 도달할 것으로 예상된다.[4]

사법부, 의회 청문회, 토론 모델 등 적대적 평가의 모델은 다양하다. 그러나, 법률 체계에 가입하는 모델들은 문헌에서 가장 두드러진다.[5]

법적/사법적 모델

사법적 평가 모델은 평가 프레임워크에 대한 법적 절차를 개정한 것이다. 법적 적대자 청문회와 달리 이 접근법의 목적은 승리가 아니라 해당 프로그램에 대한 종합적인 이해를 제공하는 데 있다.[2][4][5] 이 모델은 평가자가 편향적 영향을 미치지 않는 것이 불가능하다고 가정한다. 따라서 이러한 평가의 초점은 과학적 정당성에서 공적 책임으로 바뀐다.[2] 복수의 이해관계자가 참여하며, 이 접근방식은 대중과 평가의 대상에게 모두 알리는 것을 목적으로 한다. 모델은 유연하지만, 보통 청문회, 기소, 피고인, 배심원, 고발 및 반박을 포함한다.[3] 문제의 평가에 따라, 이 모델은 또한 재판 전 회의, 직접 질문 및 리디렉션 질문, 그리고 기소와 변호에 의한 요약을 포함할 수 있다(Owens, 1973).[1] 그러나 이 모델의 지지자들은 모델이 배치되는 환경에 모델을 신중하게 적용하는 것과 그것이 다루려는 정책의 중요성을 강조한다.

절차

적대적 평가를 수행할 때 유연성이 권장되지만, 일부 이론가들은 특정 적대적 모델의 단계를 식별하려고 시도했다.

울프(1979년)[2]와 서스턴은 사법적 평가를 위해 다음과 같은 4단계를 제안한다.[6]

1. 이슈 생성 단계
이 단계에서는 광범위한 문제가 확인된다. Thurston은[6] 해당 프로그램에 관여하거나 해당 프로그램에 영향을 받은 다양한 사람이 인지한 사항을 반영하는 이슈를 예비 단계에서 고려할 것을 권고한다.
2. 이슈선정단계
이 단계는 이슈 축소로 구성된다. Wolf(1979)[2]는 토론이 없는 이슈는 없애야 한다고 제안한다. Thurston은[6] 이러한 감소는 광범위한 분석을 포함할 수 있다고 말한다(내용, 논리 및 추론 포함). 토론의 대상도 이 단계에서 정의하고 집중해야 한다(Wolf, 1979).[2]
3.논쟁의 준비단계
이 단계는 데이터 수집, 관련 문서 찾기 및 사용 가능한 정보 통합으로 구성된다. 수집된 데이터나 증거는 청문회에 배치될 찬반 논쟁과 관련이 있어야 한다(Wolf, 1979).[2][6]
4. 청문회 단계 자체가
이 단계는 설명 포럼이라고도 할 수 있으며, 토론의 대상을 공개하는 것을 포함한다(Wolf, 1979).[2] 다음은 증거 제시와 패널 또는 배심원 심의가 이어진다.[2][6]

오웬스(1973년)[2]는 변론기일을 통해 청문회 단계를 보다 상세히 설명한다. 그는 다음과 같은 특징들을 모델의 이러한 측면에 기인한다. (Crawbe & Leroy, 페이지 129에서 채택된 목록).

  • 절차 규칙은 유연해야 함
  • 증거 평가에는 엄격한 규정이 없다. 유일한 요구 사항은 판사가 증거의 허용 여부를 미리 판단해야 한다는 것이다.
  • 당사자에게 모든 관련 사실, 증거 자료 및 증인/전문가의 이름을 심판에게 제시하도록 요청할 수 있다.
  • 불만사항의 사본은 공청회가 열리기 전에 판사와 피고측에게 위임되어야 한다. 피고측은 일부 혐의에 대해 유죄를 인정하고 다른 혐의를 부인할 수도 있다.
  • 증인은 자유롭게 말할 수 있으며 대질신문을 받을 수도 있다.
  • 청문회가 열리기 전이나 도중에 전문가들을 불러 진술할 수도 있다.
  • 공청회에 앞서 판사들과 관련된 모든 당사자들의 회의는 토론을 부드럽게 하는 경향이 있고, 관련 사실에 근거하여 사건의 진상을 규명하려는 공동 노력에 도움이 될 수 있다.
  • 관련 당사자 2명 외에 다른 이해관계자도 참여할 수 있다.

혜택들

다음은 적대적 접근법을 사용할 경우의 효익으로 식별된다.

  1. 평가의 공공성 때문에 평가 대상에 대한 개방성과 투명성이 장려된다.[2]
  2. 모델은 다양한 형태의 데이터(통계적 사실, 의견, 가정, 가치관 및 인식을 포함)를 고려하므로, 평가의 일부를 구성하는 복잡한 사회 현실에 대한 정의를 행해야 한다고 주장한다(Wolf, 1975).[4][2][6]
  3. 이 접근법의 사법적 특성은 평가 대상을 둘러싼 정치적 논란을 줄일 수 있다.[2]
  4. 논쟁의 양쪽이 제시됨에 따라, 전술적으로 정보를 보류하는 위험은 최소화되어야 한다.[4]
  5. 이 접근방식은 다수의 관점을 통합할 수 있도록 하며, 이는 보다 전체적인 평가를 촉진해야 한다(Wolf, 1975, 1979).[4]
  6. 찬성 및 반대 검토를 허용하는 증거와 플랫폼의 제시를 통해 평가 상황에 도입된 증거에 대한 다양한 해석에 대중이 접근할 수 있다(Wolf, 1975).[4]
  7. 경쟁 가설과 설명을 제시하면 양적 접근법과 질적 접근법이 모두 강화될 수 있다(Yin, 1999).[4]
  8. 모든 자료는 배심원단을 설득하기 위해 이해 가능하고 논리적인 방법으로 제시되어야 한다. 해당 쥬리에 따라, 이것은 제시된 데이터를 일반 대중과 평가에 관련된 다른 이해관계자들이 더 쉽게 접근할 수 있게 할 수 있다.[6]
  9. 마지막으로, 이 접근방식은 메타 평가에 적합하며 참여형 또는 전문지식을 지향하는 다른 접근방식과 결합될 수 있다.[4]

제한 사항

스미스(1985년)에 따르면,[4] 이러한 접근방식의 많은 제한은 그것의 경쟁성, 과정의 복잡성, 그리고 청문회에 필요한 다양한 역할을 기꺼이 수행할 수 있는 숙련된 개인에 대한 필요성과 관련이 있다. 상대 평가의 주요 제한 사항은 다음과 같다.

  1. 이런 형태의 평가는 독설을 불러일으킬 수 있고 갈등은 평가 결과에 부정적인 영향을 미칠 수 있다.[2]
  2. 평가의 초점은 정책을 최적화하기보다는 비난이나 죄의식을 할당하는 것으로 바뀔 수 있다.[5]
  3. 적대적 선행 모델이 갈등 기반이기 때문에, 만족스러운 결과에 도달할 가능성은 감소한다.[2]
  4. 주요 이해당사자들이 항상 동등하게 숙련되어 있는 것은 아니며, 명확한 개인은 유리하다.[2]
  5. 이 방법은 시간이 많이 걸리고 비용이 많이 들 수 있다(Owens, 1973).[4][2]
  6. 청각 구성원들이 때때로 구체적이고 운영적인 권고사항을 개발하기가 어렵다(Wolf, 1979).[4]
  7. 시간 제한은 좁은 초점만을 허용할 수 있다.[4]

적용들

비록 현재 선호되지 않지만, 이 접근법은 교육 평가 분야에서 상당히 광범위하게 사용되어 왔다(Owens, 1973).[4] 민족학 연구(Schensul, 1985년)[4]와 주 고용 기관 평가(Braithwaite & Thompson, 1981년)에도 적용되었다.[4]

크랩베와 르로이는[2] 다음과 같은 경우에 평가에 대한 적대적 접근법이 유익해야 한다고 주장한다.

  1. 평가되는 프로그램은 많은 사람들에게 영향을 미칠 수 있다.
  2. 해당 사안이 논란과 대중의 관심사 중 하나일 때
  3. 당사자가 공개재판의 권한을 깨닫고 수용하는 경우
  4. 평가 대상이 잘 정의되어 있고 편광된 위치에 적응할 수 있는 경우
  5. 판사가 중립적인 것으로 인식될 수 있는 맥락에서,
  6. 방법에 충분한 시간과 자금 자원이 있을 때

비평

팝햄과 칼슨은[7] 다음과 같은 6가지 점에 근거한 적대적 평가에 결함이 있다고 제안했다.

  1. 적대적 능력의 격차
  2. 낙오판사
  3. 모델의 유용성에 대한 지나친 신뢰
  4. 프레임 문제 발생의 어려움
  5. 결과 조작 가능성
  6. 과도한원가

그러나 [7]포컴과 칼슨은 차례로 그 분야의 다른 사람들로부터 비난을 받았다. 그레그 잭슨은[8] 이러한 비판들이 상대 평가에 대해 "엄청난 부당" (p. 2)을 한다고 주장한다. 그는 나열된 사람들 중 유일하게 유효한 비판은 "프레임 이슈에 있어서 어려운 문제"(2페이지)이며, 다른 논점들은 불공평하고, 사실이 아니며, 과장된 것이라고 주장한다. 그는 또한 팝햄과 칼슨이[7] 다른 형태의 평가와는 더 높거나 다른 기준의 상대적 평가를 가지고 있는 것 같다고 언급했다. Thurston은[6] Jackson과 일치한다고 주장하지만,[8] 적대적 평가에 대한 두 가지 대안적인 비판을 제안한다. 그는 이슈 정의와 쥬리의 사용이 이 접근방식에 큰 문제를 제기한다고 말한다.

마지막으로, Worthen은[5] 현재 어떤 유형의 평가가 프로그램에 가장 적합할지를 결정하는 개인적 선호 이상의 것이 거의 없다고 지적한다. 크랩베와 르로이는[2] 자신의 고유한 요구와 목표에 대해 모든 평가에 접근하고 그에 따라 조정 및 구현해야 하며, 모든 프로그램의 요구를 만족시키는 하나의 접근방식이 있을 것 같지 않다.

참고 항목

참조

  1. ^ a b 앨킨, M.A. & Christie, C. A. (2004) 평가 이론 트리. M.C. 알킨(Ed)에서 평가 루트: 이론가의 견해와 영향(12–63)을 추적한다. 크리스 앤더슨: 세이지.
  2. ^ a b c d e f g h i j k l m n o p q r s 크랩, A. & Leroy, P. (2008) 환경 정책 평가 핸드북. 런던: 어스캔.
  3. ^ a b 호간, R. (2007) 프로그램 평가의 역사적 발전. 온라인 인력 교육 및 개발 저널 2(4)
  4. ^ a b c d e f g h i j k l m n o 밀러, R. L. & 버틀러, J. (2008) 군사 프로그램의 효과를 평가하기 위해 상대 청문회를 사용한다. 정성 보고서, 13 (1), 12–25.
  5. ^ a b c d Worthen, B. (1990) 프로그램 평가. H. Walberg & G. Haertel (Eds.)에서는, 교육 평가의 국제 백과사전 (42–47)이다. 토론토, ON: Pergammon Press.
  6. ^ a b c d e f g h 서스턴, P. (1978년) 적대적 평가의 활성화: 짙은 어둠의 결손이나 잘못된 생각에 뒤죽박죽이 되는 것. 교육 연구원, 7-7, 3–8.
  7. ^ a b c Popham, W. J. & Carlson, D. (1977년) 상대 평가 모델의 짙은 어둠의 결손. 교육 연구원, 6(6), 3–6.
  8. ^ a b 잭슨, G. (1977년) 적대적 평가: 공정한 재판 없이 사형을 선고한다. 교육 연구원, 6(10), 2–18.