프로그램평가

Program evaluation

프로그램 평가는 프로젝트, 정책 및 프로그램에 대한 질문,[1] 특히 그 효과성과 효율성에 대한 질문에 답변하기 위해 정보를 수집, 분석 및 사용하는 체계적인 방법이다. 공공 부문과 민간 부문 모두에서 이해관계자는 종종 자신이 자금을 지원, 구현, 투표, 수신 또는 반대 중인 프로그램이 의도된 효과를 내는지를 알고 싶어한다. 프로그램 평가는 우선 이 정의에 초점을 맞추지만, 중요한 고려사항은 종종 참가자당 프로그램 비용, 프로그램 개선 방법, 프로그램 가치 여부, 더 나은 대안이 있는지 여부, 의도하지 않은 결과가 있는 경우 프로그램 목표가 적절하고 유용한지 여부 등을 포함한다.[2] 평가자는 이러한 질문에 답하는 데 도움을 주지만, 질문에 답하는 가장 좋은 방법은 평가가 평가자와 이해관계자 간의 공동 프로젝트인 것이다.[3]

평가 과정은 비교적 최근의 현상으로 평가된다. 그러나, 계획된 사회적 평가는 기원전 2200년까지의 데이트로 기록되어 왔다.[4] 평가는 케네디와 존슨 행정부와 관련된 그레이트 소사이어티 사회 프로그램 기간인 1960년대에 특히 미국에서 관련되었다.[5][6] 사회 프로그램에 엄청난 액수가 투자되었지만, 이러한 투자의 영향은 대부분 알려지지 않았다.

프로그램 평가에는 양적 및 질적 사회 연구 방법이 모두 포함될 수 있다. 프로그램 평가를 하는 사람들은 사회학, 심리학, 경제학, 사회사업, 공공정책과 같은 많은 다른 배경에서 온다. 일부 대학원은 프로그램 평가를 위한 구체적인 연수 프로그램도 갖추고 있다.

평가 수행

프로그램 평가는 프로그램 수명 동안 여러 단계에서 수행될 수 있다. 이러한 각 단계는 평가자가 대답해야 할 다른 문제를 제기하며, 그에 따라 다른 평가 접근법이 필요하다. Rossi, Lipsey 및 Freeman(2004)은 다음과 같은 종류의 평가를 제안하며, 이러한 서로 다른 단계에서 적절할 수 있다.

  • 프로그램의 필요성 평가
  • 프로그램 설계 및 논리/이론 평가
  • 프로그램이 어떻게 구현되고 있는지에 대한 평가(즉, 계획에 따라 구현되고 있는가? 프로그램의 프로세스가 가능한 결과를 최대화하고 있는가?)
  • 프로그램의 결과 또는 영향 평가(즉, 실제로 달성한 것)
  • 프로그램의 비용 및 효율성 평가

니즈 평가

니즈 평가는 프로그램이 목표로 삼으려는 모집단을 검사하여, 프로그램에 개념화된 니즈가 실제로 모집단에 존재하는지, 실제로 문제가 있는지, 그리고 있다면 어떻게 대처하는 것이 최선일지 여부를 확인한다. 여기에는 프로그램이 다루려고 하는 실제 문제, 문제의 영향을 받는 사람 또는 내용, 문제가 얼마나 광범위한지, 문제로 인해 발생하는 측정 가능한 효과는 무엇인지 파악 및 진단하는 것이 포함된다. 예를 들어, 노숙자를 완화하는 것을 목적으로 하는 주택 프로그램의 경우 프로그램 평가자는 주어진 지리적 영역에 얼마나 많은 사람들이 노숙하고 있는지 그리고 그들의 인구 통계는 무엇인지 알아내기를 원할 수 있다. 로시, 립시, 프리먼(2004)은 개입의 필요성을 제대로 평가하지 않고 개입하지 않도록 주의한다. 이는 필요성이 없거나 잘못 인식된 경우 엄청난 자금 낭비를 초래할 수 있기 때문이다.

니즈 평가에는 평가자가 사회적 니즈를[7] 기술하고 진단하기 위해 사용하는 프로세스 또는 방법이 포함된다. 평가자는 프로그램이 효과적인지 여부를 확인해야 하며, 문제/필요가 무엇인지 식별하지 않으면 이를 수행할 수 없기 때문에 이것은 평가자에게 필수적이다. 니즈 평가를 하지 않는 프로그램은 애초에 니즈 평가가 필요 없을 때 문제를 근절했다는 착각을 가질 수 있다. 니즈 평가는 프로그램을 개발 및 시행하기 전에 지역사회 이해당사자 및 프로젝트로부터 이익을 얻을 사람들과의 연구와 정기적인 협의를 포함한다. 따라서 상향식 접근법이 되어야 한다. 이러한 방식으로 잠재적 문제들은 조기에 실현될 수 있다. 왜냐하면 그 과정은 지역사회가 필요성을 식별하는 데 관여했을 것이고 따라서 잠재적 장벽을 식별할 기회를 허용했을 것이기 때문이다.

프로그램 평가자의 중요한 과제는 다음과 같다: 첫째, 문제가 무엇인지에 대한 정확한 정의를 구성한다.[7] 평가자는 먼저 문제/필요를 식별해야 한다. 이는 잠재적인 문제에 의해 영향을 받는 지역사회, 문제를 해결하고 해결하기 위해 노력하는 대리인/행위자, 자금조달자 등을 포함한 모든 가능한 이해관계자를 포함하여 가장 효과적으로 수행된다. 이 과정에서 초기에 매입을 포함하면 나중에 푸시백, 의사소통 오류, 불완전한 정보의 가능성을 줄일 수 있다.

둘째, 문제의 정도를 평가한다.[7] 문제가 무엇인지 명확하게 식별한 후, 평가자는 문제의 정도를 평가할 필요가 있다. 그들은 '어디'와 '얼마나 큰' 질문에 대답할 필요가 있다. 평가자는 문제가 어디에 있는지, 얼마나 큰지 파악해야 한다. 문제가 존재한다고 지적하는 것은 그것이 어디에 있고 그것이 얼마나 번성하고 있는지를 명시해야 하는 것보다 훨씬 쉽다. Rossi, Lipsey & Freeman(2004)은 다음과 같은 예를 들었다: 일부 구타당한 아이들을 식별하는 사람은 아동학대가 존재한다는 것을 설득하기에 충분한 증거가 될 수 있다. 그러나 그것이 얼마나 많은 아이들에게 영향을 미치는지, 그리고 그것이 지리적으로나 사회적으로 어디에 위치하고 있는지를 나타내는 것은 학대받는 아이들의 특성, 가해자의 특성, 문제의 영향 등에 대한 지식을 문제의 정치권 전반에 걸쳐 필요로 할 것이다.

이는 아동학대가 공공적인 행동이 아니라는 점을 고려할 때 어려울 수 있으며, 또한 일반적으로 미신고 사례와 같은 요인 때문에 사적 행동에 대한 비율 추정이 불가능하다는 점을 명심해야 한다. 이 경우 평가자는 발생률을 추정하기 위해 여러 출처의 데이터를 사용하고 다른 접근법을 적용해야 할 것이다. 대답해야 할 두 가지 질문이 더 있다:[8] 평가자는 '어떻게'와[8] '무엇' 질문에 대답해야 한다. '어떻게' 질문은 평가자가 니즈가 어떻게 다뤄질지 결정할 것을 요구한다. 필요성을 식별하고 지역사회 평가자와 친숙해진 경우, 프로그램에서 제안된 계획이 실제로 필요성을 제거할 수 있는지 여부를 확인하기 위한 성과 분석을 수행해야 한다. '무엇' 질문은 평가자가 작업 분석을 수행하여 가장 좋은 수행 방법이 무엇인지 알아내야 한다. 예를 들어, 직무 수행 기준이 조직에 의해 설정되는지 또는 업무를 수행할 때 일부 정부 규정을 고려할 필요가 있는지 여부.[8]

셋째, 개입의 대상을 정의하고 식별하고 해당 모집단의[7] 서비스 욕구의 성격을 정확하게 기술한다. 대상 모집단이 무엇인지/누구인지 – 개인, 집단, 지역사회 등인지 아는 것이 중요하다. 인구의 세 단위가 있다: 위험에 처한 인구, 필요로 하는 인구, 그리고 수요[7] 있는 인구.

  • 위험 인구: 위험 발생 가능성이 유의한 사람들이다. 예를 들어, 산아제한 프로그램의 위험에 처한 인구는 아이를 낳는 나이의 여성이다.
  • 필요한 인구: 프로그램이 해결하고자 하는 조건을 가진 사람들이다. 예를 들어, HIV 양성자에게 ARV를 제공하는 프로그램을 필요로 하는 인구는 HIV 양성인 사람들이다.
  • 수요 인구: 필요성에 동의하고, HIV 양성 반응자 모두가 ARV를 복용하지는 않을 것이다.

대상/대상자를 특정할 수 있는 것은 적절한 경계를 설정하는 데 도움이 될 것이며, 따라서 개입이 대상 모집단을 올바르게 다루고 적용할 수 있을 것이다.[7]

니즈 평가를 수행하는 4가지 단계는 다음과 같다.[9]

  1. '갭' 분석 수행
    평가자는 현재 상황을 원하는 상황 또는 필요한 상황과 비교할 필요가 있다. 두 상황의 차이 또는 차이는 프로그램의 필요성, 목적 및 목적을 식별하는 데 도움이 될 것이다.
  2. 우선순위 및 중요성 파악
    위의 첫 번째 단계에서 평가자는 훈련과 개발, 조직 개발 등과 같은 필요를 잠재적으로 해결할 수 있는 많은 개입을 식별했을 것이다. 이것들은 이제 프로그램의 목표와 제약조건에 대한 중요성을 고려하여 검토되어야 한다. 이는 비용 효과(프로그램의 예산을 고려하고, 비용/편익 비율을 평가한다), 경영진의 압력(최고 경영진이 솔루션을 기대하는지 여부), 인구(핵심 인력이 많이 관련되어 있는지 여부)를 고려하여 이루어져야 한다.
  3. 성능 문제 및/또는 기회의 원인 파악
    니즈가 우선시된 경우 다음 단계는 처리해야 할 니즈 내에서 특정 문제 영역을 식별하는 것이다. 그리고 또한 개입을 수행할 사람들의 기술을 평가하기 위해서입니다.
  4. 가능한 솔루션 및 성장 기회 파악
    개입이 실행될 것인지 아닌지의 결과를 비교한다.

따라서 니즈 분석은 프로그램을 평가하는 데 매우 중요한 단계로서, 프로그램의 효과를 우리가 애초에 무엇이 문제였는지 알지 못하면 평가할 수 없기 때문이다.

프로그램 이론 평가

논리 모델, 지식 지도 [10]또는 영향 경로라고도 불리는 프로그램 이론은 프로그램을 설계하는 방식에 내재된 가정이며, 프로그램의 행동이 의도한 결과를 얻기 위해 어떻게 이루어져야 하는가에 대한 것이다.[11] 이 '논리 모델'은 프로그램을 운영하는 사람들에 의해 명시적으로 명시되지 않는 경우가 많으며, 이는 단순히 가정된 것이므로, 평가자는 프로그램 스태프로부터 프로그램이 정확히 어떻게 목표를 달성해야 하는지를 도출하고 이 논리가 타당한지 평가할 필요가 있을 것이다. 예를 들어, HIV 예방 프로그램에서, 사람들에게 HIV/AIDS 전염, 위험성 및 안전한 성행위에 대해 교육하는 것이 더 안전한 성행위로 이어질 것이라고 가정할 수 있다. 그러나, 남아프리카에서의 연구는 점점 더 많은 교육과 지식에도 불구하고, 사람들이 여전히 안전한 성행위를 하지 않는다는 것을 보여준다.[12] 따라서, 사람들이 콘돔을 사용하도록 하기 위한 수단으로 교육에 의존하는 프로그램의 논리는 잘못된 것일 수도 있다. 그 지역에서 행해진 연구를 읽는 것이 중요한 이유다. 이 논리를 설명하면 프로그램의 의도하지 않았거나 예상치 못한 결과도 긍정적이거나 부정적이 될 수 있다. 프로그램 이론은 가설들을 충격 평가를 위해 시험하도록 유도한다. 논리 모델을 개발하면 프로그램이 실제로 무엇을 해야 하는지, 그리고 프로그램이 어떻게 해야 하는지에 대해 프로그램 직원과 이해관계자들 사이에 공통된 이해를 형성할 수 있는데, 이는 종종 부족한 것이다(참여적 영향 경로 분석 참조). 물론, 프로그램 뒤에 있는 논리 모델을 이끌어내려고 노력하는 과정에서 평가자가 그러한 모델이 불완전하게 개발되었거나, 내부적으로 모순되거나, 또는 (최악의 경우) 본질적으로 존재하지 않는다는 것을 발견할 수도 있다. 프로그램이 반드시 감소하거나 제거되는 것은 아니지만, 이것은 평가의 효과를 확실히 제한한다.[13]

로직 모델을 만드는 것은 특히 평가를 준비할 때 프로그램의 중요한 측면을 시각화하는 데 도움을 주는 훌륭한 방법이다. 평가자는 많은 다른 이해당사자들의 의견을 가진 논리 모델을 만들어야 한다. 로직 모델에는 5가지 주요 구성 요소가 있다. 자원 또는 투입물, 활동, 출력물, 단기 결과 및 장기적 결과 논리 모델을 만드는 것은 문제, 현재 문제를 해결하기 위해 사용되고 있는 자원 및 용량, 프로그램의 측정 가능한 결과 등을 명확히 표현하는 데 도움이 된다. 전반적인 단기 및 장기 목표와 관련하여 프로그램의 다양한 구성요소를 보면 잠재적인 오정렬을 조명할 수 있다. 실제 논리 모델을 만드는 것은 모든 이해 당사자들에게 문제 정의, 중요한 목표, 프로그램의 용량과 산출물 등을 명확히 하는 데 도움이 되기 때문에 특히 중요하다.[14]

로시, 립시 & 프리먼(2004)은 프로그램 이론을 평가하는 데 사용할 수 있는 네 가지 접근법과 절차를 제안한다.[7] 이러한 접근방식은 아래에 설명되어 있다.

  • 사회적 요구와 관련된 평가

여기에는 프로그램이 제공하고자 하는 대상 모집단의 필요성과 관련시켜 프로그램 이론을 평가하는 것이 수반된다. 프로그램 이론이 목표 모집단의 요구를 다루지 못할 경우, 잘 실행되어도 효과가 없을 것이다.[7]

  • 논리 및 신뢰성[7] 평가

이 평가 형식은 프로그램 설계에 내재된 가정과 기대의 논리와 타당성을 비판적으로 검토하도록 전문가 검토자 패널에게 요청하는 것을 포함한다.[7] 검토 프로세스는 프로그램 설계의 특정 문제를 해결하기 위해 비정형적이고 개방적으로 종료된다. Rutman(1980), Smith(1989), Tally(1994)는 검토 과정을 돕기 위해 아래에 열거된 질문들을 제안했다.[7]

프로그램 목표와 목표가 잘 정의되어 있는가?
프로그램 목표와 목표가 실현 가능한가?
프로그램 이론에서 추정된 변경 과정은 실현 가능한가?
대상 모집단의 구성원을 식별하고, 그들에게 서비스를 제공하고, 완료를 통해 서비스를 유지하는 절차가 잘 정의되고 충분한가?
프로그램의 구성 요소, 활동 및 기능이 잘 정의되고 충분한가?
프로그램에 할당된 자원과 다양한 활동이 적절한가?
  • 연구 및 실무와의 비교를 통한 평가

이러한 형태의 평가는 프로그램 이론의 다양한 요소를 평가하기 위해 연구 문헌과 기존 관행으로부터 정보를 얻어야 한다. 평가자는 프로그램 이론이 유사한 개념을 가진 프로그램의 연구 근거와 실제 경험으로 일치하는지 평가할 수 있다.[7]

  • 예비 관찰을 통한 평가

이 접근방식은 프로그램 이론과 프로그램 자체의 일치성에 대한 현실 확인을 제공하기 때문에 평가 과정에 직접 관찰을 통합하는 것을 포함한다.[7] 관찰은 결과의 달성 가능성, 대상 모집단의 상황, 프로그램 활동과 지원 자원의 신뢰성 등에 초점을 맞출 수 있다.[7]

프로그램 이론에 대한 이러한 다른 형태의 평가는 프로그램 이론이 건전하다는 것을 보장하기 위해 수행될 수 있다.

라이트·월리스(2019년)는 이론의 구조에 근거한 프로그램 이론을 평가하기 위한 추가 기법을 기술했다. 통합 명제 분석(IPA)으로 알려진 이 접근방식은 이론이 더 나은 구조(추가 의미와 데이터)를 가질 때 예상대로 작동할 가능성이 더 높다는 연구 흐름을 바탕으로 한다. IPA는 첫째, 제안사항(원인-효과의 진술)을 식별하고 그 제안사항의 시각적 도표를 작성하는 것을 포함한다. 그런 다음, 연구자는 이들 사이의 개념의 수와 인과관계(도표상의 원과 화살표)를 조사하여 이론의 구조에 반영된 이해의 폭과 깊이를 측정한다. 폭의 척도는 개념의 수입니다. 이는 실제 프로그램은 상호 연결된 부분이 많다는 생각에 근거한 것으로, 따라서 더 많은 수의 개념을 보여주는 이론은 프로그램에 대한 이해의 폭이 더 크다는 것을 보여준다. 깊이는 하나 이상의 다른 개념의 결과인 개념의 백분율이다. 이는 실제 프로그램에서는 사물이 하나 이상의 원인을 가지고 있다는 생각에 바탕을 두고 있다. 따라서 이론에서 둘 이상의 다른 개념의 결과인 개념은 그 개념에 대한 더 나은 이해를 보여준다; 더 잘 이해된 개념의 비율이 더 높은 이론은 프로그램에 대한 더 깊은 이해를 보여준다.

구현 평가

프로세스 분석은 프로그램이 무엇을 해야 하는지에 대한 이론을 넘어 프로그램이 어떻게 구현되고 있는지를 평가한다. 이 평가는 프로그램의 성공에 중요한 것으로 확인된 구성요소가 구현되고 있는지 여부를 결정한다. 평가는 대상 모집단에 도달하는지, 의도된 서비스를 받고 있는지, 직원은 적절한 자격을 갖췄는지 여부를 결정한다. 프로세스 평가는 프로그램이 효과적으로 구현되고 있는지 여부를 평가하기 위해 반복적인 조치를 사용할 수 있는 지속적인 과정이다. 이 문제는 특히 교육이나 공공정책과 같은 분야에서 많은 혁신들이 상당히 복잡한 행동 사슬로 이루어져 있기 때문에 특히 중요하다. 예를 들어, 프로세스 평가는 공중 보건 연구에 사용될 수 있다.[15] 이러한 요소들 중 다수는 다른 요소의 올바른 이전에 구현된 것에 의존하며, 이전 구현이 올바르게 수행되지 않은 경우 실패할 것이다. 이것은 Gene V에 의해 결정적으로 증명되었다. 1980년대 동안 유리와 다른 많은 것들. 부정확하거나 비효율적인 구현은 부실한 기술혁신의 올바른 구현에 의해 발생할 수 있는 것과 같은 종류의 중립적이거나 부정적인 결과를 산출하므로, 평가연구는 이행과정 자체를 평가하는 것이 필수적이다.[16] 그렇지 않으면, 좋은 혁신적 아이디어는 사실상 설계한 대로 구현된 적이 없는 비효과적인 것으로 잘못 특징지어질 수 있다.

영향 평가(효과)

영향 평가는 프로그램의 인과관계를 결정한다. 여기에는 프로그램이 의도한 결과(즉, 프로그램 결과)를 달성했는지 측정하려고 시도하는 것이 포함된다.

프로그램 결과

결과는 대상 인구의 상태 또는 프로그램이 변경될 것으로 예상되는 사회적 조건이다.[7] 프로그램 결과는 대상 인구 또는 사회적 조건의 관찰된 특성이지 프로그램의 특성이 아니다. 따라서 결과의 개념은 반드시 프로그램 대상이 실제로 변경되었거나 프로그램이 어떤 방식으로든 변경을 야기했다는 것을 의미하지는 않는다.[7]

프로그램 효과와 관련된 결과 수준과 결과 변화라는 두 가지 종류의 결과가 있다.[7]

  • 결과 수준은 어느 시점에서 결과의 상태를 말한다.
  • 결과 변경은 서로 다른 시점에서 결과 수준 간의 차이를 가리킨다.
  • 프로그램 효과는 일부 다른 요인의 영향과 대조적으로 프로그램에 고유하게 귀속될 수 있는 결과 변경 부분을 가리킨다.

프로그램 결과 측정

결과 측정은 그 상황의 변화나 차이에 따라 체계적으로 변화하는 관측 가능한 지표를 이용하여 결과로 정의되는 상황을 나타내는 것이다.[7] 결과 측정은 프로그램이 의도한 결과를 달성한 정도를 평가하는 체계적인 방법이다.[17] Mouton(2009)에 따르면, 프로그램의 영향을 측정하는 것은 누적된 분화 근위 및 비상 효과를 입증하거나 추정하는 것을 의미하며, 그 중 일부는 의도하지 않았거나 따라서 예측하지 못할 수 있다.[18]

결과 측정은 프로그램이 효과적인지 아닌지 이해하는 데 도움이 된다. 그것은 또한 당신이 당신의 프로그램에 대한 이해를 명확히 하는 것을 돕는다. 그러나 그 노력을 기울이는 가장 중요한 이유는 당신의 일이 당신이 봉사하는 사람들에게 미치는 영향을 이해하기 위해서입니다.[18] 수집하는 정보를 통해 어떤 활동을 계속하고 구축해야 하는지, 프로그램의 효과를 높이기 위해 어떤 활동을 변경해야 하는지 결정할 수 있다.

여기에는 프로그램의 효과를 측정하고 프로그램과 다양한 결과 사이의 인과관계를 찾기 위해 정교한 통계 기법을 사용하는 것이 포함될 수 있다. 영향 평가에 대한 자세한 내용은 '결정 인과 관계' 제목에서 확인할 수 있다.

효율성 평가

마지막으로, 비용 편익 또는 비용 효율성 분석은 프로그램의 효율성을 평가한다. 평가자는 비교를 위한 프로그램의 편익과 비용을 개략적으로 설명한다. 효율적인 프로그램은 비용 대비 편익 비율이 낮다. 효율에는 두 가지 유형이 있는데, 즉 정적인 것과 동적인 것이다. 정적 효율성은 최소 비용으로 목표를 달성하는 것과 관련이 있지만, 동적 효율성은 지속적인 개선과 관련이 있다. [19]

인과관계 결정

아마도 평가에서 가장 어려운 부분은 프로그램 자체가 그것이 목표로 했던 모집단에서 관찰되는 변화를 일으키는지를 결정하는 것일 것이다. 프로그램 외부의 사건이나 프로세스가 관찰된 결과의 실제 원인(또는 예상 결과의 실제 예방)일 수 있다.

인과관계는 단정하기 어렵다. 이것의 주된 이유 중 하나는 자기 선택 편향이다.[20] 사람들은 프로그램에 참여하기 위해 자신을 선택한다. 예를 들어, 직업 훈련 프로그램에서 어떤 사람들은 참여하기로 결정하고 어떤 사람들은 참여하지 않는다. 참여자는 중요한 방법으로 참여하지 않는 사람과 다를 수 있다. 그들은 일자리를 찾거나 더 나은 지원 자원을 갖기로 결심할 수도 있다. 이러한 특성들은 실제로 직업 훈련 프로그램이 아닌 고용 증대의 관찰된 결과를 야기하고 있을 수 있다.

무작위 할당으로 실시하는 평가는 인과관계에 대해 더 강한 추론을 할 수 있다. 프로그램에 참여하거나 참여하지 않을 사람을 무작위로 할당하여 자기 선택 편향을 감소시키거나 제거한다. 따라서 참여자 집단은 참여하지 않은 집단에 비해 비교가 더 많을 것으로 보인다.

그러나 대부분의 프로그램은 무작위 할당을 사용할 수 없기 때문에 인과관계를 파악할 수 없다. 영향 분석은 여전히 유용한 정보를 제공할 수 있다. 예를 들어, 프로그램의 결과를 설명할 수 있다. 따라서 이 평가는 프로그램에 참여한 사람들이 참여하지 않은 사람들보다 주어진 결과를 경험할 가능성이 더 높았다고 설명할 수 있다.

프로그램이 상당히 크고 충분한 데이터가 있는 경우 통계 분석을 사용하여 예를 들어 다른 원인이 있을 가능성이 낮다는 것을 보여줌으로써 프로그램에 대한 합리적인 사례를 만들 수 있다.

신뢰성, 유효성 및 민감도

프로그램 평가에 사용되는 기기(예: 시험, 설문지 등)가 가능한 한 신뢰할 수 있고 유효하며 민감한지 확인하는 것이 중요하다. 로시 외 연구원에 따르면 (2004, 페이지 222),[7] '선택이 잘못되었거나 착안된 조치는 잘못된 추정치를 도출하여 영향 평가의 가치를 완전히 훼손할 수 있다. 결과 조치가 유효하고, 신뢰할 수 있고, 적절히 민감한 경우에만 평가 결과에 대한 신뢰성이 있는 것으로 간주할 수 있다.

신뢰성.

측정기기의 신뢰성은 '같은 것을 측정하기 위해 반복적으로 사용할 때 동일한 결과를 산출하는 범위'이다(Rosi 등, 2004, 페이지 218).[7] 조치의 신뢰성이 높을수록 통계적 힘이 크고 그 결과의 신뢰성이 높아진다. 계측기가 신뢰할 수 없는 경우 프로그램의 실제 효과를 희석하고 흐리게 할 수 있으며, 프로그램은 '실제보다 덜 효과적'으로 나타날 것이다(Rosi 등, 2004, 페이지 219).[7] 따라서 평가가 가능한 한 신뢰할 수 있도록 하는 것이 중요하다.

유효성

측정기기의 유효성은 '측정하고자 하는 바를 측정하는 정도'[7]이다(Rosi 등, 2004, 페이지 219). 이 개념은 정확히 측정하기 어려울 수 있다. 일반적으로 평가에서 금융상품은 이해관계자가 유효하다고 인정하면 유효하다고 간주될 수 있다(예: 이해관계자, 프로그램 관리자, 기타 이해관계자 등).

민감도

평가 프로세스의 주요 목적은 프로그램이 수정하려는 사회 문제에 영향을 미치는지 여부를 측정하는 것이다. 따라서 측정 기구는 이러한 잠재적 변화를 식별할 수 있을 만큼 민감해야 한다(Rosi 등, 2004).[7] 프로그램이 영향을 미칠 수 없는 결과를 측정하는 항목을 포함하거나, 측정기가 그룹 설정이 아닌 개인에 적용하기 위해 원래 개발된 경우(예: 표준화된 심리 측정) 측정기기는 무감각할 수 있다(Rosi 등, 2004).[7] 이러한 요인들은 프로그램이 가졌을 수 있는 어떤 영향도 모호하게 하는 '소음'을 초래할 수 있다.

신뢰성, 유효성 및 민감도의 벤치마크를 적절하게 달성하는 조치만이 신뢰할 수 있는 평가라고 말할 수 있다. 그들의 발견이 멀리까지 영향을 미칠 수 있기 때문에 신뢰할 수 있는 평가를 생성하는 것은 평가자의 의무다. 프로그램이 실제로 긍정적인 변화를 일으키고 있을 때 프로그램이 목적을 달성하고 있다는 것을 보여줄 수 없는 불명예스러운 평가는 프로그램의 자금후원을 부당하게 잃게 할 수 있다.[improper synthesis?]

평가 프레임워크를 프로그래밍하는 단계

질병관리본부는 완전한 프로그램 평가를 위한 6단계를 기술한다. 설명한 단계는 이해관계자 참여, 프로그램 설명, 평가 설계 집중, 신뢰할 수 있는 근거 수집, 결론 정당화, 학습한 교훈의 사용 및 공유 등이다.[21] 이러한 단계는 평가의 계속적인 과정을 나타내기 위해 사이클 프레임워크에서 발생할 수 있다.

집합적 영향 평가

여기서 언급된 프로그램 평가 프로세스가 대부분의 프로그램에 적합하지만, 집합적 영향(CI) 모델을 사용하는 것과 같이 매우 복잡한 비선형 이니셔티브는 평가에 동적 접근방식을 필요로 한다. 집단적 영향은 "특정 사회 문제를 해결하기 위한 공통의 의제로 다른 분야의 중요한 행위자 집단의 약속"[22]이며, 일반적으로 세 단계를 포함하며, 각 단계는 서로 다른 권장 평가 접근방식을 가진다.

  • 초기 단계: CI 참여자들은 가능한 전략을 탐구하고 실행 계획을 개발하고 있다. 불확실성으로 특징지어진다.

권장 평가 접근방식: CI 파트너들이 이니셔티브와 그 개발의 맥락을 이해하는 데 도움이 되는 개발 평가:[23] "개발 평가에는 혁신자들이 시스템 변화를 가져오려고 할 때 복잡한 동적 시스템에서 나타나는 것에 대한 실시간 피드백이 포함된다."[24]

  • 중간 단계: CI 파트너는 합의된 전략을 구현한다. 어떤 결과는 예측하기 쉬워진다.

권장 평가 접근법: 진행 과정을 다듬고 개선하기 위한 형태별 평가와 새로운 요소가 등장함에 따라 새로운 요소를 탐구하기 위한 지속적인 개발 평가. 형성적 평가에는 "급발적 특성 및 예기치 못한 결과에 대응하기 위한 프로세스의 신중한 모니터링이 포함된다."[25]

  • 이후 단계: 활동은 안정을 이루고 더 이상 형성되지 않는다. 경험은 어떤 활동이 효과적일 수 있는지에 대한 지식을 알려준다.

권장 평가 접근법: 종합 평가는 "프로젝트가 무엇을 달성했는지, 그리고 어떻게 또는 왜 이런 일이 발생했는지 더 잘 이해하기 위해 양적 방법과 질적 방법을 모두 사용한다."[26]

프로그램 평가 계획

프로그램 평가 계획 수립은 평가 집중, 정보 수집, 정보 활용, 평가 관리 등 4가지로 나눌 수 있다.[27] 프로그램 평가에는 평가 목적에 대한 질문, 어떤 질문이 필요한지, 수집된 정보를 가지고 무엇을 할 것인지에 대한 반성이 포함된다. 고려해야 할 중요한 질문은 다음과 같다.

  • 나는 무엇을 평가해야 할까?
  • 이 평가의 목적은 무엇인가?
  • 누가 이 평가를 사용할 것인가? 그들은 그것을 어떻게 사용할 것인가?
  • 이 평가는 어떤 질문에 답하고자 하는가?
  • 질문에 답하려면 어떤 정보가 필요한가?
  • 언제 평가가 필요한가? 어떤 자원이 필요한가?
  • 필요한 데이터를 어떻게 수집할 것인가?
  • 데이터는 어떻게 분석될 것인가?
  • 구현 시간 표시 막대가 어떻게 되십니까?

방법론적 제약 및 과제

구두쇠 접근법

"신나는 평가 접근법"은 제한된 예산, 제한된 데이터 접근 또는 가용성, 제한된 전환 시간 하에서 운영되는 평가자들이 방법론적으로 엄격한 효과적인 평가를 수행할 수 있도록 지원하기 위한 것이다(Bamberger, Rugh, Church & Fort, 2004).[28] 이 접근방식은 예산, 시간 제약 및 제한된 데이터 가용성이라는 어려운 상황에서 보다 신속하고 경제적인 평가 프로세스에 대한 지속적인 필요성에 대응해 왔다. 그러나 가능한 최고의 표준을 달성하기 위해 평가를 설계하는 것이 항상 가능한 것은 아니다. 많은 프로그램들이 그들의 설계나 예산에 평가 절차를 구축하지 않는다. 따라서 프로그램이 이미 진행되기 전까지는 많은 평가 프로세스가 시작되지 않으며, 이는 평가자에게 시간, 예산 또는 데이터 제약이 될 수 있으며, 이는 다시 평가의 신뢰성, 타당성 또는 민감도에 영향을 미칠 수 있다. > 구두쇠 접근방식은 이러한 제약조건 하에서 가능한 최대의 방법론적 엄격함이 달성되도록 하는 데 도움이 된다.

예산 제약

대부분의 원래 프로젝트에는 평가를 수행할 예산이 포함되어 있지 않기 때문에 프로그램들은 종종 예산 제약에 직면한다(Bamberger et al., 2004). 따라서 이는 엄격한 평가에 부적합한 적은 예산을 자동으로 배정하는 결과를 초래한다. 예산 제약 때문에 가장 적절한 방법론적 수단을 효과적으로 적용하기가 어려울 수 있다. 이러한 제약조건은 결과적으로 평가를 수행할 수 있는 시간에 영향을 미칠 수 있다(Bamberger 등, 2004).[28] 평가 설계를 간소화하고, 표본 크기를 수정하며, 경제적인 데이터 수집 방법(예: 자원 봉사자를 사용하여 데이터를 수집하거나, 조사를 단축하거나, 포커스 그룹과 주요 정보 제공자를 사용하는 것)을 탐색하거나, 신뢰할 수 있는 2차 데이터를 찾는 것으로 예산 제약을 해결할 수 있다(Bamberger et al.[28]

시간 제약

평가자가 직면할 수 있는 가장 많은 시간 제약조건은 연구 수명에 비해 평가를 할 수 있는 제한된 시간이 주어지거나 적절한 계획을 세울 수 있는 충분한 시간이 주어지지 않은 경우에 프로젝트가 이미 진행 중일 때 평가자를 불러 평가를 실시하는 것이다. 시간 제약은 평가자가 프로그램이 위치한 지역이나 국가에 익숙하지 않을 때 특히 문제가 된다(Bamberger 등, 2004).[28] 시간 제약은 위에서와 같이 예산 제약 하에서 열거된 방법들과 또한 제한된 시간 공간 내에서 효과적인 데이터 수집과 분석을 보장하기 위한 신중한 계획으로 해결할 수 있다.

데이터 제약 조건

프로그램에서 늦게 평가가 시작되는 경우, 개입이 시작되기 전 대상 그룹의 조건에 대한 기준 데이터가 없을 수 있다(Bamberger 등, 2004).[28] 데이터 제약의 또 다른 가능한 원인은 프로그램 스태프가 데이터를 수집하고 체계적인 보고 편향 또는 잘못된 기록 유지 표준을 포함하며 결과적으로 거의 사용하지 않는 경우에 있다(Bamberger et al.[28] 대상 그룹이 노숙자, 마약 중독자, 이주 노동자 등으로부터 데이터를 수집하기 어려운 경우 데이터 제약의 또 다른 원천이 발생할 수 있다(Bamberger 등, 2004).[28] 데이터 제약조건은 2차 데이터에서 기준 데이터를 재구성하거나 여러 방법을 사용하여 해결할 수 있다. 질적 데이터와 양적 데이터의 결합과 같은 다중 방법은 삼각측량을 통해 유효성을 높이고 시간과 비용을 절약할 수 있다. 또한 이러한 제약조건은 프로그램 이해관계자와의 신중한 계획과 협의를 통해 다루어질 수 있다. 평가를 앞두고 고객의 니즈를 명확히 파악하고 이해함으로써, 신뢰도를 유지하면서 평가 과정의 비용과 시간을 합리화하고 줄일 수 있다.

전반적으로 시간, 통화 및 데이터 제약은 평가의 타당성, 신뢰성 및 전달성에 부정적인 영향을 미칠 수 있다. 비용 및 시간을 줄이고, 기준 데이터를 재구성하며, 기존 제약 조건 하에서 최대의 품질을 보장하는 방법을 식별하여 평가자가 위에서 식별한 한계를 교정할 수 있도록 돕기 위해 구두쇠 접근법이 만들어졌다(Bamberger et al., 2004).

5단 접근법

평가에 대한 5단계 접근방식은 평가에 대한 구두 접근방식이 기초하는 전략을 더욱 발전시킨다.[29] 원래 제이콥스(1988)가 지역사회 기반 프로그램을 평가하기 위한 대안으로 개발한 것으로, 미국 매사추세츠 주의 주 전체 아동 및 가족 프로그램에 적용되었다.[30] 5단계 접근방식은 프로그램 자체의 특성 및 각 평가 상황에 내재된 특정 자원과 제약조건에 대한 평가를 보다 정확하게 일치시키기 위한 개념적 프레임워크로 제공된다.[29] 즉, 5단계 접근방식은 평가를 각 평가 문맥의 특정 요구에 맞게 조정하려고 한다.

초기 계층(1-3)은 기술적이고 프로세스 지향적인 정보를 생성하는 반면, 후기 계층(4-5)은 프로그램의 단기적 효과와 장기적 효과를 모두 결정한다.[31] 5단계는 다음과 같이 구성된다.

  • 계층 1: 니즈 평가(사전 구현이라고도 함)[32]
  • 계층 2: 모니터링 및 책임
  • 계층 3: 품질 검토 및 프로그램 설명(이해 및 개선이라고도 함)[33]
  • 계층 4: 결과 달성
  • 계층 5: 영향 설정

각 계층에 대해, 계층의 식별된 목적을 달성할 수 있는 해당 업무와 함께 목적이 식별된다.[33] 예를 들어, 첫 번째 단계인 니즈 평가의 목적은 커뮤니티에서 프로그램의 필요성을 문서화하는 것이다. 이 계층의 과제는 모든 관련 이해당사자들과 협력하여 공동체의 필요와 자산을 평가하는 것이다.[33]

계층은 연속 사용을 위해 구조화되지만, 상위 계층의 작업에 초기 계층에서 수집된 정보가 필요함을 의미하며, 평가의 유동성을 인정한다.[31] 따라서 이후 계층에서 이전 계층으로 다시 이동하거나 동시에 두 계층에서 작업할 수도 있다.[33] 그러나 프로그램 평가자는 프로그램을 적절한 수준에서 평가해야 한다는 점을 유념해야 한다.[32]

5단계 접근법은 지역사회와 참여자의 권한을 강조하는 가족 지원 프로그램에 유용하다고 한다. 이는 모든 이해관계자가 참여하는 참여적 접근법을 장려하고 이러한 반성의 과정을 통해 권한이 달성되기 때문이다.[30]

언어와 문화에 의해 제시된 방법론적 도전

이 섹션의 목적은 개발도상국에서 프로그램 평가를 수행할 때 평가자가 잠재적으로 직면할 수 있는 방법론적 도전과 딜레마에 대한 주의를 환기시키는 것이다. 많은 개발 도상국에서 평가의 주요 후원자는 선진국의 기부 기관이며, 이러한 기관들은 프로그램의 성패에 대한 증거를 만들 뿐만 아니라 책임과 자원의 통제를 유지하기 위해 정기적인 평가 보고서를 요구한다.[34] 그러나, 평가자가 자신이 적용되는 맥락에서 개발되지 않은 기술과 시스템을 사용하려고 시도하는 평가 프로그램을 실행하려고 시도할 때 직면하는 많은 장애물과 도전들이 있다.[35] 그 이슈들 중 일부는 문화, 태도, 언어, 정치적 과정의 차이점을 포함한다.[35][36]

문화는 에부트(1998년, 페이지 416년)에 의해 "사회에 스며들어 사람들이 사회적으로 어떻게 행동하는가에 영향을 미치는 서면과 미필적 기대, 가치, 규범, 규칙, 법, 유물, 의식과 행동의 구성"[36]으로 정의된다. 문화는 데이터 수집, 평가 프로그램 실행 및 평가 결과의 분석과 이해를 포함하여 평가 과정의 많은 측면에 영향을 미칠 수 있다.[36] 특히 전통적으로 질문지, 반구조 인터뷰 등 자료 수집에 이용되는 악기는 원래 다른 문화적 맥락에서 개발됐다면 문화의 차이에 민감할 필요가 있다.[37] 평가자가 측정하려고 하는 구성의 이해와 의미는 평가자와 표본 모집단 사이에 공유되지 않을 수 있으며, 따라서 개념의 전이가 중요한 개념이다. 이는 평가자가 수행하는 데이터 수집의 품질과 분석 및 결과 생성 by 데이터.[37]

언어가 문화와 밀접하게 연결되어 있기 때문에 언어 또한 평가 과정에서 중요한 역할을 한다.[37] 언어는 평가자가 접근하려고 하는 개념을 전달하는 데 큰 장벽이 될 수 있으며, 번역이 필요한 경우가 많다.[36] 번역에 있어서 의미 상실뿐만 아니라 번역자에 의한 의미 과장이나 향상 등 많은 문제가 있다.[36] 예를 들어, 문맥적으로 특정한 용어들은 같은 무게나 의미를 가진 다른 언어로 번역되지 않을 수 있다. 특히, 데이터 수집 기구는 주제가 특정 맥락에서 민감하다고 간주되지 않을 수 있으므로, 평가가 이루어지는 맥락에서 민감하다고 판명될 수 있으므로 의미를 고려할 필요가 있다.[37] 따라서 평가자는 데이터 수집 도구를 관리할 때 두 가지 중요한 개념인 어휘적 동등성과 개념적 동등성을 고려해야 한다.[37] 어휘적 동등성은 질문을 던진다: 어떻게 한 구절이 같은 단어를 사용하는 두 언어의 질문인가? 이것은 성취하기 어려운 작업이며, 역번역과 같은 기법을 사용하는 것은 평가자에게 도움이 될 수 있지만 의미를 완벽하게 전달하지는 못할 수 있다.[37] 이것은 다음 포인트인 개념적 동등성으로 이어진다. 개념들이 한 문화에서 다른 문화로 모호하게 옮겨가는 것은 흔한 일이 아니다.[37] 따라서 적절한 시험과 파일럿을 거치지 않은 데이터 수집 계기는 계측기에 의해 측정된 개념이 다른 의미를 취하여 계측기를 신뢰할 수 없고 무효로 만들 수 있으므로 유용하지 않은 결과를 제공할 수 있다.[37]

따라서, 평가자는 개발도상국에서 프로그램 평가를 실시하려고 할 때 문화와 언어의 차이로 인해 발생하는 방법론적 난제를 고려할 필요가 있음을 알 수 있다.

활용도 결과

전통적인 평가 결과 활용은 설득력 활용, 직접(계기) 활용, 개념 활용 등 세 가지다.

설득력 활용

설득력 있는 활용은 청중들이 의제를 지지하거나 반대하도록 설득하기 위한 노력의 일환으로 평가 결과를 입력하는 것이다. '지속자'가 평가를 진행한 동일 인물이 아니라면, 이러한 활용 형태는 평가자가 향후 가능한 설득 노력을 예측할 수 없는 경우가 많기 때문에 큰 관심을 갖지 않는다.[7]

직접(계기) 활용

평가자는 종종 프로그램의 구조 개선이나 과정에 직접적인 영향을 미칠 수 있는 결과를 도출하도록 평가를 맞춤화한다. 예를 들어, 새로운 교육 개입에 대한 평가는 학생들의 점수가 개선되지 않음을 나타내는 결과를 낳을 수 있다. 이는 개입이 이론적 배경이 건전하지 못하기 때문일 수도 있고, 개입이 원래 의도대로 이루어지지 않기 때문일 수도 있다. 평가 결과는 개입의 핵심 구조를 재창조하기 위해 처음부터 다시 시작하게 하거나, 실행 과정을 변경하게 하는 결과를 초래하기를 희망한다.[7]

개념 활용도

그러나 평가 결과가 프로그램의 재편성에 직접적인 영향을 미치지 않더라도, 여전히 프로그램이 다루려고 하는 문제를 사람들에게 인식시키기 위해 사용될 수 있다. 새로운 교육 개입에 대한 평가의 예로 돌아가서, 그 결과는 또한 교육자와 학생들에게 학생들의 학습 어려움에 영향을 미칠 수 있는 다른 장벽에 대해 알리는 데 사용될 수 있다. 이러한 장벽에 대한 많은 연구가 이 새로운 정보에 의해 시작될 수 있다.[7]

활용도에 영향을 미치는 변수

평가결과의 효용성에 영향을 미치는 것으로 보이는 다섯 가지 조건, 즉 평가자와 그 결과의 이용자 간의 의사소통, 이용자에 의한 정보처리, 그 결과의 신뢰성, 이용자의 관여나 옹호 수준 등이 있다.[7]

활용률 극대화 지침

로시 외 연구진으로부터 직접 인용. (2004, 페이지 416).:[7]

  • 평가자는 의사 결정자의 인지 스타일을 이해해야 한다.
  • 평가 결과는 시기적절하고 필요할 때 이용할 수 있어야 함
  • 평가는 이해관계자의 프로그램 약속을 존중해야 함
  • 활용 및 보급 계획은 평가 설계의 일부가 되어야 한다.
  • 평가에는 활용도 평가가 포함되어야 한다.

내부 및 외부 프로그램 평가자

프로그램을 평가하기 위해 선택된 평가자의 선택은 평가 과정과 마찬가지로 중요하게 간주될 수 있다. 평가자는 내부(실행될 프로그램과 관련된 사람) 또는 외부(프로그램의 실행/이행의 어떤 부분과도 관련이 없는 사람)일 수 있다. (감독 서비스 부문, 2004). 다음은 감독 서비스 부서(2004)에서 채택한 내부 및 외부 평가자의 장단점에 대한 간략한 요약을 제공한다(감독 서비스 부서, 2004 참조).

내부평가자

이점

  • 프로그램에 대한 전반적인 지식이 향상되고 프로그램에 대한 비공식 지식이 있을 수 있음
  • 직원에게 이미 잘 알고 있는 위협 요소 감소
  • 비용 절감

단점들

  • 덜 객관적일 수 있음
  • 프로그램의 다른 활동에 더 집중하고 평가에 완전한 주의를 기울이지 않을 수 있음
  • 평가자로서 적절한 교육을 받지 못할 수 있다.

외부 평가자

이점

  • 프로세스를 보다 객관적으로 관찰하고 평가할 수 있는 새로운 관점과 다양한 각도를 제공하는 프로세스
  • 평가에 더 많은 시간과 주의를 할애할 수 있음
  • 전문성과 평가 두뇌가 더 뛰어날 수 있음

단점들

  • 더 많은 비용이 들고 계약, 감시, 협상 등에 더 많은 시간이 필요할 수 있다.
  • 프로그램 담당자에게 익숙하지 않고 평가받는 것에 대한 불안감을 조성할 수 있음
  • 조직 정책, 프로그램에 영향을 미치는 특정 제약조건에 익숙하지 않을 수 있다.

세 가지 패러다임

실증주의자

Potter(2006)[38]는 프로그램 평가에서 세 가지 광범위한 패러다임을 식별하고 설명한다. 첫 번째, 그리고 아마도 가장 일반적인 것은 긍정론적 접근법인데, 평가는 프로그램의 "객관적이고 관찰 가능하며 측정 가능한 측면이 있는 경우에만 이루어지며, 주로 정량적 증거를 요구한다. 실증주의적 접근방식은 니즈 평가, 프로그램 이론 평가, 프로그램 프로세스 평가, 영향 평가 및 효율성 평가와 같은 평가 차원을 포함한다(Rosi, Lipsey and Freeman, 2004).[39] 실증주의적 접근방식의 자세한 예는 캘리포니아 공공정책연구소(Public Policy Institute of California)의 "California's Community Colleges의 평가 프로그램" 보고서에서 평가자가 측정 가능한 활동(예: 등록 데이터)을 검토하고 인자 분석과 같은 정량적 평가를 수행하는 연구다.[40]

해석적

Potter(2006)가 파악한 두 번째 패러다임은 해석적 접근방식이며, 여기서 평가자는 모든 이해관계자의 관점, 경험 및 기대에 대한 이해를 개발하는 것이 필수적이라고 주장한다. 이것은 프로그램의 장점이나 가치에 대한 판단을 내릴 수 있기 전에 중요한 이해관계자들이 가지고 있는 다양한 의미와 니즈를 더 잘 이해하도록 이끌 것이다. 평가자의 프로그램 접촉은 종종 장기간에 걸쳐 이루어지며, 표준화된 방법은 없지만 관찰, 인터뷰, 포커스 그룹이 일반적으로 사용된다. 세계은행이 의뢰한 보고서는 질적 방법과 양적 방법을 통합할 수 있고 아마도 한 가지 방법으로는 달성할 수 없는 통찰력을 산출할 수 있는 8가지 접근방식을 상세히 기술하고 있다.[41]

임계-방사능

또한 Potter(2006)는 프로그램 평가에 대한 비판적-감정적 접근법을 식별하는데, 이는 주로 사회변혁을 목적으로 한 행동 연구에 기초한다. 이러한 유형의 접근방식은 훨씬 더 이념적이며 종종 평가자 측에서 더 높은 수준의 사회적 활동성을 포함한다. 이 접근방식은 질적 및 참여적 평가에 적합할 것이다. 사회 권력 구조에 대한 비판적인 관심과 참여와 권한 부여에 대한 강조 때문에, 포터는 이러한 유형의 평가가 개발도상국들에게 특히 유용할 수 있다고 주장한다.

어떤 프로그램 평가에서 사용되는 패러다임에도 불구하고, 그것이 실증주의적이든, 해석적이든 비판적이든 간에, 평가는 특정한 사회-정치적 맥락에서 이루어진다는 것을 인정하는 것이 필수적이다. 평가는 공백 속에 존재하는 것이 아니며, 모든 평가는 그들이 그것을 알고 있든 모르든 사회정치적 요인에 의해 영향을 받는다. 이러한 종류의 평가 과정에서 발생하는 평가와 결과를 특정 이념적, 사회적, 정치적 의제에 찬성하거나 반대하여 사용할 수 있다는 것을 인식하는 것이 중요하다(Weiss, 1999).[42] 이는 특히 자원이 한정되어 있고 특정 프로젝트를 다른 프로젝트보다 우선시하기 위한 조직 간의 경쟁이 있는 시대에 더욱 그러하다(Louw, 1999).[43]

권한 부여 평가

주요 기사: 권한 부여 평가

역량평가는 평가개념, 기법 및 소견을 활용하여 특정 대상 인구/프로그램 참여자를 대상으로 한 특정 프로그램의 개선과 자기결정력을 배양한다.[44] 권한 부여 평가는 프로그램 참여자가 자신이 목표로 하는 프로그램의 변화를 가져오는 데 참여하도록 하는 데 중점을 두고 있다. 역량강화 평가의 주요 초점 중 하나는 프로그램 참여자를 평가 과정 수행에 통합하는 것이다. 이 과정은 종종 프로그램에 대한 비판적인 반영이 뒤따른다. 이 경우 외부/외부 평가자는 프로그램 참가자의 컨설턴트/코칭/조정자 역할을 하며, 참가자의 입장에서 프로그램의 이해를 도모한다. 일단 참가자들의 관점을 명확히 이해하게 되면, 적절한 단계와 전략을 구상하고 (참가자들의 귀중한 의견을 통해) 원하는 결과에 도달할 수 있도록 실행될 수 있다.

Fetterman(2002)[44]에 따르면 권한 부여 평가에는 세 가지 단계가 있다.

  • 임무수립
  • 재고정리
  • 미래를 위한 계획

임무수립

첫 번째 단계는 평가자가 프로그램 참가자와 (프로그램의) 스태프에게 프로그램의 사명을 규정하도록 요청하는 것이다. 평가자는 그러한 당사자들을 한데 모으고 프로그램의 사명을 생성하고 토론하도록 요청함으로써 이 단계를 수행하기로 선택할 수 있다. 이러한 접근법의 이면에 있는 논리는 각 당사자들에게 프로그램 임무가 실제로 무엇인지에 대해 서로 다른 관점이 있을 수 있다는 것을 보여주는 것이다.

재고정리

두 번째 단계로 재고 조사를 하는 것은 두 가지 중요한 작업으로 구성된다. 첫 번째 과제는 프로그램 참여자와 프로그램 직원이 프로그램의 기능에 중요한 현재 주요 활동 목록을 작성하는 것과 관련이 있다. 두 번째 과제는 우선순위 결정이라고도 알려진 식별된 주요 활동의 등급을 평가하는 것과 관련이 있다. 예를 들어, 각 당원에게 10이 가장 중요하고 1이 가장 덜 중요한 1부터 10까지의 척도로 각 주요 활동을 평가하도록 요청할 수 있다. 이 과제에서 평가자의 역할은 주요 활동과 관련하여 공유된 의미와 이해의 어떤 기준선을 설정하기 위한 시도로 구성원들 간의 대화형 토론을 촉진하는 것이다. 또한 일부 핵심 활동을 고려할 때 관련 문서(재무보고서 및 교육과정 정보 등)를 토론에 도입할 수 있다.

미래를 위한 계획

주요 활동에 우선순위를 매긴 후 다음 단계는 미래를 계획하는 것이다. 여기서 평가자는 프로그램 참가자와 프로그램 스태프에게 나열된 주요 활동과 관련하여 프로그램을 개선하는 방법을 묻는다. 목표는 생성된 미션(1단계)에 의해 향후 계획(3단계)의 기초를 형성하는 재고 보유(2단계)를 안내하는 일관성의 실마리를 만드는 것이다. 따라서 미래 특정 목표를 위한 계획에서 관련 핵심 활동과 연계된다. 이와 더불어 프로그램 참가자와 프로그램 스태프가 특정 목표를 향한 진행 상황을 모니터링하는 데 사용할 수 있는 가능한 형태의 증거(측정 가능한 지표)를 식별하는 것도 중요하다. 목표는 프로그램의 활동, 재능, 자원 및 역량 범위와 관련되어야 한다. 즉, 수립된 목표가 현실적이어야 한다.

이 세 단계의 권한 부여 평가는 프로그램이 대상 모집단의 요구에 더 효과적이고 더 잘 부응할 수 있는 잠재력을 생산한다. 역량평가는 숙련된 평가기구에 의해 촉진되는 과정일 뿐만 아니라, 참가자들에게 비판적 사고와 프로그램에 대한 반성의 '새로운' 방법을 제공함으로써 참가자들에게 힘을 실어준다. 또한, 그것은 프로그램 참여자와 스태프가 집단 행동을 통해 프로그램 변화를 가져올 수 있는 자신의 역량을 인식할 수 있도록 한다.[45]

변혁적 패러다임

변혁적 패러다임은 평가에 사회 정의를 통합하는 데 필수적이다. 이 분야의 1차 연구원인 도나 머텐스는 변혁적 패러다임인 "주요적으로 소외된 집단의 관점에 초점을 맞추고, 사회 정의와 인권을 증진시키기 위한 혼합적인 방법을 통한 체계적 권력 구조를 질문한다"[46]고 말한다. 변혁적 패러다임은 역사적으로 평가에서 옆으로 밀려난 소외계층이 평가에서 사회정의와 인권을 옹호하기 위해 학자들과 협력하기 시작하면서 생겨났다. 변혁적 패러다임은 평가 과정에 많은 다른 패러다임과 렌즈를 도입하여 평가 과정에 지속적으로 의문을 제기하게 한다.

미국평가협회와 전국사회노동자협회 모두 평가를 실시할 때 문화적 역량을 보유해야 하는 윤리적 의무에 주의를 촉구하고 있다. 평가에서 문화적 역량은 평가가 이루어지는 문화적 맥락을 능동적으로 인지, 이해 및 감사하는 체계적이고 대응적인 조사, 평가 노력의 인식론적 틀과 표현, 문화적이고 맥락적으로 적절한 방법론을 채택하는 조사로 광범위하게 정의될 수 있다. 이해관계자가 생성한 해석적 수단을 사용하여 결과 및 결과의 추가 사용에 도달한다.[47] 많은 보건 및 평가 리더들은 문화적 역량은 단순한 체크리스트로 결정할 수 없고 오히려 시간이 지나면서 발전하는 속성이라고 지적하는 데 신중을 기하고 있다. 평가에서 문화적 역량의 뿌리는 서로 다른 문화적 맥락, 실천, 사고 패러다임을 이해하는데 있어 깊이 있는 것을 추구하기 위해 연구되고 있는 공동체에 대한 진정한 존경과 개방이다. 여기에는 서로 다른 문화적 맥락을 포착하기 위해 창의적이고 유연한 것, 평가 컨텍스트에 존재하는 권력 차이에 대한 인식을 높이는 것이 포함된다. 중요한 기술에는 차이점을 초월하여 친밀감을 쌓고, 지역사회 구성원의 신뢰를 얻고, 자기반영과 자기 인식의 능력이 포함된다.[48]

패러다임

패러다임 공리학, 온톨로지, 인식론학, 방법론은 평가에서 사회 정의 실천을 반영한다. 이러한 사례들은 인권의 포함과 평등을 촉진함으로써 사회의 불평등과 부정을 해결하는 데 초점을 맞추고 있다.

공리학(값 및 가치 판단)

변혁적 패러다임의 공리학적 가정은 다음과 같은 네 가지 주요 원리에 있다.[46]

  • 문화적으로 존중하는 것의 중요성
  • 사회정의의 증진
  • 인권의 신장
  • 불평등 해소

온톨로지 (현실)

무엇이 진짜인지에 대한 관점의 차이는 다양한 가치와 삶의 경험에 의해 결정된다. 결국 이러한 가치와 삶의 경험은 종종 특권에 대한 접근의 차이와 관련이 있는데, 장애, 성별, 성 정체성, 종교, 인종/민족성, 국적, 정당, 소득 수준, 나이, 언어, 이민 또는 난민 지위 같은 특성을 바탕으로 한다.[46]

인식론(지식)

지식은 권력과 특권의 맥락 안에서 어떤 버전의 지식에게 특권이 주어지는지에 대한 결과를 첨부하여 구성된다.[46] "지식은 사회적으로나 역사적으로 복잡한 문화적 맥락 안에 위치한다."[49]

방법론(시스템 질문)

방법론적 결정은 사회 정의를 향상시키기 위해 프로세스와 발견물의 사용을 가장 용이하게 하는 접근방식을 결정하는 것을 목표로 하고 있으며, 현상을 지지하는 체계적 힘과 변화가 일어날 수 있도록 하는 힘을 식별하고, 평가자와 스테이크 사이의 중요하고 반사적인 관계의 필요성을 인정한다.주주들[46]

렌즈

사회 정의를 통해 운영하면서 부정행위를 경험하는 이들의 렌즈를 통해 세상을 바라볼 수 있는 능력이 절실하다. 비판적 인종 이론, 페미니스트 이론, 퀴어/LGBTQ 이론은 소외된 집단에 대한 정의를 제공하는 것에 대해 우리가 어떻게 생각해야 하는지에 대한 틀이다. 이 렌즈들은 불평등을 다루는데 있어서 각각의 이론을 우선시할 수 있는 기회를 만든다.

임계 민족 이론

비판적 인종 이론(CRT)은 인종과 민족에 기초한 불평등에 초점을 맞춘 비판 이론의 연장선이다. 다니엘 솔로자노는 CRT의 역할을 인종차별적이고 억압적인 현상을 지속할 수 있도록 하는 사회의 그러한 시스템적인 측면을 조사하고 가시화할 수 있는 틀을 제공하는 것으로 묘사하고 있다.[50]

페미니스트 이론

페미니스트 이론의 본질은 "여성을 비롯한 억압받는 집단에 대한 접근을 거부하고 여성을 무시하거나 평가절하해 온 개인 및 제도적 관행을 폭로"하는 것이다.

퀴어/LGBTQ 이론

퀴어/LGBTQ 이론가들은 사회에 만연한 이단주의 편견에 대해 성지향적 소수자에 대한 권력과 차별에 대해 의문을 제기한다. LGBTQ 지위를 둘러싼 이슈의 민감성 때문에, 평가자들은 그러한 개인의 신원을 보호할 수 있는 안전한 방법을 알고, 차별적인 관행이 더 정의로운 사회를 만들기 위해 밝혀지도록 할 필요가 있다.[46]

정부 요구 사항

Framework for program evaluation in public health
공중보건 프로그램 평가 프레임워크

오바마 행정부는 연방 예산 적자를 감안해 엄격한 프로그램 평가 방식 등 정부 지출에 '증거 기반 접근법'을 적용하려는 움직임을 보였다. 대통령의 2011년 예산은 교육부와 미국 국제개발원(USAID)과 같은 기관에 대한 19개 정부 프로그램 평가에 대한 자금 지원을 책정했다. 기관 간 그룹은 효과적인 평가 네트워크를 구축하고 모범 사례를 도출하여 투명성과 책임성을 높이겠다는 목표를 전달한다.[52] 질병관리본부(CDC)가 발간한 공중보건 프로그램 평가 실시를 위한 6단계 프레임워크는 당초 미국 정부 프로그램에 대한 프로그램 평가의 비중을 높였다. 그 골격은 다음과 같다.

  1. 이해 관계자 참여
  2. 프로그램에 대해 설명하십시오.
  3. 평가의 초점을 맞추십시오.
  4. 믿을 만한 증거를 모으다.
  5. 결론을 정당화하다.
  6. 사용 확인 및 학습 내용 공유

2019년 1월, 증거 기반 정책 수립 재단은 최고 평가 책임자를 임명하는 등 연방 기관에 대한 새로운 요건을 도입했다. 본 법률의 시행에 관한 관리 예산 사무국에서 발행하는 지침은 기관이 전략 및 운영 성과를 개선하기 위해 답변하고자 하는 구체적인 질문이 있는 다년제 학습 어젠다를 개발하도록 요구한다.[53] 또한 기관은 교육 안건의 문제를 해결하기 위해 기관이 수행할 계획인 특정 평가를 요약한 연간 평가 계획을 작성해야 한다.

평가 유형

프로그램 평가에는 여러 가지 접근법이 있다. 각각 다른 목적을 위해 봉사한다.

  • 활용도-중점 평가
  • CIPP 평가 모델
  • 조형 평가
  • 종합 평가
  • 개발 평가
  • 원칙-중점 평가
  • 이론 중심 평가
  • 현실주의자 주도 평가

CIPP 평가 모델

주요기사 : CIPP 평가모델

CIPP 모델 이력

평가의 CIPP 모델은 1960년대에 다니엘 스터플빔과 동료들에 의해 개발되었다.CIPP는 Context, Input, Process 및 Product의 약자다. CIPP는 프로그램의 가치를 판단할 때 상황, 입력, 프로세스 및 제품의 평가를 요구하는 평가 모델이다. CIPP는 평가에 대한 의사결정 중심 접근방식이며 프로그램 관리 및 운영을 위한 체계적인 정보 제공을 강조한다.[54]

CIPP 모델

CIPP 프레임워크는 평가와 프로그램 의사결정을 연계하는 수단으로 개발되었다. 그것은 각각 평가의 다른 측면(컨텍스트, 입력, 프로세스 및 제품 평가)을 통해 검토된, 계획 수립, 구조화, 구현 및 검토 및 수정의 사이클에 기초하여 프로그램 의사결정을 위한 분석적이고 합리적인 근거를 제공하는 것을 목표로 한다.[54]

CIPP 모델은 프로그램의 단계와 활동 중에 의사결정자의 필요와 직접적으로 관련성을 평가하기 위한 시도다.[54] 스터플빔의 컨텍스트, 입력, 프로세스, 제품(CIPP) 평가 모델은 서비스 학습 프로젝트의 개념, 설계, 구현, 평가를 체계적으로 지도하고, 지속적인 개선을 위한 프로젝트의 효과성에 대한 피드백과 판단을 제공하는 프레임워크로 추천된다.[54]

CIPP 평가의 네 가지 측면

이러한 측면은 맥락, 입력, 프로세스 및 제품이다. CIPP 평가의 이러한 네 가지 측면은 의사결정자가 다음과 같은 네 가지 기본 질문에 대답할 수 있도록 돕는다.

  • 우리 어떻게 해야 되죠?

여기에는 목표, 우선순위 및 목표를 결정하기 위해 니즈 평가 데이터를 수집하고 분석하는 것이 포함된다. 예를 들어, 문해 프로그램 맥락 평가는 문해 프로그램, 문해 성취도 시험 점수, 직원 우려(일반 및 특별), 문해 정책 및 계획, 지역사회 우려, 인식 또는 태도와 니즈의 분석을 포함할 수 있다.[54]

  • 어떻게 하면 좋을까?

여기에는 새로운 목표와 목표를 달성하는 데 필요한 단계와 자원이 포함되며, 성공적인 외부 프로그램과 자료의 식별은 물론 정보 수집도 포함될 수 있다.[54]

  • 계획대로 하는 거야?

이것은 의사결정자들에게 프로그램이 얼마나 잘 시행되고 있는지에 대한 정보를 제공한다. 지속적으로 프로그램을 모니터링함으로써 의사결정자들은 계획과 지침을 얼마나 잘 따르고 있는지, 갈등이 발생하고 있는지, 직원 지원과 사기, 자료의 장단점, 전달과 예산 문제 등을 알게 된다.[54]

  • 프로그램이 효과가 있었나?

실제 결과를 측정하고 예상 결과와 비교함으로써 의사결정자들은 프로그램을 계속해야 하는지, 수정해야 하는지, 아니면 완전히 중단해야 하는지를 더 잘 결정할 수 있다. 이것이 제품 평가의 본질이다.[54]

평가의 다양한 단계에서 CIPP 사용

평가 지침으로서, CIPP 모델은 평가자들이 프로그램의 필요성 평가를 도와 프로그램이 시작되기 전, 프로그램의 종료 시점에 프로그램이 영향을 미쳤는지 여부를 평가하도록 허용한다.

CIPP 모델은 평가자가 프로그램 시작 시 형태별 질문을 할 수 있도록 한 후, 프로그램의 모든 측면에 대한 종합 질문을 통해 프로그램에 미치는 영향을 평가하도록 지원한다.

  • 컨텍스트: 무엇을 해야 하는가? Vs. 중요한 니즈를 해결했는가?
  • 입력: 어떻게 해야 하는가? Vs. 방어할 수 있는 설계가 채용되었는가?
  • 프로세스: 하고 있는 것일까? vs. 디자인은 잘 실행되었는가?
  • 제품: 성공하고 있는가? vs. 노력은 성공했는가?

참고 항목

참조

  1. ^ 자녀 및 가족을 위한 관리(2010) 프로그램 관리자의 평가 가이드. 제2장: 프로그램 평가란 무엇인가?
  2. ^ Shackman, Gene. What Is Program Evaluation: A Beginner's Guide (Report). The Global Social Change Research Project. SSRN 3060080.
  3. ^ "Hints for Conducting Strong Evaluations". Program Evaluation. CDC - Office of the Associate Director for Program - Program Evaluation. Retrieved April 8, 2012.
  4. ^ Shadish, W. R.; Cook, T. D.; Leviton, L. C. (1991). Foundations of program evaluation: Theories of practice. Newbury Park, CA: Sage.
  5. ^ "U.S. Department of Labor -- Brief History of DOL - Eras of the New Frontier and the Great Society, 1961-1969". dol.gov.
  6. ^ 국가기록원, 예산관리실 기록(1995) 51.8.8 프로그램 평가실 기록
  7. ^ a b c d e f g h i j k l m n o p q r s t u v w x y z aa ab ac ad ae af 로시, P. 립시, M. W. & 프리먼, H.E. (2004) 평가: 체계적 접근(7차 개정) 오크 천스, 크리스 앤더슨:
  8. ^ a b c Barbazette, J. (2006). What is needs assessment? (PDF) (Report).
  9. ^ Rouda, R. H.; Kusy, M. E. (1995). "Needs assessment: The first step".
  10. ^ Wright, B. & Wallis, S.E. (2019) 응용 연구 및 프로그램 평가를 위한 실무적 매핑. SAGE 출판물
  11. ^ 질병 통제 및 예방 센터. 공중보건 프로그램 평가 프레임워크. MMWR 1999;48(No. RR-11).
  12. ^ 반데르 리에트, M. (2009) '문맥의 생산: HIV와 에이즈에 대한 반응으로 행동 변화를 이해하기 위해 활동 이론을 사용한다.' 미발표 박사학위 논문 콰줄루-나탈 대학, 피테르마리츠부르크.
  13. ^ 이블랜드, JD. (1986) "중소기업 혁신 연구 프로그램: 문제를 추구하는 솔루션" D. 그레이, T. 솔로몬, W. 헤츠너(eds). 기술 혁신: 새로운 파트너십을 위한 전략. 암스테르담: 노스홀랜드 주
  14. ^ a b 맥러플린, J. A. & 조던, G. B. (1999년) 논리 모델: 프로그램 성능 이야기를 들려주는 도구. 평가 및 프로그램 계획, 22(1), 65-72.
  15. ^ Mclaughlin, Matthew; Duff, Jed; Sutherland, Rachel; Campbell, Elizabeth; Wolfenden, Luke; Wiggers, John (December 2020). "Protocol for a mixed methods process evaluation of a hybrid implementation-effectiveness trial of a scaled-up whole-school physical activity program for adolescents: Physical Activity 4 Everyone (PA4E1)". Trials. 21 (1): 268. doi:10.1186/s13063-020-4187-5. ISSN 1745-6215. PMC 7077014. PMID 32183902.
  16. ^ 이블랜드, JD(1986) "디퓨전, 기술 이전 및 구현: 변화에 대해 생각하고 말하는 것"이라고 말했다. 지식. 8:303-322.
  17. ^ 중간 개발 시리즈. 결과 측정. Dare Mighty Things, Inc.
  18. ^ a b Mouton, J (2009). "Assessing the impact of complex social interventions". Journal of Public Administration. 44: 849–865.
  19. ^ Shahab, Sina; Clinch, J Peter; O’Neill, Eoin (21 July 2017). "Impact-based planning evaluation: Advancing normative criteria for policy analysis" (PDF). Environment and Planning B: Urban Analytics and City Science. 46 (3): 534–550. doi:10.1177/2399808317720446. hdl:10197/9594.
  20. ^ Delbert Charles Miller, Neil J. Salkind(2002) Handbook of Research Design & Social Measurement. 판 : 6, 개정. SAGE에 의해 출판됨.
  21. ^ Center for Disease Control. "Evaluation Framework". CDC. Retrieved 20 September 2012.
  22. ^ Kania, John; Kramer, Mark. "Collective Impact". Stanford Social Innovation Review. Stanford Center on Philanthropy and Civil Society at Stanford University. Retrieved 19 September 2014.
  23. ^ Preskill, Hallie; Parkhurst, Marcie; Juster, Jennifer Splansky. "Guide to Evaluating Collective Impact" (PDF). www.fsg.org. FSG, Inc. Retrieved 2014-09-19.[영구적 데드링크]
  24. ^ Patton, Michael. "Evaluation Approaches and Techniques". The Evaluators' Institute. George Washington University. Retrieved 2014-09-19.
  25. ^ "Formative Evaluation". Community Sustainability Engagement Evaluation Toolbox. Retrieved 19 September 2014.
  26. ^ "Summative Evaluation". Community Sustainability Engagement Evaluation Toolbox. Retrieved 19 September 2014.
  27. ^ Taylor-Powell, Ellen; Steele, Sarah; Douglah, Mohammad. "Planning a Program Evaluation" (PDF). University of Wisconsin Extension. Retrieved September 20, 2014.
  28. ^ a b c d e f g Bamberger, M. (2004). "Shoestring Evaluation: Designing Impact Evaluations under Budget, Time and Data Constraints". American Journal of Evaluation. 25: 5–37. doi:10.1177/109821400402500102.
  29. ^ a b Jacobs, F. H. (2003). "Child and Family Program Evaluation: Learning to Enjoy Complexity". Applied Developmental Science. 7 (2): 62–75. doi:10.1207/S1532480XADS0702_3.
  30. ^ a b 와이스, H.B. & 그린, J.C. (1992년) 가족 지원, 교육 프로그램 및 평가를 위한 권한 부여 파트너십. 패밀리 사이언스 리뷰, 5(1,2): 131-148.
  31. ^ a b "Five-tiered approach to evaluation". National Parenting Education Network (n.d.). Archived from the original on 2012-10-24. Retrieved September 18, 2012.
  32. ^ a b Bailey, S. J.; Deen, M. Y. (2002). "A Framework for introducing program evaluation to extension faculty and staff". Journal of Extension. Retrieved September 18, 2012.
  33. ^ a b c d "Five-tiered approach to program evaluation" (PDF). ag.arizona.edu. Retrieved September 18, 2012.
  34. ^ Bamberger, M. (2000). "The Evaluation of International Development Programs: A View from the Front". American Journal of Evaluation. 21 (1): 95–102. doi:10.1177/109821400002100108.
  35. ^ a b Smith, T. (1990). "Policy evaluation in third world countries: some issues and problems". Asian Journal of Public Administration. 12: 55–68. doi:10.1080/02598272.1990.10800228.
  36. ^ a b c d e Ebbutt, D. (1998). "Evaluation of projects in the developing world: some cultural and methodological issues". International Journal of Educational Development. 18 (5): 415–424. doi:10.1016/S0738-0593(98)00038-8.
  37. ^ a b c d e f g h Bulmer, M.; Warwick, D. (1993). Social research in developing countries: surveys and censuses in the Third World. London: Routledge. ISBN 978-0-471-10352-3.
  38. ^ 포터, C. (2006년) 프로그램 평가. M. Terre Blanche, K. Durrheim & D. Paintor (Eds)에서 실제 연구: 사회과학에 적용되는 방법(2차 개정판) (pp. 410-428) 케이프타운: UCT 프레스.
  39. ^ 로시, 피, 립시, 엠와이, & 프리먼, H.E. (2004) 평가: 체계적 접근(7차 개정) 천오크: 세이지.
  40. ^ Gill, Andrew. "Evaluating Academic Programs in California's Community Colleges". PPIC.
  41. ^ Woolcock, Michael. "Integrating Qualitative and Quantitative Approaches in Program Evaluation" (PDF). Retrieved 21 September 2011.
  42. ^ 와이스, C.H. (1999년) 연구 정책 연결: 사회과학 연구는 얼마나 많은 영향력을 가지고 있는가? 세계 사회 과학 보고서 194-205페이지.
  43. ^ 루우, J(1999년). 평가를 통한 실천력 향상. D.도날드에서 A. Dawes & J. Louw (Eds.), 어린 시절의 역경을 다룬다 (pp. 60-73). 케이프타운: 데이비드 필립.
  44. ^ a b Fetterman, D.M. (2002). "Empowerment evaluation: Building communities of practice and a culture of learning". American Journal of Community Psychology. 30 (1): 81–102. doi:10.1023/a:1014324218388. PMID 11928779.
  45. ^ Fetterman, D.M. (2005) 권한 부여 평가 원칙 실행: 약속의 수준을 평가한다. D.M.에서. Fetterman & A. Bandersman (Eds.), 실무에서의 권한 부여 평가 원칙 (pp.27-41) 뉴욕: 길퍼드 프레스
  46. ^ a b c d e f Mertens, D and Wilson, A. (2012). Program Evaluation Theory and Practice: A Comprehensive Guide. New York, NY: The Guilford Press. pp. 168–180.
  47. ^ SenGupta, S., Hopson, R., & Thompson-Robinson, M. (2004). Cultural competence in evaluation:an overview. New Directions in Evaluation, 102. pp. 5–19.
  48. ^ Endo, T., Joh, T., & Yu, H. (2003). Voices from the field: Health evaluation leaders in multicultural evaluation. Oakland, CA: Policy Research Associates. p. 5.
  49. ^ Mertens, D., Yamashita, M. (2010). Mission statement for the American Evaluation Association's Topical Interest Group: Mixed Methods in Evaluation. Washington DC. p. 48.
  50. ^ Solorzano, D. (1997). "Images and Words that wound: Critical race theory, racial stereotyping and teacher education". Teacher Education Quarterly. 24: 5–19.
  51. ^ Brabeck, M. & Brabeck, K. (2009). Feminist Perspective on Research Ethics. Thousand Oaks, CA: Sage. p. 39.
  52. ^ "Program Evaluation" (PDF). Office of Management and Budget. Retrieved 20 September 2011 – via National Archives.
  53. ^ "Phase 1 Implementation of the Foundations for Evidence-Based Policymaking Act of 2018: Learning Agendas, Personnel, and Planning Guidance" (PDF). Office of Management and Budget. 2019-07-10.
  54. ^ a b c d e f g h 로빈슨, B. (2002년)CIPP는 어떤 제품이나 스탠자에 대한 단락이나 두문자어가 없었던 초기 단계부터 형성된다. 평가에 대한 CIPP 접근방식.콜릿 프로젝트: 베르나데트의 배경 노트

추가 읽기

  • 볼랜드, J, & Tseng, Y. P. (2011) 사회 프로그램 평가에 대한 입문 패리티, 24(7), 8.
  • 볼메티스, 존과 더트윈, 필리스. 평가의 ABC (2005)
  • 쿡, 토마스 D.와 캠벨, 도널드 T. 유사 실험: 현장설정을 위한 설계 및 분석(1979)
  • 카이다코프, 다닐, 타살로프, 키릴, 셰페티나, 에카테리나, 추에바, 에카테리나(2016). 러시아 연방 // 로모노소프 모스크바 주립 대학 과학 회의의 국가 프로그램의 효율성 제고를 위한 방법론적 접근법의 개선 », 모스크바 Poligraf Service, 페이지 65–73
  • 프레킬, 할리, 파크허스트, 마크, 저스터, 제니퍼 스플랜스키. "집합적 영향 평가 지침"(2014년)
  • 프로그램 관리자의 평가 가이드, Second Edition, Office of Planning, Research & Evaluation, Administration for Children and Family.* 리블린, 앨리스 M 사회행동을 위한 체계적 사고방식 (1971)
  • 로시, 피터 H, 프리먼, 하워드 A, 립시, 마크 W.. 평가. 체계적 접근방식 (1999)
  • 그런 사람, 에드워드 A. 평가연구 : 공공서비스 및 사회활동 프로그램의 원칙과 실천(1967)
  • Weiss, Carol H. Evaluative Research: 프로그램 효과 평가 방법(1972)
  • Wholey Joseph S, Hatry Harry P, Newcomer Kathryn E, et al. (2010). Handbook of Practical Program Evaluation Third Edition. San Francisco: Jossey-Bass. ISBN 978-0-470-52247-9.

외부 링크