연구 평가 연습

Research Assessment Exercise

연구 평가 연습(RAE)은 영국의 고등 교육 기관들이 수행한 연구의 질을 평가하기 위해 4개의 영국 고등 교육 기금 협의회(HEFCE, SHEFCE, HEFCW, DELNI)를 대표하여 약 5년마다 실시되는 연습이었다. 각 주제 영역(또는 평가 단위)에서 RAE 제출은 주제 전문가 안전 점검 패널에 의해 등급이 부여된다. 이 순위는 각 고등교육기관이 국가재원협의회에서 받는 질적 가중 연구비(QR) 배분을 알리는 데 사용된다. 이전의 RAE는 1986년, 1989년, 1992년, 1996년, 2001년에 열렸다. 가장 최근의 결과는 2008년 12월에 발표되었다.[1] 2014년 연구 우수 프레임워크(REF)로 대체되었다.

다양한 매체가 2008 RAE 결과를 바탕으로 기관과 종목의 리그 테이블을 제작했다. 서로 다른 방법론은 유사하지만 비식별적인 순위로 이어진다.

역사

영국의 고등교육 연구 평가의 첫 번째 연습은 1986년 마거릿 대처 정부 하에서 이루어졌다. 케임브리지 수학자 피터 스윈너튼-다이어가 위원장을 맡고 있는 대학보조금위원회가 주관했다. 이 연습의 목적은 예산이 빠듯한 시기에 영국 대학에 대한 자금 할당을 결정하는 것이었다. 위원회는 대학 내 37개 과목 영역("비용 센터")에서 5개의 선별된 연구 성과물과 함께 연구 성명의 제출을 받았다. 그것은 "뛰어난", "평균 이상", "평균 미만" 또는 "평균 미만"으로 표시된 품질 순위를 발표했다. 대학에 배정된 연구비(일명 '품질 관련' 자금)는 대상 영역의 품질 등급에 따라 달라졌다. 스윈너튼-다이어에 따르면, 예산이 감소하는 시기에 기금 배분에 대한 투명성 측정을 확립하는 것이 목적이었다.[2]

후속 연구평가는 1989년 대학출연협의회의 「연구 선택성 연습」이라는 이름으로 실시되었다. 스윈너튼-다이어는 대학들이 '전능력'을 제출할 수 없다는 불평에 대해 직원 1명당 연구 결과물을 2개씩 제출할 수 있도록 했다. 평가도 152개 과목 영역("평가단일화")으로 확대했다. 로저 브라운과 헬렌 카라소에 따르면, 제출물 평가에 근거하여 연구 관련 자금 중 약 40%만이 할당되었다. 나머지는 직원과 학생 수, 연구 보조금 수입에 따라 할당되었다.[2]

1992년에는 대학과 폴리테크놀러지의 구분이 폐지되었다. 대학 기금 위원회는 HECE와 같은 지역적 자금후원협의회로 대체되었다. HECE의 정책목록인 Behram Bekhradnia는 연구평가가 "매우 견고하고 엄격해질 필요가 있다"는 결론에 도달했다. 이는 1992년 연구평가실습의 제도로 이어졌다. 그럼에도 불구하고 1992년 결과의 결과는 법정에서 치과의사 협회에 의해 이의를 제기되었고 판사는 그 시스템이 더 투명해져야 한다고 경고했다. 후속 연습의 평가 패널은 평가 기준과 작업 방법에 대해 훨씬 더 명확히 해야 했다. 1996년에는 품질보다는 볼륨이 보상된다는 비판을 감안하여 모든 볼륨 기반 평가가 삭제되었다.[2]

1992년 연습에서도 평가를 위해 제출한 직원이 평가에서 여전히 집계되고 있다는 비판에 대응하기 위해 특정 일자('인정일')까지 직위에 있어야 한다고 규정했다. 이 때문에 인구조사 시기를 앞두고 다른 대학의 우수한 인력의 '밀집' 현상이 빚어졌다. 2001년 연습에서는, 주기 중간에 기관을 옮긴 직원의 신용을 두 기관 간에 공유할 수 있었다. 2008년 연습에서는 이것을 폐지하였다.[2]

2008년의 평가도 큰 변화를 가져왔다. 전체 과목 영역("평가 단위")에 대한 단일 등급 대신 각 연구 산출물에 등급이 할당되었다. 이는 대형 부서들이 경미한 업무라는 '매우 긴 꼬리'를 감추고 여전히 높은 평가를 받을 수 있었고, 반대로 저학년의 우수한 직원들은 적절한 자금지원을 받을 수 없었다는 지적에 대응하기 위한 것이었다. 따라서 평가 단위에 대한 단일 등급은 "품질 프로필"로 대체되었고, 이는 각 부서의 연구가 각 품질 범주에 대해 차지하는 비율을 나타낸다.[2]

척도

2008

2008 RAE는 4점 품질 척도를 사용하였으며, 단위별로 단일 종합 품질 점수가 아닌 프로필을 반환하였다. 연구 결과, 연구 환경 및 존중 지표의 평가에 기초한 품질 수준은 다음과 같이 정의된다.

순위 설명
4* 독창성, 중요성, 엄격성 면에서 세계 최고의 품질
3* 독창성, 중요성 및 엄격성 측면에서 국제적으로 우수하지만 최고 수준의 우수성에 미치지 못하는 품질
2* 독창성, 중요성 및 엄격성 측면에서 국제적으로 인정받는 품질
1* 독창성, 중요성 및 엄격성 측면에서 전국적으로 인정되는 품질
미분류 국가 공인 작업 기준에 미달하는 품질. 또는 이 평가의 목적을 위해 발표된 연구의 정의를 충족하지 않는 작업.

각 평가 단위에는 네 가지 품질 수준을 각각 충족하거나 분류되지 않은 연구의 비율을 나타내는 품질 프로파일(오열 히스토그램)이 주어졌다.

이전 평가

1992년, 1996년, 2001년에는 각 등급에 대해 다음과 같은 설명이 사용되었다.

2001 & 1996년 등급 1992년 등급 설명
5* 5* 제출된 연구 활동의 절반 이상에서 달성 가능한 수준의 국제적 우수성과 동일한 연구 품질 및 나머지 연구자 중 달성 가능한 국가적 우수성.
5 5 제출된 연구 활동의 최대 절반에서 달성 가능한 수준의 국제적 우수성과 거의 모든 나머지에서 달성 가능한 수준의 국가 우수성과 동일한 연구 품질. (동일한 정의)
4 4 국제적으로 우수하다는 증거를 보여주면서 제출된 거의 모든 연구 활동에서 국가 우수성을 달성할 수 있는 수준에 해당하는 연구 품질. (동일한 정의)
3a 3 제출된 연구 활동의 3분의 2 이상이 국가 우수성을 달성할 수 있는 수준에 해당하는 연구 품질로 국제 우수성의 증거가 될 수 있다. (활동 하위 영역의 대부분에서 달성 가능한 국가적 우수성 수준 또는 일부의 국제적 수준과 동일한 연구 품질)
3b 3 제출된 연구 활동의 절반 이상에서 국가 우수성을 달성할 수 있는 수준에 해당하는 연구 품질. (활동 하위 영역의 대부분에서 달성 가능한 국가적 우수성 수준 또는 일부의 국제적 수준과 동일한 연구 품질)
2 2 제출된 연구 활동의 최대 절반까지 국가 우수성을 달성할 수 있는 수준의 연구 품질. (같은 정의)
1 1 제출된 연구 활동 중 어느 하나에서든 또는 사실상 전혀 국가 우수성을 달성할 수 있는 수준에 해당하는 연구 품질. (같은 정의)

이러한 등급은 흔히 대학 학과와 대체로 동일시되는 불어나 화학 같은 '평가의 단점'에 적용되어 왔다. 각종 비공식 리그 테이블은 평가단위의 결과를 종합해 대학 연구 역량을 만들어냈다.[citation needed] RAE를 기반으로 한 대학의 리그표를 편찬하는 것은 양과 질이 모두 중요한 요소인 만큼 문제가 있다.

평가과정

RAE에 대한 평가 과정은 연구 결과물 품질(보통 학술지와 회의 절차에 게재된 논문을 의미함), 연구 환경 및 존중 지표를 중점적으로 다룬다. 각 주제 패널은 일반 지침 내에서 정확한 규칙을 결정한다. RAE 2008의 경우, 기관들은 포함되도록 선정된 각 상근 직원들에 대해 2001년 1월부터 2007년 12월 사이에 발표된 4개의 연구 결과를 제출하도록 초청된다.[3]

이전의 평가와 고용법의 발전에 대한 비판에 대응하여, 2008 RAE는 시간제 근로자 또는 그 과정에 포함될 충분한 연공서열에 새로 진입한 근로자들을 고려하기 위해 더 많은 노력을 기울인다.

비판

RAE는 비평가들이 없었던 것은 아니다. 서로 다른 반복에서, 그것은 연구원들, 관리자들, 정책 입안자들 사이에서 의견이 분분했다.[4] 영국 내 대부분의 전임 연구원들이 기간제 계약으로 고용된다는 이유로 출판물을 노골적으로 무시한다는 점도 비판의 대상이다. RAE 2008 가이드라인에 따르면, 대부분의 연구 보조원은 "연구활동인력으로 등재될 자격이 없다"[5]고 되어 있다. 연구자에 의한 정기 계약 간행물은 RAE의 자격이 있는 직원에게 인정될 수 없는 한 평가 연습에서 제외된다. 이는 평가를 받는 직원이 기사에 경미한 기여만 했더라도 적용된다.[6] 주로 교수활동을 담당해 온 강사 등 영구계약에 관한 연구활동이 아닌 비연구활동인력이 채용된 대학들에 의해 연구성과물을 생산하라는 계약적 압박에 처하게 된 것도 이와는 정반대의 현상이다. 또 다른 문제는 전문가 패널이 특정 전문화 영역을 벗어나자마자 훨씬 낮은 성과를 거두면서, 연구 성과물의 품질을 평가하는 데 필요한 전문지식을 갖추고 있는지 의심스럽다는 점이다.[7]

1996년 이래로 현재 UCU에 편입된 AUT는 연구평가 연습에 반대하는 정책을 유지해 왔다.[8] 그 관점에서는,

RAE는 영국의 고등교육 시스템에 처참한 영향을 끼쳐 연구 프로필이 강한 학과와 건강한 학생 모집이 마감되었다. 일자리 감소, 차별적 관행, 직원의 광범위한 사기가 저하, 과도한 자금 집중을 통한 연구 기회 축소, 교사와 연구 관계 훼손 등을 담당해 왔다.

공식적인 연구 평가 검토, 2003년 영국 기금 기구가 의뢰한 "로버트 보고서"는 이러한 비판에 부분적으로 대응하여 연구 평가에 대한 변경을 권고했다.[9]

하원 의원 과학 기술 특별 위원회의, 그리고 저,"는 우심방 확대:그것은 그들의 연구 관리에 와서 자금 연구 우수성의 이 부분에서 목표 있게 했던 대학들 자극을 긍정적 영향을 끼쳤다"," 있었다고 해도 하락한 끝은 더욱 낙관적으로 view,[10]주장한 로버츠 보고서를 심의했다.잡치다대학의 연구 실적 개선"이라고 말했다. 그럼에도 불구하고, 그것은 "현재 형태의 RAE는 전성기를 맞았다"고 주장했고, 주로 로버츠의 권고를 바탕으로 한 개혁 RAE를 제안했다.

RAE 시스템의 계획된 변경

2008년 연습 후 QR 자금조달에 대한 향후 할당을 알리기 위해 측정지표 시스템이 개발될 것이라고 2006년 예산에서 발표되었다[11]. 고등교육 분야와의 초기 협의에 이어 고등교육기금협의회가 과학기술, 공학, 의학 분야 과목에 대한 평가 지표 기반 시스템을 도입할 것으로 생각된다. 수학, 통계, 예술, 인문, 사회 과목에 대한 동료 검토 과정이 남아 있을 것 같다.

HECE는 2008 RAE의 후속으로 도입된 연구 우수성 프레임워크(REF)[12]라고 알려진 새로운 준비 세트를 개발했다.

참조

  1. ^ "RAE 2008". Research Assessment Exercise. Retrieved 20 August 2013.
  2. ^ a b c d e Paul Jump, Evolution of the REF, Times High Education, 2013년 10월 17일
  3. ^ "Definitions". RAE 2008. Retrieved 20 August 2013.
  4. ^ Alis, Oancea (2014). "Research assessment as governance technology in the United Kingdom: findings from a survey of RAE 2008 impacts". Zeitschrift für Erziehungswissenschaft. 17: 83–110.
  5. ^ RAE 2008 지침서 제79호
  6. ^ Madden, Andrew (19 December 2008). "The researchers the RAE forgot". Guardian. Retrieved 20 August 2013.
  7. ^ Corbyn, Zoe. "RAE's non-specialist gambit could have led to blunders, says study". Times Higher Education. Retrieved 20 August 2013.
  8. ^ "RAE 2008". University and College Union. Retrieved 20 August 2013.
  9. ^ 연구 평가 검토 Wayback Machine에 2007년 7월 20일 보관Gareth Roberts경이 영국 기금 기구에 제출한 보고서, 2003년 5월
  10. ^ "Science and Technology – Eleventh Report". UK Parliament. 23 September 2004. Retrieved 5 July 2014.
  11. ^ Shepherd, Jessica (30 January 2007). "A difficult patch". Guardian. Retrieved 20 August 2013.
  12. ^ "Research Excellence Framework". REF 2014. Retrieved 20 August 2013.

추가 읽기

외부 링크