연구 Excellence 프레임워크

Research Excellence Framework

REF(Rearch Excellence Framework)는 영국 고등교육기관의 연구영향평가다. 연구 평가 연습의 후속이며, 2008-2013년 기간을 평가하는 데 2014년에 처음 사용되었다.[1][2] REF는 4개의 영국 고등 교육 기금 기구에 의해 수행된다. Research England, Scottish Funding Council (SFC), HEFCW (High Education Funding Council for Wales), 그리고 경제, 북아일랜드 (DfE)를 위한.

그것의 명시적인 목적은 연구에 대한 공공 투자에 대한 책임감을 제공하고, "정립적 척도"[3]를 확립하여 자원의 효율적인 할당을 달성하는 것이다. 비평가들은 대학 시스템 밖에서의 연구의 영향에 너무 많은 초점이 맞춰져 있고, 그 영향은 연구의 질과 실질적인 관련이 없다고 주장한다.[citation needed] REF는 실제로 출판된 연구에서 평범함을 장려하고 장기적으로 가치가 있을 수 있는 연구를 단념시킬 것을 제안한다.[citation needed] REF는 고등교육에 득보다 실이 많다는 주장이 거듭 제기돼 왔다.[4]

REF의 다음 반복은 2021년으로, 연구 성과, 연구 영향 및 연구 환경에 초점을 맞춘 이전의 평가 모델을 계속한다.[5] 그러나 COVID-19 대유행으로 인해 절차가 지연되고 있다.[6]

역사

2007년 6월 영국 고등교육기금협의회(HECE)는 2008 RAE에 이어 영국 대학의 연구품질 평가를 위한 새로운 프레임워크가 연구평가실시(RAE)를 대체할 것임을 알리는 순환서한을 발행했다.[7] 편지에서 다음 인용문은 원래의 동기 중 일부를 나타낸다.

새로운 프레임워크의 주요 목표는 다음과 같다.

  • 국제 표준에 대비하여 품질을 벤치마킹하고 연구에 대한 위원회의 자금후원을 촉진하기 위해 사용될 수 있는 모든 분야에 대해 영국 전체에서 연구 우수성에 대한 강력한 지표를 생산한다.
  • 주로 연구 우수성을 참고하여 자금을 분배할 수 있는 근거를 제공하고, 그것이 발견되는 모든 형태의 우수한 연구를 후원한다.
  • RAE에 비해 기관의 행정 부담을 대폭 경감한다.
  • 바람직하지 않은 행동 장려책을 만들지 않기 위해.
  • 평등과 다양성을 증진하다
  • 세계 최고의 연구 기반을 지속적으로 지원하기 위한 안정적인 프레임워크를 제공하는 것.

서한에는 REF 개발 일정표도 명시돼 있다. HEFCE는 2009년 9~12월 중에 이 제안에 대한 이해관계자들의 응답을 요청하는 상담 훈련을 실시했다.[8] 예를 들어, 영국 대학의 응답과 대학 및 대학 연합의 응답을 포함한다.[9][10]

2010년 7월 (2010년 5월 총선에 이어) 데이비드 윌렛츠 대학과학부 장관은 영향조치의 실효성을 평가하기 위해 REF를 1년 늦출 것이라고 발표했다.[11]

2016년 7월 니콜라스 스턴 경의 리뷰가 출간돼 2021년 차기 REF에 대한 일반 지침 초안을 작성했다.[12] 일반적으로, 검토는 대학의 연구를 평가하기 위해 2014년에 사용된 방법론을 지지했지만, 일반 대중과의 더 많은 참여의 필요성과 학제간 접근법을 수행한 사례 연구의 수를 증가시켰다.[12] Loughborough University Business and Economic School의 Research-impact.org 팀은 대학의 연구자들의 공공 참여를 늘리기 위해 크라우드 펀딩을 실험해 왔다.[13]

리서치 임팩트

REF의 영향은 "학계를 넘어 경제, 사회, 문화, 공공 정책 또는 서비스, 보건, 환경 또는 삶의 질에 미치는 영향, 변화 또는 이익"으로 정의되었다.[14]

정지 기준

제출은 다음 기준에 따라 평가한다.[15]

  • 4성: 독창성, 중요성, 엄격함에서 세계 최고의 품질.
  • 세 개의 별: 독창성, 중요성, 엄격함에서는 국제적으로 우수하지만 최고 수준의 우수성에 미치지 못하는 품질.
  • 두 개의 별: 독창성, 중요성, 엄격함으로 국제적으로 인정받는 품질.
  • 하나의 별: 독창성, 중요성, 엄격함으로 전국적으로 인정받는 품질.
  • 분류되지 않은 품질: 그것은 국가적으로 인정된 작업의 기준에 미달한다. 또는 이 평가의 목적을 위해 발표된 연구의 정의를 충족하지 않는 작업.

실적순위

가디언과[16] 타임즈 고등교육이라는 두 출판사가 권력과 질(GPA)을 기준으로 한 다학제 대학의 종합 순위를 산출하고 있다.[17]

파워랭킹은 대학이 폭넓은 질로, 퀄리티랭킹은 퀄리티의 깊이를 보여주는 것을 목표로 한다.

가디언 파워 순위는 4성급과 3성급만, 타임즈 고등교육력 순위는 모든 등급에 걸쳐 순위를 고려한다.

퀄리티 순위는 '4성'으로 등급이 매겨진 연구 비율에 따른 1위 기관이다. 즉, 제출된 연구는 "원리성, 중요성, 엄격함에서 세계 최고의 품질"로 평가된다.[18]

순위 The Research Power Top 10 The Guardian Research Power Top 10 품질(GPA) 상위 10개 '세계 최고의' 연구로 상위 10%에 선정
1 유니버시티 칼리지 런던 옥스퍼드 대학교 임페리얼 칼리지 런던 런던 경제 대학
2 옥스퍼드 대학교 유니버시티 칼리지 런던 런던 경제 대학 옥스퍼드 대학교
3 케임브리지 대학교 케임브리지 대학교 옥스퍼드 대학교 케임브리지 대학교
4 에든버러 대학교 에든버러 대학교 케임브리지 대학교 임페리얼 칼리지 런던
5 맨체스터 대학교 맨체스터 대학교 카디프 대학교 유니버시티 칼리지 런던
6 킹스 칼리지 런던 임페리얼 칼리지 런던 킹스 칼리지 런던 카디프 대학교
7 노팅엄 대학교 킹스 칼리지 런던 유니버시티 칼리지 런던 킹스 칼리지 런던
8 임페리얼 칼리지 런던 노팅엄 대학교 워릭 대학교 에든버러 대학교
9 브리스톨 대학교 브리스톨 대학교 에든버러 대학교 워릭 대학교
10 리즈 대학교 리즈 대학교 브리스톨 대학교 브리스톨 대학교

REF 평가에서 제출되는 자격 있는 직원의 비율이 대학마다 크게 다르기 때문에, 타임즈 고등교육은 또한 제출된 자격 있는 직원의 비율을 고려한 연구 강도 순위를 제공한다.[19] 이번 연구 강도 REF 순위에서 3개 전문기관을 제외한 상위 30개 대학은 다음과 같다.

순위 The Research Intensity Top 30
1 케임브리지 대학교
2 임페리얼 칼리지 런던
3 유니버시티 칼리지 런던
4 브리스톨 대학교
5 옥스퍼드 대학교
6 런던 경제 정치학 대학
7 퀸즈 대학교 벨파스트
7 사우샘프턴 대학교
9 워릭 대학교
10 에든버러 대학교
11 러프버러 대학교
12 글래스고 대학교
13 세인트 앤드루스 대학교
14 킹스 칼리지 런던
15 스트라스클라이드 대학교
16 엑세터 대학교
16 켄트 대학교
16 리딩 대학교
19 에식스 대학교
20 버밍엄 대학교
21 더럼 대학교
21 런던 대학교 골드스미스
23 뉴캐슬 대학교
23 맨체스터 대학교
25 노팅엄 대학교
26 랭커스터 대학교
27 버크벡, 런던 대학교
28 런던 대학교 로얄 할로웨이
29 요크 대학교
30 셰필드 대학교

논란과 비판

특정 비판의 원천은 연구의 "영향"을 다루는 REF의 요소였다. 아래의 조항은 두 가지 이의를 제기한다. 가장 중요한 것은 "충격"이 학원 밖에서의 영향을 의미하는 것으로 정의되었다는 것이다. 만약 연구자들이 이런 형태의 영향을 추구하도록 요구된다면, 그것은 학문의 자유를 해칠 것이다. 다른 하나는 (현재 해석된 바와 같이) 공정하고 공정하다고 간주되는 어떤 방법으로도 측정하기 어려운 영향이다.[20][21][22]

영국 고등교육 기금 위원회는 그들의 "영향"에 대한 조치가 "경제, 사회, 공공 정책, 문화, 삶의 질"에 영향을 미칠 광범위한 조치라고 주장한다.[20] 그러나 평가 구조는 실질적으로 어떤 영향을 주장할 수 있는지를 다소 좁게 만든다(4페이지 제한, 방법 섹션 없음, 영향 참조 10개, 연구 참조 10개, 연구 및 영향을 요약할 수 있는 1페이지). 이러한 엄격한 탐색적 지침은 연구 영향 기능(연구 영향 제외, 선형 모델 등)이 평가에 실질적으로 더 적합한 영향을 제한하는 방법에 대한 REF의 오래된 개념과 함께 제시된다.[citation needed]

RAE의 구조로부터 REF가 물려받은 또 다른 비판의 영역은 대부분의 상근 직원 제출이 일반적으로 발표된 4개의 '연구 결과 항목'으로 구성된다는 것이다. 연구 가치 측면에서는 책과 글의 차이를 인정하지 않는다. 따라서, REF 시스템은 우수성을 위해 노력하는 장기 프로젝트를 단념시킨다. 이 문제는 특히 기초연구의 대부분이 전통적으로 기사로 발표되지 않는 인문계에서 두드러진다. 따라서, 많은 연구자들은 평가 기간 동안 한두 권의 책을 제작할 수 있도록 하는 비교적 평범한 활동으로 내몰리고 있지만, 보통 4, 5년의 연구와 저술이 필요한 종류의 단전기는 아니다.[citation needed]

게다가, 네 가지 항목의 시스템은 연구자들이 성공하지 못하고 출판으로 이어지지 않을 수도 있는 프로젝트나 실험에 참여하기를 꺼리기 때문에 과학에서도 상대적으로 연구 위험이 높은 장기 프로젝트를 단념시킨다. 과학분야의 획기적인 연구들은 대부분 그러한 위험하고 상상력이 풍부한 프로젝트들로 이루어지기 때문에, REF 구조에 의해 장려되는 연구 활동의 유형은 상당히 보수적이다. 또한, 조사된 연구의 영향 측면에서, 과학사와 인문학의 역사에서 발견의 완전한 영향이 나타날 때까지 약간의 시간이 걸리는 것은 드문 일이 아니다. 현재의 제도는 4, 5년 밖에 내다보지 못한다.[citation needed]

타임즈 고등교육은 또한 일부 대학들이 REF 시스템을 "게이밍"하고 있는 것처럼 보였다고 밝혔다. 여기에는 'REF 밀렵'이 포함되었는데, REF 직전에 연구 실적이 확립된 직원이 대학에서 헤드헌팅되어 밀렵 기관에게 연구자 지원의 위험을 감수하지 않고 출판물에 대한 모든 공적을 부여했다. 또한, 0.2 FTE 계약에 다수의 직원을 고용하는 것이 포함되었는데, 이는 REF 제출 자격을 충족하는 최저 수준의 고용이다.[23]

네 가지 연구 결과 항목으로 실제로 측정할 수 있는 것과 영향을 어떻게 측정할 수 있는지에 대한 그러한 우려 외에도, 전체 시스템은 불필요하게 복잡하고 비용이 많이 든다는 비판을 받는 경우가 많지만, 디지털 시대의 품질 평가는 훨씬 간단하고 효과적일 수 있다.[24]

그 시스템은 관련 재정적인 영향과 함께, 교육에서 자원을 다른 곳으로 옮겼다는 비판을 받아왔다. 이와 같이, 학생 요금의 인상은 종종 교직에 더 많은 시간을 보내는 결과를 가져오지 않았을 수 있다.[citation needed]

2016년 7월 니콜라스 스턴 경의 리뷰가 출간돼 2021년 차기 REF에 대한 일반 지침 초안을 작성했다.[25] 권고안 중 하나는 연구 공공의 참여를 늘리는 것이었다. 연구 참여는 연구의 편익 전달을 강화하는 것을 의미한다. 그것은 또한 대중들이 연구 결과와 그들의 함의에 대해 더 많이 알게 하는 것을 의미한다. 공공 참여의 한 가지 메커니즘은 연구를 위한 크라우드 펀딩으로, 전용 플랫폼이 다양한 주제에서 대학 연구를 위한 크라우드 펀딩 캠페인을 주최한다. 연구를 위한 크라우드 펀딩은 두 가지 장점이 있는데, 하나는 비교적 높은 보장성 펀딩의 원천이며, 두 번째는 50% 내외의 비율로 일반 대중과 교류할 수 있는 매우 효과적인 수단이다.[13]

Stern 검토에서 연구 영향 평가와 관련하여 다루지 않은 한 가지 문제는 영향을 평가하는 사례 연구 설계 템플릿의 구조가 방법 섹션을 포함하지 않고, 이에 따라 어떤 유형의 영향을 가장 많이 주장할 수 있는가에 대한 수사 게임(cf)을 주장하도록 하는 것이다. 브라우어, 2018).[26] 따라서, 대금 청구는 평가 구조에 의해 장려된다. 문제는 (근본적인 방법에 대한 설명 없이) 영향의 중요성과 도달성에 대한 정성적 판단이 현대적 가치를 평가로 굳히기 때문이다. "[…] 사회구축적, 상호학습, 사회실천이라고 부르든 간에 핵심은 임팩트의 특성을 프로체와 분리할 수 없다는 것이다.가치에 부과된 ss를 그렇게 인식한다.(Derrick, 2018:160)[27] 현재 청구권의 참조를 확인할 때, 이러한 것들은 접근할 수 없었다(예: 관련 웹사이트를 철거했다), 연구자와 연결된 개인의 자기저작이나 추천서를 반영하지 않는 방식으로 참조되었다(Brauer, 2018:142-147). 마찬가지로, Sayer(2014년)[28]는 REF 과정의 전반적인 동료 검토를 비판하며, 표준 학문적 품질의 낮은 동일성으로 설명하고 평가 과정이 평가의 순전히 업무량(35페이지)으로 인해 더욱 복잡하다고 설명한다. 이와 유사하게, 랜드의 연구에 따르면, 대부분의 참고문헌은 상담된 적이 없으며, 특정 평가 패널은 인터넷을 사용하는 것이 금지되었으며, REF의 참고문헌 구조는 관련 참고문헌을 작성하는 데 때때로 2주가 걸렸다.[29] 따라서 외부 영향 초점은 평가를 외부 가치에 집중하도록 훈련한다.[30]

2018년에는 REF가 인문학에 부정적인 영향을 미친다고 했다.[31]

참고 항목

참조

  1. ^ "Results & submissions : REF 2014". Retrieved 22 December 2014.
  2. ^ Atkinson, Peter M. (11 December 2014). "Assess the real cost of research assessment". World View. Nature (paper). 516 (7530): 145. Bibcode:2014Natur.516..145A. doi:10.1038/516145a. PMID 25503199.
  3. ^ "What is the REF?". REF2021. Retrieved 24 July 2018.
  4. ^ 도로시 비숍 타임즈 고등교육(2016). https://www.timeshighereducation.com/blog/clarity-purpose-tef-and-ref
  5. ^ England, Higher Funding Council of. "2017 : Funding bodies confirm shape of REF 2021 - REF 2021". www.ref.ac.uk. Retrieved 2018-06-29.
  6. ^ "Further update on coronavirus (COVID-19) and REF timetable - REF 2021".
  7. ^ Eastwood, David (6 March 2007). "Future framework for research assessment and funding". HEFCE. circular letter number 06/2007. Archived from the original on 2 February 2010.
  8. ^ "Research Excellence Framework: Second consultation on the assessment and funding of research". HEFCE. September 2009. 2009/38. Retrieved 10 January 2015.
  9. ^ "Universities UK response to HEFCE consultation on the Research Excellence Framework (REF)". Universities UK. 13 December 2009. Archived from the original (.doc) on 16 July 2011.
  10. ^ "Response to the Research Excellence Framework: Second consultation on the assessment and funding of research" (PDF). University and College Union. December 2009.
  11. ^ Baker, Simon (8 July 2010). "REF postponed while Willetts waits for impact 'consensus'". Times High. Educ.
  12. ^ Jump up to: a b Stern, Lord Nicholas; et al. (July 2016). "Building on Success and Learning from Experience" (PDF). gov.uk. UK Government. Retrieved 3 January 2017.
  13. ^ Jump up to: a b Rubin, Tzameret (2017). "Is it possible to get the crowd to fund research, isn't it the government's role?". AESIS. Retrieved 2016-12-23.
  14. ^ McLellan, Timothy (2020-08-25). "Impact, theory of change, and the horizons of scientific practice". Social Studies of Science. 51 (1): 100–120. doi:10.1177/0306312720950830. ISSN 0306-3127. PMID 32842910. S2CID 221326151.
  15. ^ "Assessment framework and guidance on submission" (PDF). Research Excellence Framework. July 2011. p. 43. REF 02.2011.
  16. ^ "University Research Excellence Framework 2014 – the full rankings". The Guardian. ISSN 0261-3077. Retrieved 2019-05-03.
  17. ^ "REF 2014: results by subject". Times Higher Education (THE). 2014-12-18. Retrieved 2019-05-03.
  18. ^ Coughlan, Sean (2014-12-18). "London overtaking Oxbridge domination". BBC. Retrieved 2019-05-03.
  19. ^ "REF 2014: winners and losers in 'intensity' ranking". Times Higher Education (THE). 2014-12-19. Retrieved 2019-05-03.
  20. ^ Jump up to: a b Shepherd, Jessica (13 October 2009). "Humanities research threatened by demands for 'economic impact'". Education. The Guardian. London.
  21. ^ Oswald, Andrew (26 November 2009). "REF should stay out of the game". The Independent. London.
  22. ^ Fernández-Armesto, Felipe (3 December 2009). "Poisonous Impact". Times Higher Education.
  23. ^ Jump, Paul (26 September 2013). "Twenty per cent contracts rise in run-up to REF". Times Higher Education.
  24. ^ Dunleavy, Patrick (10 June 2011). "The Research Excellence Framework is lumbering and expensive. For a fraction of the cost, a digital census of academic research would create unrivalled and genuine information about UK universities' research performance". London School of Economics.
  25. ^ 스턴, L. (2016년) 성공 기반 구축 및 경험으로부터 배우기: 연구 우수성 프레임워크에 대한 독립 검토.
  26. ^ Brauer, R.(2018): 어떤 연구 결과? 관광과 변화하는 영국의 연구 생태계 길드퍼드: 서리 대학교(PhD 논문). http://epubs.surrey.ac.uk/id/eprint/846043에서 이용 가능: http://epubs.surrey.ac.uk/id/eprint/846043
  27. ^ 데릭, G. (2018). 평가자의 눈: 영향 평가 및 학술적 안전 점검. 베를린: 스프링거.
  28. ^ 세이어, D. (2014년) 위선자 순위: REF의 모욕. 세이지
  29. ^ "Evaluating the Submission Process for the Impact Element of REF". www.rand.org. Retrieved 2019-05-03.
  30. ^ "Measuring the Societal Impact and Value of Research". www.rand.org. Retrieved 2019-05-03.
  31. ^ Study International Staff (December 7, 2018). "Beware the 'Research Excellence Framework' ranking in the humanities". SI News. Retrieved September 19, 2019.

외부 링크