Teaching Excellence

Teaching Excellence Framework

Teaching Excellence and Student Results Framework(TEF)는 영국 대학 및 기타 고등 교육 제공업체의 학부 강의 질에 대한 정부 평가로[1], 2020년부터는 국가 지원 제공업체의 등록금 인상 허용 여부를 결정하는 데 사용될 수 있다. 영국 내 다른 지역의 고등교육 제공자들은 참여가 허용되지만, 이 등급은 그들의 기금에 영향을 미치지 않는다. TEF는 대학들을 교육의 질에 따라 금, , 으로 등급을 매긴다.[2][3][4] 첫 번째 결과는 2017년 6월에 발표되었다. 이는 '시험연도'로 간주되었고(3년간[5] 수여되는 비임계 등급이 유효함에도 불구하고) 2018 TEF와 주제 등급에 대한 장기 계획으로 채워질 '리슨스 학습된 연습'이 뒤따른다.[6][7]

2017년 10월, 연습의 공식 명칭이 Teaching Excellence Framework에서 Teaching Excellence Framework 및 학생 성과 프레임워크로 공식적으로 변경되었다.[8]

등급

TEF 등급은 중퇴율, 학생 만족도 조사 결과, 대학원 취업률과 같은 통계에 기초한다.[2] 이는 최종 수상자가 될 학계 및 학생 등이 포함된 TEF 패널에 추천하는 교수 및 학습 전문가들이 평가한다. 대학은 교육의 질, 학습 환경, 학생의 성과와 학습 이득의 세 가지 영역에 걸쳐 측정된다.[9] 2017년도의 경우 기본 기준을 충족하는 모든 기관이 수수료 인상을 허용한다.[3] 첫 시청률은 2017년 6월 14일 발표돼 영국 총선거로 5월부터 출판이 지연됐으나 선거로 의회가 무산되면서 6월 22일로 연기됐다.[10][11] 20~30%의 기관이 금, 50~60%의 은, 20%의 청동으로 평가될 것으로 예상됐다.[12] 추가 교육과 대체 제공자를 포함한 모든 평가 기관에서 실제 분포는 금 26%, 은 50%, 동 24%이었다.[13]

평가 등급은 교육부에서 다음과 같이 설명한다.[14]

  • 골드: "프로비저닝은 지속적으로 우수하며 영국 고등 교육 분야에서 최고 품질"
  • 실버: "프로비저닝은 높은 품질이며, 영국 고등교육이 기대하는 기준 품질 임계값을 유의하고 일관되게 초과함"
  • 청동: "공급이 만족스러운 품질"

TEF에 가입하지 않았거나 최소 품질 문턱을 충족하지 못한 기관은 상을 받지 못한다.[15] 전체 평가를 위한 자료가 부족하지만 품질 기준을 충족하는 기관은 등급 미지정 임시상을 받을 수 있다.[16]

TEF 등급은 전통적인 대학 리그 테이블처럼 절대 성적을 측정하는 것이 아니라 학생들의 취학률을 기준으로 벤치마크와 비교한 성적을 측정한다. 따라서 절대 중퇴율이 2%로 낮고 기준치가 2%인 대학은 절대 중퇴율이 8%로 훨씬 높지만 기준치는 11%인 대학보다 더 나쁜 평가를 받게 된다. 따라서 이 등급은 대학이 입학한 학생과 가르치는 과목의 프로필을 기준으로 기대치를 초과하는지, 충족하는지 또는 미달하는지 여부를 측정하는 척도다.[17]

등급에 대한 "초기 가설"은 6개의 핵심 지표를 기반으로 한다. 이 지표들은 기관들이 특정 임계값에 의해 기준치를 초과하거나 미달하는지에 따라 이중 양성 국기, 양성 국기, 무 국기, 음성 국기 또는 이중 음성 국기를 받는다. 다음은 다음과 같다.[18]

세 개 이상의 양성기를 받은 기관은 처음에는 금으로 간주되지 않으며, 두 개 이상의 음성 깃발을 가진 기관은 동으로 간주되며, 다른 모든 기관은 처음에는 은으로 간주된다. 그런 다음 패널은 서면 제출과 '분할' 지표(성별, 민족성, 연령, 장애 등)를 기반으로 이 초기 가설을 수정할 수 있다. 이러한 수정의 범위는 제한적일 것으로 예상되었지만, 초기 가설은 사례의 22%에서 변경되었다. 고등교육기관 및 대체 제공업체 중에서는 3곳이 강등됐고, 17곳이 브론즈에서 실버로, 15곳이 실버에서 골드로, 1곳이 브론즈에서 골드로 업그레이드됐다.[19]

TEF는 2017년 '재판년' 결과 발표 이후 2018년 연습에 투입되는 '리슨스 학습 운동'과 2020년까지 통계 활용에 대한 전면적인 독자적 검토를 거치게 된다.[6][7][20]

2017년 결과에 대한 반응

그 결과의 발표된 이후, 러셀 그룹의 실장 대행은 "TEF고 있다는 우려가 깃발과 벤치마킹에 현재 접근은 중요한 의도하지 않은 영향을 미칠 수 있다 절대 품질을 측정하지 않는다고 말했다."[21]가 사우샘프턴 대학의 청동 평가되었으나, 부총장이라고 말했다"There. 우리의 결과에는 전혀 논리가 없다"고 말했고, 그는 "주관적 평가, 투명성 결여, 그리고 평가의 형평성과 평등을 제거하는 각 기관의 다른 벤치마크에 대해 깊은 우려를 가졌다"고 말했다. 그는 또 TEF가 상당한 마진을 고려했을 때 기준치를 상회하는 것이 훨씬 쉬웠다고 지적했다. 즉, 하차율 기준인 4.5%를 요구 2% 포인트 차이로 제치는 것이 사우샘프턴의 경우 하차율인 2.5%를 달성하는 데 그쳐 "벤씨"가 결론을 내렸을 것이라고 지적했다.마킹은 근본적으로 결함이 있다"[22]고 말했다.

고등교육정책연구소 원케의 결과 분석과 패널 성명에서 "고숙련 취업에 긍정적인 깃발과 학생 만족에 부정적인 깃발을 가진 노팅엄 대학이 금상을 받았다"면서 "부정기가 골드 hav[ing]을 배제한다는 가정은 패널에 의해 뒤집혔다"고 지적했다. 아마도 TEF 지침이 또한 패널들을 NSS 점수에 대한 과도한 의존에서 멀어지게 했기 때문일 것이다." 마찬가지로, 브리스톨 대학은 두 개의 부정적인 국기를 극복했는데, 두 개의 부정적인 국기는 모두 NSS 관련 부문에서 은상을 받았으나, 같은 수의 부정적인 국기를 가진 리버풀 대학은 "아마도 NSS에서 파생된 국기가 아니었기 때문"이라는 동상을 받았다. Wongkhe는 또한 "브리스톨의 경우, '어쩌면' 벤치마크보다 낮은 '유명한' 기관이, 진술이 부드러운 리버풀보다 더 높은 결과를 받아야 한다는 것은 비뚤어진 것 같다"면서 "사우스햄튼과 같은 (같은 범주에 두 개의 부정적인 깃발이 있지만) 브리스톨과 유사한 데이터 패턴을 가진 기관의 경우, 그러나 wh"라고 언급했다.Ich는 Silver로 업그레이드되지 않았다) 어떤 충분한 분노가 있을 수 있었다. 그리고 하나의 긍정적인 깃발과 부정적인 면이 전혀 없는 더럼을 보면 노팅엄의 금과 비교했을 때 은빛 결과만 있을 뿐이다."[23][22][24]

힐먼 고등교육정책연구소(HEPI) 소장은 결과가 나온 뒤 "일부 결과가 놀랍게 보인다는 것은 다른 리그 테이블과 다르게 설계됐다는 점에서 효과가 있음을 시사한다"고 말했다. 그러나 그는 "이러한 초기 변장술에서 TEF는 교육과 학습에 대한 완벽한 평가와는 거리가 멀다"고 덧붙였다. 유용한 것을 많이 알려 주지만 강의실에서 일어나는 일을 정확하게 반영하는 것은 하나도 없다고 말했다.[25]

이러한 일부 지적에 대해, TEF 패널의 의장 Chris Wends는 TEF가 "교육의 직접적인 척도"가 아니라 "교육의 일부 결과에 기초한 척도"가 되어야 한다고 말했으며, 유사한 지표를 가진 기관의 다른 결과는 "TEF는 측정기준이 아니라 측정기준에 따라 결정된다"고 말했다.TEF는 "대학과 대학 성적의 절대적 척도가 아니라 상대적 척도"라고 했다. 그는 또 "대학들이 참여 확대에 인상적이었지만 학생 등록 후 불이익에 대한 대처에 덜 엄격했다"면서 "교육의 프로필을 높이고 더 잘 해야 할 일에 집중하는 것"이라고 말했다.[26]

6월 말에 열린 회의에서, 임페리얼 칼리지 런던시모네 부이텐디크 부사장은 TEF가 고등 교육을 위한 '신선'이었다고 말했다. 그는 "나 같은 부원수에게 TEF 연습은 사실상 신의 선물"이라고 말했다. 왜냐하면 처음으로 대통령과 단서가 교육의 질에 대해 세심한 주의를 기울이기 시작했기 때문이다.연구 집약적인 대학에서 가르치는 일에 매우 세심한 주의를 기울인다면 나쁜 일은 아니다." 유니버시티 칼리지 런던마이클 아서 총장은 TEF가 장기적으로 대학들에게 혜택을 가져다 줄 것이라고 제안했다.[27]

러셀그룹의 최소 4개 기관을 포함해 18개 기관이 2017년 시청률을 어필했다. 호소한다고 밝힌 11개 기관 중 은상 3곳과 동상 8곳이 수여됐다. 항소심에서는 "중대한 절차상 불규칙성"을 입증해야 하며 TEF 패널의 학술적 판단에 이의를 제기할 수 없다. 적어도 한 기관인 스완지대학교는 항소 의사를 제출했지만 받아들여지지 않는 것으로 판결되었다.[28] 오직 이스트 앵글리아 대학만이 상고심에서 재졸업되어 은에서 금으로 옮겼으며, 다른 변화는 더럼 대학의 연구 결과의 수정뿐이었고, 다른 모든 상고는 기각되었다. 또 4개 기관이 잠정 TEF 수상 적격성을 호소했고, 이 중 3개 기관은 성공적이었다.[29]

논란

그들의 발표 전에, TEF 결과는 영국의 일반적인 대학 순위와는 크게 다를 것으로 예상되었다. 가디언은 2017년 5월 다수의 '세계적으로 유명한' 대학들이 동등급을 받을 위험에 처해 있다고 보도했는데, 특히 학생 만족도 점수가 낮은 런던 학원을 중심으로 한 것이다. 타임즈 고등교육도 2017년 6월 초 러셀 그룹(런던 2곳)의 회원들이 청동으로 평가될 위기에 처했다고 보도한 반면, 1992년 이후 대학들의 성적은 양호할 것으로 예상됐다. 그러나, 대학들은 또한 그들의 제도적 맥락을 명확히 하기 위해 추가로 TEF에 서면 정보를 제출했는데, 킹스 칼리지 런던 총장은 이것이 그 기관을 동점에서 은 등급으로 끌어올리기를 바란다고 말했고, SOAS는 런던에서의 생활비가 학생 유지율을 의미한다고 말했다.y는 전국 평균보다 낮았다. 닉 힐만 HEPI 국장은 런던에는 금 등급 대학이 없을 수도 있지만 런던 경제대학원과 같은 기관에서는 "연구 우수성에 대한 이름과 평판이 TEF로부터 얻어진 어떤 부정적인 언론도 능가할 것이기 때문에 이것은 큰 영향을 미치지 않을 것"이라고 말했다.[10][30] 마찬가지로 2016년 타임즈 고등교육에서 데이터 분석팀이 수행한 '모크 TEF'에서도 러셀그룹 기관들이 절대적인 결과를 잘 내긴 했지만 일단 학생 취학에서 결과가 조정된 경우는 케임브리지, 더럼, 버밍엄, 엑서터, 뉴캐슬(순위에 따라)만 금등급을 받은 것으로 나타났다.id는 기관의 정성적 제출에 대해 이루어질 수 있는 어떠한 조정도 포함하지 않는다.[31]

2016년 전국학생연합(NUS)이 전국학생수학능력시험(NSS)에 대한 불매운동을 표결에 부치는 등 TEF와 등록금의 연관성이 비판돼 왔다.[32] 일부 논평가들이 이를 불매운동으로 인한 추가적인 홍보와 연계하면서 전국 학생 설문조사 참여도가 전국적으로 높아지면서 불매운동이 역효과를 냈을 수 있다는 제언도 나왔다.[33] 그러나 케임브리지, 옥스포드 그리고 몇몇 다른 러셀 그룹 대학들을 포함한 12개 기관들은 지난 2017년 국가 안전 보장 위원회 결과에서 누락되었는데, 이는 최소한 일부 기관에서 불매운동이 성공적이었음을 보여주는 증거로 보여진다. 다만 2017년 TEF에서 NSS 사용을 막기 위해 불매운동이 너무 늦게 다가옴에 따라 효과를 거두기 위해서는 2년 더 지속되어야 할 것이며 2017년 전국 NUS 총회는 지속적인 불매운동을 논의하거나 국가집행위원회에 회부하지 않기로 의결했다. 이번 불매운동은 전통적으로 학생 만족도가 낮은 브리스톨과 같은 대학에도 도움이 될 수 있다.[34] 학생 만족도 및 고용 가능성 데이터와 같은 지표들이 효과적인 교수 품질 척도인지 여부도 의문시되었다.[35]

일부 상위권 대학들은 평판 훼손이 잠재적 이익보다 클 것을 우려해 TEF를 보이콧하겠다고 위협했다.[36] 그러나 등록 마감 직전인 2017년 1월 고등교육부 장관은 "대부분의" 대학이 참여하게 될 것이며, 타임즈 고등교육은 영어 러셀 그룹 대학 5곳을 제외한 모든 대학이 참여하기로 약속했으며 다른 대학들은 아직 결정되지 않았다.[37]

참조

  1. ^ (2016) 고등교육을 위한 브렉시트 및 티칭우수성 프레임워크의 의미: 존 길 타임즈 고등교육 편집장과의 인터뷰. Nature.com https://npjscilearncommunity.nature.com/posts/12338-what-brexit-and-the-teaching-excellence-framework-mean-for-higher-education
  2. ^ a b Richard Adams (29 September 2016). "English universities to be ranked gold, silver and bronze". The Guardian.
  3. ^ a b John Morgan (29 September 2016). "England's universities to have medal-style ratings for teaching". Times Higher Education.
  4. ^ David Midgley (17 May 2017). "What will change under the Higher Education and Research Act?". Prospect. Retrieved 12 June 2017.
  5. ^ "New assessment highlights excellence of teaching and learning across UK universities and colleges". HEFCE. Retrieved 27 June 2017. An award will be valid for up to three years.
  6. ^ a b "Universities rated in Teaching Excellence Framework". Department for Education . 22 June 2017. Retrieved 22 June 2017. As set out in its white paper, Success as a knowledge economy (May 2016), the government will shortly begin a lessons learned exercise into this first trial year of the TEF. The findings of the lessons learned exercise will inform the operation of the TEF in 2018 and the intention to move to subject level assessments.
  7. ^ a b "About the TEF". HEFCE. 22 June 2017. Retrieved 27 June 2017. The government introduced the TEF in 2016 as a trial year, from which lessons will be learned for future years.
  8. ^ "Farewell TEF, hello TEaSOF: Year 3 digested Wonkhe Policy Watch". Wonkhe. Retrieved 2017-12-14.
  9. ^ "Student guide to the Teaching Excellence Framework" (PDF). HEFCE. December 2016. Retrieved 3 June 2017.
  10. ^ a b Anna Fazackerley (30 May 2017). "TEF: big upsets expected in official UK university rankings". The Guardian.
  11. ^ Chris Havergal (9 June 2017). "Publication of teaching excellence framework results postponed". Times Higher Education. Retrieved 13 June 2017.
  12. ^ Rachel Hall (19 June 2017). "Why should I care about the teaching excellence framework? – explainer". The Guardian.
  13. ^ Jack Grove (22 June 2017). "TEF: LSE, Southampton and Liverpool get bronze". Times Higher Education.
  14. ^ "Teaching Excellence Framework: year 2 specification". Department for Education. 29 September 2016. pp. 46–47.
  15. ^ "The Teaching Excellence Framework (TEF)". UCAS. What if my university doesn’t have TEF?. Retrieved 3 June 2017.
  16. ^ "New assessment highlights excellence of teaching and learning across UK universities and colleges". HEFCE. 21 June 2017. Retrieved 27 June 2017. Providers that meet rigorous national quality requirements but which do not yet have sufficient data to be fully assessed may opt in for a provisional award.
  17. ^ Sarah Stevens (31 May 2017). "TEF results must be carefully communicated to improve students' choices". WonkHE. Retrieved 3 June 2017.
  18. ^ "TEF results – The full core metrics results". Wonkhe. 22 June 2017. Retrieved 23 June 2017.
  19. ^ "TEF results – Who moved up and who fell down?". Wonkhe. 22 June 2017. Retrieved 23 June 2017.
  20. ^ "Positive result in the Teaching Excellence Framework". University of Warwick. Retrieved 22 June 2017.
  21. ^ Rachael Pells (22 June 2017). "Elite UK universities found to be second-rate in new Government rankings". The Independent.
  22. ^ a b Jack Grove (22 June 2017). "TEF: 'meaningless' results 'devoid of credibility', says v-c". Times Higher Education.
  23. ^ Ant Bagshaw (22 June 2017). "TEF results – What the panel statements say, and don't say". Wonkhe. Retrieved 24 June 2017.
  24. ^ Joe Banfield (22 June 2017). "Durham University fires pure sass in spicy email announcing it will contest silver TEF rating". The Tab.
  25. ^ "HEPI Director responds to the Teaching Excellence Framework results". HEPI. 22 June 2017. Retrieved 24 June 2017.
  26. ^ Chris Husbands (23 June 2017). "TEF results – the chair's post-match analysis". Wonkhe. Retrieved 24 June 2017.
  27. ^ "Imperial vice-provost: TEF a 'godsend' for university teaching". Times Higher Education. 1 July 2017.
  28. ^ Chris Havergal (3 August 2017). "More UK universities appeal against TEF ratings". Times Higher Education.
  29. ^ John Morgan (15 August 2017). "UEA upgraded to gold in teaching excellence framework on appeal". Times Higher Education.
  30. ^ Jack Grove (8 June 2017). "Will teaching excellence framework shatter old hierarchies?". Times Higher Education.
  31. ^ "Mock TEF results revealed: a new hierarchy emerges". Times Higher Education. 23 June 2016.
  32. ^ Rima Amin (21 April 2016). "Destabilising the teaching excellence framework". Times Higher Education.
  33. ^ Rachael Pells (24 February 2017). "Students boycotting NUS National Student Survey boycott". The Independent.
  34. ^ Nona Buckley-Irvine (9 August 2017). "A bruising boycott for the Russell Group". Wonkhe.
  35. ^ Rebecca Ratcliffe (2 November 2015). "The Teaching Excellence Framework: can higher education up its game?". The Guardian.
  36. ^ Anna Fazackerley (22 November 2016). "Universities and NUS plan boycott of flagship teaching rankings". The Guardian.
  37. ^ John Elmes (23 January 2017). "TEF boycott fears allayed as elite universities opt in".