레스 페렐만

Les Perelman
레스 페렐만
Les Perelman1.jpg
태어난
레슬리 쿠퍼 페렐먼

미국 캘리포니아 주 로스앤젤레스
교육캘리포니아 대학교 버클리, UMass Amherst
직업교육자
년 활동1980년 현재의
로 알려져 있다.표준화된 시험에 대한 비판

레스 페렐먼은 AES(Automatic Ecription)의 유명한 비평가로,[1] 대학 이사회가 SAT의 쓰기 영역을 폐기하기로 결정하는데 큰 역할을 했다.[2]

Perelman은 현재 매사추세츠 공과대학의 연구 계열사다.[3] Perelman은 MIT에서 작문과 작문을 가르쳤고, 그곳에서 그는 교육과정 전반의 작문부장과 학부교육 부학장을 역임했다.[4] 그는 대학구성통신회의 집행위원이었다.[5] 그리고 평가 위원회의 공동 의장

티칭

Perelman은 Tulane 대학교와 Southern California 대학교에서 작문 프로그램을 가르치고 감독했다. MIT에서 그는 작문과 작문을 가르쳤고, 교육과정 전반의 집필과 학부 교육실 부학장을 역임했다.[4]

SAT 작문 영역 비판

2005년 에세이 샘플과 대학 위원회가 SAT의 쓰기 부분에 대한 참조를 위해 제공한 채점된 에세이에 대한 그의 연구에 이어, Perelman은 에세이의 길이와 받은 점수의 높은 상관관계를 보고했다. 그는 또한 에세이가 사실의 부정확성에 대해 처벌받지 않았다고 지적했다.[7]

2013년, Perelman은 신임 College Board의 회장인 David Coleman을 만났고, 그 대화의 결과는 Coleman이 SAT 필기구문을 폐지하기로 결정한 것이었다.[8]

자동 채점 비판

2012년에 Perelman은 오랫동안 가식적인 일관성이 없는 에세이가 잘 쓰여진 에세이보다 ETS 채점 엔진 e-Rater로부터 더 높은 점수를 얻을 수 있다는 것을 증명했다.[9]

2014년, Perelman은 MIT, 하버드의 학생들과 협력하여 "기본 자동 B.S. 에세이 언어" 생성기인 BABEL을 개발했다. BABEL에 의해 생성된 말도 안 되는 에세이는 AES 시스템에 의해 등급이 매겨졌을 때 좋은 성능을 발휘한다고 주장한다. 자동화된 학년생인 Perelman은 "의미를 읽을 수 없고 사실을 확인할 수 없다"고 주장한다. 더 중요한 것은, 그들은 명쾌한 글과 횡설수설할 줄 모른다."[10] Perelman의 연구는 NCTE가 머신 스코어링에 대한 포지션 설명서에서 인용한 것으로, AES의 한계에 대한 유사한 우려를 나타낸다.

컴퓨터 채점 시스템은 인간의 언어와 함께 일하는데 서툴러서 '게이밍'될 수 있으며, 평가의 타당성을 더욱 약화시키고 학생들이 작문 능력에 근거하는 것이 아니라 기계 트릭 전략을 알고 사용할 수 있는지 여부에 근거하여 학생들을 분리시킨다.[11]

오스트레일리아 교육시험에 미치는 영향

2017-2018년 동안, Perelman은 New South Wales 교사 연합으로부터 호주의 전국 초등 및 중등 학교 평가 프로그램인 NAPLAN(National Assessment Program - Literacy and Mumacy)을 개혁하기 위한 노력에 도움을 주기 위해 3개의 보고서를[12][13][14] 작성하도록 의뢰받았다. 그의 업적은 NAPLAN 시험의 필기 부분에 대해 연방 교육부 장관을 압도하고 자동 논술 채점 방식을 사용하지 못하도록 한 국가 교육 위원회의 결정에 중요한 요소였다.[15]

참조

  1. ^ "Construct Validity, Length, Score, and Time in Holistically Graded Writing Assessments: The Case against Automated Essay Scoring (AES)" (PDF). WAC Clearinghouse. Retrieved June 14, 2015.
  2. ^ "The man who killed the SAT essay". Boston Globe. Retrieved June 14, 2015.
  3. ^ "People Directory". Massachusetts Institute of Technology. Retrieved June 11, 2015.
  4. ^ a b "iMOAT". Massachusetts Institute of Technology. Retrieved June 11, 2015.
  5. ^ "2015 CCCC Officers and Executive Committee". National Council of Teachers of English. Retrieved June 11, 2015.
  6. ^ "Committee on Assessment (November 2016)". National Council of Teachers of English. Retrieved July 29, 2016.
  7. ^ Winerip, Michael (May 4, 2005). "SAT Essay Test Rewards Length and Ignores Errors". The New York Times. Retrieved June 11, 2015.
  8. ^ Balf, Todd. "The Story Behind the SAT Overhaul". Retrieved April 5, 2015.
  9. ^ Winerip, Michael (22 April 2012). "Facing a Robo-Grader? Just Keep Obfuscating Mellifluously". The New York Times. Retrieved 5 April 2013.
  10. ^ Kolowich, Steve (April 28, 2014). "Writing Instructor, Skeptical of Automated Grading, Pits Machine vs. Machine". The Chronicle of Higher Education. Retrieved June 11, 2015.
  11. ^ "NCTE Position Statement on Machine Scoring". National Council of Teachers of English. Retrieved June 11, 2015.
  12. ^ Perelman, Les. "Automated Essay Scoring and NAPLAN: A Summary Report" (PDF). New South Wales Teachers Federation. New South Wales Teachers Federation. Retrieved 28 December 2018.
  13. ^ Perelman, Les (2018). Towards a New NAPLAN: Testing to the Teaching (PDF). Sydney: New South Wales Teacher Federation. ISBN 978-0-6482555-1-2. Retrieved 28 December 2018.
  14. ^ Perelman, Les. "Problems in the Design and Administration of the 2018 NAPLAN" (PDF). New South Wales Teacher Federation. Retrieved 28 December 2018.
  15. ^ Koiziol, Michael. "Computer says no: Governments scrap plan for 'robot marking' of NAPLAN essays". No. 29 January 2018. Sydney Morning Herald. Retrieved 28 December 2018.

외부 링크