자동 에세이 채점

자동 에세이 채점(AES)은 교육 환경에서 쓰여진 에세이에 점수를 할당하기 위해 특수 컴퓨터 프로그램을 사용하는 것입니다.이것은 교육 평가의 한 형태이며 자연어 처리의 응용입니다.그 목적은 다수의 텍스트 엔티티를 예를 들어 1에서 6까지의 숫자와 같은 가능한 등급에 해당하는 소수의 개별 범주로 분류하는 것이다.따라서 통계적 분류의 문제로 볼 수 있다.

AES에 대한 관심이 높아지는 데는 몇 가지 요인이 작용하고 있습니다.그 중에는 비용, 설명 책임, 표준, 테크놀로지 등이 있습니다.교육비 상승은 교육 시스템에 기준을 부과함으로써 결과에 대한 책임을 지게 해야 한다는 압력으로 이어졌다.정보기술의 진보는 교육 성과를 절감된 비용으로 측정할 수 있을 것이다.

AES를 교육에서 높은 수준의 테스트에 사용하는 것은 상당한 반발을 불러일으켰습니다.반대론자들은 컴퓨터가 아직 글쓰기를 정확하게 평가할 수 없다고 지적하고 이러한 목적을 위한 AES의 사용은 글쓰기를 줄이는 방법(즉, 시험에 대한 교육)으로 촉진한다고 주장합니다.

역사

AES의 대부분의 역사적 요약은 이 분야의 기원을 Ellis Batten ^[1]Page의 작업으로 추적합니다.1966년, 그는 컴퓨터로^[2] 에세이를 채점할 수 있는 가능성을 주장했고, 1968년 그는^[3] 프로젝트 에세이 그레이드라고 불리는 프로그램으로 그의 성공적인 작품을 발표했다.그 당시의 기술을 사용한다면, 컴퓨터화된 에세이 채점은 비용 ^[4]효율이 높지 않았을 것이고, 그래서 페이지는 약 20년 동안의 노력을 줄였다.결국 페이지는 PEG를 Measurement Incorporate에 매각했습니다.

1990년에는 데스크톱 컴퓨터가 매우 강력하고 널리 보급되어 AES가 실질적인 가능성이 되었습니다.1982년, Writer's Workbench라고 불리는 UNIX 프로그램은 구두점, 철자 및 문법 ^[5]조언을 제공할 수 있었다.Page는 여러 회사(특히 교육 테스트 서비스)와 협력하여 PEG를 업데이트하고 1990년대 ^[6]초에 몇 가지 성공적인 테스트를 실시했습니다.

Peter Foltz와 Thomas Landauer는 지능형 에세이 평가기(IEA)라고 불리는 채점 엔진을 사용하여 시스템을 개발했다.IEA는 1997년 학부 과정에서 ^[7]에세이를 채점하기 위해 처음 사용되었다.현재는 Pearson Educational Technologies의 제품으로 여러 상용 제품 및 주정부 및 국가 시험에서 채점을 위해 사용됩니다.

Intelli Metric은 Vantage Learning의 AES 엔진입니다.개발은 ^[8]1996년에 시작되었다.그것은 1998년에 ^[9]에세이를 채점하기 위해 상업적으로 처음 사용되었다.

교육 테스트 서비스는 자동화된 논술 채점 프로그램인 "e-rater"를 제공합니다.그것은 1999년 ^[10]2월에 처음으로 상업적으로 사용되었다.Jill Burstein은 개발의 팀 리더였습니다.ETS의 Criterion Online Writing Evaluation Service는 e-rater 엔진을 사용하여 점수 및 대상 피드백을 제공합니다.

Lawrence Rudner는 베이지안 점수 매기기 작업을 했고 BETSY(^[11]베이지안 에세이 시험 점수 매기기 sYsystem)라고 불리는 시스템을 개발했다.그의 연구 결과 중 일부는 인쇄물이나 온라인으로 출판되었지만, 아직 BETSY를 채택한 상업용 시스템은 없습니다.

Pacific Metrics는 Howard Mitzel과 Sue Lottridge의 주도로 CRASE라는 응답 자동 스코어링 엔진을 개발했습니다.현재 여러 주 교육부서에서 사용되고 있으며 미국 교육부가 지원하는 Enhanced Assessment Grant에서 사용되고 있습니다.Pacific Metrics의 테크놀로지는 대규모 형식 및 요약에 사용되고 있습니다.2007년 이후의 평가 환경.

Measurement Inc.는 2002년에 PEG의 권리를 취득해,^[12] 개발을 계속하고 있다.

2012년에 Hewlett Foundation은 Automated Student Assessment Prize(ASAP)^[13]라고 불리는 Kaggle에 관한 대회를 후원했습니다.201명의 도전자는 AES를 사용하여 8개의 다른 프롬프트로 작성된 수천 개의 에세이에 대해 인간 평가자가 부여할 점수를 예측하려고 했습니다.그 목적은 AES가 인간 평가자만큼 신뢰할 수 있다는 것을 증명하는 것이었습니다.또한 경쟁업체는 9개 AES 공급업체 간에 ASAP 데이터의 서브셋에 대한 별도의 데모를 개최했습니다.조사자들은 자동화된 논술 점수가 인간의 ^[14]점수만큼 신뢰할 수 있다고 보고했지만,^[15] 일부 공급업체는 참여의 전제조건으로 그러한 테스트를 수행하지 말 것을 요구했기 때문에 이 주장은 어떠한 통계 테스트에서도 입증되지 않았다.게다가 Hewlett Study가 AES가 인간 평가자들만큼 신뢰할 수 있다는 것을 증명했다는 주장은 그 이후 Norman O.인 Randy E. Bennett에 의해 강하게 ^[16][17]논쟁되어 왔다.Frederiksen 교육 테스트 ^[18]서비스 평가 혁신 의장.이 연구의 주요 비판 중 일부는 8개의 데이터 세트 중 5개가 에세이가 아닌 단락으로 구성되었고, 8개의 데이터 세트 중 4개가 쓰기 능력이 아닌 내용만을 위해 인간 독자에 의해 등급이 매겨졌으며, "진정한 점수"에 대해 인간 독자와 AES 시스템을 측정하는 것이 아니라 두 데이터 세트의 평균이라는 것입니다.독자의 점수는 인위적인 구성인 "점수"를 사용했으며, 4개의 데이터셋에서 불일치가 있는 경우 두 사람의 점수 중 더 높은 점수로 구성되었다.특히 이 마지막 방법은 이러한 ^[16]데이터셋을 위해 반올림할 수 있게 함으로써 머신에 부당한 이점을 가져다 주었습니다.

1966년, 페이지는 미래에, 컴퓨터에 기반을 둔 판사가 다른 인간 판사들보다 ^[2]각 인간 판사와 더 잘 연관될 것이라는 가설을 세웠다.일반적으로 에세이 채점에 대한 이 접근법의 적용 가능성을 비판했음에도 불구하고, 이 가설은 영국의 GCSE ^[19]시스템의 전형적인 질문과 같은 짧은 질문에 대한 자유 텍스트 답변을 표시하기 위해 뒷받침되었다.지도 학습의 결과는 다른 인간 교사의 표시가 잘 일치할 때 자동 시스템이 잘 작동한다는 것을 보여준다.무감독 응답 클러스터링은 우수한 논문과 약한 논문들이 잘 정의된 클러스터를 형성하고 이러한 클러스터에 대한 자동화된 마킹 규칙이 잘 작동하는 반면, 세 번째 클러스터('혼합')에 대해 인간 교사가 부여한 점수는 논란이 될 수 있으며, '혼합' 클러스터에서의 저작물 평가의 신뢰성은 종종 논란이 될 수 있다.(인간과 컴퓨터 양쪽에)^[19] 질문을 받다

에세이 품질의 다른 차원

최근의 ^[20]조사에 따르면, 현대의 AES 시스템은 사용자에게 피드백을 제공하기 위해 에세이의 질에 다른 차원을 매기려고 한다.이 치수에는 다음 항목이 포함됩니다.

• 문법성: 문법 규칙을 따릅니다.
• 용도: 전치사 사용, 단어 사용
• 메커니즘: 맞춤법, 구두점, 대문자에 대한 규칙 준수
• 스타일: 단어 선택, 문장 구조 다양성
• 관련성: 프롬프트에 대한 콘텐츠 관련성
• 조직: 에세이가 얼마나 잘 구성되어 있는가
• 개발: 예를 들어 아이디어 개발
• 결속력: 전환 문구의 적절한 사용
• 일관성: 아이디어 간의 적절한 이행
• 논문의 명확성: 논문의 명확성
• 설득력: 주요 주장의 설득력

절차.

처음부터 AES의 기본 절차는 세심하게 손으로 ^[21]채점한 에세이 훈련 세트부터 시작하는 것이었습니다.이 프로그램은 총 단어 수, 하위 절 수 또는 대소문자 비율과 같은 각 에세이 본문의 표면적 특징을 평가합니다. 대소문자는 인간의 통찰 없이 측정할 수 있습니다.그런 다음 이 수량을 에세이가 받은 점수와 연관짓는 수학적 모델을 구축합니다.그리고 같은 모델이 새로운 에세이의 점수를 계산하는데 적용된다.

최근, 그러한 수학적 모델 중 하나가 아이작 퍼싱과 빈센트 ^[22]응에 의해 창조되었다. 그들은 위의 특징들에 대한 에세이를 평가할 뿐만 아니라 그들의 주장 강도에 대해서도 평가한다.그것은 저자의 동의 수준과 그 이유, 프롬프트의 주제 준수, 주장 구성요소 위치(주요 주장, 주장, 전제), 주장 오류, 다양한 다른 특징들 사이의 주장의 응집력 등 에세이의 다양한 특징을 평가한다.위에서 언급한 다른 모델과 달리, 이 모델은 에세이를 채점하면서 인간의 통찰력을 복제하는 데 더 가깝다.

다양한 AES 프로그램은 측정 대상 지표면 특징, 교육 세트에 필요한 에세이의 수, 그리고 가장 중요한 수학적 모델링 기법에서 다릅니다.초기 시도에서는 선형 회귀 분석을 사용했습니다.현대 시스템은 종종 잠재 의미^[23] 분석 및 베이지안 ^[11]추론과 같은 다른 통계 기법과 함께 선형 회귀 또는 다른 기계 학습 기술을 사용할 수 있다.

성공의 기준

모든 평가 방법은 타당성, 공정성 및 신뢰성을 ^[24]판단해야 합니다.계측기는 측정하고자 하는 특성을 실제로 측정할 경우 유효합니다.만약 그것이 사실상 어느 한 계급의 사람들에게도 불이익을 주거나 특권을 주지 않는다면 그것은 정당하다.관련 없는 외부 요인이 변경되더라도 그 결과가 반복 가능해야 신뢰할 수 있다.

컴퓨터가 등장하기 전에, 높은 점수를 받은 에세이는 보통 두 명의 훈련된 인간 평가자에 의해 점수가 매겨졌다.점수가 1점 이상 차이가 나는 경우, 경험이 많은 3급자가 의견 차이를 해소할 것이다.이 시스템에서는 신뢰도를 측정하는 쉬운 방법이 있습니다. 즉, 라우터 간 합의에 의한 것입니다.만일 선수들이 1점 이내에 일관되게 동의하지 않는다면, 그들의 훈련에 잘못이 있을 수 있다.만약 다른 평가자들이 같은 에세이를 보는 시각에 일관되게 동의하지 않는다면, 그 평가자들은 아마도 추가적인 훈련이 필요할 것이다.

의회간 합의를 측정하기 위해 다양한 통계들이 제안되었다.이 중에는 백분율 합치, Scott의 cohen, Cohen의 k, Krippendorf의 α, Pearson의 상관계수 r, Spearman의 순위 상관계수 ,, Lin의 일치 상관계수 등이 있다.

백분율 합치도 1부터 n까지의 점수를 갖는 등급 척도에 적용할 수 있는 간단한 통계량입니다. 여기서 보통 4 n n 6 6입니다.정확한 일치(두 명의 평가자가 에세이에 같은 점수를 줬다), 인접한 합의(평가자가 최대 1점 차이, 이것은 정확한 동의를 포함한다), 그리고 극단적인 불일치(평가자가 2점 이상 차이)의 세 가지 수치로 보고되었다.전문 인간 학년자는 전체 에세이의 53%에서 81%에 대해 정확한 합의를, 97%에서 ^[25]100%에 대해 인접한 합의를 달성하는 것으로 나타났다.

이제 라우터 간 계약을 컴퓨터 성능 측정에 적용할 수 있습니다.에세이 세트는 두 명의 인간 평가자와 AES 프로그램에게 주어집니다.컴퓨터가 할당한 점수가 인간 평가자 중 한 명과 일치하고 평가자가 서로 동의한다면 AES 프로그램은 신뢰할 수 있는 것으로 간주됩니다.또는 각 에세이는 두 사람의 점수를 평균하여 "진짜 점수"를 부여하고, 두 인간과 컴퓨터를 일치에 따라 실제 점수와 비교한다.

몇몇 연구자들은 그들의 AES 시스템이 사실 인간보다 더 잘 할 수 있다고 보고했다.페이지는 1994년에 ^[6]PEG에 대한 이 주장을 했다.스콧 엘리엇은 2003년에 인텔리메트릭이 전형적으로 인간 득점자들을 ^[8]능가한다고 말했다.그러나 AES 기계는 어떤 종류의 복잡한 쓰기 ^[26]테스트에서도 인간 리더보다 신뢰성이 떨어지는 것으로 보입니다.

현재 관행에서 GMAT와 같은 고위험 평가는 항상 최소 한 명의 사람이 채점한다.두 번째 라우터 대신 AES가 사용됩니다.인간 감정가는 둘 이상의 ^[27]의견 불일치를 해결합니다.

비판

AES는 여러 가지 이유로 비판을 받아왔다.Yang 등은 "응답의 표면적인 특징에 지나치게 의존하고, 응답의 내용과 창의성에 둔감하며, 새로운 유형의 부정행위 ^[27]및 시험 전략에 취약하다"고 언급했다.몇몇 비평가들은 만약 그들이 아무도 그들의 ^[28]글을 읽지 않을 것이라는 것을 안다면 학생들의 동기부여가 줄어들 것이라고 우려한다.가장 중요한 비판 중 하나는 의도적으로 횡설수설한 에세이가 높은 ^[29]점수를 받았다는 보고이다.

휴먼 리더.조직 청원

2013년 3월 12일 HumanReaders.Org는 온라인 탄원서 "Professionals Against the Machine Scoring of Stakes Assessment"를 시작했습니다.몇 주 만에 이 탄원서는 노암 촘스키를 ^[30]포함한 수천 명의 서명을 받았으며 뉴욕타임즈를 포함한 ^[31]다수의 신문과 많은 교육 및 기술 ^[32]블로그에 인용되었다.

이 청원은 AES를 고중요도 테스트에 사용하는 것을 "사소", "축소", "불정확", "진단", "불공정", "비밀"^[33]이라고 설명하고 있습니다.

청원 사이트에는 AES에 대한 자세한 연구 요약에서 다음과 같이 기술하고 있습니다.연구 결과는 학생, 학부모, 교사, 고용주, 관리자, 입법자 등 누구도 에세이의 기계 채점에 의존할 수 없음을 보여줍니다.그리고 그 기계의 스코어링은 진정한 ^[34]쓰기 행위를 측정하지 않기 때문에 촉진하지 않습니다."

이 청원은 특히 고위험 테스트에 AES를 사용하는 것을 다루며 다른 가능한 사용에 대해서는 언급하지 않습니다.

소프트웨어

자동화된 에세이 채점을 위한 대부분의 자원은 독점적입니다.

• eRater – 교육 테스트 서비스 발행
• 인텔리메트릭 – Vantage Learning에 의한
• 프로젝트 에세이^[35] 그레이드– Measurement, Inc.에 의한

레퍼런스