글쓰기의 총체적 채점수

Holistic Scoring of Writing

글의 전체적 채점은 단락 크기 이상의 확장된 서면 담론에 단일 값을 할당하는 형식적인 방법입니다.이는 두 가지 기본적인 방법으로 서면 담론을 채점하는 다른 방법과는 다릅니다.글의 다른 부분에 별도의 값을 할당하지 않고 전체적으로 구성을 처리합니다.그리고 그것은 두 명 이상의 평가자를 사용하며 최종 점수는 그들의 독립적인 점수에서 도출된다.총체적 채점은 "비분석적", "전체적 품질", "일반적 장점", "일반적 인상", "급격한 인상"이라는 다른 이름으로도 알려져 있습니다.비록 이 시스템의 가치와 검증이 논쟁의 문제이긴 하지만, 글쓰기의 전체적인 점수는 여전히 널리 적용되고 있다.

정의.

총체적 채점에서는 두 명 이상의 평가자가 독립적으로 쓰기 샘플에 단일 점수를 할당합니다.평가 상황에 따라 점수가 달라지지만(예: "78", "합격", "학점 부여", "A-레벨 가치", "매우 우수 자격"), 각 등급은 동일해야 합니다.평가자가 글의 개별적인 측면(예: 구성, 스타일, 추론, 지원)을 고려하거나 점수를 매기도록 요구받았을 경우, 최종 총점수는 그 첫 번째 고려사항이나 그 점수에서 수학적으로 도출되지 않습니다.평가자는 우선 그룹으로 교정되며, 이들 중 2명 이상이 사전에 결정된 신뢰성 범위 내에서 쓰기 샘플에 대해 독립적으로 최종 점수를 할당할 수 있습니다.최종 점수는 미리 설정된 값의 척도에 따라 결정되며, 점수 작성자는 척도를 일관되게 적용하려고 합니다.이 글의 최종 점수는 두 개 이상의 독립적인 평가에서 도출됩니다.총체적 채점은 종종 분석 [1][2][3]채점과 대조된다.

필요하다.

확장된 산문의 작문은 과학, 사업, 산업에서부터 법률, 종교,[4] 정치에 이르기까지 많은 봉급생활자들의 요구되어 왔다.확장된 산문을 쓰는 능력은 또한 교사, 공무원, 군 [5][6]장교들을 위한 자격 또는 자격증 시험의 일부를 형성했다.그 결과, 글쓰기 교육은 학교 및 미국 대학에서의 정규 교육의 일부입니다.어떻게 하면 확장 산문을 작곡하는 능력을 가장 잘 평가할 수 있을까요?고립된 부분은 "객관적인" 단답형 항목으로 테스트할 수 있습니다. 예를 들어 정확한 철자법과 구두점입니다.이러한 항목들은 높은 신뢰도로 점수가 매겨집니다.그러나 항목 질문은 일관성 있고 의미 있는 확장 구절을 작성할 때 잠재력이나 성취도를 얼마나 잘 평가합니까?후보자들에게 장황한 담론을 쓰도록 하는 것이 더 효과적인 평가 방법인 것 같다.그러나 이 방법은 신뢰성에 대한 문제를 제기한다.독자들 사이에서 그리고 평가 에피소드에 걸쳐 글 한 편의 가치가 얼마나 확실하게 평가될 수 있는가?교사들과 다른 판사들은 그들의 주제에 대한 지식과 좋은 글과 나쁜 글에 대한 이해를 신뢰하지만, "감시력"[7]에 대한 이러한 신뢰는 오랫동안 의문시되어 왔다.똑같이 박식한 감정가들은 같은 [8][9][10][11]에세이에 대해 매우 다른 점수를 매기는 것으로 나타났다.신뢰성과 타당성을 모두 고려한 총체적 채점은 쓰기 능력을 판단하는 더 나은 방법으로 제공됩니다.공정성에 유의하여 점수 [12]사용의 결과에 초점을 맞출 수도 있습니다.

4종류의 스코어링

총체적 채점을 위한 다양한 절차가 시도되었지만, 네 가지 형태는 뚜렷한 [13]전통을 확립했다.

풀드 래터

풀링 레이터 스코어링은 일반적으로 각 쓰기 샘플에 대해 3~5개의 독립 판독기를 사용한다.채점자는 공통의 비율 척도로 작업하고, 그 척도를 나타내는 샘플 페이퍼 세트("[14]앵커 페이퍼")를 가지고 있을 수 있지만, 보통 그들은 최소의 훈련을 함께 받았다.그들의 점수는 샘플의 최종 점수에 대해 단순히 합산되거나 평균화된다.영국에서는 1934년에 [15]표본당 10명의 교사-평가자를 고용하여 공동 평가자 전체 점수를 처음으로 실험적으로 테스트했다.1939년 Devon에서 [16]에세이당 4명의 교사를 사용하여 11개 이상의 시험 대본으로 처음 시행되었습니다.미국에서는 1961-1966년 교육 테스트 [17]서비스에 의해 그 신뢰성이 검증되었습니다.또한 1963년부터 1992년까지 교육 테스트 서비스 영작문 테스트에서 산발적으로 [18]사용되어 에세이당 3~5명의 평가자를 고용했습니다.풀드 라이터 점수(pooled-rater score)의 거의 동의어인 용어는 "분포 평가(distributive evaluation)"[19]입니다.

특성 정보

특성 정보 채점은 채점 가이드("루브릭"[20] 또는 "체크리스트"[21]라고도 함)에 따라 채점을 하도록 평가자를 훈련시킵니다. 채점 기준은 각각 같은 수의 성취 수준에 맞춰 그리드 형식으로 스케일링된 짧은 쓰기 기준 세트입니다.예를 들어 1969년 뉴욕시립대학교의 학생 작문 연구에 사용된 채점 가이드는 5가지 기준(아이디어, 조직, 문장 구조, 문구, 구두점/기법/철자법)과 3가지 수준(우수, 평균, [22]허용 불가)을 가지고 있었다.채점 가이드에 대한 근거는 채점자가 글쓰기 성과에 주의를 기울이도록 하고 한두 가지에 과도한 영향을 주지 않도록 한다고 주장한다('헤일로 효과').특성 정보 채점은 평가자가 다른 특성으로부터 독립적으로 각 특성을 채점하고 최종 점수를 합산하는 분석 채점 [23]방법에 가깝다.그러나 특성 정보에 근거한 총체적 점수는 내심 전체론적인 것으로 평가자에게 최종 점수를 결정하기 전에 모든 특성을 고려할 것을 요구합니다.

조정기

조정된 비율의 점수는 일부 점수자가 다른 평가자보다 점수가 더 정확하다고 가정한다.각 논문은 두 명의 평가자에 의해 독립적으로 읽혀지며, 그들의 점수가 어느 정도(보통 평가 척도에서 1점 이상) 일치하지 않을 경우, 더 경험이 많은 세 번째 독자에 의해 읽힌다.너무 많은 세 번째 판독치를 초래한 스코어는 채점 세션 중에 재교육되거나 판독 [24][25]그룹에서 제외되기도 합니다.조정된 비율의 종합 점수는 1943년 [26]시카고 대학 심사위원회에 의해 처음 적용되었을 수 있다.오늘날 대규모 상용 테스트 서비스에서는 GRE [27][28]테스트와 같이 에세이를 위한 한 사람은 훈련을 받은 인간이고 다른 한 사람은 자동 에세이를 채점하도록 프로그램된 컴퓨터인 조정된 점수 매기기 서비스를 사용하는 경우가 있습니다.

싱글 라이터

싱글 레이터 감시 스코어링은 래터를 그룹으로 훈련시켜 자세한 마킹 방식을 제공할 수 있습니다.단, 각 기입 샘플은 모니터에 의한 정기적인 체크를 통해 그 점수가 허용 범위를 벗어난 것으로 간주되어 일반적으로 슈퍼바이저에 의해 재평가되지 않는 한 1명의 평가자에 의해 평가됩니다."단일 채점" 또는 "샘플링"이라고 불리는 이 방법은 비록 그것이 이중 채점이나 다중 [29][30]채점보다 덜 유효한 것으로 보여졌음에도 불구하고 영국 학교 시험에서 오랫동안 표준이 되어왔다.미국에서는 토플리BT의 [31]쓰기 부분에 대해 교육 테스트 서비스가 자동 채점과 공인 휴먼 래터의 조합을 사용하고 있습니다.

역사

영국에서는 1924년에[32] 공식 공동 계층 전체 점수가 제안되었고 1934-1935년에 [33]공식적으로 테스트되었다.1939년 R. K. Robertson 수석 심사관에 의해 영국 데본의 지방 심사 기관의 11개 이상의 대본에 처음 적용되어 10년 [34]동안 계속되었다.비록 영국의 다른 LEA들이 1950년대와 1960년대에 이 시스템을 시도했고 그 신뢰성과 타당성이 영국 연구자들에 의해 많이 연구되었지만, 그것은 유지되지 못했다.보통 과목 영역에서 역량을 보여주기 위해 작성된 학교 대본의 다중 채점은 주로 분석 채점 [35][36]체계와 함께 단일 계층으로 모니터링되는 채점에 자리를 내주었다.

미국에서는 Paul B에 의해 쓰기 샘플의 총체적 점수가 처음으로 적용되었다.시카고 대학의 Diderich는 1학년 작문 과정의 학점을 위한 종합 시험입니다.이 방법은 해당 과정의 교사를 채점자로 하고 심사위원을 [37][38]조정인으로 하여 조정 점수를 매겼다.1956년경 College Board의 Advanced Placement 시험은 영어의 고급 학점을 위해 에세이를 채점하는 조정된 전체론 시스템을 시작했습니다.평가자들은 그들의 학교에 평가 시스템을 다시 [39]도입한 고등학교 교사들이다.Albert Lavin은 1966-1972년 캘리포니아 마린 카운티에 있는 프랜시스 드레이크 경 고등학교에서 9, 10, 11, 12학년 동안 [40]학교 글쓰기의 진보를 보여주기 위해 유사한 총체적 점수를 설치했습니다.1973년 캘리포니아 주립 대학 및 대학 시스템의 교사들은 고급 배치 조정자 시스템을 사용하여 입학한 학생들이 작성한 에세이를 영어 작문 고급 [41]학점으로 채점했습니다.공동 계층 전체 점수는 교육 테스트 서비스에 의해 1950년에 테스트되었습니다("전체적"[42]이라는 용어를 사용).그것은 1963년 College Board 영어 작문 시험에서 [43]처음 적용되었다.고등 교육에서는, 언어 능력의 상승 상급 시험인 조지아 레지던트 테스트 프로그램이 1972년에 [44]그것을 사용했습니다.

미국에서는 1975년부터 1990년까지 교육 책임 운동으로 인해 총체적 점수가 기하급수적으로 확산되었다.1980년 학교 글쓰기 평가는 적어도 24개 주에서 실시되었으며,[45] 이는 전체적으로 평가된 샘플 작성에 의해 대부분이었다.중등교육 이후, 점점 더 많은 대학과 대학들이 선행학점, 1학년 작문 과정으로의 배치, 작문 과정에서의 종료, 주니어 지위 및 학부 학위 자격에 대한 총체적 점수를 사용하고 있었다.작문 교사들은 또한 학생들에게 총체적인 채점법을 가르쳐 서로 글을 평가할 수 있도록 했습니다.이것은 국립 작문 [46]프로젝트에서 가르치는 교육학입니다.

20세기 후반 20년 동안 총체적 점수 사용은 다소 감소했다.학생들의 작문 능력을 평가하는 다른 방법들, 아마도 더 유효할 수도 있는 것들이 포트폴리오와 같이 인기를 끌고 있었다.대학들은 점점 더 ACT나 ETS와 같은 테스트 기관에 의뢰하여 글쓰기 샘플을 채점하고 있었습니다.그리고 21세기 초에는 그 중 일부를 자동 에세이 채점 방식으로 채점하고 있었습니다.하지만 인간에 의한 에세이의 총체적 점수는 여전히 검정고시, 토플 iBT, GRE 일반고사와 같은 대규모 상업시험에서 적용된다.또한 워싱턴 주립 [47]대학교와 같은 일부 고등 교육 기관의 배치 또는 학업 진행에도 사용됩니다.그러나 현재 대부분의 대학은 ACT, SAT, CLEP 및 International Baccalaureate와 같은 시험에서 글쓰기 능력의 분석적 채점에 의존하고 있습니다.

확인

총체적 채점은 종종 그 결과에 의해 검증된다.rater 점수 또는 "rater 신뢰성" 사이의 일관성은 일치율, Pearson의 r 상관 계수, Spearman-Brown 공식, Cronbach의 알파 및 2차 가중 카파 [48][49]등 적어도 8개의 다른 공식으로 계산되었습니다.채점 비용은 평가자가 쓰기 샘플 채점에 소비하는 평균 시간, 세 번째 판독이 필요한 샘플의 비율 또는 평가자의 급여 지출, 세션 리더의 급여, 평가자의 다과, 기계 복사, 방 임대 등을 측정하여 계산할 수 있습니다.때때로, 특히 대학 입학에 대한 표준화된 테스트에서와 같이 영향력이 큰 사용의 경우, 점수의 동시 타당성을 추정하기 위한 노력을 기울인다.예를 들어, 미국교육위원회는 일반교육개발시험(GED)의 초기 연구에서 실험적인 총체적 논술 점수를 기존의 객관식 점수와 비교했고 두 점수가 다소 다른 [50]기술 세트를 측정했다는 것을 발견했다.더 자주, 예측 타당성은 학교 학생의 전체 점수와 대학 과정에서의 이후의 성취도(보통 첫 학기 GPA, 1학년 작문 과정에서의 과정 종료 성적 또는 학생의 작문 능력에 대한 교사 의견)를 비교함으로써 측정된다.이러한 상관관계는 보통 낮은 수준부터 [51]중간 수준까지입니다.

비판

글의 전체적인 채점은 거의 처음부터 부정적인 비판을 불러 일으켰다.1970년대와 1980년대 이후, 비판은 [52][53][54][55]더욱 커졌다.

  1. 비용. 1980년대에, 시험이 종종 사람에 의해 전적으로 채점되던 시절, 글쓰기 샘플의 유효하고 신뢰할 수 있는 총체적 채점은 항목의 채점보다 더 많은 시간과 비용이 소요되었다.예를 들어, 1980-1981년 조지아 리젠트 테스트 [56]프로그램에서는 첫 번째 에세이 1편당 0.75달러, 두 번째 에세이 1편당 0.53달러가 들었다.나중에, 비용 측면에서, 인간에 의한 논문의 총체적 채점은 [57]인간 채점 비용의 약 절반에서 1/4인 기계 채점 항목 테스트나 기계 평가 에세이에 비해 훨씬 덜 경쟁할 수 있다.
  2. 진단.총체적 채점에 대한 가장 일반적인 불만은 그것이 제공하는 진단 정보의 부족이다."합격" 점수(4점, 6점 또는 9점 척도의 "3점" 점수)는 학생, 교사 또는 연구원에게 구체적인 지침을 거의 제공하지 않습니다.교육 장벽 시험에서 총체적 점수는 어떤 학생이 불합격했는지 파악하는 데 관리자에게 도움이 될 수 있지만, [58][59]재도전에는 교사에게 거의 도움이 되지 않습니다.진단 정보의 확대 필요성은 국가교육진보평가(1973-1974)의 2차 평가에서 미국 교육위원회가 작성 [60]샘플의 1차 학습지 채점으로 총체적 채점을 보완한 이유였다.같은 이유로 1985년 [61]영국 평의회와 제2외국어 화자와 작가를 대상으로 케임브리지 영어평가국이 운영하는 국제영어시험시스템이 "프로파일 채점"을 채택하게 되었다.
  3. 루브릭스.몇 가지 글쓰기 특성에 대한 사전 설정된 체크리스트로서, 루브릭은 단순하고 문화적, 발전적 차이를 인식하지 못하며 잘못된 전제를 적용한다는 이유로 비판을 받아왔다.대학 작문 교사들에게 작문 평가 기준을 묻자 5, 6개 기준이 아니라 [62]124개를 언급했다.루브릭은 기준이 서로 독립적이라고 가정하지만, 연구 결과에 따르면 독자들이 한 가지 또는 두 가지 기준에 부여하는 점수가 다른 기준에 부여하는 점수(후광 효과)[63]에 영향을 미치는 것으로 나타났다.사전 설정되고 동등하게 평가된 기준은 또한 청소년 작가들의 발전, 불균일하고 비범용적이며 [64][65][66]퇴행적인 발전에도 맞지 않습니다.가장 근본적으로 표준화된 루브릭은 미리 결정된 언어의 결과를 제안하지만, 언어는 결코 결정되지 않으며, 문맥에서 자유롭지 않습니다.루브릭은 "복잡한 시스템의 결과를 예측하기 위한 결정론적 공식"[67]을 사용한다.이것은 대규모 테스트의 종합 점수 및 강의실에서의 형성적 피드백에 사용되는 루브릭에 대한 비판이다.
  4. 문맥을 벗어난다.전통적인 총체적 스코어링은 작곡의 중요한 맥락을 지울 수 있습니다. 예를 들어, 다른 주제와 다른 장르의 [68]작문에 시간적, 즉석 초안으로 응답하는 다른 작가들에 대한 영향입니다.대조적인 수사학의 관점에서 작가들의 중요한 문화적 차이도 지워질 수 있다.예를 들어, 국제교육성취도평가협회 연구진이 핀란드, 한국, 미국의 학생들이 작성한 에세이를 평가하는 기준을 만들려 했을 때,[69] 그들은 "지역사회의 차이 때문에 처음에는 고전적인 점수가 실패할 것"이라는 것을 발견했다.총체적 채점(특히 특성 정보에 근거한 채점)은 높은 신뢰도를 달성하기 위해 강력하게 통제된 훈련과 함께 채점자의 생태를 무시할 수 있다.채점 시스템은 강요된 [70][71]컨센서스에 의해 자연 독해 반응에서 인위적으로 밀려난 일련의 독자를 만든다.이러한 우려는 오하이오 대학, 루이빌 대학, 워싱턴 주립 대학과 같은 기관들로 하여금 과거 [72]수업에서 쓴 에세이의 포트폴리오로 학생들의 작문 능력을 평가하도록 장려했다.
  5. 공정성.비록 글쓰기의 총체적 점수가 객관적 [73][74]테스트보다 소수자와 제2언어 작가에게 더 공평하다고 옹호되어 왔지만, 총체적 점수가 공정성에 대한 자체의 문제가 있다는 것을 보여주는 증거도 수집되었다.저소득층 [75]후보자들에게는 코칭 비용이 덜 들었다.흑인 학생들은 플로리다 CLAST [76]시험의 논술 부분에서 더 많은 문제를 겪었다.CUNY 쓰기 평가 시험의 에세이 프롬프트는 "콘텐츠 공정하고 문화가 없는" 것이 아니었고 히스패닉과 다른 제2언어 [77]작가들에게 더 많은 문제를 야기했다.교육 테스트 서비스는 시험 [78][79]공정성에 대한 오랜 우려를 보여왔지만, 현재 전체 채점의 불공정한 결과에 대한 연구는 실무자의 직관보다 뒤처져 있고, 그러한 [80]결과를 문서화하기 위해 보다 차별적인 통계 분석을 적용해야 할 수 있다.

레퍼런스

  1. ^ 쿠퍼, C. R.(1977년)"글쓰기의 전체적 평가"C.R. 쿠퍼와 L.에서요Odell (Ed.) , 글쓰기 평가: 설명, 측정, 판단, 3-31.Urbana, IL: 전미 영어 교사 협의회.
  2. ^ 마이어스, M. (1980년)글쓰기 평가 및 종합 채점 절차.Urbana, IL: 전미 영어 교사 협의회.
  3. ^ 화이트, E.M.(1986)글쓰기 교육 및 평가: 학생의 이해, 평가 및 성적 향상에 관한 최근의 진전.샌프란시스코:Jossey-Bass Publishers입니다.
  4. ^ 올리버리, M.E., & McCulla, L. (2019).직업 네트워크 데이터베이스를 사용하여 작업장의 영어 커뮤니케이션 평가 및 개선(연구보고서 No. RR-19-2).프린스턴, 뉴저지: 교육 테스트 서비스.
  5. ^ 발라드, P. B. (1923년)새로운 검사관.런던:런던 대학 출판부
  6. ^ 엘리엇, N. (2005)척도: 미국에서의 글쓰기 평가의 사회사.뉴욕: 피터 랭
  7. ^ C.J. 위어, I. 비다코비치, E.D. 갈라치(2013).측정된 구성: 케임브리지 영어 시험 역사 1913-2012.케임브리지, 영국: 케임브리지 대학 출판부
  8. ^ 에지워스, F. Y.(1988)"검사의 통계"를 참조하십시오.왕립통계학회지 51: 599-635.
  9. ^ 엣지워스, F. Y.(1890)."경쟁 시험의 기회 요소"왕립통계학회지 53: 460-475, 644-663.
  10. ^ Starcet, D.와 Elliott, E.C.. "고교 성적의 신뢰성"학교 리뷰 20: 254-259.
  11. ^ 토마스, C. W. 등 (1931년)영어 시험: 대학입시위원회에 보고.케임브리지, 매사추세츠: 하버드 대학 출판부.
  12. ^ D. 슬롬프, J. 코리건, T. 스기모토(2014)."대규모 쓰기 평가를 평가할 때 결과적 타당성 증거를 사용하기 위한 프레임워크"영어교육연구, 48(3): 276-302.
  13. ^ 다음 이름은 Haswell, R. 및 N. 엘리엇(2019)에서 따왔다.글쓰기의 초기 총체적 채점: 이론, 역사, 성찰.Logan, UT: Utah State University Press, 페이지 24-25.
  14. ^ 코프먼, W. (1971년)"영어 논술시험 등급의 신뢰성에 대하여"영어교육연구5 (1): 24-36.
  15. ^ 하토그, P.J., 로즈, E.C. 및 버트, C. L. (1936)심사관의 표식 : 독립심사관 및 심사위원회가 심사원본에 할당한 표식의 비교와 비바보체시험에 관한 부분.런던: 맥밀런.
  16. ^ 와이즈먼, S. (1949년)'그래머 스쿨 선택 영작문 채점'영국 교육 심리학 저널 19(3): 200-209.
  17. ^ F.I. 고드샬크, F. 스완포드, W.E. 코프먼(1966년).글쓰기 능력의 측정.뉴욕: 대학 입학 시험 위원회.
  18. ^ 엘리엇 (2005년, 페이지 158-165)
  19. ^ Whithaus, C. (2010년)"분포 평가", WPA-컴파일 연구 참고 문헌, 제3호. WPA-컴파일 참고 문헌
  20. ^ 엘리, E. G. (1956)'언어능력 테스트'현대 언어 저널 40(6): 310-315.
  21. ^ 스크리븐, M.(1974년)"제품, 생산자 및 제안 평가 체크리스트"W. J. Popham (Ed.)에서 교육에서의 평가: 현재 어플리케이션, 7-33버클리, 캘리포니아: McCutchan 출판사
  22. ^ 보슨, R. M. (1969년)뉴욕 시립 대학 커뮤니티 칼리지의 영어 교정 학생들의 작문 문제.뉴욕: 특별 프로그램을 위한 CUNY Research and Evaluation Unit.ERIC 문서 리플리케이션 서비스, ED 028 778
  23. ^ 디데리히, P. B. (1966)"글쓰기 능력의 성장률을 측정하는 방법"영어저널 55(4): 435-449.
  24. ^ 화이트(1985), 페이지 23-26.
  25. ^ 해스웰과 엘리엇(2019), 99-109페이지
  26. ^ 디데리히, P. B. (1946)"글쓰기 능력의 측정"학교 리뷰 54(10): 584-592.
  27. ^ Deane, P., Williams, F., Weng, V. 및 Trapani, C. S.(2013)."출처로부터의 글쓰기의 혁신적인 평가에서 자동 에세이 채점"필기 평가 저널 6(2013).2022년 1월 10일 취득.
  28. ^ 교육 테스트 서비스.e-rater Scoring Engine에 관한 FAQ(FAQ)2021년 1월 9일 취득.
  29. ^ 위어, 비다코비치, 갈라치, 페이지 201
  30. ^ 자격 및 시험 사무국(2014).더블 마킹 리서치 리뷰, 페이지 10.코벤트리: 그럼요.
  31. ^ "TOEFL iBT Test Writing Section". www.ets.org. Educational Testing Service. Retrieved 25 February 2022.
  32. ^ 보이드, W. (1924년)작문, 철자 및 산술 측정 장치.런던:하란.
  33. ^ 하토그, P.J., 로즈, E.C. 및 버트, C. L. (1946)
  34. ^ 와이즈맨, S
  35. ^ 브룩스, V. (1980년)에세이 채점의 신뢰성 향상: 영작문에 대한 특별한 참고 문헌 조사.중등교육연구사업증명서 보고서 5레스터:레스터 대학교.
  36. ^ 햄프라이언스, L. (2016년)"총체적 채점?"평가 문서 27: A1-A2, 29: A1-A5.
  37. ^ 디데리히, P. B. (1946)"글쓰기 능력 측정"학교 리뷰 54(10): 584-592.
  38. ^ 해스웰과 엘리엇, 99-109페이지
  39. ^ 퓨스, C. M.(1950년)대학 위원회: 첫 50년입니다.뉴욕: 콜롬비아 대학 출판부.
  40. ^ 해스웰과 엘리엇, 160-163페이지
  41. ^ 캘리포니아 주립 대학과 대학의 화이트, E. 및 영어 평의회, 프레드리히, G., 버뱅크, R. 및 코웰, W.(1973).비교 및 대비: 1973년 캘리포니아 주립 대학과 대학 영어 동등성 시험.로스앤젤레스, CA: 캘리포니아 주립 대학 및 대학 총장실.ERIC 문서 리플리케이션 서비스, ED 114 825.
  42. ^ 겁쟁이, A. F. (1952)영작문 채점 두 가지 방법 비교교육연구 저널 46 (2): 81-93.
  43. ^ 엘리엇 (2005), 페이지 158-165.
  44. ^ 렌츠, R. R. (1984년)"글쓰기 테스트"교육 측정: 문제와 프랙티스 3(4): 4.
  45. ^ 맥크레디, M. 및 멜튼, V.S.(1983년)."주 전체 프로그램에서의 쓰기 평가 문제"National Testing Network로부터의 서면 2의 메모: 18, 22.2022년 1월 9일 취득.
  46. ^ 전국 작문 프로젝트(2017).National Writing Project는 고품질 Writing Assessment 서비스를 제공합니다.2022년 1월 9일 취득.
  47. ^ "University Writing Portfolio". writingprogram.wsu.edu. Washington State University. Retrieved 25 February 2022.
  48. ^ R.D. 체리와 P.R. 메이어(1993)"전체적 채점에서의 신뢰성 문제"M. M. Williamson과 B에서요A. Huot, 쓰기 평가를 위한 전체 점수 확인: 이론 및 경험적 기초, 페이지 109-141.크레스킬, 뉴저지 주: 햄프턴 프레스
  49. ^ Williamson, D. M, Xi, X 및 Breyer, F. J. (2012) "자동 채점 평가 및 사용을 위한 프레임워크"교육 측정: 문제와 프랙티스 31 (1): 2-13.
  50. ^ 스와츠, R., 인내, W.M., 휘트니, D.R.(1985).GED 작문 능력 테스트에 에세이 추가: 신뢰성과 타당성 문제.GED 테스트 서비스 연구 제7호.일반교육 테스트 서비스:워싱턴 D.C. 2022년 1월 10일 회수
  51. ^ Hayes, J. R., Hatch, J. A. 및 실크, C. M. (2000).「전체적인 평가가 기입의 퍼포먼스를 예측합니까?전체적으로 점수가 매겨진 작문 과제에서 학생 성적의 일관성을 평가합니다."서면 통신 17 (1): 3-26. [1] 와이즈맨(1949), 페이지 206.
  52. ^ 멜론, J. C.(1972년)"[교육진행보고서 3과 5의 국가평가]를 검토하라.영어 교육 연구 6 (1): 86-105.
  53. ^ 그레이, J.R., 루스, L.R.(에즈)글쓰기 태스크의 특성: 전체론적 평가를 위한 대체 절차 연구.NIE-G-80-0034의 최종 보고서.버클리, CA: 캘리포니아 대학교 버클리.ERIC 문서 리플리케이션 서비스, ED 230 576.2022년 1월 12일 취득.
  54. ^ Charney, D.(1984년)"글쓰기 평가에 총체적 점수를 사용하는 것의 타당성: 중요한 개요"영어 교수 연구 18 (1): 65-83.
  55. ^ Purves, A. C. (1984년)"국제적으로 유효한 작곡 방식을 찾아서"대학 작곡 및 커뮤니케이션 35(4): 426-438.
  56. ^ 허드슨, S. A., 빌, L. R.(1981년).글쓰기의 직접적 및 간접적 척도에 대한 실증적 조사: 1980-1981년 조지아 역량 기반 교육 글쓰기 평가 프로젝트 보고서.ERIC 문서 리플리케이션 서비스, ED 205 993.
  57. ^ Topol, B., Olson, J. 및 Roeber, E.(2014)."가격 조사: 학생 에세이의 기계 채점.스마트하게2022년 1월 20일 취득.
  58. ^ 남작 J. B. (1984년)"코네티컷에서의 글쓰기 평가: 식별을 향한 전체론적 시각과 지시를 향한 분석적 시각"교육 측정: 문제 및 프랙티스 3 (1): 27-28, 38.
  59. ^ 엘리엇, N., 플라타, M., 그리고 젤하트, P. F. (1990).글쓰기의 전체적인 평가를 위한 프로그램 개발 핸드북.Lanham, MD: University Press of America.
  60. ^ 멀리스, I. V. S. (1967년)스코어링 쓰기 작업을 위한 기본 특성 시스템입니다.미국 교육위원회:덴버, CO. ERIC 문서 복제 서비스, ED 202 761.2022년 1월 12일 취득.
  61. ^ 햄프라이언스, L. (1987년)"전체적인 점수 부여에서 특정 학술적 글쓰기의 프로파일 점수 부여까지"National Testing Network 7 (7)로부터의 메모.2022년 1월 12일 취득.
  62. ^ 브로드, B. (2003)델이 진정으로 중시하는 것:글쓰기 교육 및 평가에서 루브릭스를 넘어서는 것.Logan, UT: 유타 주립 대학 출판부.
  63. ^ 프리맨, S. W. (1979년)"학생 논술의 특성이 교사 평가에 미치는 영향"교육심리학 저널 73(3): 328-338.
  64. ^ 펠드먼, D. H. (1980년)인지 발달의 보편성을 넘어서.노우드, 뉴저지: 에이블렉스.
  65. ^ 베버, T. G. (Ed.) (1982)정신 발달의 퇴행: 기본 현상과 이론.힐스데일, 뉴저지 주: 얼바움.
  66. ^ 노블라우치, C. H. 및 브란논, L.(1984).수사적 전통과 글쓰기의 가르침.어퍼 몽클레어, 뉴저지 주: Boynton/Cook.
  67. ^ Wilson, M. (2018), 글쓰기 평가 재상상화: 스케일에서 스토리까지, 페이지 xx.포츠머스, NH: 하이네만.
  68. ^ 그레이와 루스(1982년).
  69. ^ Wesdorp, H., Bauer, B. A. 및 Purves, A. C. (1982)"작문 작문 채점 개념화를 위해"평가 5(3): 299-315.
  70. ^ Gere, A. R. (1980년)"서면 구성:평가론을 향해"대학 영어 42 (1): 44-58.
  71. ^ 레이먼드, J. C.(1982)'우리가 모르는 글쓰기 평가'대학 구성 및 커뮤니케이션 33(4): 399-403.
  72. ^ Belanoff, P. 및 Dickson, M., Eds.(1991).포트폴리오: 프로세스와 제품포츠머스, NH: Boyton/Cook 출판사.
  73. ^ 화이트, E.M., 토마스, L. (1981)"캘리포니아 주립 대학 및 대학의 소수 인종 및 작문 능력 평가"대학 영어 43(3): 페이지 276-283.
  74. ^ Shaefer, R. 및 Rankin, D.(1985), "주 전체 교사 인증 모델"국립시험망으로부터의 서면 메모: 5-6. 2022년 1월 12일 취득.
  75. ^ 폴로우즈, J. (1980년)테스트와 '가장 밝은' 테스트:대학 이사회는 얼마나 공평한가?Atlantic 245(2): 37-48.
  76. ^ 루빈, S. J. (1982)"플로리다 대학 수준의 학술 기술 프로젝트: 주 전체의 커뮤니케이션 스킬 테스트」를 실시합니다.국립시험망으로부터의 서면 제1(5)주: 18. 2022년 1월 12일 취득.
  77. ^ 루이스, A.와 디아즈, D.(1983)."쓰기 평가와 ESL 학생"국가 시험 네트워크로부터의 서면 메모 3: 5. 2022년 1월 12일 취득.
  78. ^ 브랜드, H., 아이언슨, G. H.(1976)."DeFunis 재고: 대체 입학 전략의 비교 분석"교육 측정 저널 13 (1): 89-99.
  79. ^ 브렐랜드, H. M.(1977년)표준 필기 영어 시험을 위한 그룹 비교.ERIC 문서 리플리케이션 서비스 ED 146 228.2022년 1월 12일 취득.
  80. ^ M. 포와 N. 엘리엇(2019).「공정성의 증명: 25년간에 걸친 글쓰기 평가 연구.평가 문서 42: 100418.2022년 1월 10일 취득.