조작성 테스트

Usability testing

가용성 테스트는 사용자 중심의 상호작용 설계에 사용되는 기술로, 사용자에게 테스트하여 제품을 평가합니다.이는 실제 사용자가 [1]시스템을 사용하는 방법에 대한 직접적인 정보를 제공하기 때문에 대체할 수 없는 사용적합성 관행으로 볼 수 있다.제품의 디자인 직관성에 더 관심이 있으며, 사전에 제품에 노출되지 않은 사용자들을 대상으로 테스트를 실시합니다.이러한 테스트는 최종 제품의 성공에 가장 중요합니다.사용자에게 혼란을 주는 완전한 기능을 갖춘 애플리케이션은 오래가지 [2]않기 때문입니다.이는 전문가가 사용자를 참여시키지 않고 사용자 인터페이스를 평가하기 위해 다른 방법을 사용하는 가용성 검사 방법과 대조된다.

사용성 테스트는 의도된 목적을 충족하기 위해 인간이 만든 제품의 용량을 측정하는 데 초점을 맞춥니다.일반적으로 가용성 테스트의 혜택을 받는 제품의 예로는 식품, 소비자 제품, 웹사이트 또는 웹 애플리케이션, 컴퓨터 인터페이스, 문서 및 기기가 있다.가용성 시험은 특정 물체 또는 물체 세트의 사용성 또는 사용 편의성을 측정하는 반면, 일반적인 인간-컴퓨터 상호작용 연구는 보편적 원리를 공식화하려고 시도한다.

아닌 것

단순히 사물이나 문서에 대한 의견을 수렴하는 것은 사용성 테스트가 아닌 시장 조사나 질적 조사입니다.가용성 테스트에는 일반적으로 사람들이 제품을 [3]얼마나 잘 사용할 수 있는지를 결정하기 위해 통제된 조건 하에서 체계적인 관찰이 수반된다.그러나 종종 정성적 연구와 사용적합성 테스트는 사용자의 행동뿐만 아니라 사용자의 동기/감각을 더 잘 이해하기 위해 조합하여 사용된다.

조작성 테스트에서는 사용자에게 대략적인 초안을 보여 주고 "이것을 이해하십니까?"라고 묻는 것이 아니라 의도된 목적을 위해 무언가를 사용하려는 사람들을 관찰하는 것이 포함됩니다.예를 들어, 장난감 조립에 대한 시험 지침을 받을 때, 시험 대상자에게 지침과 부품 상자를 제공해야 하며, 부품과 재료에 대한 의견을 묻는 것이 아니라 장난감을 조립하도록 요청해야 한다.설명 문구, 일러스트 품질, 장난감 디자인이 모두 조립 공정에 영향을 미칩니다.

방법들

조작성 테스트의 설정에는 시나리오 또는 현실적인 상황을 신중하게 작성합니다.이 시나리오에서는 관찰자가 관찰하고 메모하는 동안 테스트 대상 제품을 사용하여 작업 목록을 수행합니다(동적 검증).테스트 대상 제품에 대한 피드백을 수집하기 위해 스크립트 형식의 지침, 종이 프로토타입, 테스트 전/후 설문지 등 다른 여러 테스트 기구도 사용됩니다(정적 검증).예를 들어, 전자 메일 프로그램의 첨부 기능을 테스트하기 위해, 전자 메일 첨부 파일을 송신할 필요가 있는 상황을 시나리오에 기술하고, 그 사람에게 이 작업을 의뢰합니다.개발자가 문제 영역을 식별하고 수정할 수 있도록 사람들이 어떻게 기능하는지 현실적으로 관찰하는 것이 목적이다.가용성 테스트 중에 데이터를 수집하기 위해 일반적으로 사용되는 기술에는 think out roud 프로토콜, 공동 발견 학습 및 아이 트래킹이 포함됩니다.

복도 테스트

게릴라 사용성이라고도 하는 복도 테스트는 복도를 지나는 사람들 등에게 제품이나 서비스를 사용해 보도록 요구하는 신속하고 저렴한 사용성 테스트 방법입니다.이를 통해 설계자는 새로운 설계의 초기 단계에서 사용자가 진행할 수 없을 정도로 심각한 문제인 "벽돌 벽"을 식별할 수 있습니다.프로젝트 설계자와 엔지니어를 제외한 누구라도 사용할 수 있습니다(프로젝트에 너무 가깝기 때문에 '전문가 리뷰어' 역할을 하는 경향이 있습니다).

이러한 유형의 테스트는 편의 표본 추출의 한 예이므로 결과가 잠재적으로 편향될 수 있습니다.

리모트 조작성 테스트

가용성 평가자, 개발자 및 예상 사용자가 서로 다른 국가 및 시간대에 위치한 시나리오에서 기존의 실험실 가용성 평가를 수행하는 것은 비용과 물류 측면 모두에서 어려움을 야기한다.이러한 우려는 사용자와 평가자가 공간과 시간에 따라 분리된 원격 가용성 평가에 대한 연구로 이어졌다.리모트 테스트는, 유저의 다른 태스크나 테크놀로지의 컨텍스트에서 실시하는 평가를 용이하게 하기 위해서, 동기식 또는 비동기식으로 실시할 수 있습니다.전자는 평가자와 사용자 사이의 실시간 일대일 통신을 포함하며, 후자는 평가자와 사용자가 별도로 [4]작업하는 것을 포함한다.이러한 두 가지 접근 방식의 요구를 모두 충족시키기 위해 수많은 도구를 사용할 수 있습니다.

동기 조작성 테스트 방법론에서는 화상 회의를 실시하거나 WebEx 등의 리모트애플리케이션 공유 툴을 사용합니다.WebEx 와 GoTo Meeting 은 동기 리모트 조작성 [5]테스트에 가장 일반적으로 사용되는 테크놀로지입니다.다만, 동기 리모트 테스트에서는, 콜라보레이션 테스트 프로세스를 서포트하기 위해서 필요한 「존재감」이 없는 경우가 있습니다.또한 문화 및 언어 장벽을 넘어 개인 간 역학을 관리하려면 관련된 문화에 민감한 접근 방식이 필요할 수 있습니다.다른 단점으로는 테스트 환경에 대한 제어력이 저하되고 참가자들이 원래 [6]환경에서 경험하는 산만함 및 중단이 있습니다.동기 리모트 사용성 테스트를 수행하기 위해 개발된 새로운 방법 중 하나는 가상 세계를 [7]사용하는 것입니다.

비동기식 방법론에는 사용자의 클릭 스트림 자동 수집, 애플리케이션과 대화하는 동안 발생하는 중요한 사고의 사용자 로그 및 사용자의 [6]주관적인 인터페이스 피드백이 포함됩니다.연구실 내 연구와 마찬가지로, 비동기 원격 사용성 테스트는 태스크 기반이며, 이 플랫폼을 통해 연구자들은 클릭과 태스크 시간을 캡처할 수 있습니다.따라서, 많은 대기업들에게, 이것은 연구원들이 웹사이트나 모바일 사이트를 방문할 때 방문자들의 의도를 더 잘 이해할 수 있게 해준다.또한 이러한 사용자 테스트 스타일은 인구통계학적, 태도적 및 행동적 유형별로 피드백을 세분화할 수 있는 기회도 제공합니다.테스트는 (랩이 아닌) 사용자 자신의 환경에서 수행되므로 실제 시나리오 테스트를 더욱 시뮬레이션할 수 있습니다.또한 이 접근 방식은 원격지의 사용자로부터 신속하게 피드백을 요청하고 조직의 오버헤드를 줄일 수 있는 수단을 제공합니다.최근에는 사용성 테스트를 비동기적으로 수행하는 것이 보편화되어 시험자가 여가 시간 및 자택에서 피드백을 제공할 수 있게 되었다.

전문가 리뷰

전문가 검토는 가용성 시험의 또 다른 일반적인 방법이다.이름에서 알 수 있듯이, 이 방법은 제품의 사용성을 평가하기 위해 (아마도 사용성 테스트를 전문으로 하는 회사에서) 해당 분야에 경험이 있는 전문가를 고용하는 것에 의존합니다.

휴리스틱 평가 또는 사용적합성 감사는 한 명 이상의 인적 요인 전문가가 인터페이스를 평가하는 것이다.평가자는 1994년 [8]Jakob Nielsen이 원래 정의한 10가지 사용적합성 휴리스틱과 같은 사용적합성 원칙에 기초하여 인터페이스의 사용적합성, 효율성 및 효과를 측정한다.

Nielsen의 사용 편의성 휴리스틱스는 사용자 조사와 새로운 기기에 대응하여 지속적으로 발전해 왔습니다.

  • 시스템 상태 가시성
  • 시스템과 실제 환경의 일치
  • 사용자 제어 및 자유
  • 일관성 및 표준
  • 에러 방지
  • 리콜이 아닌 인식
  • 사용의 유연성과 효율성
  • 심미적이고 미니멀한 디자인
  • 오류 인식, 진단 및 복구 지원
  • 도움말 및 문서

전문가 리뷰 자동화

전문가 검토와 유사하게 자동화된 전문가 검토는 사용적합성 테스트를 제공하지만 우수한 설계와 휴리스틱스에 대한 규칙이 주어진 프로그램을 사용한다.자동화된 검토는 사람들의 검토만큼 상세하고 통찰력 있는 정보를 제공하지 못할 수 있지만, 보다 빠르고 일관성 있게 완료할 수 있습니다.사용성 테스트를 위해 대리 사용자를 만든다는 아이디어는 인공지능 커뮤니티를 위한 야심찬 방향이다.

A/B 테스트

주요 기사: A/B 테스트

웹 개발 및 마케팅에서 A/B 테스트 또는 분할 테스트는 웹 디자인(특히 사용자 경험 설계)에 대한 실험적인 접근법이며, 관심의 결과를 증가시키거나 최대화하는 웹 페이지의 변경(배너 광고의 클릭률 등)을 식별하는 것을 목적으로 합니다.이름에서 알 수 있듯이 두 가지 버전(A와 B)이 비교되며 사용자의 행동에 영향을 미칠 수 있는 한 가지 변형만 제외하면 동일합니다.버전 A는 현재 사용되는 버전일 수 있으며 버전 B는 일부 측면에서 수정되었습니다.예를 들어, 전자상거래 웹사이트에서 구매 유입은 일반적으로 A/B 테스트에 적합한 후보입니다. 왜냐하면 드롭오프율이 약간 개선되어도 매출이 크게 증가할 수 있기 때문입니다.카피 텍스트, 레이아웃, 이미지, 색채등의 테스트 요소를 통해서, 큰폭의 개선을 확인할 수 있습니다.

다변량 테스트 또는 버킷 테스트는 A/B 테스트와 유사하지만 동시에 세 개 이상의 버전을 테스트합니다.

참가자 수

1990년대 초, 당시 Sun Microsystems의 연구원이었던 Jakob Nielsen은 개발 프로세스의 다양한 단계에서 일반적으로 5명씩만 참여하는 수많은 소규모 사용성 테스트를 사용하는 개념을 대중화했습니다.두세 사람이 홈페이지를 보고 완전히 혼란스러워한다는 것을 알게 되면, 같은 결함 있는 디자인으로 더 많은 사람들이 고통받는 것을 지켜보는 것은 별 도움이 되지 않는다는 것이 그의 주장이다.「엘러베이트한 조작성 테스트는 자원의 낭비입니다.최대 5명의 사용자를 테스트하고 가능한 한 [9]많은 소규모 테스트를 실행하는 것이 최선의 결과입니다."

"5명의 사용자로 충분하다"는 주장은 나중에 밝혀지지 않은 문제의 비율을 나타내는 수학적[10] 모델에 의해 설명되었다.

여기서 p는 특정 문제를 특정할 수 있는 한 과목의 확률과 n 과목의 수(또는 테스트 세션)입니다.이 모형은 실제 존재하는 문제의 수에 대한 점근 그래프로 표시됩니다(아래 그림 참조).

Virzis Formula.PNG

이후 연구에서 닐슨의 주장은 경험적[11] 증거와 더 발전된 수학적 [12]모델을 사용하여 의문을 제기하였다.이 주장에 대한 두 가지 주요 과제는 다음과 같습니다.

  1. 가용성은 특정 사용자 집합과 관련이 있기 때문에, 그러한 작은 표본 크기는 전체 모집단을 대표할 가능성이 낮기 때문에, 그러한 작은 표본의 데이터가 그들이 나타낼 수 있는 모집단보다 표본 그룹을 더 잘 반영할 가능성이 높다.
  2. 모든 조작성의 문제가 똑같이 검출하기 쉬운 것은 아닙니다.다루기 어려운 문제들은 전체 과정을 감속시킨다.이러한 상황에서 프로세스의 진행은 닐슨/[13]란다우어 공식에 의해 예측된 것보다 훨씬 낮다.

Nielsen은 5명의 사용자를 대상으로 한 단일 테스트 후 중단하는 것을 권장하지 않습니다.Nielsen의 요점은 5명의 사용자를 대상으로 테스트하고 문제를 해결한 후 수정된 사이트를 5명의 사용자로 테스트하는 것이 10명의 사용자로 단일 사용성 테스트를 실행하는 것보다 제한된 리소스를 사용하는 것이 더 낫다는 것입니다.실제 테스트는 개발 사이클 전체에서 매주 1~2회 실시되며 라운드당 3~5개의 테스트 피험자를 사용하여 24시간 이내에 설계자에게 전달됩니다.따라서 프로젝트 과정에서 실제로 테스트한 사용자 수는 50~100명에 이를 수 있습니다.조사에 따르면 조직에서 실시하는 사용자 테스트는 일반적으로 5~10명의 [14]참가자를 모집하는 것으로 나타났습니다.

사용자들이 가장 곧 바로가 그 자리에서 그들을 멈춰 문제가 발생할 가능성이 높은 초기 단계에서는 평범한 지능의 거의 모든 사람이 시험 과목으로 쓰일 수 있다.2단계에서는 시험관 능력을 넓은 스펙트럼에 걸쳐 시험 과목을 모집할 것입니다.반면에 순진한 사용자와self-identified 힘 있는 사용자들 둘 다 실패를 반복했다 예를 들어, 한 연구에서, 경험 있는 사용자들은 처음부터 끝까지 어떤 디자인을 사용하여, 문제 없어 보여 주었다.[15]설계를 부드럽게 하여 나중에 사용자 대상 인구되어야 한다.

메서드가 호출된 프로젝트의 과정 이상의 사람들 중에 대하여는 충분한 횟수 적용되면 이의를 제기했다 위:해결이 되었다.표본 크기는 약화시키는 유일한 가끔 사용자와 발생하고 사용 적합성 작은 문제 발견된다.반면 성공적인 나타나는 부분 반복해서에 대해 시험해 주기 즉시 제거되는 메서드의 값은 사실 특정 설계 문제, 한번 만났고, 다시는 보지 않는다에 있다.반면 메서드를 제대로 적용되면 설계의 초기 문제만 5사용자가 시험할 수 있다는 것이 사실일지라도, 설계의 초기 시험에서 일하는 부품, 50~100개의 사람들의 시험대에 계속될 것이다.

예

개발자들 사용 적합성 시험:[16]에 조언을 위한 1982년 애플 컴퓨터 설명서이다.

  1. "은 목표 청중을 선택합니다.당신의 목표 청중을 파악하여 당신의 휴먼 인터페이스 설계를 시작한다.당신은 사업가들 또는 아이들을 위해?"라고 글을 쓰는가.
  2. 얼마나 많은 표적 사용자들은 애플 컴퓨터에 대해 아는 이 소프트웨어의 주제 문제를 결정한다.
  3. 1단계와 2허가증은 목표 청중의 필요에 맞추도록 사용자 인터페이스를 설계하다.Tax-preparation 소프트웨어 회계사를 위한 그러한 소프트웨어 소비자들을 위해 쓴는 사용자지만 애플 컴퓨터의 기본적인 것과 친숙하다 세금에 대해 아무것도 모른다는 추측할 수 있을 것은 사용자지만 세 법에 관한 전문가의, 컴퓨터에 대해 아무것도 모른다는 생각할 것이다.

애플 개발자,"당신은 시험 가능한 한 빨리 초안을 친구들, 친척들, 그리고 새로운 근로자를 사용하는 시작해야 한다":[16]라고 충고했다.

우리의 테스트 방법은 다음과 같습니다.우리는 5~6대의 컴퓨터 시스템을 갖춘 방을 마련했습니다.5~6명의 사용자로 구성된 2~3개의 그룹을 한 번에 시스템을 테스트하도록 스케줄 합니다(대부분 테스트하는 것은 소프트웨어가 아닌 소프트웨어임을 모르는 경우가 많습니다).방에는 디자이너 두 명이 있습니다.더 적으면, 그들은 현재 일어나고 있는 많은 것을 놓칩니다.더 이상, 그리고 사용자들은 항상 누군가가 그들의 목구멍에 숨쉬는 것처럼 느낀다.

디자이너들은 사람들이 프로그램을 사용하는 것을 직접 봐야 한다. 왜냐하면[16]

장애물의 95퍼센트는 사용자의 바디 랭귀지를 관찰함으로써 발견됩니다.눈을 가늘게 뜨고, 어깨를 움츠리고, 고개를 떨구고, 깊고 가슴 깊은 한숨을 내쉬지 않도록 주의하세요.사용자가 문제에 부딪혔을 때 "너무 똑똑하지 않아서"라고 가정합니다. 보고하지 않고 숨길 것입니다.사용자가 혼란스러워한 이유에 대해 추측하지 마십시오.그에게 물어보세요.사용자가 길을 잃었을 때 프로그램이 무엇을 하고 있었다고 생각했는지 알게 되면 종종 놀라게 될 것이다.

교육

사용적합성 시험은 다양한 [17]분야의 공식적인 학술적 교육 주제였다.가용성 테스트는 구성 연구와 온라인 작문 지침(OWI)[18]에 중요하다.학자인 콜린 비요크는 가용성 테스트가 "디지털 [19]수사학의 이론과 결합되지 않는 한 효과적인 OWI 개발에 필요하지만 불충분하다"고 주장한다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ 닐슨, J.(1994년).사용성 엔지니어링, Academic Press Inc, 페이지 165
  2. ^ Mejs, Monika (2019-06-27). "Usability Testing: the Key to Design Validation". Mood Up team - software house. Retrieved 2019-09-11.
  3. ^ Dennis G. Jerz (July 19, 2000). "Usability Testing: What Is It?". Jerz's Literacy Weblog. Retrieved June 29, 2016.
  4. ^ Andreasen, Morten Sieker; Nielsen, Henrik Villemann; Schrøder, Simon Ormholt; Stage, Jan (2007). "What happened to remote usability testing?". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. p. 1405. doi:10.1145/1240624.1240838. ISBN 978-1-59593-593-9. S2CID 12388042.
  5. ^ Dabney Gough; Holly Phillips (2003-06-09). "Remote Online Usability Testing: Why, How, and When to Use It". Archived from the original on December 15, 2005.
  6. ^ a b Dray, Susan; Siegel, David (March 2004). "Remote possibilities?: international usability testing at a distance". Interactions. 11 (2): 10–17. doi:10.1145/971258.971264. S2CID 682010.
  7. ^ Chalil Madathil, Kapil; Greenstein, Joel S. (2011). "Synchronous remote usability testing". Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. pp. 2225–2234. doi:10.1145/1978942.1979267. ISBN 978-1-4503-0228-9. S2CID 14077658.
  8. ^ "Heuristic Evaluation". Usability First. Retrieved April 9, 2013.
  9. ^ "사용 적합성 시험 5사용자들과(야코브 닐센의 Alertbox)".useit.com.2000-03-13.;참조 닐센, 야코프, 적용, 토마스 K.(1993년)."가용성 문제에 대한 발견의 수학적 모델".인간의 요인들에 대한 SIGCHI회의의 컴퓨팅 시스템에 논문집.를 대신하여 서명함. 206–213. doi:10.1145/169059.169166.아이 에스비엔 978-0-89791-575-5.S2CID 207177537.
  10. ^ Virzi, R. A. (1992). "Refining the Test Phase of Usability Evaluation: How Many Subjects is Enough?". Human Factors. 34 (4): 457–468. doi:10.1177/001872089203400407. S2CID 59748299.
  11. ^ Spool, Jared; Schroeder, Will (2001). Testing web sites: five users is nowhere near enough. CHI '01 extended abstracts on Human factors in computing systems. p. 285. doi:10.1145/634067.634236. S2CID 8038786.
  12. ^ Caulton, D. A. (2001). "Relaxing the homogeneity assumption in usability testing". Behaviour & Information Technology. 20 (1): 1–7. doi:10.1080/01449290010020648. S2CID 62751921.
  13. ^ Schmettow, Martin (1 September 2008). "Heterogeneity in the Usability Evaluation Process". Electronic Workshops in Computing. doi:10.14236/ewic/HCI2008.9. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
  14. ^ "Results of the 2020 User Testing Industry Report". www.userfountain.com. Retrieved 2020-06-04.
  15. ^ Bruce Tognazzini. "Maximizing Windows".
  16. ^ a b c Meyers, Joe; Tognazzini, Bruce (1982). Apple IIe Design Guidelines (PDF). Apple Computer. pp. 11–13, 15.
  17. ^ Breuch, Lee-Ann M. Kastman; Zachry, Mark; Spinuzzi, Clay (April 2001). "Usability Instruction in Technical Communication Programs: New Directions in Curriculum Development". Journal of Business and Technical Communication. 15 (2): 223–240. doi:10.1177/105065190101500204. S2CID 61365767.
  18. ^ Miller-Cochran, Susan K.; Rodrigo, Rochelle L. (January 2006). "Determining effective distance learning designs through usability testing". Computers and Composition. 23 (1): 91–107. doi:10.1016/j.compcom.2005.12.002.
  19. ^ Bjork, Collin (September 2018). "Integrating Usability Testing with Digital Rhetoric in OWI". Computers and Composition. 49: 4–13. doi:10.1016/j.compcom.2018.05.009. S2CID 196160668.

외부 링크