ABX 시험

ABX 테스트는 감각 자극의 두 가지 선택사항을 비교하여 그것들 사이의 감지 가능한 차이를 식별하는 방법이다. 실험 대상에는 알려진 두 개의 샘플이 제시된다(샘플). A, 첫 번째 참조 및 샘플 B, 두 번째 참조) 다음에 알 수 없는 샘플 하나가 표시됨 X A 또는 B 중 하나에서 무작위로 선택된다. 그런 다음 대상자는 X를 A 또는 B로 식별해야 한다. 만약 X를 미리 정해진 시험 횟수의 낮은 p-값으로 신뢰성 있게 식별할 수 없다면 귀무 가설을 기각할 수 없으며 A와 B 사이에 감지할 수 있는 차이가 있음을 증명할 수 없다.

ABX 시험은 이중 블라인드 시험으로 쉽게 수행될 수 있어 연구자나 시험 감독자의 무의식적인 영향을 제거할 수 있다. 표본 A와 B는 표본 X 직전에 제공되기 때문에 장기 기억력이나 과거 경험에 근거한 가정으로부터 차이를 파악할 필요가 없다. 따라서 ABX 테스트는 이상적인 상황에서 지각 차이를 찾을 수 있는지 여부에 대해 응답한다.

ABX 테스트는 일반적으로 디지털 오디오 데이터 압축 방법 평가에 사용된다. 샘플 A는 일반적으로 압축되지 않은 샘플이며, 샘플 B는 압축된 A 버전이다. 압축 알고리즘의 단점을 나타내는 가청 압축 아티팩트는 후속 시험으로 식별할 수 있다. ABX 시험은 또한 주어진 비트 전송률에서 두 가지 다른 오디오 형식 간의 서로 다른 충실도 손실 정도를 비교하는 데 사용될 수 있다.

ABX 테스트는 사실상 모든 오디오 제품 또는 프로토타입 설계와 같은 케이블뿐만 아니라 오디션 입력, 처리 및 출력 구성품에 사용될 수 있다.

역사

ABX 시험과 명칭의 역사는 Bell Labs의 두 연구원 W. A. Munson과 Mark B가 발표한 논문에서 1950년으로 거슬러 올라간다. 가드너(Gardner), '청각 시험 표준화'라는 제목이 붙었다.^[1]

본 논문의 목적은 이 방향에서 가능성을 보여준 시험 절차를 설명하고 시험 결과의 가변성을 최소화하는데 도움이 되는 것으로 확인된 장비의 설명을 제공하는 것이다. 우리가 "ABX" 검정이라고 불렀던 그 절차는 쌍체 비교 방법을 수정한 것이다. 관찰자는 각 판단마다 3개의 신호의 시간 순서를 제시 받는다. 첫 번째 시간 간격 동안 그는 신호 A, 두 번째 시간 동안 신호 B를 듣고 마지막으로 신호 X를 듣는다. 그의 임무는 X 간격 동안에 들리는 소리가 A 간격 동안에 더 그랬는지 아니면 B 간격 동안에 더 그랬는지 나타내는 것이다. 분계점 검사의 경우 A 구간은 소음이 적고 B 구간은 신호이며 X 구간은 소음이거나 신호다.

시험은 시험 지속시간과 시험 순서에 대한 주관적 통제와 같은 다른 변형으로 진화했다. 그러한 예로는 1977년 미시간주 트로이에 있는 ABX 회사가 건설하고 설립자 중 한 명인 데이비드 클라크가 문서화한 하드웨어 ABX 비교기가 있다.^[2]

A/B 테스트로 세분화

저자가 처음 경험한 이중 블라인드 청각 테스트는 1977년 초 SMWTMS 오디오 클럽 회원이었다. 임의 구성요소 A 또는 B에서 선택할 수 있는 버튼이 제공되었다. 이 중 하나를 식별한 X 부품은 알려진 A와 B를 참조할 수 없게 되어 큰 방해가 되었다.

이것은 A, B, X 세 개의 연동 푸시버튼을 사용하여 보정되었다. 일단 X가 선택되면, 다른 무작위 선택으로 넘어가기로 결정되기 전까지 그것은 특정한 A나 B로 남아있을 것이다.

하지만, 또 다른 문제는 금방 명백해졌다. A에서 B로 전환할 때 항상 가청 릴레이 전환 시간 지연이 있었다. 그러나 A에서 X로 전환할 때 X가 정말로 A이고 X가 정말로 B라면 존재하는 경우 시간 지연이 누락될 것이다. 이 외부 큐는 변경이 있을 때 고정된 길이의 드롭아웃 시간을 삽입하여 제거되었다. 드롭아웃 시간을 50ms로 선택했는데, 이는 주관적으로 즉시 비교할 수 있도록 하면서 약간 일관된 클릭을 생성한다.

그 ABX 회사는 현재 폐업했고 일반적으로 상용 제품이 소멸되었다. 파일 비교 수행을 위한 Foobar ABX 플러그인과 같은 수많은 소프트웨어 도구가 존재한다. 그러나 하드웨어 장비 테스트는 맞춤형 구현을 구축해야 한다.

하드웨어 테스트

서로 다른 두 하드웨어 경로 간에 전환하기 위해 릴레이를 사용하는 ABX 시험 장비는 케이블과 구성 요소에 지각 차이가 있는지 여부를 판단하는 데 도움이 될 수 있다. 비디오, 오디오 및 디지털 전송 경로를 비교할 수 있다. 만약 전환이 마이크로프로세서를 제어한다면, 이중 블라인드 테스트가 가능하다.

확성기 수준과 라인 수준 오디오 비교는 1998년부터 2004년까지 QSC 오디오 제품에 의한 ABX 비교기로 판매용으로 제공된 ABX 테스트 장치에서 수행될 수 있다. 다른 하드웨어 솔루션은 내부 테스트를 위해 개인 또는 조직에 의해 비공개로 조작되었다.

자신감

만약 ABX 시험만 한 번 수행된다면, 무작위 추측으로 정답을 고를 확률은 50%로 동전을 던질 확률과 같다. 어느 정도 자신감을 갖고 진술하기 위해서는 많은 시련이 이루어져야 한다. 시행 횟수를 늘림으로써 주어진 신뢰 수준에 대해 A와 B를 구별할 수 있는 능력을 통계적으로 주장할 가능성이 높아진다. 95% 신뢰 수준은 일반적으로 통계적으로 유의한 것으로 간주된다.^[2] ABX 비교기 사용자 설명서에서 회사 QSC는 각 시험에서 최소 10회의 청취 시험을 권고했다.^[3]

95% 신뢰 수준에^[4] 필요한 결과(P-값 참조)

시행 횟수	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25
최소수 수정	9	9	10	10	11	12	12	13	13	14	15	15	16	16	17	18

QSC는 실험 피로가 누적될 수 있으므로 25회 이하의 시험을 실시하여 (A와 B의 차이를 식별하는 실제 능력이 드러나지 않을 가능성이 낮음) 시험을 실시할 것을 권고했다.^[3] 그러나, 별도의 개인을 사용하는 여러 시험이나 휴식 시간 사이에 수행된 동일한 과목의 시험에서 결과를 통합하여 더 민감한 시험을 얻을 수 있다. 총 시험 N의 많은 수의 경우, 정확한 응답 $수$가$N$/$2$ + $N$을 초과하는 경우 유의미한 결과(95% $신뢰도$의 결과)를 청구할 수 있다$.$ 중요한 결정은 일반적으로 그러한 20개의 시험 중 하나에서 잘못된 "$중대$한 결과"를 주장하기 때문에 더 높은 신뢰도에 기초한다.우연한 기회에 스치다

소프트웨어 테스트

foobar2000과 아마록 오디오 플레이어는 소프트웨어 기반 ABX 테스트를 지원하며, 후자는 타사 스크립트를 사용한다. Lacinato ABX는 Linux, Windows, 64비트 Mac용 크로스 플랫폼 오디오 테스트 툴이며, Lacinato WebABX는 웹 기반 크로스 브라우저 오디오 ABX 툴이다. 오픈 소스 aveX는 주로 원격 컴퓨터에서 테스트 모니터링을 제공하는 Linux용으로 개발되었다. ABX 패처는 Max/MSP용 ABX 구현으로, 더 많은 ABX 소프트웨어는 아카이빙된 PCABX 웹사이트에서 확인할 수 있다.

코덱 수신 테스트

코덱 청취 테스트는 일반적으로 인식된 충실도 또는 압축 효율성과 관련하여 둘 이상의 손실 오디오 코덱을 비교하기 위해 고안된 과학 연구다.

잠재적 결함

ABX는 강제 선택 시험의 일종이다. 대상의 선택은 장점일 수 있다. 즉, X가 A와 B에 더 가까워 보이는지 여부를 정직하게 규명하려고 노력했다. 그러나 재미없거나 피곤한 피실험자들은 시도조차 하지 않고 무작위로 선택할 수도 있다. 이는 적발되지 않을 경우 심슨의 역설로 인해 시험을 열심히 치른 다른 과목의 결과를 희석시켜 잘못된 요약 결과를 초래할 수 있다. 단순히 시험의 결과 총계를 보는 것 만으로도 (m은 정답이 n개 중) 이 문제의 발생을 밝힐 수 없다.

차이가 작으면 이 문제는 더욱 첨예해진다. 사용자는 좌절할 수 있고 무작위로 투표하여 시험을 끝내는 것을 목표로 할 수 있다. 이 점에서 ABX와 같은 강제 선택 시험은 이 문제를 방지하기 위해 적절한 프로토콜을 사용하지 않는 경우 차이가 작을 때 부정적인 결과를 선호하는 경향이 있다.

베스트 프랙티스는 제어장치 포함과 피험자 선별을 요구한다.^[5]

주요 고려사항은 적절한 제어 조건을 포함하는 것이다. 일반적으로 제어 조건에는 피험자에게 예측할 수 없는 방법으로 도입된 비장애 오디오 자료의 제시가 포함된다. 이러한 통제 자극의 판단과 잠재적으로 장애가 발생할 수 있는 판단 사이의 차이점 때문에 등급이 장애에 대한 실제 평가라고 결론을 내릴 수 있다.

3.2.2 대상자의 사후 선별

사후 선별 방법은 최소한 두 가지 등급으로 대략 구분할 수 있다. 하나는 평균 결과와 비교한 불일치에 기초하고 다른 하나는 정확한 식별을 위한 피험자의 능력에 의존한다. 첫 수업은 결코 정당하지 않다. 여기서 권장하는 시험방법으로 주관적인 듣기 시험을 실시할 때마다, 2등급 후기 스크리닝에 필요한 정보를 자동으로 이용할 수 있다. 이를 위한 제안된 통계적 방법은 첨부자료 1에 기술되어 있다.'

이 방법들은 적절한 차별을 할 수 없는 대상들을 제거하는 데 주로 사용된다. 사후 선별 방법을 적용하면 시험 결과의 경향을 명확히 할 수 있다. 그러나 피실험자의 민감도가 다른 물질에 대한 가변성을 염두에 두고 주의를 기울여야 한다.

다른 결함으로는 과목 훈련 부족과 시험 및 선택된 내용에 대한 숙지가 있다.

4.1 숙지 또는 훈련 단계

공식적인 채점 전에, 과목들이 시험 시설, 시험 환경, 채점 과정, 채점 척도, 그리고 그 사용 방법들을 완전히 숙지할 수 있도록 해야 한다. 또한 연구 대상자들은 연구 대상인 실제적인 요소들에 완전히 익숙해져야 한다. 가장 민감한 시험의 경우, 그들은 나중에 공식적인 채점 세션에서 채점할 모든 재료에 노출되어야 한다. 친숙해지거나 훈련하는 동안, 피실험자들은 서로 자유롭게 교류하고 탐지된 예술적 요소를 토론할 수 있도록 그룹으로 함께 하는 것이 좋다(예: 세 과목으로 구성된다).

다른 문제는 클라크가 설명한 대로 ABX 장비 자체에서 발생할 수 있으며,^[2] 여기서 장비가 정보를 제공하여 피험자가 선원을 식별할 수 있다. ABX 고정장치의 투명성이 부족하면 유사한 문제가 발생한다.

청각 테스트와 많은 다른 감각 테스트가 단 몇 초만 지속되는 단기 기억력에 의존하기 때문에 시험 고정장치를 통해 피험자가 빠르게 비교할 수 있는 짧은 세그먼트를 식별할 수 있게 하는 것이 중요하다. 개폐 장치의 펑크와 결함은 피험자의 단기 기억장치에 저장되어 있는 시험 대상 자극에 지배적이거나 다른 방법으로 간섭할 수 있으므로 제거해야 한다.

대안

알고리즘 오디오 압축 평가

ABX 테스트는 사람이 손실된 오디오 코덱을 평가해야 하기 때문에 시간이 많이 걸리고 비용이 많이 든다. 따라서 ODG의 구현인 PEAQ와 같은 값싼 접근법이 개발되었다.

무슈라

MUSHRA에서 피사체는 기준(따라서 라벨로 표시), 특정 수의 시험 샘플, 기준의 숨겨진 버전 및 하나 이상의 앵커와 함께 제시된다. 0-100등급 척도로 매우 작은 차이를 평가할 수 있으며, 숨겨진 버전은 여전히 차별성 검사를 제공한다.

차별시험

쌍체 비교, 듀오-트리오 및 삼각형 테스트와 같은 대체 일반 방법이 차별 테스트에 사용된다. 이 중 듀오-트리오와 삼각형 테스트는 특히 ABX 테스트에 가깝다. 도식적으로:

듀오-트리오

AXY – 1개, 2개, 2개(한 개는 A, 다른 하나는 B), 테스트는 X = A(및 Y = B), 또는 Y = A(및 X = B)로 알려져 있지 않은 것이다.

삼각형

XXY – 3개의 무명(2개는 A, 1개는 B 또는 1개는 A, 2개는 B), 이 중 홀수인 테스트(Y = 1, Y = 2, 또는 Y = 3).

이러한 맥락에서, ABX 시험은 "균형 기준" 모드에서는 "듀오-트리오"라고도 알려져 있다. 두 가지 모두 하나의 기준만이 아니라 기준으로 제시된다.^[6]

참고 항목

• 코덱 듣기 테스트
• 투명도(데이터 압축)
• 정신물리학
• 정신 음향학

참조