비디오 다중 방식 평가 퓨전

Video Multimethod Assessment Fusion

VMAF(Video Multiethod Assessment Fusion, VMAF)는 넷플릭스가 오스틴 소재 텍사스 대학교의 IPI/LS2N Lab University of Nantes, Laboratory for Image and Video Engineering(LIVE)과 협력하여 개발한 객관적 완전 참조 비디오 품질 지표다. 참고자료와 왜곡된 영상 시퀀스를 바탕으로 주관적인 영상 화질을 예측한다. 메트릭스는 다양한 비디오 코덱, 인코더, 인코딩 설정 또는 전송 변형의 품질을 평가하는 데 사용될 수 있다.

역사

측정 기준은 C.-C 교수 그룹의 초기 작업에 기초한다. 서던 캘리포니아 대학의 제이 쿠오.[1][2][3] 여기서 지원 벡터 머신(SVM)을 이용한 서로 다른 영상 화질 측정기준의 융합 적용성을 조사하여 주관적인 영상 화질 데이터베이스에서 기존의 영상 화질 측정기준을 능가하는 것으로 나타난 'FVQA(Fusion-based Video Quality Assessment) 지수'로 이어졌다.

이 방법은 넷플릭스 소유의 데이터셋("NFLX")을 포함한 서로 다른 주관적인 비디오 데이터셋을 사용하여 넷플릭스와 협력하여 더욱 발전되었다. 이후 '비디오 멀티메토드 평가 퓨전'으로 명칭을 변경하여[4] 2016년 6월 넷플릭스 테크블로그를 통해 발표되었으며, 허용 가능한 오픈소스 라이센스에 따라 기준 구현 버전 0.3.1을 사용할 수 있게 되었다.[5]

2017년에는 휴대폰 화면 시청에 대한 적응을 포함하는 맞춤형 모델을 지원하기 위해 측정지표를 업데이트하여 동일한 입력 자료에 대한 고품질 점수를 생성하였다. 2018년에는 최대 4K 해상도 콘텐츠의 품질을 예측하는 모델이 출시됐다. 이러한 모델들이 훈련된 데이터셋은 대중에게 제공되지 않았다.

2021년에는 비디오 인코딩 최적화를 위한 개방형 지각 측정 기준 개발을 위해 빔러, 넷플릭스, 서던캘리포니아대, 난테스대, 오스틴 텍사스대, SSIMWAVE, 디즈니, 구글, 브라이트코브, ATEME에게 기술 및 엔지니어링 에미상이 수여되었다. 대학들이 에미상을 받은 것은 20년 만에 두 번째였다. 이것은 또한 프랑스 대학이 처음으로 받은 것이었다.[6][7]

구성 요소들

VMAF는 비디오 품질을 예측하기 위해 기존 이미지 품질 메트릭과 기타 기능을 사용한다.

  • VIF(Visual Information Fidelity): 네 가지 다른 공간 척도에서 정보 충실도 손실을 고려함
  • DLM([8]Detail Loss Metric): 세부 정보 손실 및 시청자의 주의를 산만하게 하는 손상 측정
  • 평균 동시 배치 픽셀 차이(MCPD): 휘도 구성 요소의 프레임 간 시간적 차이 측정

위의 특징들은 비디오 프레임당 0~100 범위의 단일 출력 점수를 제공하기 위해 SVM 기반 회귀 분석을 사용하여 퓨전되며, 100은 기준 비디오와 동일한 품질이다. 이 점수는 전체 차등 평균 점수(DMOS)를 제공하기 위해 산술 평균을 사용하여 전체 비디오 시퀀스에 일시적으로 풀링된다.

교육 소스 코드("VMAF Development Kit, VDK")의 공개적인 이용가능성 때문에, 퓨전 방법을 다른 비디오 데이터 세트와 특징을 기반으로 재교육하고 평가할 수 있다.

소음 방지 신호 대 잡음 비(AN-SNR)는 이전 버전의 VMAF에서 품질 메트릭으로 사용되었지만 이후 폐기되었다.[9]

퍼포먼스

VMAF의 초기 버전은 주관적 등급과 비교했을 때 예측 정확도 면에서 4개 데이터셋 중 3개 데이터셋에서 SSIM, PSNR-HVS 및 VQM-VFD와 같은 다른 이미지 및 비디오 품질 지표를 능가하는 것으로 나타났다.[4] 비디오 데이터 세트에서 VMAF가 SSIM과 MS-SSIM보다 더 좋은 성능을 발휘하지 못했다는 다른 논문에서도 성능이 분석됐다.[10] 2017년 리얼넷웍스 엔지니어들이 넷플릭스의 성능 조사 결과를 잘 재현했다고 보고했다.[11]

소프트웨어

C와 Python("VMAF Development Kit, VDK")으로 작성된 참조 구현은 BSD+Patent 라이센스 조건에 따라 무료 소프트웨어로 발행된다.[12] 소스 코드와 추가 자료는 GitHub에서 이용할 수 있다.[5]

참고 항목

참조

  1. ^ Liu, Tsung-Jung; Lin, Joe Yuchieh; Lin, Weisi; Kuo, C.-C. Jay (2013). "Visual quality assessment: recent developments, coding applications and future trends". APSIPA Transactions on Signal and Information Processing. 2. doi:10.1017/atsip.2013.5. ISSN 2048-7703.
  2. ^ Lin, Joe Yuchieh; Liu, T. J.; Wu, E. C. H.; Kuo, C. C. J. (December 2014). "A fusion-based video quality assessment (FVQA) index". Signal and Information Processing Association Annual Summit and Conference (APSIPA), 2014 Asia-Pacific: 1–5. doi:10.1109/apsipa.2014.7041705. ISBN 978-6-1636-1823-8. S2CID 7742774.
  3. ^ Lin, Joe Yuchieh; Wu, Chi-Hao; Ioannis, Katsavounidis; Li, Zhi; Aaron, Anne; Kuo, C.-C. Jay (June 2015). "EVQA: An ensemble-learning-based video quality assessment index". Multimedia & Expo Workshops (ICMEW), 2015 IEEE International Conference on: 1–5. doi:10.1109/ICMEW.2015.7169760. ISBN 978-1-4799-7079-7. S2CID 6996075.
  4. ^ a b Blog, Netflix Technology (2016-06-06). "Toward A Practical Perceptual Video Quality Metric". Netflix TechBlog. Retrieved 2017-07-15.
  5. ^ a b vmaf: Perceptual video quality assessment based on multi-method fusion, Netflix, Inc., 2017-07-14, retrieved 2017-07-15
  6. ^ "72nd Annual Technology & Engineering Emmy® Awards Recipients – The Emmys". theemmys.tv. Retrieved 2021-02-08.
  7. ^ PATRON, Julien. "Technologie : l'Université de Nantes récompensée d'un Emmy Award !". UNNEWS (in French). Retrieved 2021-02-08.
  8. ^ Li, S.; Zhang, F.; Ma, L.; Ngan, K. N. (October 2011). "Image Quality Assessment by Separately Evaluating Detail Losses and Additive Impairments". IEEE Transactions on Multimedia. 13 (5): 935–949. doi:10.1109/tmm.2011.2152382. ISSN 1520-9210. S2CID 8618041.
  9. ^ Zhili, Henry. "Removal of AN-SNR". Github.
  10. ^ Bampis, Christos G.; Bovik, Alan C. (2017-03-02). "Learning to Predict Streaming Video QoE: Distortions, Rebuffering and Memory". arXiv:1703.00633 [cs.MM].
  11. ^ Rassool, Reza (2017). "VMAF reproducibility: Validating a perceptual practical video quality metric" (PDF). 2017 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB): 1–2. doi:10.1109/BMSB.2017.7986143. ISBN 978-1-5090-4937-0. S2CID 5449498. Retrieved 2017-11-30.
  12. ^ https://opensource.org/licenses/BSDplusPatent

외부 링크