프레임 레이트

Frame rate

프레임 레이트(frames per second(FPS; 프레임/초)로 표시됨)는 연속이미지(프레임)가 캡처 또는 표시되는 빈도(환율)입니다.이 용어는 필름 및 비디오 카메라, 컴퓨터 그래픽모션 캡처 시스템에 동일하게 적용됩니다.프레임 레이트는 프레임 주파수라고도 불리며 헤르츠 단위로 표시됩니다.전자 카메라 사양의 프레임 속도는 가능한 최대 속도를 나타낼 수 있으며, 실제로는 다른 설정(노출 시간 등)으로 인해 주파수가 더 낮은 [1]값으로 감소될 수 있습니다.

인간의 시각

인간 시력의 시간적 민감도와 분해능은 시각 자극의 종류와 특성에 따라 다르며 개인마다 다르다.인간의 시각 시스템은 초당 10~12개의 영상을 처리하여 개별적으로 인지할 수 있으며,[2] 더 높은 속도는 움직임으로 인식됩니다.변조된 빛(컴퓨터 디스플레이 등)은 속도가 50Hz 이상일 때 연구의 대다수 참가자에 의해 안정적이라고 인식된다.변조된 빛이 정상으로 인식되는 것을 플리커 융합 임계값이라고 합니다.그러나 변조된 빛이 균일하지 않고 이미지가 포함되어 있는 경우 깜박임 융합 임계값은 수백 [3]헤르츠 단위로 훨씬 높아질 수 있습니다.이미지 인식에 관해서, 사람들은 13밀리초의 [4]짧은 시간 동안 서로 다른 이미지들의 연속된 연속적인 이미지에서 특정 이미지를 인식하는 것으로 밝혀졌습니다.시력의 지속성은 때때로 100ms에서 400ms 사이의 인식 지속 시간을 갖는 매우 짧은 단일 밀리초의 시각적 자극을 설명한다.10ms 녹색 섬광 직후에 10ms 적색 섬광이 단일 [5]노란색 섬광으로 인식되는 것과 같이 매우 짧은 여러 자극이 단일 자극으로 인식되기도 한다.

영화 및 비디오

사일런트 영화

초기 사일런트 필름은 초당 16~[6]24프레임의 프레임 레이트를 명시했지만 카메라가 손으로 크랭크를 울리기 때문에 장면 중에 분위기에 맞게 프레임 레이트가 자주 바뀌었다.프로젝터 [7]내 필름 반송 메커니즘에 전원을 공급하는 전압을 제어하는 레오스타트를 조정함으로써 시어터의 프레임 레이트를 변경할 수도 있습니다.영화사들은 종종 극장이 그들의 무성 영화를 촬영된 [8]것보다 더 높은 프레임 속도로 상영하도록 의도했다.이러한 프레임 레이트는 움직임의 감각에 충분했지만, 그것은 덜컹거리는 움직임으로 인식되었다.프로젝터에서는 깜박임을 최소화하기 위해 듀얼 블레이드 및 트리플 블레이드 셔터를 사용했기 때문에 각 프레임이 2-3회 표시되므로 깜박임 속도가 48 또는 72Hz로 증가하여 눈의 피로를 줄일 수 있습니다.토마스 에디슨은 초당 46프레임의 프레임은 눈이 움직임을 인지하는데 필요한 최소한의 프레임이라고 말했다. "더 적은 것은 [9][10]눈에 무리를 줄 것이다."1920년대 중후반, 사일런트 필름의 프레임 레이트는 20~26 [9]FPS로 증가했습니다.

사운드 필름

1926년에 사운드 필름이 도입되었을 때, 인간의 귀는 주파수 변화에 눈보다 더 민감하기 때문에 필름 속도의 변화는 더 이상 용납되지 않았다.많은 영화관들이 22~26FPS의 무성 영화를 상영했는데, 이것이 업계가 [11]타협안으로 사운드 필름에 24FPS를 선택한 이유이다.1927년부터 1930년까지, 다양한 스튜디오가 장비를 업데이트하면서, 24 [2]FPS의 비율은 35mm 사운드 필름의 표준이 되었습니다.24 FPS에서는, 필름은 초당 456 밀리미터(18.0 인치)의 속도로 프로젝터를 통과합니다.이를 통해 간단한 2 블레이드 셔터는 초당 48회의 영상을 투영할 수 있어 에디슨의 추천을 만족시켰다.대부분의 최신 35mm 필름 프로젝터는 3 블레이드 셔터를 사용하여 초당 72개의 이미지를 제공합니다.[9] 각 프레임은 화면에 3회 플래시됩니다.

애니매이션

질주하는 말의 만화영화는 초당 12개의 그림으로 표시되며, 빠른 동작은 불쾌할 정도로 덜컹거릴 지경이다.

드로잉 애니메이션에서 움직이는 캐릭터는 종종 "두 프레임으로" 촬영됩니다. 즉, 필름의 두 프레임당 하나의 드로잉이 표시됩니다(보통 초당 24프레임으로 실행됨). 즉,[12] 초당 12개의 드로잉만 가능합니다.이미지 업데이트 속도는 낮지만 대부분의 피사체에 대해 유동성은 만족스러운 수준입니다.그러나 캐릭터가 빠른 동작을 수행해야 하는 경우, "two"가 너무 느려서 동작을 제대로 전달하지 못하기 때문에 일반적으로 애니메이션 "on 1"로 돌아가야 합니다.두 기술이 혼합되어 불필요한 제작 비용 없이 눈을 [13]속일 수 있습니다.

대부분의 "토요일 아침 만화"의 애니메이션은 가능한 한 저렴하게 제작되었고, "3" 또는 "4"로 가장 많이 촬영되었습니다. 즉, 그림 한 장당 서너 개의 프레임으로 촬영되었습니다.이는 각각 초당 8 또는 6개의 도면에 불과합니다.애니메이션도 보통 세 [14][15]개로 그려집니다.

최신 비디오 표준

전기 그리드의 주 주파수로 인해 아날로그 텔레비전 방송은 50Hz(세계 대부분) 또는 60Hz(캐나다, 미국, 일본, 한국)의 프레임 레이트로 개발되었습니다.전기 그리드의 주파수는 매우 안정적이기 때문에 동기화에 사용하는 것이 타당했습니다.

컬러 텔레비전 테크놀로지의 도입에 의해, 종래의 흑백 디스플레이에 나타나는 디스플레이 아티팩트인 「닷 크롤」(dot crawl)을 피하기 위해서, 60 FPS 주파수를 0.1% 낮출 필요가 있었습니다.프레임 레이트를 0.1% 낮춤으로써 바람직하지 않은 영향을 최소화한 것으로 나타났습니다.

2021년 현재 북미, 일본, 한국의 영상 전송 기준은 여전히 초당 60/1.001 94 59.94 이미지 기준이다.일반적으로 1920×1080('1080i/p')과 1280×720('720p')의 2가지 크기의 이미지가 사용됩니다.인터레이스 포맷은 통상 이미지 레이트의 1/2, 29.97/25 FPS로 이미지 높이를 2배로 표기하지만, 이러한 문장은 순전히 커스텀입니다.각 형식에서 초당 60개의 이미지가 생성됩니다.해상도 1080i는 59.94 또는 50 1920×540 이미지를 생성하며, 각 이미지는 촬영 과정에서 하프 하이트로 압축된 후 TV 세트의 재생 화면을 채우기 위해 뒤로 늘어납니다.720p 포맷에서는 59.94/50 또는 29.97/25 1280×720p 이미지가 생성되므로 이미지를 확장하거나 압축할 필요가 없습니다.이러한 혼란은 디지털 비디오 소프트웨어의 초창기에 산업 전반에 걸쳐 일어났으며, 많은 소프트웨어가 잘못 쓰여져 개발자들은 초당 29.97개의 이미지만 예상된다고 믿었는데, 이는 잘못된 것이었다.각 화소가 폴링되어 초당 29.97회 전송되는 것은 사실이지만, 그 바로 아래의 픽셀 위치는 1/60초 후에 폴링되어 다음 1/60초 프레임에 대해 완전히 다른 이미지의 일부가 되었습니다.

필름이 기본적으로 24FPS 속도로 표시되는 경우 필요한 풀다운 프로세스가 없으면 필름을 표시할 수 없으며, "판정"이 발생하는 경우가 많습니다.초당 24프레임을 초당 60프레임으로 변환하기 위해 홀수 프레임마다 반복 재생되며 짝수 프레임마다 3배씩 재생됩니다.이것에 의해 움직임이 불균일해지며 스트로보처럼 보입니다.다른 변환에서도 프레임의 배율이 고르지 않습니다.새로운 비디오 규격에서는 초당 120, 240 또는 300 프레임이 지원되므로 24, 48 및 60 FPS 필름이나 25, 30, 50 또는 60 FPS 비디오 등의 표준 프레임 레이트에 대해 프레임을 균등하게 샘플링할 수 있습니다.물론 이러한 높은 프레임환율은 네이티브환율로 [16][17]표시될 수도 있습니다.

전자 카메라 사양의 프레임 속도는 가능한 최대 속도를 나타낼 수 있으며, 실제로는 다른 설정(노출 시간 등)으로 인해 주파수가 더 낮은 값으로 감소될 수 있습니다.

프레임 레이트 업 컨버전

프레임 레이트 업 컨버전스란, 연속하는 2개의 프레임간에 1개 이상의 중간 프레임을 합성하는 것으로, 비디오 시퀀스의 시간 해상도를 높이는 프로세스입니다.프레임 레이트가 낮으면 에일리어싱이 발생하고 갑작스러운 모션 아티팩트가 발생하며 비디오 품질이 저하됩니다.따라서 시간 해상도는 영상 품질에 영향을 미치는 중요한 요소이다.FRC용 알고리즘은 시각 품질 향상, 비디오 압축, 슬로 모션 비디오 생성 등 응용 프로그램에서 널리 사용됩니다.

저프레임 레이트 비디오
프레임 레이트가 4배 향상된 비디오

방법들

대부분의 FRC 방식은 광학 흐름 또는 커널[18][19] 기반 및 픽셀 환각 기반 [20][21]방식으로 분류할 수 있습니다.

플로우 베이스 FRC

플로우 베이스의 방식에서는, 2개의 입력 프레임간의 예측 광학 플로우를 선형으로 조합해, 타겟 중간 프레임으로부터 입력 프레임에의 대략적인 플로우를 실현합니다.또한 보다 정확한 이미지 왜곡을 위해 흐름 반전(투영)을 제안합니다.또, 플로우 투영층을 개입시켜 의 오브젝트 깊이에 따라, 겹치는 플로우 벡터의 다른 가중치를 주는 알고리즘도 있다.

픽셀 환각 기반 FRC

픽셀 환각 기반 방법은 광학 흐름을 오프셋 벡터로 대체하여 중앙 프레임 생성기로 변형 가능한 컨볼루션(convolution)을 사용합니다.피쳐 도메인에서 변형 가능한 컨볼루션의 도움을 받아 중간 프레임을 보간하는 알고리즘도 있습니다.그러나 이러한 방법은 흐름 기반의 FRC 방식과 달리 픽셀을 직접 환각시키기 때문에 빠르게 움직이는 물체가 있을 때 예측 프레임이 흐릿해지는 경향이 있습니다.

인스트루먼트

도구/프로그램 § 가용성 최대 프레임 증가 승수
AviSynth MSU 프레임레이트 변환 필터 상업의 임의의 양의 정수
Adobe Premiere Pro 상업의 100
라스베이거스 프로 상업의 100
Topaz 비디오 확장 AI 상업의 100
Advanced Frame Rate Converter(AFRC; 어드밴스트 프레임레이트 컨버터) 공짜 임의의 양의 정수
FlowFrames 비디오 AI 보간 공짜 최대 8배
AviSynth MSU 프레임레이트 변환 필터
AviSynth MSU Frame Rate Conversion Filter는 비디오프레임레이트 업 변환을 목적으로 한 오픈소스 도구입니다프레임 레이트가 정수 계수만큼 증가합니다.예를 들어 15fps의 비디오를 30fps의 비디오로 변환할 수 있습니다.
Adobe Premiere Pro
Adobe Premiere Pro는 비디오 편집 소프트웨어 프로그램입니다.광학적 흐름과 시간 재매핑 효과를 사용하여 기존 촬영 영상에 대한 비디오 속도를 줄이고 보다 보기 좋고 부드러운 슬로모션을 만들 수 있습니다.
라스베이거스 프로
Vegas Pro는 또한 상업용 비디오 편집 소프트웨어 프로그램입니다.슬로우 모션 영상을 만드는 방법도 있어요.이 작업을 수행하려면 비디오의 모션 크기와 재생 속도의 비율을 선택해야 합니다.
Topaz 비디오 확장 AI
토파즈 비디오 인핸스 AI는 크로노스 AI 모델이 딥러닝을 이용해 아티팩트 없이 비디오 프레임률을 높인다.이 알고리즘에 의해, 카메라로 캡쳐 된 프레임과 구별할 수 없는 새로운 프레임이 생성됩니다.
Advanced Frame Rate Converter(AFRC; 어드밴스트 프레임레이트 컨버터)
AFRC 알고리즘의 주된 장점은 적응형 아티팩트 마스킹, 블랙 스트라이프 처리 및 폐색 추적과 같은 몇 가지 품질 향상 기술을 사용하는 것입니다.
  • 적응형 아티팩트 마스킹 기술을 통해 눈에 잘 띄지 않는 아티팩트를 만들 수 있으므로 처리된 비디오의 품질이 향상됩니다.
  • 검은색 스트라이프 처리를 통해 프레임 가장자리 근처에 검은색 스트라이프가 나타나는 경우 일반적으로 보간 프레임에 나타나는 아티팩트를 방지할 수 있습니다.
  • 폐색 트래킹은 프레임 가장자리와의 방향과 함께 움직임이 있는 경우 에지 부근에서 보간된 프레임을 고품질 복원하는 기능을 수행합니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ Whaley, Sean (21 November 2018). "What is Frame Rate and Why is it Important to PC Gaming?". Retrieved 5 August 2021.
  2. ^ a b Read, Paul; Meyer, Mark-Paul; Gamma Group (2000). Restoration of motion picture film. Conservation and Museology. Butterworth-Heinemann. pp. 24–26. ISBN 978-0-7506-2793-1.
  3. ^ James Davis (1986), "Humans perceive flicker artefacts at 500 Hz", Sci. Rep., 5: 7861, doi:10.1038/srep07861, PMC 4314649, PMID 25644611
  4. ^ Potter, Mary C. (December 28, 2013). "Detecting meaning in RSVP at 13 ms per picture" (PDF). Attention, Perception, & Psychophysics. 76 (2): 270–279. doi:10.3758/s13414-013-0605-z. hdl:1721.1/107157. PMID 24374558. S2CID 180862.
  5. ^ Robert Efron (1973). "Conservation of temporal information by perceptual systems". Perception & Psychophysics. 14 (3): 518–530. doi:10.3758/bf03211193.
  6. ^ Brown, Julie (2014). "Audio-visual Palimpsests: Resynchronizing Silent Films with 'Special' Music". In David Neumeyer (ed.). The Oxford Handbook of Film Music Studies. Oxford University Press. p. 588. ISBN 978-0195328493.
  7. ^ Kerr, Walter (1975). Silent Clowns. Knopf. p. 36. ISBN 978-0394469072.
  8. ^ Card, James (1994). Seductive cinema: the art of silent film. Knopf. p. 53. ISBN 978-0394572185.
  9. ^ a b c Brownlow, Kevin (Summer 1980). "Silent Films: What Was the Right Speed?". Sight & Sound. 49 (3): 164–167. Archived from the original on 8 July 2011. Retrieved 2 May 2012.
  10. ^ Elsaesser, Thomas; Barker, Adam (1990). Early cinema: space, frame, narrative. BFI Publishing. p. 284. ISBN 978-0-85170-244-5.
  11. ^ TWiT Netcast Network (2017-03-30), How 24 FPS Became Standard, archived from the original on 2021-11-04, retrieved 2017-03-31
  12. ^ Chew, Johnny. "What Are Ones, Twos, and Threes in Animation?". Lifewire. Retrieved August 8, 2018.
  13. ^ Whitaker, Harold; Sito, John Halas; updated by Tim (2009). Timing for animation (2nd ed.). Amsterdam: Elsevier/Focal Press. p. 52. ISBN 978-0240521602. Retrieved August 8, 2018.
  14. ^ "Shot on threes (ones, twos, etc.)". Anime News Network.
  15. ^ CLIP STUDIO (12 February 2016). "CLIP STUDIO PAINT アニメーション機能の使い方". Archived from the original on 2021-11-04 – via YouTube.
  16. ^ High Frame-Rate Television, BBC White Paper WHP 169, 2008년 9월, M. Armstrong, D.플린, M. 해먼드, 파완 자하즈푸리아 S. 졸리, R. 새먼
  17. ^ Jon Fingas (November 27, 2014), "James Cameron's 'Avatar' sequels will stick to 48 frames per second", Engadget, retrieved April 15, 2017
  18. ^ Simon, Niklaus; Long, Mai; Feng, Liu (2017). Video frame interpolation via adaptive separable convolution. ICCV. arXiv:1708.01692.
  19. ^ Huaizu, Jiang; Deqing, Sun; Varun, Jampani; Ming-Hsuan, Yang; Erik, Learned-Miller; Jan, Kautz (2018). Super slomo: High quality estimation of multiple intermediate frames for video interpolation. ICCV. arXiv:1712.00080.
  20. ^ Shurui, Gui; Chaoyue, Wang; Qihua, Chen; Dacheng, Tao (2020). Featureflow: Robust video interpolation via structure-to-texture generation. IEEE. doi:10.1109/CVPR42600.2020.01402. ISBN 978-1-7281-7169-2.
  21. ^ Myungsub, Choi; Heewon, Kim; Bohyung, Han; Ning, Xu; Kyoung, Mu Lee (2020). Channel attention is all you need for video frame interpolation. AAAI. doi:10.1609/aaai.v34i07.6693.

외부 링크

  • "Temporary Rate Conversion" - TV, 비디오 및 PC의 시각적 간섭에 대한 매우 상세한 가이드

(웨이백 머신 복사)