1 무선 비디오 전송 기술의 과제 < P > 디지털 비디오 신호는 다음과 같은 특징을 가지고 있습니다. < P > 데이터 양 < P > 예를 들어, 모바일 비디오 전화는 일반적으로 QCIF 해상도 이미지를 사용하며, 176X144=25344 는 녹색 불빛과 같습니다. 픽셀당 24 비트로 표시되는 경우 한 프레임 이미지의 데이터 양은 594kbit 입니다. 실시간 비디오 이미지 전송에 필요한 프레임 속도 (TV 신호 초당 25 프레임) 를 감안하면 데이터 전송 속도는 14.5Mbps 에 달합니다! < P > 실시간 요구 사항 높음 < P > 비디오 신호에 대한 인간의 눈의 기본 요구 사항은 지연 시간이 적고 실시간이 좋다는 것입니다. 일반 데이터 통신은 실시간에 대한 요구가 낮기 때문에 일반 데이터 통신보다 더 나은 실시간이 필요합니다.
무선 환경은 다음과 같은 특징을 가지고 있습니다.
무선 채널 자원이 제한되어 있습니다.
무선 채널 환경이 열악하여 효과적인 대역폭 자원이 매우 제한적입니다. 데이터 양이 많은 비디오 신호를 전송할 수 있습니다. 특히 대중을 위한 무선 시각적 어플리케이션에서는 무선 채널의 자원이 특히 부족합니다. < P > 무선 네트워크는 시변 네트워크 < P > 무선 채널의 물리적 특성에 따라 무선 네트워크가 시변 네트워크임을 결정합니다. < P > 무선 비디오의 Qos 보안 < P > 이동 통신에서 사용자의 이동으로 인해 무선 비디오의 Qos 보장이 복잡해집니다. < P > 이를 통해 비디오 신호가 전송 요구와 무선 환경의 특징에 대해 첨예한 갈등을 겪고 있어 무선 비디오 전송이 큰 도전에 직면하고 있음을 알 수 있습니다. 일반적으로 무선 비디오 전송 시스템의 연구 설계 목표는 표 1 에 나와 있습니다.
표 1 무선 비디오 전송 시스템의 주요 성능 지표 및 설계 목표
성능 지표 설계 목표
비디오 압축비
비디오 전송 실시간
비디오 복구 품질
비디오 전송 견고성
Qos 지원 비디오 비즈니스 최소한의 비트로 비디오 이미지 설명 < p 더 빠른 인코딩 속도 < P > 사용자가 더 만족하는 비디오 복구 품질 < P > 전송 채널의 잘못된 비트 간섭 < P > 제공 및 사용자 지원 비용과 동등한 서비스 제공 < P > 사실 표 1 의 많은 성능 지표는 상호 제약적입니다. 예를 들어, 비디오 이미지 압축비가 높아지면 인코딩 알고리즘의 복잡성이 증가하여 알고리즘의 실시간 구현에 영향을 미치고 비디오의 복구 품질을 저하시킬 수 있습니다.
2 비디오 압축 인코딩 기술 < P > 비디오 정보의 데이터 양은 매우 놀랍습니다. 대역폭이 제한된 무선 네트워크를 통해 전송하려면 압축 인코딩을 거쳐야 합니다. 현재 국제적으로 두 가지 주요 표준화기구인 ITU-T 와 MPEG 는 비디오 인코딩 방법을 전문적으로 연구하고 있으며, 공정하고 통일된 표준을 책임지고 다양한 비디오 제품 간의 상호 운용성을 용이하게 하고 있습니다. 이 합의들은 학술계의 가장 우수한 성과를 집중시켰다. < P > 다양한 국제 표준 기반 코딩 기술 외에도 많은 신기술 개발이 눈에 띈다.
2.1 프로토콜 기반 비디오 압축 코딩 기술
ITU-T (international telecommunications alliance) 에서 제정한 비디오 코딩 표준으로는 H.261(199 년), H.263(1995 년), H.263++ H.26X 시리즈 표준은 낮은 비트율 비디오 통신을 위한 비디오 인코딩 표준으로 압축비가 높기 때문에 무선 비디오 전송 요구에 특히 적합합니다. DCT 변환, 모션 보정, 정량화, 엔트로피 코딩 등의 기본 기술을 사용합니다. H.263+ 및 H.263++ 의 증가는 비교적 열악한 무선 환경을 고려하여 코드 스트림의 견고성을 향상시키는 여러 가지 방법을 설계하여 분할 인코딩에 대한 구문 규칙을 정의합니다.
MPEG 가 제정한 비디오 인코딩 표준은 MPEG-1(199 년), MPEG-2(1994 년), MPEG-4 (완벽 중) 입니다. 그 중 MPEG-1, MPEG-2 는 기본적으로 마무리되었으며, 사용되는 기본 기술은 H.26X 와 동일합니다. MPEG-1, MPEG-2 는 주로 디지털 스토리지 미디어로, 비트율이 높으며 무선 비디오 전송에는 적합하지 않다는 특징이 있습니다. 잘 알려진 VCD, DVD 는 MPEG-1, MPEG-2 의 대표적인 앱입니다. 이후 MPEG 조직은 낮은 비트율 응용 프로그램의 잠재적인 거대한 시장을 주목하고 ITU-T 와 경쟁하기 시작했다. MPEG-4 의 개발에는 높은 비트율 어플리케이션뿐만 아니라 무선 전송에 적합한 낮은 비트율 어플리케이션도 포함되어 있습니다. MPEG-4 표준의 가장 큰 특징은 비디오 개체를 기반으로 한 인코딩 방법입니다. < P > 무선 통신 터미널은 다양하며 네트워크 구조와 규모도 서로 다릅니다. 비디오 코드 스트림의 세밀한 등급 지정 (Fine Granularity Scalability) 은 전송 환경의 다양성에 적합합니다.
코딩 프로토콜은 완전히 완벽한 솔루션을 제공하지 않습니다. 일반적으로 프로토콜 내용에는 코드 스트림의 구문 구조, 기술 경로, 디코딩 방법 등이 포함되며 모션 추정 알고리즘, 비트율 제어 알고리즘 등과 같은 일부 주요 알고리즘은 엄격하게 규정되지 않습니다. 모션 추정 알고리즘은 3 부에서 자세히 설명합니다. 비트율 제어 방안은 제 4 부에서 좀 더 자세한 소개를 한다.
2.2 기타 비디오 압축 인코딩 기술 < P > 위에서 언급한 프로토콜 기반 비디오 표준 외에도 상업상의 이유로 당분간 국제 표준에 의해 완전히 받아들여지지 않은 우수한 알고리즘이 있습니다. 전형적인 예는 DCT 변환과 웨이브 렛 변환 사이의 분쟁입니다. 웨이블릿 변환을 사용하면 이미지 복구 품질을 향상시킬 수 있지만 DCT 변환이 일찍 사용되고 상용 제품이 많이 지원되기 때문에 웨이브 렛 변환은 하룻밤 사이에 DCT 변환의 기존 위치를 대체하기가 어렵습니다. 프랙털 인코딩, 모델 기반 인코딩 방법, 관심 영역 우선 코딩 방법 등 다른 인코딩 방법도 어느 정도 성과를 거두었으며 압축 능력이 향상되었습니다. 그러나 알고리즘 구현이 너무 복잡해서 완전히 실용적이기 위해서는 아직 거리가 있다. < P > 소파 기반 저비트율 이미지 압축 알고리즘 연구에서 소파 이미지 계수의 공간 분포 특성과 소파 다중 해상도의 비디오 특징에 따라 사람들은 벡터 정량화를 도입하여 소파 이미지 계수의 연관성을 최대한 활용합니다. 전통적인 모션 보정이 소파 변환과 결합하기 어려운 상황에 따라 공간 2D 프레임 내 소파 변환과 타임라인 1 차원 웨이브 변환을 결합하는 3 차원 웨이브 변환 방법도 제시되었습니다. < P > 인간의 시각은 긍정적인 감정행동이다. 생리적 요인뿐만 아니라 심리적 요인에도 달려 있다. 사람들이 이미지를 관찰하고 이해하는 것은 종종 무의식적으로 어떤 원인 지역에 관심을 갖는다. 전체 이미지의 시각적 품질은 관심 영역 (ROI：Region of Interest) 의 이미지 품질에 따라 달라지는 경우가 많습니다. ROI 영역 부분의 이미지 품질을 보장하면서 다른 부분은 더 높은 압축을 할 수 있습니다. 이렇게 하면 만족스러운 이미지 복구 품질을 유지하면서 데이터 양을 크게 압축할 수 있습니다. 이것이 관심 영역 우선 코딩 전략입니다.
3 비디오 인코딩 실시간 연구 < P > 비디오 데이터의 특수성으로 인해 비디오 전송 시스템은 실시간 요구 사항이 높습니다. 여기서는 비디오 인코딩 프로토콜 알고리즘에 기반한 실시간 문제를 중점적으로 설명합니다. 소파 인코딩 등의 알고리즘은 많은 장점이 있지만 알고리즘의 복잡성이 너무 높아 현재 실시간 요구 사항을 충족하기가 어렵다. 다음은 비디오 인코딩 시스템의 실시간 성능을 향상시키는 데 중요한 역할을 하는 프로토콜 기반 인코딩 알고리즘의 몇 가지 중요한 부분입니다.
3.1 모션 추정 < P > 예측 코드는 시간 영역에서 중복 정보를 효과적으로 제거할 수 있으며 모션 추정은 예측 코딩의 중요한 부분입니다. 모션 추정은 참조 프레임에서 현재 프레임 이미지 블록과 가장 유사한 이미지 블록, 즉 최적의 일치 블록을 찾는 것입니다. 추정 결과는 모션 벡터로 표시됩니다. 운동 추정 알고리즘을 연구하는 것은 일치 블록 검색 알고리즘을 연구하는 것이다. < P > 연구 분석에 따르면 원시 모션 추정 알고리즘은 인코더 작동 시 인코더 실행 시간의 약 7% 를 소모합니다. 따라서 인코더 실행 속도를 높이기 위해서는 먼저 모션 추정 알고리즘의 효율성을 높여야 합니다. < P > 궁핍한 검색법은 가장 원시적인 모션 추정 알고리즘으로, 글로벌 최적 결과를 얻을 수 있지만, 연산량이 많기 때문에 구현 앱에 사용해서는 안 된다. 빠른 모션 추정 알고리즘은 검색 공간을 줄여 검색 프로세스 속도를 높입니다. 빠른 모션 추정 알고리즘에 의해 얻어진 모션 벡터는 철저한 검색법의 결과만큼 정확하지는 않지만, 연산 시간을 크게 줄이고 정확도도 많은 응용 프로그램의 요구를 충족시킬 수 있기 때문에 응용이 매우 광범위합니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 스포츠명언) 일반적인 빠른 검색 알고리즘으로는 * * * 멍에방향 검색법 (CDS), 2 차원 로그법 (TDL), 3 단계 검색법 (TSS), 교차 검색법 (CSA) 등이 있습니다.
3.2 알고리즘 구조의 병렬 처리 < P > 병렬 처리 아키텍처는 시스템 처리 능력을 향상시키는 데 매우 유용하며, 비디오 인코딩 알고리즘은 강력한 병렬 처리 잠재력을 가지고 있기 때문에 인코딩 알고리즘의 병렬 컴퓨팅 기능을 연구하여 인코딩 알고리즘의 실시간 구현을 더욱 보장했습니다. < P > 예를 들어 두 개의 병렬 프로세서가 있는 경우 두 개의 이미지 블록을 동시에 실행할 수 있는 실행 추정 또는 DCT 전환을 통해 모션 추정 및 DCT 변환 링크의 계산 시간을 두 배로 줄일 수 있습니다.
3.3 고속 DSP 칩과 전용 DSP 설계 < P > 마이크로전자 기술의 발전으로 최근 몇 년간 DSP 칩이 크게 발전했다. 초당 수십 또는 수백 BOPS 의 연산 속도 (1 BOPS 는 초당 1 억 회) DSP 칩이 등장해 시스템 실시간 처리를 위한 하드웨어 보증이 향상되었습니다. < P > 범용 고속 DSP 칩은 비디오 인코딩 알고리즘의 연구 개발에 중요한 역할을 합니다. 많은 DSP 제조업체는 특정 인코딩 프로토콜을 구현하는 전용 칩을 제공하기도 합니다.
4 비트율 제어 연구 < P > 인코딩 전략은 인코더의 중요한 부분입니다. 비트율 제어 기술은 비디오 통신 응용 프로그램의 핵심 기술 중 하나로 인코더의 각 부분과 전송 채널 및 디코더 간의 조정을 담당하며 인코더에서 중요한 위치를 차지하고 있습니다. 비트율 제어 전략은 특정 응용 프로그램에 의해 결정되어야 하기 때문에 H.263+, MPEG-4 와 같은 비디오 인코딩 프로토콜은 특정 비트율 제어 방법을 규정하지 않습니다. < P > 비디오 코드 스트림 구조는 계층화된 특징을 가지고 있기 때문에 비트율 제어 체계의 연구는 일반적으로 이미지 레이어 비트율 제어, 매크로 블록 레벨 비트율 제어의 두 계층으로 나뉩니다. 이미지 레이어 속도 제어의 주요 작업은 인코더 출력 속도에 대한 시스템의 기대, 시스템 전송 지연 제한, 전송 버퍼의 오버플로 정도에 따라 프레임 이미지를 인코딩하기 전에 해당 프레임 이미지의 출력 예상 비트 수를 결정하는 것입니다. 매크로 블록 레이어 속도 제어의 주요 작업은 이미지 레이어 속도 제어에 따라 결정된 프레임 이미지의 출력 예상 비트 수에 따라 이미지의 각 부분에 적합한 정량화 단계를 선택하는 것입니다. 매크로 블록 레이어 속도 제어의 주요 근거는 비율 왜곡 (Rate-Distortion) 모델입니다.
TMN8 비트율 제어 체계는 지금까지 우수한 비트율 제어 체계입니다. H.263+ TMN8 모델의 MPEG-4 (버전 1) VM8 모델에 의해 채택되었습니다. 이 시나리오의 정교화 부분은 매크로 블록 레이어 속도 제어 부분에 있으며, 매우 효과적인 속도 왜곡 모델을 채택하여 매크로 블록 레이어 속도 제어의 오차가 매우 적습니다. 이미지 레이어 속도 제어의 경우 이 시나리오의 전제는 비교적 간단합니다. 주로 인코딩 지연, 버퍼 오버플로우 등의 요소를 고려하며 인코더의 작동 프레임 속도가 일정해야 합니다.
대부분의 경우 비디오 인코딩 프레임 속도는 일정하지 않거나 "일정해야" 하지 않습니다. 비디오 인코더 작업점의 변화와 기존 속도 왜곡 모델의 가능한 오류를 감안하여 현대제어 이론을 코드율 제어에 도입하여 보다 안정적인 비트율 제어 체계를 설계했습니다. < P > 매크로 블록 레이어 속도 제어 링크가 이미지의 각 매크로 블록에 사용되는 정량화 단계를 직접 결정하기 때문에 매크로 블록 레이어 유우율 제어 방법을 사용하면 이미지 관심 영역 우선 코딩 전략을 쉽게 구현할 수 있습니다. 관심 영역 우선 코딩 전략을 사용할 경우 전체 이미지에 대해 여전히 낮은 비트율 인코딩 범주이지만 관심 영역에 대해서는 로컬 높은 비트율 인코딩이 있습니다. TMN8 시나리오를 포함한 기존의 저비트율 제어 알고리즘은 이러한 현상을 고려하지 않았습니다. 전체 이미지의 모든 부분을 낮은 비트율 인코딩 개체로 사용하여 비트율 제어 모델을 설정합니다. 따라서 이러한 비트율 제어 체계를 관심 영역 우선 코딩 정책과 직접 결합하면 원하지 않는 비트율 제어 오차가 발생할 수 있습니다. 이를 위해 관심 영역 우선 코딩 전략의 요구에 부응하는 무음 저비트율 앱을 적용하는 비트율 제어 프레임워크가 또 제시되었다. (윌리엄 셰익스피어, 템플린, 자기관리명언) (윌리엄 셰익스피어, 스튜어트, 자기관리명언)
5 루바 연구 < P > 무선 채널 간섭 요인이 많고 오차율이 높기 때문에 무선 비디오의 루봉 전송 연구는 무선 비디오 전송의 실용화에 매우 중요하다.
5.1 강력한 압축 인코딩 < P > 비디오 압축 인코딩의 마지막 부분은 엔트로피 인코딩입니다. 엔트로피 코딩의 특징은 비디오 코드 스트림이 잘못된 비트에 매우 민감하다는 것을 결정합니다. 그 결과, 사람들은 비디오 코딩 과정에서 오류 복구를 수행하고 코드 스트림의 견고성을 높이기 위해 다양한 기술을 설계했습니다. MPEG-4 에 정의된 주요 오류 제어 기술로는 재동기화 (Resynchronization), 데이터 분할 (데이터 분할), 역변환 길이 인코딩 (RVLC) 이 있습니다. H.263+ 에서 오류 복구에 사용되는 기술은 주로 전방 오류 수정 인코딩 (FEC), 스트립 모드 (Slice 모드), 독립 세그먼트 디코딩 (Independent Segment Decoding) 및 참조 이미지 선택 (Reference Pics) 입니다. H.263++ 는 데이터 분할의 스트라이프 모드를 추가하고 참조 이미지 선택 모드를 수정했습니다. < P > 또한 소스 디코딩 측에서는 데이터 복구 (Data Recovery) 및 오류 은닉 (Error Concealment) 과 같은 기술을 설계하여 코드 스트림에서 오류 비트의 부정적인 영향을 최소화합니다.
5.2 강력한 멀티플렉싱 링크 < P > 멀티미디어 통신에서 재사용은 코딩 링크의 한 부분입니다. 예를 들어, ITU 정의 H.324 표준은 오디오 인코딩 프로토콜 G.723, 비디오 인코딩 프로토콜 H.26X, 제어 프로토콜 H.245 및 멀티플렉싱 프로토콜 H.223 을 포함한 여러 프로토콜로 구성됩니다. H.223 은 멀티미디어 터미널의 여러 데이터 소스 (오디오, 비디오, 데이터 등) 를 하나의 코드 스트림으로 결합하는 연결 지향 재사용기입니다. Villasenor 등은 재사용기의 오류가 비디오에 미칠 수 있는 영향을 알아차렸지만, 심층적인 연구 성과는 없었다.
5.3 강력한 채널 인코딩 링크 < P > 채널 인코딩은 오류 제어 인코딩이라고도 합니다. 소스 코딩의 목적과 달리 소스 코딩은