실시간 비디오 캡처 SDK(PC/iOS/Android)- 실시간 CDN
(라이브 스트리밍 가속 배포)-라이브 비디오 플레이어 SDK(PC/IOS/Android)
둘째, 오디오 및 비디오 처리의 일반적인 프로세스:
데이터 수집 → 데이터 인코딩 → 데이터 전송 (스트리밍 서버) → 데이터 디코딩 → 재생 디스플레이
1, 데이터 수집:
카메라와 픽업기는 비디오와 오디오 데이터를 수집하여 원시 데이터를 얻습니다.
기술 또는 계약 관련:
카메라: CCD, CMOS
픽업: 음향 변환 장치 (마이크) 및 오디오 증폭 회로.
2. 데이터 인코딩:
관련 하드웨어 또는 소프트웨어를 사용하여 원본 오디오 비디오 데이터를 인코딩 (디지털화) 하고 처리 (예: 오디오 비디오 혼합, 패키징 등) 합니다. ) 를 사용하여 사용 가능한 오디오 및 비디오 데이터를 얻을 수 있습니다.
기술 또는 계약 관련:
인코딩 모드: CBR, VBR
인코딩 형식
비디오: H.265, H.264, MPEG-4 등. 포장 용기에는 TS, MKV, AVI, MP4 등이 있습니다.
오디오: G.7 1 1μ, AAC, Opus 등. , MP3, OGG, AAC 등의 패키지로 제공됩니다.
3. 데이터 전송:
인코딩된 오디오 및 비디오 데이터를 전송합니다. 초기의 오디오와 비디오는 동축 케이블과 같은 케이블을 통해 전송되었다. IP 네트워크가 발달하면 IP 네트워크를 이용하여 전송을 최적화합니다.
기술 또는 계약 관련:
전송 프로토콜: RTP 및 RTCP, RTSP, RTMP, HTTP, HLS(HTTPLiveStreaming) 등.
제어 신호: SIP, SDP, SNMP 등.
4. 데이터 디코딩:
직접 표시할 수 있는 이미지/사운드를 얻기 위해 관련 하드웨어 또는 소프트웨어를 사용하여 인코딩된 오디오 및 비디오 데이터를 디코딩합니다.
기술 또는 계약 관련:
일반적으로 해당 인코더에는 해당 디코더와 일부 타사 디코딩 플러그인이 있습니다.
5. 재생 및 표시:
모니터 (TV, 모니터 화면 등) 에 있습니다. ) 또는 스피커 (헤드폰, 스피커 등. ), 해당 이미지 또는 사운드를 표시합니다.
기술 또는 계약 관련:
모니터, 스피커, 3D 안경 등.
셋째, 일반적인 비디오 방송 관련 프로토콜:
RTMP 1 (실시간 메시지 프로토콜)
RTMP 는 Flash 플레이어와 서버 간의 오디오, 비디오 및 데이터 전송을 위해 AdobeSystems 에서 개발한 개방형 프로토콜입니다. 세 가지 종류가 있습니다.
1), TCP 에서 작동하는 일반 텍스트 프로토콜,1935 포트 사용
2) RTMPT 는 HTTP 요청에 캡슐화되어 방화벽을 통과할 수 있습니다.
3) RTMPS 는 RTMPT 와 비슷하지만 HTTPS 연결을 사용합니다.
Flash 에서는 RTMP 프로토콜을 사용하여 개체, 비디오 및 오디오를 전송합니다. 이 프로토콜은 TCP 프로토콜 또는 폴링 HTTP 프로토콜을 기반으로 합니다. RTMP 프로토콜은 패킷 컨테이너와 비슷하며 패킷은 AMF 형식 데이터이거나 FLV 비디오 및 오디오 데이터일 수 있습니다. 단일 접속은 서로 다른 채널을 통해 여러 네트워크 스트림을 전송할 수 있으며, 이러한 채널의 패킷은 모두 고정 크기의 패킷으로 전송됩니다.
2.RTSP (실시간 스트리밍 프로토콜)
RTSP 는 일대다 애플리케이션이 IP 네트워크를 통해 멀티미디어 데이터를 효율적으로 전송하는 방법을 정의합니다. RTSP 는 실시간 데이터와 기존 스토리지 데이터를 포함할 수 있는 확장 가능한 프레임워크를 제공합니다. 이 프로토콜의 목적은 여러 데이터 전송 연결을 제어하고 UDP, 멀티캐스트 UDP, TCP 등의 전송 채널을 선택할 수 있는 방법을 제공하고 RTP 기반 전송 메커니즘을 선택할 수 있는 방법을 제공하는 것입니다.
RTSP 의 구문 및 작업은 HTTP/ 1. 1 과 비슷하지만 시간 동기화를 특별히 강조하지 않으므로 네트워크 지연에 대한 관용이 더 높습니다. 프록시 서버의 캐싱 기능은 RTSP 에도 적용되며, RTSP 에는 리디렉션 기능이 있어 실제 로드에 따라 서비스를 제공하는 서버를 전환하여 동일한 서버에 과다한 로드가 집중되는 지연을 방지할 수 있습니다.
3. 실시간 전송 프로토콜.
RTP 는 멀티미디어 데이터 스트림의 전송 계층 프로토콜로, 인터넷에서 오디오와 비디오를 전송하는 표준 그룹화 형식을 자세히 설명합니다. RTP 프로토콜은 스트리밍 미디어 시스템 (RTCP 프로토콜 사용), 화상 회의 및 원클릭 시스템 (H.323 또는 SIP 사용) 에 자주 사용되며 IP 전화 업계의 기술적 기반이 됩니다.
RTP 는 UDP 프로토콜을 기반으로 하며 일반적으로 RTCP 와 함께 사용됩니다. RTP 자체는 정시 배달 메커니즘이나 기타 QoS (서비스 품질) 보증을 제공하지 않고 기본 서비스에 의존하여 이 프로세스를 수행합니다.
RTP 는 전송 또는 무순서 전송을 보장하거나 기본 네트워크의 신뢰성을 결정하지 않습니다. 전송은 단지 전송일 뿐, 전송 유실 여부, 수신자가 패킷을 받았는지 여부에 관계없이 전송됩니다. RTP 는 질서 정연한 전송을 달성한다. RTP 의 일련 번호를 통해 수신자는 발신자의 패킷 시퀀스를 재구성할 수 있으며, 일련 번호를 사용하여 적절한 패킷 위치를 결정할 수도 있습니다. 예를 들어, 비디오 디코딩은 순차적 디코딩이 필요하지 않습니다.
4.RTCP (실시간 전송 제어 프로토콜)
RTCP 는 RTP 미디어 스트림에 대한 채널 외 제어를 제공하는 RTP 지원 프로토콜입니다. RTCP 와 RTP 는 함께 작동하여 멀티미디어 데이터를 패키지화하고 전송하며 멀티미디어 스트리밍 세션의 참가자 간에 정기적으로 제어 데이터를 전송합니다.
RTCP 의 주요 기능은 RTP 가 제공하는 QoS (서비스 품질) 에 대한 피드백을 제공하고 전송 바이트 수, 전송 패킷 수, 패킷 손실 수, 단방향 및 양방향 네트워크 지연과 같은 관련 미디어 연결에 대한 통계를 수집하는 것입니다. 네트워크 응용 프로그램은 RTCP 가 제공하는 정보를 사용하여 트래픽을 제한하거나 낮은 압축비 코덱으로 전환하는 등 서비스 품질을 향상시킬 수 있습니다.