2020년 1월 Renjia Company는 최대 4.5K 해상도(4608*2560) 20FPS 실시간 처리를 지원할 수 있는 3세대 양안 시각 인식 엔진 아키텍처를 공식 출시했습니다. 이에 앞서 세계 최고의 광학 기업인 일본의 리코(Ricoh)는 2018년 10월 4K 해상도 쌍안경 스테레오 비전 카메라 제품을 출시했다.
Renjia가 출시한 Simou의 3세대 아키텍처는 현재 세계 최고 해상도를 지원할 수 있는 양안 시각 인식 엔진 아키텍처입니다. 이 아키텍처의 전반적인 성능은 이전 세대에 비해 크게 향상되었으며, 핵심 매개변수인 해상도 지수는 거의 12배 증가했습니다.
오랫동안 인공지능 3D 시각 인식 분야에서 양안 스테레오 비전 기술은 높은 알고리즘 복잡성과 큰 컴퓨팅 성능 요구 사항으로 인해 종종 사랑받고 미움을 받아왔습니다. 3D 감지 분야의 중요한 부분으로, 측정 거리가 멀거나 가까울 수 있고 실내 및 실외 모두에서 사용할 수 있는 등 많은 장점으로 인해 많은 업계 사용자가 선호합니다.
양안 스테레오 비전 기술은 삼각 측량 원리를 이용하여 고정된 상대 위치를 가진 두 대의 카메라를 통해 동시에 장면을 이미지화하고, 이미지화 시 시차를 기반으로 깊이를 계산합니다. 일반적인 계산 방법은 다음과 같습니다. /p>
이 중 f는 카메라의 초점 거리, b는 기준선, d는 시차, Z는 깊이 값을 의미합니다. 양안 스테레오 비전은 측정 거리가 증가함에 따라 심각하게 증가할 것이며 이는 현재 양안 비전 시스템의 가장 큰 문제점 중 하나이기도 합니다. 동시에 시스템의 적용 범위를 늘리려면 카메라 시야를 늘려야 하며, 이는 초점 거리 f를 더욱 줄여 거리가 증가함에 따라 Z 방향 정확도의 감쇠를 더욱 증가시킵니다. .
따라서 양안 스테레오 비전 시스템이 "멀리 보기"와 "명확하게 보기"를 모두 달성하려는 경우 기존 주류 해상도(1280*800)와 시스템 볼륨(기준선)은 일반적으로 제약으로 인해 달성하기 어렵습니다. 12cm 이하).
요약하면, 양안 비전 시스템의 해상도를 높이는 것은 현재 기술 혁신을 달성할 수 있는 유일한 직접적인 방법이며, CMOS 이미지 센서의 해상도를 높이는 현재 개발 추세에도 부합합니다.
그러나 양안 해상도를 향상시키려면 컴퓨팅 성능과 저장 대역폭에 대한 수요가 기하급수적으로 증가하게 되며 이는 현대 컴퓨터 저장 및 컴퓨팅 아키텍처에 큰 과제가 될 것입니다. 구현 비용이 매우 높습니다. 기존 CPU 또는 GPU 아키텍처(KITTI 쌍안 평가 순위에서는 4코어, 2.6Ghz CPU가 매칭 알고리즘 rSGM을 실행하는 데 최대 0.2초밖에 걸리지 않음)에서는 이상적인 컴퓨팅 효율성과 성능 소비를 달성하기 어렵습니다. /비용 잔액.
위의 분석을 바탕으로 Renjia Simo? 3세대 양안 시각 인식 엔진 아키텍처는 여전히 이전 세대 논리 장치(FPGA) CPU의 이기종 컴퓨팅 아키텍처를 계속 사용하며 새로운 아키텍처를 사용합니다. 64비트 스토리지 아키텍처는 이전 세대에 비해 메모리 저장 대역폭이 4배 증가했습니다. 일련의 알고리즘 가속 설계 혁신을 통해 수평 해상도가 약 4배 증가했으며 전체 해상도도 향상되었습니다. 거의 12번.
3세대 아키텍처는 이전 세대 로직 유닛 CPU의 이기종 설계 방식을 이어가며, 이전 세대를 기반으로 메모리 대역폭 기술 병목 현상과 이로 인해 발생하는 온칩 스토리지 자원 기술 병목 현상을 극복하는 데 중점을 둡니다. 해상도 증가의 개요 설계 다이어그램은 다음과 같습니다.
시스템은 DDR4를 저장 장치로 사용하여 논리 장치와 외부 저장 장치 간의 데이터 상호 작용 효율성을 향상시키며 설계 대역폭은 다음과 같습니다. 최대 16.5GB/s. 동시에 파이프라인 설계는 시스템의 각 코어 유닛 간에 계속되므로 계산으로 인한 지연이 최소화됩니다. 이 설계는 데이터 입력에서 데이터 출력까지의 지연이 1 이미지 프레임 시간 미만이라는 요구 사항을 충족합니다. 동시에 시스템은 각 장치의 보다 세분화된 병렬 처리를 지원할 수 있으며, 실시간 요구 사항이 더 높은 시나리오의 경우 시간과 공간을 교환하는 설계를 신속하게 지원하여 시스템 지연을 최소화할 수 있습니다.
3세대 아키텍처의 자세한 성능 매개변수는 다음 표에 나와 있습니다.
마지막으로 Renjia Company는 Xilinx Zynq UltraScale ZCU102 평가 보드에서 이 아키텍처의 전체 실습을 수행했습니다. 플랫폼 리소스 소비 상황은 다음 표에 나와 있습니다.
Xilinx 도구 세트 Vivado 2018.3의 사례는 다음 그림에 나와 있습니다.
스토리지 리소스를 돌파하기 위해 해상도의 상당한 증가로 인한 컴퓨팅 리소스 병목 현상을 해결하기 위해 Renjia 지능형 엔지니어는 세 가지 핵심 사항을 예로 들어 일련의 혁신적인 설계를 수행했으며 요약은 다음과 같습니다.
(1) 동적 보정 매개변수 사용 메모리 대역폭 리소스를 여러 배로 최적화하는 압축 기술입니다.
쌍안 스테레오 보정은 역 매핑과 쌍선형 보간을 사용합니다. 대상 픽셀의 생성은 쌍선형 보간에 사용되는 2차원 좌표 값 및 비율 값 집합과 일치해야 합니다. 해상도 4608x2560@20fps 디자인을 예로 들면, 하나의 픽셀에는 4.5바이트의 정보가 필요하며 필요한 DDR 읽기 속도는 1GB/s에 달합니다. 두 이미지를 동시에 수정하려면 전체 대역폭 속도가 최대 2GB/s를 차지합니다. Renjia Intelligence는 수정에 필요한 데이터의 분포 특성을 기반으로 수정 데이터의 압축 및 압축 풀기 방법을 제안합니다. 압축은 CPU 하에서 오프라인으로 완료되며, 압축 풀기 부분은 논리 자원에 의해 실시간으로 계산됩니다. 최종 압축 방식은 2:1의 압축률을 달성할 수 있으며, 압축 해제 장치가 차지하는 리소스는 LUT 200개, BRAM 0.5개에 불과합니다.
(2) 동적 사용 조각화 수정 기술 온칩 메모리 사용량을 1/3로 줄입니다.
측면 해상도의 증가로 인해 라인 캐시의 폭도 늘어났습니다. 따라서 캐시된 이미지 데이터의 실시간 계산을 위한 저장 공간 요구 사항이 4배 가까이 늘어났습니다. 이전 세대) 온칩 블록 RAM 리소스에 대처하기 위해 Renjia Intelligence는 동적으로 슬라이스하고 수정할 수 있는 프레임워크를 설계했습니다. 온칩 스토리지에 대한 공간 요구 사항은 1/3로 줄어들고 동시에 BRAM 리소스는 더 엄격해집니다. 또한 시나리오의 BRAM 리소스 요구 사항을 충족하기 위해 더 많은 샤드 또는 파티션 설정을 지원합니다.
(3) 블록투블록 입체 매칭 디자인.
이 아키텍처의 스테레오 매칭 부분은 여전히 이전 세대 SGM/BM의 설계 알고리즘을 사용하고 있으며, Renjia Intelligence는 설계 성능 보장을 기반으로 블록 매칭 아이디어를 채택하여 왼쪽을 나눕니다. 두 부분은 분리 가능하고 독립적으로 매칭되므로 설계상 BRAM 리소스 사용량이 1/2로 더욱 줄어듭니다.
양안 스테레오 비전 처리 아키텍처의 이번 업그레이드는 현재 장면 애플리케이션의 쌍안 비전 시스템에 대한 더 큰 시야와 더 높은 정밀도라는 이중 요구 사항에 따라 완료됩니다. 업그레이드는 사람들에게 지능적인 개체 소비의 적용을 제공합니다. 행동 분석은 다음과 같은 이점을 제공합니다.
(1) 단일 양안 비전 시스템이 처리할 수 있는 범위가 늘어납니다.
카메라 화각을 130°~150°(이전 세대 설계 지표는 100°)로 늘려 단일 양안 비전 시스템으로 최대 100제곱미터의 영역을 커버할 수 있으며, 사용되는 카메라 수를 줄여 시스템 유지 관리 비용을 절감하고 시스템 안정성을 향상시킬 수 있습니다.
(2) 공간 위치 지정이 더 정확해졌습니다.
깊이 맵 해상도가 높을수록 측정 정확도가 높아져 공간 위치 지정이 더 정확해집니다.
(3) 이미지 디테일이 더 풍부해지고 인식이 더 정확해졌습니다.
이번 업그레이드를 통해 Renjia 지능형 양안 비전 시스템은 최대 1,200만 픽셀의 원본 이미지를 제공할 수 있어 이미지 인식과 같은 애플리케이션의 정확도가 크게 향상될 것입니다.
(4) 딥 알고리즘은 반복 업그레이드 최적화를 지원하여 장면 적응성을 높입니다.
3세대 아키텍처는 FPGA SOC 설계를 이어가므로 하드웨어 가속 수준 알고리즘을 업그레이드하고 유지 관리할 수 있으며 특정 시나리오에 따라 구성 및 최적화할 수 있습니다.
동시에 이번 업그레이드는 양안 스테레오 비전 기술을 시장에 적용할 수 있는 새로운 상상의 공간을 제공합니다. 해상도가 1,200만 픽셀로 증가하면 시스템의 범위 측정 범위가 더 커질 수 있습니다. 미터 수준으로 증가하면 일부 대규모 측정 분야(예: 자율 주행, 지능형 보안 등)에 대한 새로운 솔루션 옵션도 제공할 수 있습니다.
휴먼플러스인텔리전스(www.humanplus.ai)는 지능형 시각 센싱과 인간 행동 인식을 핵심 기술로 한 인공지능 기업으로, 현재 리테일 브랜드와 리테일러를 위한 물리적 소비 행동 제공에 주력하고 있다. 고객 흐름 분석, 판매 전환 분석, 고객 흐름선 분석, 인간-상품 상호 작용 분석 등을 포함한 분석 서비스(Customer Behavior Analytics)는 브랜드 리테일의 의사결정 및 실행 과정을 '데이터 기반'과 '데이터 기반' 달성에 도움을 줍니다. "인간-기계 협업".
원본 링크: /s/VFp5tZC0dTRIsot4UtTm2A