우리의 일상 생활에서 우리는 활기차고 상세한 이미지를 보는 데 익숙합니다. 그러나 숨겨진 비밀이 있습니다. 카메라 센서는 본질적으로 색맹입니다. 각 픽셀은 색이 아닌 밝기 만 감지 할 수 있습니다. 이 흑백 데이터를 색상 이미지로 변환하려면 복잡한 시스템이 필요합니다. 이 시스템의 핵심에는 Bayer 패턴 (Bayer 필터)과 ISP (Image Signal Processor)가 있습니다. 이 두 요소는 카메라의 뇌와 눈처럼 작용하여 원시 광 신호에서 최종 이미지까지 프로세스를 형성하기 위해 함께 작동합니다.
카메라 모듈을 전문으로하는 컨설턴트 인이 기사는 Bayer 패턴에 대한 심층 분석을 제공하고 ISP 처리 흐름을 공개하며 이러한 핵심 기술이 내장 비전 시스템의 객체 감지와 같은 응용 프로그램에 어떻게 직접적인 영향을 미치는지 탐구합니다. 엔지니어의 관점에서 전문가의 통찰력을 제공하여 이미지 체인의 각 키 링크를 이해하도록 도와줍니다.
바이엘은 무엇입니까?
Bayer 패턴을 이해하려면 먼저 디지털 카메라의 작동 방식을 이해해야합니다. 카메라 센서는 수백만 개의 감광성 다이오드 (픽셀)로 구성됩니다. 광자 가이 픽셀을 공격 할 때, 그들은 크기가 빛의 강도에 비례하는 전하를 생성합니다. 그러나이 픽셀은 빛의 색을 구별 할 수 없습니다. 그들은 밝기 만 기록합니다.
바이어 필터라고 불리는 바이어 패턴은 새로운 솔루션입니다. 필터 레드 (R), 녹색 (G) 및 파란색 (B)의 작은 배열로 구성됩니다. 이 필터 배열을 통해 각 픽셀은 그 아래의 특정 빛의 색상의 강도 만 수신하고 기록 할 수 있습니다. 예를 들어, 빨간색 필터로 덮인 픽셀은 적색광의 밝기 만 기록합니다.
따라서 센서의 원시 데이터 출력은색상 RGB 이미지그러나 "Bayer RAW 데이터"로 알려진 단색 모자이크 패턴. 이 데이터의 각 픽셀에는 하나의 컬러 채널의 정보가 포함되어 있습니다.
왜 그린이 바이어 패턴에서 두 번인 이유
일반적인 Bayer 패턴을 자세히 보면 빨간색과 파란색 픽셀의 녹색 픽셀이 두 배나 많다는 것을 알 수 있습니다. 이것을 RGGB (또는 GRBG, BGGR 등) 배열이라고합니다.
이 디자인은 우연이 아닙니다. 그것은 인간의 눈의 생리 학적 특성에 기초합니다. 인간 망막은 녹색 빛에 가장 민감하여 밝기 (또는 "그레이 스케일")에 대한 인식이 주로 녹색 채널에서 나옵니다. 더 많은 픽셀을 녹색으로 할당함으로써 카메라는 더 풍부한 밝기 정보를 포착하여 이미지를 재구성 할 때 명확성이 높고 노이즈가 줄어들어 궁극적으로 이미지를 더 자연스럽고 선명하게 보이게합니다.
GGB 대 BGGR 차이
RGGB와 BGGR이 가장 흔한 다양한 바이어 패턴 배열이 있습니다. 둘 다 "이중 녹색"원칙을 따르지만 특정 배열은 다릅니다.
RGGB 배열에서, 빨간색과 파란색 픽셀은 녹색 픽셀을 가로 질러 대각선으로 배치됩니다. BGGR 배열에서 녹색 픽셀은 빨간색과 파란색 픽셀로 대각선으로 배치됩니다. 이러한 배열의 선택은 후속 ISP 처리, 특히 데모 시합 알고리즘에 영향을 미칩니다.
예를 들어, 다른 배열은 보간 계산 동안 인접한 픽셀의 조합에 영향을 미칩니다. 임베디드 비전 시스템의 경우 Bayer 패턴의 선택은 종종 ISP 칩 설계에 따라 다르며 최종 이미지 품질을 보장하기 위해 하드웨어 및 소프트웨어 조정이 필요합니다.
ISP (이미지 신호 프로세서) 란 무엇입니까?
그만큼이미지 신호 프로세서 (ISP)카메라 시스템의 두뇌입니다. 주요 작업은 센서로부터 처리되지 않은 바이어 원시 데이터를 수신하고 복잡한 처리 파이프 라인을 통해 디스플레이 또는 분석 준비가 된 표준 이미지 형식으로 변환하는 것입니다. ISP는 독립형 칩이거나 기본 제어 칩에 통합 될 수 있습니다.
효율적인 ISP는 고성능 카메라 모듈의 핵심입니다. 처리하는 모든 단계는 중요하며 최종 이미지 품질을 직접 결정합니다.
ISP 처리 파이프 라인
완전한 ISP 파이프 라인에는 일반적으로 수십 개의 처리 단계가 포함됩니다. 여기서 몇 가지 주요 단계를 강조 할 것입니다.
1. 나쁜 픽셀 보정
제조 공정에서 센서는 비 후생적이거나 영구적으로 빛나는 개별 불량 픽셀을 개발할 수 있습니다. ISP의 첫 번째 단계는 이러한 잘못된 픽셀을 식별하고 수리하여 주변 픽셀에서 보간하여 데이터를 대체하는 것입니다.
2. 검은 레벨 보정
완전한 어둠 속에서도 센서는 여전히 "암 전류"로 인해 약한 전기 신호를 생성합니다. ISP는이 고정 된 "검은 레벨"을 빼기 위해 검은 색 픽셀이 진정으로 0임을 확인하여 이미지의 동적 범위를 향상시킵니다.
3. 비난
센서가 조명이 저조면 많은 양의 임의의 전자 노이즈가 발생합니다. ISP는 복잡한 알고리즘을 사용하여 이미지 디테일을 노이즈와 구별 한 다음 노이즈 감소를 적용합니다. 이것은 이미지 순도를 크게 향상시킬 수 있지만 과도한 노이즈 감소도 세부 사항을 지울 수 있습니다.
4. 탈모
이것은 ISP의 핵심 기능 중 하나입니다. Demosaicing 알고리즘은 각 픽셀의 인접한 빨간색, 녹색 및 파란색 픽셀의 정보를 보간하여 해당 픽셀의 완전한 RGB 값을 유추합니다. Demosaicing 알고리즘의 품질은 최종 이미지의 색상 재생 및 세부 사항을 직접 결정합니다.
5. 자동 화이트 밸런스
다른 광원 (예 : 햇빛, 형광 조명 및 백열등)은 색 온도가 다른 빛을 방출합니다. 자동 화이트 밸런스 기능은 이미지의 색 분포를 분석하고 빨간색, 녹색 및 파란색 채널의 게인을 자동으로 조정하여 흰색 물체가 모든 조명 소스에서 흰색으로 정확하게 렌더링되도록합니다. 이 역동적이고 복잡한 프로세스는 ISP의 핵심 판매 지점 중 하나입니다.
6. 색 보정 (CCM)
흰색 밸런싱 후에도 카메라의 색상 재생산은 정확하지 않을 수 있습니다. ISP는 컬러 매트릭스를 사용하여 색상을 추가로 올바르게 수정하여 카메라 센서의 기본 색상 공간을 표준 색상 공간 (예 : SRGB)에 매핑하여 다양한 장치에서 색상 일관성을 보장합니다.
7. 감마 교정
감마 보정은 이미지 밝기가 인간의 눈의 비선형 시각적 인식에 맞는 비선형 프로세스로 밝고 어두운 영역이 더 자연스럽고 깊이있는 것처럼 보이게합니다.
8. 날카 롭고 가장자리 향상
ISP는 이미지의 가장자리를 향상시켜 더 명확하고 선명하게 보입니다. 그러나 과장된 톱니가 부 자연스러운 들쭉날쭉 한 인공물을 도입 할 수 있으므로 정확한 제어가 필요합니다.
ISP가 컴퓨터 비전에 미치는 영향
임베디드 비전 엔지니어의 경우 ISP는 이미지 미화를위한 도구 이상입니다. ISP의 모든 처리 단계는 다운 스트림 컴퓨터 비전 알고리즘의 성능에 직접적인 영향을 미칩니다. ISP의 역할을 무시하면 객체 감지와 같은 응용 분야에서 치명적인 결함이 발생할 수 있습니다.
ISP의 "블랙 박스"효과
많은 엔지니어들은 ISP를 "블랙 박스"로 실수로보고 있는데, 이는 "잘 생긴"이미지를 생성 할 책임이 있다고 가정합니다. 그러나 일부 ISP 처리는 시각적 품질을 향상시킬 수 있지만 컴퓨터 비전 알고리즘을 방해 할 수도 있습니다.
예를 들어, 지나치게 공격적인 ISP 노이즈 감소는 이미지의 미묘한 텍스처와 세부 사항을 부드럽게 할 수 있으며, 이는 객체 감지 알고리즘에 중요합니다.
자동 화이트 밸런스의 도전
불안정한 자동 화이트 밸런스는 컴퓨터 비전의 주요 진통 점입니다. 조명 조건이 변경되면 자동 화이트 밸런스가 색상 온도를 정확하게 조정하지 못하면 이미지에 색상이 발생할 수 있습니다. 이로 인해 실제 응용 프로그램에서 숙련 된 객체 감지 모델이 비효율적으로 만들어 캐스트로 객체를 감지 할 수 없을 수 있습니다.
이 문제를 해결하는 방법
컴퓨터 비전 알고리즘의 견고성을 보장하기 위해 엔지니어는 비전 응용 프로그램에 최적화 된 ISP가 필요합니다. 이는 ISP의 매개 변수를 제어 할 수 있고 조절할 수 있어야하므로 엔지니어는 특정 애플리케이션 시나리오 (예 : 밤에 밝은 실외 조명 또는 낮은 조명 조건)에 대한 이미지 처리 파이프 라인을 미세 조정할 수 있습니다. 또한 중요합니다카메라 모듈을 선택하십시오Raw Bayer 데이터를 출력합니다. 이를 통해 엔지니어는 백엔드 소프트웨어에서 ISP 처리를 수행하여 최대의 유연성과 제어를 제공 할 수 있습니다.
요약
Bayer 패턴 및 이미지 신호 프로세서는 디지털 이미징 체인의 초석으로, 원시 라이트 신호를 유용한 이미지 정보로 변환하기 위해 협력합니다. ISP의 각 처리 단계를 이해하고 다운 스트림 컴퓨터 비전 알고리즘에 직접적인 영향을 인식하는 것은 모든 임베디드 비전 엔지니어에게 필수적입니다. ISP는 이미지의 미학에 기여할뿐만 아니라 객체 감지 및 이미지 인식과 같은 AI 응용 프로그램의 성공을 결정합니다.
Muchvision은 ISP 최적화에 도움이됩니다
프로젝트에 대한 카메라 모듈 ISP 최적화로 어려움을 겪고 있습니까?오늘 전문가 팀에 문의하십시오또한 임베디드 비전 프로젝트의 성공을 돕기 위해 전문 이미지 신호 프로세서 선택 및 사용자 정의 서비스를 제공합니다!
