소개
스마트 폰에서 산업용 카메라에 이르기까지 현대적인 디지털 이미징 장치에서 카메라 모듈은 시각적 정보를 캡처하는 핵심입니다. 우리가 알다시피, 이미지 센서는 빛을 전기 신호로 변환 할 책임이 있습니다. 그러나 센서에 의한 이러한 원시 전기 신호 또는 데이터 출력은 우리가 익숙한 명확하고 색상에 대한 이미지로 직접 제시 할 수 없습니다. 일련의 복잡한 계산 및 변환을 거쳐야합니다.센서 가란 무엇입니까?
이러한 중요한 이미지 처리 작업을 수행하는 전용 구성 요소는 이미지 신호 프로세서 (ISP)입니다. ISP는 카메라 모듈 또는 전체 이미징 시스템의 "디지털 뇌"에 비 유적으로 비유됩니다. 센서에서 캡처 한 원시 데이터를 최종 사용 가능한 디지털 이미지 또는 비디오 스트림으로 변환 할 책임이 있습니다.
그렇다면 ISP는 무엇입니까? 이미징 프로세스에서 어떤 역할을합니까?
카메라 모듈에서 ISP의 역할
일반적인 디지털 이미징 체인에서 ISP는 이미지 센서 다음에 위치하지만 최종 이미지 데이터가 저장, 표시 또는 주 프로세서로 전송되기 전에 있습니다. 기본 프로세스는 다음과 같습니다.
Light -> Lens -> Image sensor (captures raw light signals and converts them into electrical signals, usually containing raw image data) -> ISP (receives and processes raw data) ->출력 (처리 된 디지털 이미지/비디오).
ISP는 고속 데이터 처리 공장과 같습니다. 센서에서 생성 된 "원자재"를 수신하고 다양한 내부 처리 장치 및 계산을 통해 고품질 "완제품"-디지털 이미지로 변환합니다.
ISP가 필요한 이유는 무엇입니까? 원시 센서 데이터의 문제
이미지 센서, 특히 CFA (Color Filter Array)가있는 센서, 다음 특성을 갖춘 원시 데이터 (예 : Bayer 형식 원시 데이터)를 출력하므로 ISP로 처리해야합니다.
- 불완전한 색상 :CFA의 존재로 인해 각 픽셀은 일반적으로 완전한 색상 픽셀이 아닌 빨간색, 녹색 및 파란색의 세 가지 기본 색상 중 하나만 기록합니다.
- 소음:센서 자체의 전자 활동 및 신호 전송은 특히 저조도 환경에서 신호가 증폭 될 때 노이즈가 더 분명합니다.
- 형식화되지 않은 :원시 데이터는 표준 이미지/비디오 소프트웨어로 직접 저장, 표시 또는 열기에 편리하지 않은 센서 별 형식입니다.
- 수정되지 않은 :원시 데이터는 화이트 밸런스, 색 보정 등으로 조정되지 않았으며 장면의 색상과 밝기를 정확하게 반영 할 수 없습니다.
ISP의 존재는 이러한 문제를 효율적으로 해결하고 이러한 원시의 불완전한 데이터를 표준을 충족하고 시각적 효과가 좋은 이미지로 변환하는 것입니다.CFA는 무엇입니까?
ISP는 무엇을합니까? 핵심 기능이 설명되었습니다
ISP에는 다양한 복잡한 이미지 처리 알고리즘을 실행하는 일련의 전용 하드웨어 처리 장치가 포함되어 있습니다. ISP의 핵심 기능에는 다음이 포함됩니다.
원시 데이터 변환 :
- 데모 소싱 / 디바이 링 :ISP의 기본 작업. 각 픽셀의 색상 정보와 주변 픽셀의 색상 정보를 기반으로 각 픽셀의 누락 된 색 구성 요소를 추론하기 위해 알고리즘을 사용하여 전체 컬러 픽셀 정보를 재구성합니다.
- 결함이있는 픽셀 보정 :센서에서 유효하지 않은 픽셀을 감지하고 수정하십시오.
이미지 품질 개선 :
- 소음 감소 :ISP는 다양한 알고리즘 (예 : 공간 노이즈 감소 및 시간적 노이즈 감소)을 사용하여 이미지의 노이즈를 식별하고 제거하여 사진을 더 매끄럽게 만듭니다. 이는 저조도 환경에서 특히 중요합니다.저조도 카메라 모듈은 무엇입니까?
- 샤프닝 :이미지 가장자리의 대비를 향상시켜 그림을 더 명확하고 자세하게 보이게합니다.
- 광학 보상 :왜곡 및 가장자리 광 손실과 같은 렌즈의 광학 결함을 수정하십시오.
색상 및 밝기 제어 :
- 자동 화이트 밸런스 (AWB) :장면 조명을 분석하고 색상 균형을 조정하여 흰색 물체가 올바른 흰색으로 나타나서 장면의 진정한 색상을 복원합니다.
- 색 보정 :이미지 색상을 조정하여 인간의 눈 인식이나 특정 색상 표준과보다 정확하고 일치합니다.
- 자동 노출 (AE) 및 게인 제어 :장면 밝기를 분석하고 노출 시간과 센서 게인을 자동으로 조정하여 적절한 밝기가있는 이미지를 얻습니다.
- 톤 매핑 및 감마 보정 :이미지의 밝기 곡선과 대비를 조정하여 이미지가 디스플레이에서 최적으로 나타납니다.
데이터 출력 준비 :
- 서식 :처리 된 이미지 데이터를 표준 이미지 형식 (예 : YUV, RGB)으로 변환합니다.
- 압축:효율적인 저장 및 전송을 위해 이미지를 파일 형식 (예 : JPEG)으로 압축하거나 비디오 스트림을 표준 형식 (예 : H.264)으로 인코딩합니다. 이것은 일반적으로 ISP 내부의 인코더 하드웨어로 수행됩니다.
ISP가 수행하는 주요 알고리즘 및 기능
ISP에는 일련의 고도로 최적화 된 하드웨어 가속 장치와 복잡한 소프트웨어 알고리즘이 포함되어 있으며 이는 프로세싱 파이프 라인을 형성합니다. 일반적인 ISP 처리 흐름에는 다음의 주요 단계 및 알고리즘이 포함되지만 이에 국한되지는 않습니다.
전처리 :
- 검은 색 레벨 뺄셈 :빛이 없을 때 센서에 의해 생성 된 기준 신호를 빼서 검은 색 영역이 진정으로 검은 색이되도록합니다.
- 결함이있는 픽셀 보정 :항상 비정상적인 값을 출력하는 센서의 손상된 픽셀을 감지하고 수리합니다.
데모 소싱 :
- 이것은 ISP의 가장 중요한 알고리즘 중 하나입니다. 앞에서 언급했듯이 원래 데이터는 픽셀 당 하나의 색상 만 있습니다. Demosaicing 알고리즘은 픽셀의 색상 정보와 주변 인접 픽셀의 색상 정보를 분석하여 각 픽셀의 다른 두 개의 누락 된 컬러 구성 요소를 추정하여 완전한 RGB 3 색 정보를 재구성합니다.
- 데모 싱 알고리즘의 품질은 이미지의 명확성, 색상 정확도 및 아티팩트 (예 : 들쭉날쭉 한 또는 거짓 색상)가 가장자리에 나타나는지 여부에 직접적인 영향을 미칩니다.
소음 감소 :
- 이미지 센서의 원시 데이터 출력, 특히 저조도 환경에서는 눈에 띄는 노이즈가 포함됩니다. ISP는 이러한 원치 않는 곤경을 줄이기 위해 다양한 노이즈 감소 알고리즘을 수행합니다.
- 일반적인 노이즈 감소 알고리즘에는 공간 노이즈 감소 (동일한 프레임 내의 픽셀 분석) 및 시간적 노이즈 감소 (연속 프레임 사이의 유사성 분석을 위해 임의의 노이즈를 제거)가 포함됩니다.
- 좋은 노이즈 감소 알고리즘은 이미지의 세부 사항을 가능한 한 많이 보존하면서 노이즈를 효과적으로 제거 할 수 있습니다.
자동 화이트 밸런스 (AWB) :
- 다른 광원 (백열, 형광성, 햇빛, 그림자)은 색 온도가 다릅니다. ISP의 자동 화이트 밸런스 알고리즘은 장면의 빛 구성을 분석하고 빨간색, 녹색 및 파란색의 세 가지 기본 색상의 게인을 조정하여 이미지의 흰색 물체가 순수한 흰색으로 보이도록하여 전체 그림의 색상이 자연스럽고 정확하게 보이게합니다.
색상 보정 및 색상 공간 변환 :
- ISP는 다른 색상에 대한 고르지 않은 센서 응답을 보상하기 위해 색상 보정 알고리즘을 수행하여 이미지 색상이 인간의 눈의 인식에 더 가깝게 만듭니다.
- 다양한 디스플레이의 올바른 디스플레이를 위해 센서의 원래 색상 공간 (예 : SRGB)으로 이미지 데이터를 표준 색상 공간 (예 : SRGB)으로 변환하십시오.
자동 노출 (AE) 및 제어 게인 :
- ISP는 장면의 전체 밝기 분포를 분석하고 자동 노출 알고리즘을 통해 최적의 노출 시간 및 센서 게인 (신호 증폭 계수)을 계산합니다.
- ISP는이 매개 변수를 이미지 센서 또는 시스템의 다른 부분으로 다시 공급하여 이미지가 약간의 밝기를 갖지 않도록 조정하여 밝은 세부 사항을 잃어 버리거나 어두운 세부 사항을 잃지 않도록하지 않습니다.
톤 매핑 및 감마 보정 :
- 이 알고리즘은 이미지의 전체 밝기 범위와 이미지의 대비를 조정하여 이미지가 디스플레이에 더 층상되고 시각적으로 영향을 미칩니다. 톤 매핑은 특히 HDR (High Dynamic Range) 이미지를 처리 할 때 핵심 단계입니다.
샤프닝 :
- ISP는 이미지 가장자리의 대비를 향상시키기 위해 선명한 알고리즘을 수행하여 그림을 더 명확하게 보이고 세부 사항을 더 두드러집니다. 과도하게 공유하면 후광이나 소음이 강조 될 수 있습니다.
광학 보정 :
- 배럴 왜곡, 핀쿠션 왜곡 또는 vignetting과 같은 렌즈의 광학 결함을 보상하십시오.
이미지 압축 :
- ISP 옆에 밀접하게 통합 된 일부 ISP 또는 하드웨어 모듈은 처리 된 이미지를 표준 형식 (예 : JPEG)으로 압축하거나 효율적인 스토리지 또는 전송을 위해 H.264 및 H.265와 같은 형식으로 비디오 스트림을 인코딩하는 데 도움이됩니다.
ISP가 이미지 품질에 필수적인 이유
ISP는 최종 이미지 품질을 결정하는 데 매우 중요한 역할을합니다.
- 원시 데이터에서 이미지까지의 다리입니다.ISP가 없으면, 시청할 수없는 원시 및 시청할 수없는 센서 데이터 만 얻을 수 있습니다.
- 이미지의 마지막 모양과 느낌을 정의합니다.ISP에서 수행하는 이미지 처리 알고리즘의 품질은 이미지의 색상, 선명도, 소음 수준 및 전반적인 시각적 효과를 직접 결정합니다. 고성능 ISP는 이미지 센서의 전위를 최대화 할 수 있습니다. 센서의 기본 품질이 양호하더라도 ISP의 처리 능력은 최종 이미지를 더 좋게 만들 수 있습니다. 반대로, 뒤로 ISP는 상단 센서의 성능을 제한 할 수 있습니다.
- 고급 카메라 기능을 지원합니다.많은 최신 카메라 기능 (예 : HDR, 일부 계산 사진 효과, 장면 인식 지원)의 구현은 ISP의 처리 능력과 함께 실행되는 알고리즘에 의존합니다.
ISPS는 어디에서 발견됩니까?
ISP의 물리적 위치는 여러 형태를 취할 수 있습니다.
- 센서 칩 (통합 ISP / SOC)에 통합 :스마트 폰, 임베디드 장치 및 소비자 제품을위한 많은 카메라 모듈은 ISP 기능을 이미지 센서와 동일한 칩에 통합합니다. 이 높은 수준의 통합은 크기와 비용을 줄입니다.
- 이산 ISP 칩 :강력하고 유연한 처리 기능이 필요한 일부 고급 카메라, 전문 카메라 또는 시각 시스템에서 ISP는 별도의 전용 칩 일 수 있습니다. 이것은 더 큰 처리 능력 및 사용자 정의 공간을 제공합니다.
- 호스트 프로세서에 통합 (호스트 프로세서의 ISP 블록) :많은 고성능 호스트 프로세서 (예 : 휴대폰, 컴퓨터 SOC 또는 자동차 칩)에는 ISP 기능 모듈이 포함되어 있습니다. 이 시점에서 카메라 모듈은 예비 처리 만 수행하거나 최종 처리를 위해 호스트 칩의 ISP 부분에 원시 데이터를 직접 출력 할 수 있습니다.
결론
ISP (Image Signal Processor)는 최신 디지털 이미징 프로세스에서 필수 불가결 한 핵심 구성 요소입니다. 그것은 카메라 모듈의 "디지털 뇌"와 같으며, 이미지 센서에서 캡처 한 원시, 불완전하고 시끄러운 데이터를 효율적이고 지능적으로 처리하고 변환 및 최적화하기 위해 복잡한 알고리즘 세트를 실행하고, 명확하고 색상으로, 디테일이 풍부한 디지털 이미지 또는 비디오를 생성합니다.
ISP가 무엇인지, 어떤 주요 작업 및 이미징 체인에서의 위치를 이해하면 카메라 모듈의 작동 방식과 ISP의 성능이 고품질 이미지 출력을 얻는 데 중요한 이유를 더 잘 이해하는 데 도움이됩니다.
관련 FAQ :
1. 모든 카메라 모듈에는 자체 ISP가 있습니까?
A.모든 카메라 모듈에 완전하고 독립적 인 ISP 칩이 포함 된 것은 아닙니다. 일부 모듈은 이미지 센서 칩의 ISP 기능을 통합하여 "System-on-Chip"(SOC) 모듈을 형성합니다. 다른 모듈은 최종 처리를 위해 매우 기본적인 사전 처리 및 출력 데이터 만 외부 메인 프로세서 칩 (내부에 ISP 함수 블록이 통합 될 수 있음)으로 데이터를 수행 할 수 있습니다. 그러나 ISP가 어디에 있든 상관없이 이미징 프로세스에서의 역할이 필요합니다.
2. ISP의 처리 능력이 카메라의 성능에 어떤 영향을 미칩니 까?
A.ISP의 처리 능력과 내부 알고리즘의 품질은 최종 이미지 품질 (예 : 색상 정확도, 화이트 밸런스 등), 사진 촬영 속도 (프로세싱 파이프 라인의 효율성은 연속 촬영 속도에 영향을 미치는 속도) 및 고급 기능 (예 : HDR 합성 효과, 야간 컨텐츠 수정 및 일부 이미지 컨텐츠 기반 분석)에 직접 영향을 미칩니다.
3. 이미지 센서 자체가 잘 작동하지 않으면 ISP가 이미지 품질을 크게 향상시킬 수 있습니까?
A.ISP는보다 강력한 소음 감소 알고리즘을 통해 사진을 깨끗하게 보이게하거나 지능형 알고리즘을 통해 색상과 대비를 최적화하는 등 평균 성과 센서의 이미지를 어느 정도 향상시킬 수 있습니다.
원 스톱 카메라 모듈 사용자 정의 솔루션
카메라 모듈에 대한 요구 사항을 보내 주시면 최상의 솔루션을 사용자 정의 할 것입니다. 프리미엄 솔루션을 사용하면 제품을 향상시키고 고객을 참여 시키며 임베디드 비전 애플리케이션의 성장과 성공을위한 새로운 기회를 열 수 있습니다.
