#3. 스테레오 카메라 원리 분석(3) : SAD와 SSD

 

아래 블로그를 참조하였습니다.

영역 기반 정합 방법 - SAD(Sum of Absolute Difference), SSD(Sum of Squared Difference)

 

스테레오 카메라 원리 분석(3) : SAD와 SSD | Notion

영역 기반 정합 방법

Ⅰ. 영역 기반 정합 방법

스테레오 카메라에서 영역 기반 정합(Local Area-Based Matching) 방법은 특정 픽셀 주변의 작은 영역(블록 또는 윈도우)을 비교하여 대응점을 찾는 방식입니다.

 

이 중에서 SAD (Sum of Absolute Differences)와 SSD (Sum of Squared Differences)는 대표적인 비용 함수로, 두 이미지 간의 유사도를 측정하여 시차(disparity)를 계산하는 데 사용됩니다.

Ⅱ. SAD(Sum of Absolute Difference)

💡 SAD는 두 이미지의 대응 영역에서 픽셀 값의 절대 차이 합을 계산하는 방식입니다.
대응하는 픽셀 간의 차이를 절대값으로 취하여 합산하며, 이 값이 작을수록 두 영역이 유사하다고 판단합니다.

 

SAD는 좌/우 윈도우 내 존재하는 픽셀들의 값의 차이에 절댓값을 취한 후, 합산하여 정합 비용을 계산하는 방식입니다.

아래의 그림을 보면 쉽게 이해 가능합니다.

SAD 알고리즘

1. 기준 영상(좌측 영상)의 한 점과 목표 영상(우측 영상)의 시차 탐색 범위 내 존재하는 모든 픽셀에 대해 윈도우를 설정
2. 좌측 윈도우 하나와 시차 탐색 범위 내 설정된 윈도우들 각각에 대해 절댓값 차이를 계산
3. 윈도우들 끼리의 절댓값 차이를 계산한 후, 각각의 윈도우들은 계산된 절댓값 차이를 합산하는데, 이것을 정합 비용으로 사용

SAD는 다음과 같은 수식으로 표현됩니다:

SAD의 수식

• 장점:
  • 구현이 간단하고 계산 속도가 빠릅니다.
  • 작은 차이에도 반응하며, 경계가 명확한 영역에서 유리합니다.
• 단점:
  • 조명 변화에 민감합니다. 조명이 다른 두 이미지에서는 오차가 발생할 가능성이 높습니다.
  • 텍스처가 부족한 영역에서 오차가 발생할 수 있습니다

Ⅲ. SSD(Sum of Squared Difference)

💡 SSD는 두 이미지의 대응 영역에서 픽셀 값의 제곱 차이 합을 계산하는 방식입니다. 차이를 제곱하여 합산하기 때문에 큰 차이에 더 큰 가중치를 부여합니다. SSD 값이 작을수록 두 영역이 유사하다고 판단합니다.

 

좌/우 윈도우 내 존재하는 픽셀들의 값의 차이에 제곱한 후, 합산하여 정합 비용을 계산합니다.  SAD와 거의 유사하며, 아래의 그림을 보면 쉽게 이해 가능합니다. (정합 비용을 계산하는 과정이 SAD와 거의 동일)

SSD

SSD는 다음과 같은 수식으로 표현됩니다:

SSD의 수식

• 장점:
  • 큰 차이에 대해 더 큰 페널티를 부과하므로, 정밀도가 높습니다.
  • 조명 변화에 조금 더 강건합니다.
• 단점:
  • SAD보다 계산 비용이 더 큽니다.
  • 여전히 텍스처가 부족하거나 균일한 영역에서는 잘못된 정합이 발생할 수 있습니다.

SAD와 SSD의 비교

SAD와 SSD는 스테레오 정합에서 사용되는 기본적인 비용 함수로, 각 픽셀 또는 영역의 유사성을 측정하는 데 사용됩니다.

 

SAD는 계산이 빠르고 간단한 반면, SSD는 보다 정밀한 계산을 통해 더 정확한 정합을 제공할 수 있습니다. 두 방법 모두 텍스처가 부족한 영역이나 조명 변화에 민감할 수 있기 때문에, 이들을 보완하기 위해 추가적인 후처리나 다른 정합 기법과 결합하여 사용하는 경우가 많습니다.

 

측면	SAD (Sum of Absolute Differences)	SSD (Sum of Squared Differences)
비용 함수	픽셀 값의 절대 차이 합	픽셀 값의 제곱 차이 합
복잡도	낮음	높음
정확도	일반적으로 SSD보다 낮음	SAD보다 더 정확함
조명 변화에 대한 강건성	조명 변화에 민감함	SAD보다 조금 더 강건함
계산 속도	빠름	느림 (제곱 연산 포함)
적용성	간단하고 경계가 명확한 영역에 적합	보다 정밀한 정합이 필요한 경우 적합

 

💡 참고할만한 문헌

논문 - A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms (★ 이 논문은 매우 저명함)
논문 - Review of stereo vision algorithms from software to hardware
여기에서 사용된 영상은 middleburry 데이터 셋중에서도 'teddy'영상을 사용

vision.middlebury.edu/stereo