•
2021/05/23, 2023/10/20
영상의 열화(degradation)와 복원(restoration)
영상 복원은 영상획득 과정에서 발생한 열화(화질의 저하)를 제거하거나 감소시키는 것을 의미한다.
•
영상을 열화시키는 원인은 다양하다.
◦
초점에 의한 블러(optical blur)
◦
움직임에 의한 블러(motion blur)
◦
공간 양자화(spatial quantization)
◦
잡음(noise)
잡음(noise)
영상의 잡음은 카메라에서 광학 신호를 전기적 신호를 변환하는 과정 혹은 외부의 교란에 의해 센서에 추가되는 원치 않은 형태의 신호를 의미한다.
•
노이즈는 열화의 가장 큰 원인 중 하나이다.
•
신호에 혼입되는 교란의 종류에 따라 영상에 다른 형태로 나타난다.
•
일반적으로 어떤 상황에서 어떤 종류의 잡음이 생길지 예상할 수 있다.
•
영상에서 특정 경로상에 있는 픽셀의 밝기값을 그래프 형태로 표현한 것을 프로파일(profile)이라고 한다. 프로파일을 이용해 영상의 노이즈를 분석하기도 한다.
◦
OpenCV에서는 profile 함수를 제공한다.
•
대표적인 잡음의 종류는 다음과 같다.
◦
소금&후추 잡음
◦
가우시안 잡음
◦
반점 잡음
◦
주기성 잡음
소금&후추 잡음(salt and pepper noise)
소금&후추 잡음은 임펄스(impulse) 잡음, 샷(shot) 잡음, 바이너리(binary) 잡음 이라고도 한다.
•
소금은 하얀색, 후추는 검정색이다. 정말 말 그대로 소금과 후추를 뿌린듯한 잡음을 의미한다.
•
영상에 급격하고 갑작스러운 외란이 작용할 때 발생한다.
가우시안 잡음(gaussian noise)
백색잡음(white noise)은 공간적 상관관계가 전혀 없는 무작위 변수이다. 각 픽셀에 들어가는 값은 평균이 0 이고, 유한한 분산의 정규분포로부터 샘플링한 값이다. 따라서 가우시안 잡음은 덧셈적인(additive) 백색 잡음이다.
•
가우시안 잡음은 주로 저조도 환경에서 발생한다.
반점 잡음(speckle noise)
반점 잡음은 곱셈적인(multiplicative) 잡음으로, 백색 잡음이 원본 이미지에 곱해진 잡음이다.
•
반점 잡음은 레이더나 의료용 초음파 영상에서 주로 발생한다.
곱셈적인 잡음과 덧셈적인 잡음의 차이를 잘 이해하지 못했다. 하지만 지금은 반점 잡음과 가우시안 잡음을 명확히 구분해서 이해하려고 하지는 않아도 될 것 같다. 이를 이해하기 위해서는 꽤나 많은 공부가 필요할 것 같다. 이런 것이 있다 정도만 하고 넘어가자.
주기성 잡음 (periodic noise)
영상에 주기적인 교란이 있는 경우에 발생하며, 막대 모양으로 나타나는 잡음이다.
•
삼각함수를 활용해 모사할 수 있다.
•
요즘 쉽게 볼 수 있는 잡음은 아니다.
•
모터처럼 주기적인 것들에 의해서 반복적인 교란을 받은 경우에 생성될 수 있다.
잡음의 제거
소금&후추 잡음의 제거
•
소금&후추 잡음은 고주파 성분이다.
•
따라서 고주파 성분을 제거시키는 방법을 통해 잡음을 제거할 수 있다.
•
하지만 단순히 저주파 필터를 이용해 제거한다면 영상이 흐려진다.
•
이러한 문제를 보완하기 위해 여러 아이디어를 생각해볼 수 있다.
◦
예를 들어, 중간값 필터(median filter)을 이용해 제거할 수 있다.
▪
▪
가장 좌측: 10% 소금&후추 잡음
▪
a3: 3x3 평균 필터
▪
a7: 7x7 평균 필터
▪
m3: 3x3 중간값 필터
3x3 중간값 필터의 경우, 9개의 픽셀값 중 소금이나 후추가 5개 이상이라면 정상적인 작동이 불가능하다. 반면, 5x5 의 중간값 필터라면, 25개의 픽셀값 중 소금이나 후추가 13개 이상이어야만 정상적인 필터링이 불가능한 상태가 된다. 필터의 크기가 커지면 강인해진다. 하지만, 넓은 영역에서 중간값을 선택하다 보면, 소금이나 후추를 걸러낼 뿐 아니라 공간적으로 먼 영역으로부터 픽셀 강도가 선택되었을 가능성이 있기 때문에, 이미지의 디테일들이 사라진다. 속도가 느려지는 것은 덤이다.
가우시안 잡음과 반점 잡음의 제거
•
고주파 성분을 제거시키는 방법을 통해 잡음을 제거할 수 있다.
•
하지만 단순히 저주파 필터를 이용해 제거한다면 영상이 흐려진다.
•
이러한 문제를 보완하기 위해 여러 아이디어를 생각해볼 수 있다.
◦
예를 들어, 가우시안 노이즈의 특성을 이용해 제거할 수 있다.
▪
가우시안 잡음에 오염된 동일한 형상의 영상을 다수 얻을 수 있는 경우에 고려할 수 있다.
•
예를 들어, 인공위성에서 동일한 위치의 이미지를 정말 많이 얻을 수 있는 경우에 해당한다. 각 위성 영상에는 가우시안 노이즈가 들어가 있을 것이다.
•
하지만 가우시안 노이즈의 특성상 동일한 위치에서 촬영한 영상에 각각 들어 있는 노이즈들은 서로 연관성이 전혀 없는 상태이다.
▪
가우시안 잡음의 평균은 0이라는 특성을 이용한다. 가우시안 분포는 이므로, 큰 수의 법칙에 따라, 이 커지면 커질수록 0에 가까워진다.
◦
적응형 필터(adaptive filter)의 일종인 양방향 필터(bilateral filter)을 이용해 제거할 수 있다.
▪
average filtering
original, adaptive filtering 3x3, 5x5, 7x7, 9x9
▪
에지를 잘 살리고 노이즈를 효과적으로 제거할 수 있다.
주기성 잡음의 제거
주기적 잡음이 포함된 영상
•
주기성 잡음은 주파수 도메인에서 쉽게 발견될 수 있다.
•
따라서 주기적 패턴을 보이는 잡음은 주파수 도메인 필터를 통해서 제거를 할 수 있다.
•
•
