Search
🔵

b3.4_5.1_2.1_2. title: 충분히 작은 w에 대해 Mp=w이 성립하는 p를 구하는데, p가 영벡터가 아니길 바란다면 고유값분해 혹은 특이값분해를 사용해 근사할 수 있다.

생성
🚀 prev note
🚀 next note
14 more properties
한쪽 변이 0인 연립일차방정식은 Mp=0\mathrm{Mp=0} 문제로 바라볼 수 있다고 배웠다. 즉, 선형변환 M\mathrm{M} 이후 영벡터가 되는 벡터 p\mathrm{p} 를 구하는 문제로 바라볼 수 있다(from1).
하지만 Mp=0\mathrm{Mp=0} 문제를 풀 때, 세상의 다양한 오차 등으로 인해(참고3) 정확한 p\mathrm{p} 를 구하기 어려운 상황이 존재할 수 있다. 혹은, 정확한 p\mathrm{p} 를 구하는 것이 불가능한 상황이 있다. 사실 이런 경우가 훨씬 더 많다. 이럴 때에는 최대한 좋은 p\mathrm{p} 를 구하는 아이디어를 사용하는 것이다. 영벡터는(p=0\mathrm{p{=}0}) 선형변환의 정의상 선형변환 M\mathrm{M} 이후에 무조건 영벡터로 남는다(참고1). 하지만 Mp=0\mathrm{Mp=0} 문제를 풀 때, p≠0\mathrm{p{\not=}0} 인 벡터 p\mathrm{p} 를 구하고 싶은 것이 당연하다.
어떤 p′\mathrm{p'} 가 영벡터가 아니지만, 선형변환 M\mathrm{M} 이후에 영벡터와 매우 비슷하다면, 그 값을 Mp=0\mathrm{Mp=0} 을 만족하는 p\mathrm{p} 라고 보는 것이다. 혹은, Mp=w\mathrm{Mp=w} 로 식을 놓고, 벡터 w\mathrm{w} 의 크기를 최소화시킬 수 있는 영벡터가 아닌 벡터 p\mathrm{p} 를 찾아내는 문제라고 보는 것이다(참고3).
이때 고유값과 고유벡터 개념이 등장한다. 고유벡터(eigen vector)의 정의에 따르면, 고유벡터는 선형변환 M\mathrm{M} 이후에도 스팬을 유지하는 영벡터가 아닌 벡터이다(참고7). 그리고 고유값(eigen value)의 정의에 따라, 고유값은 상응하는 고유벡터의 선형변환 M\mathrm{M} 전후 해당 벡터의 크기 비를 담고 있다(from2). 여기서 아하 모먼트가 온다.
첫번째, “모든 고유벡터는 영벡터가 아니다(p≠0\mathrm{p{\not=}0})” 라는 특징을 이용한다. 두번째, 선형변환 M\mathrm{M} 이후 길이가 늘어나는 벡터도 있고, 길이가 줄어드는 벡터도 존재하는데 “고유값은 길이변화량을 담고 있다” 는 특징을 이용한다. 고유벡터에 대응하는 고유값이 충분히 0에 가깝다면, 그 고유값에 대응하는 고유벡터는 선형변환 이후 영벡터에 가까울 것이라고 생각해보는 것이다.
그렇다면 고유값과 고유벡터는 어떻게 얻을 수 있을까? 고유값분해(‣ Eigenvaluedecomposition of a matrix)는 행렬 M \mathrm{M} 을 고유값과 고유벡터로 분해해 주는 테크닉이다. 고유값분해를 통해 고유값과 고유벡터를 얻을 수 있다. 고유값이 0에 가장 가까운 고유벡터를 p′\mathrm{p'} 를 p=p′\mathrm{p=p'} 라고 여길 수 있다.
하지만 어떤 행렬에 고유값분해를 시도할 수 있는 조건은 매우 까다롭다. 고유값분해는 행렬식이 정의되는 정사각행렬에 대해서만, 그리고 완전한 랭크(‣ Full Rank) 변환에 대해서만 정의되기 때문이다(참고6). 이렇게 완전한 랭크 변환을 나타내는 정사각행렬을 정칙행렬(‣ Non-singular matrix (regular matrix, invertible matrix))이라고 한다.
고유벡터들 중에는 대응하는 고유값이 0인 벡터들이 충분히 있을 수 있다(참고4). 하지만 이런 벡터들이 있다는 것은, 행렬식이 0인 경우에 속하며(from1), 정칙행렬이 아니므로 고유값분해 테크닉을 통해 구할 수는 없고 다른 방법을 이용해야 한다(from3)
고유값분해를 하기 위한 조건이 까다롭다는 것은, 정칙행렬이 되기 위한 조건이 까다롭다는 말이기도 하다. 그래서 현실의 문제를 풀 때에는, 고유값분해의 컨셉을 비정사각행렬에 대해서도 적용이 가능하도록 일반화한 특이값분해(‣ Singular value decomposition) 테크닉이 많이 사용된다(참고2). Mp=0\mathrm{Mp=0} 문제로 바라보는 대신 Mp=ϵ\mathrm{Mp}=\epsilon 문제로 바라보고 풀기도 한다(참고8).
행렬과 관련된 용어 정리
•
정사각행렬(정방행렬)
◦
정사각행렬과 행렬식과의 관계
▪
행렬식이 정의된다.
◦
정사각행렬과 완전한 랭크 변환과의 관계
▪
정사각행렬은 완전한 랭크 변환일 수 있다.
•
‘행렬식이 0이 아닌 경우’ 와 동치이다.
•
‘정칙행렬인 경우' 와 동치이다.
•
고유값분해가 가능한 경우에 해당한다.
▪
정사각행렬은 완전한 랭크 변환이 아닐 수 있다.
•
‘행렬식이 0인 경우’ 와 동치이다.
•
고유값분해가 불가능한 경우에 해당한다.
◦
정사각행렬과 역행렬과의 관계
▪
정사각행렬이면 역행렬이 존재할 수 있다.
•
‘행렬식이 0이 아닌 경우’ 와 동치이다.
•
‘정칙행렬인 경우' 와 동치이다.
•
고유값분해가 가능한 경우에 해당한다.
▪
정사각행렬이어도 역행렬이 존재하지 않을 수 있다.
•
‘행렬식이 0인 경우’ 와 동치이다.
•
고유값분해가 불가능한 경우에 해당한다.
•
비정사각행렬: 고유값분해가 불가능하다.
◦
비정사각행렬과 행렬식과의 관계
▪
행렬식이 정의되지 않는다.
◦
비정사각행렬과 역행렬과의 관계
▪
역행렬이 정의되지 않는다.
parse me : 언젠가 이 글에 쓰이면 좋을 것 같은 재료들.
1.
2.
본지가 좀 되어서… 우선 redundant 가 있다는 의미는 ‘해가 존재하지 않는다’ 는 의미일거에요. 무슨이야기냐면, Least Squre의 경우에는 미지수의 갯수보다 데이터의 갯수가 더 많습니다. 이런 경우라면, 해는 더 높은 차원에 존재하는데, 미지수의 갯수는 그것보다 적으니 최소제곱이라는 것은 미지수의 갯수만큼의 plane에 사영시키는 것과 같습니다. 그때 최적이라는게 최소제곱법의 원리였구요. -야옹야아옹
3.
그래서 redunant observaion이 있으면 해가 존재하지 않지만, X^TX로 eigen value는 항상 0보다 크게되어 0이되지 않습니다. 그래서 DLT의 조건에는 한 평면에 있으면 안된다는 조건이 붙을거구요. 한 평면에 있다는 것은 모든 포인트가 같은 한정된 축에서 나왔다는 의미이므로 redundant하지 않습니다. -야옹야아옹
4.
4:52, 그렇지만 일반적으로 X의 역행렬은 구하기가 어렵습니다. 왜냐하면 여기서 m, n 2개의 값이 있는데, 만약에 X의 역행렬이 존재하려면 행의 수와 열의 수가 같은, 즉 squared matrix가 되어야 하는데, 일반적으로는 데이터 샘플의 개수가 특징 값의 개수보다 더 크게 되기 때문입니다. 이 경우를 우리는 overdetermined라고 부릅니다. 따라서 방금 전에 살펴보았던 X 역행렬을 양변에 곱해주는 이와 같은 해법은 우리가 사용하기 어렵습니다. 그대신 우리는 prediction error을 최소화하는 방식을 이용하여 문제를 해결할 수가 있습니다.
5.
캡쳐해주신 페이지의 앞에서 신나게 Mp=0꼴로 만들었을거고 이걸 minimize 하는 p 를 찾고 싶은데. (그냥 고유값이라고 할게요.) Mp=w !=0 이라면, p 는 고유값이 0이아닌 고유벡터의 콤비네이션이어야 되겠네요. M자체에 고유값이 0이 없다면 그냥 모든 고유벡터의 콤비네이션이 올수 있고.. -야옹야아옹
6.
그중에서 가장 작은게 무엇인가? 하는 문제라면, p의 절대값을 1로 줬다고 하면, 그럼 이건 어떤 고유벡터를 normalize한걸 곱했다라는 의미로 한정할 수 있을거고, 고유벡터를 곱해서, 가장 작은 값이 나올거면 그중 고유값은 가장 작아야 겠죠. 그래서 가장 작은 고유값에 매칭되는 고유벡터를 쓰겠다. 그때 가장 작다의 의미가 될겁니다. -야옹야아옹
from : 과거의 어떤 생각이 이 생각을 만들었는가?
2.
3.
supplementary : 어떤 새로운 생각이 이 문서에 작성된 생각을 뒷받침하는가?
1.
None
opposite : 어떤 새로운 생각이 이 문서에 작성된 생각과 대조되는가?
to : 이 문서에 작성된 생각이 어떤 생각으로 발전되고 이어지는가?
1.
참고 : 레퍼런스