Ax=b 에서A의 대각 행렬에 0이 포함되어 있지 않은 경우, 해x를 계산하는 방법에는 크게 직접법(direct method)와 반복법(iterative method)이 있다. 전자는 단 한번의 행렬 계산으로 정확한 해를 구하는 반면, 후자는 행렬 계산을 반복하여 근사해(approximate solution)를 구하는 것이다. 행렬의 크기가 작다면 전자가 효과적이지만 행렬의 크기가 커지면 후자가 효과적이다.