[BOOK]프로그래머를 위한 선형대수 & 확률과 통계
머신러닝이나 딥러닝을 공부하다 보면 선형대수와 확률·통계의 개념이 수식 형태로 끊임없이 등장하지만, 그것이 직관적으로 어떤 의미를 갖는지 설명해주는 자료를 찾기가 쉽지 않습니다. 히라오카 카즈유키의 『프로그래머를 위한 선형대수』는 “선형대수란 무엇인가”라는 질문에 기하학적·시각적 직관을 통해 답하는 책입니다. 철학적 논쟁에 휩싸이지 않고 벡터가 어떤 성질을 보유하는가에 초점을 맞추는 방식이 인상적이었습니다.
Ⅰ. 프로그래머를 위한 선형대수
선형대수가 실용적으로 중요한 이유는 근사 수단으로서의 활용이 편리하기 때문입니다. 복잡한 현실 문제를 선형 구조로 근사해 풀어내는 것이 선형대수의 핵심이라 할 수 있습니다.
1. 벡터와 기저
벡터의 정의를 놓고 철학적 논쟁에 빠지기보다, 어떤 성질을 보유하는지에 합의하는 방식으로 이야기를 출발합니다. 화살표야말로 벡터의 실체이며, 수의 나열은 그것을 표현하는 방법일 뿐입니다.
기저(basis)란 주어진 벡터 집합 $e, e_1, \ldots$의 선형결합으로 임의의 벡터를 나타낼 수 있고, 그 표현이 유일할 때의 $e, e_1, \ldots$를 말합니다.
\[\mathbf{v} = u_0 e + u_1 e_1 + \cdots\]차원(dimension)은 기저벡터의 개수이자 좌표의 성분 수와 같습니다.
2. 행렬과 사상
행렬은 순수한 관계를 나타내는 편리한 기법입니다. 벡터를 다른 벡터로 옮기는 사상(mapping), 즉 일반적인 변환으로 이해하는 것이 핵심입니다.
3. 행렬식
행렬식(determinant)은 부피 확대율입니다. 3차 정방행렬 $A$에 대해 $\det(A)$는 공간의 부피가 몇 배가 되는지를 나타냅니다.
해석학에서 이중적분이 3차원 그래프의 부피로 해석되듯, 다중적분의 변수변환에서 야코비안이 결정적인 역할을 합니다. 밀도 이야기에서도 마찬가지로, 부피 확대율이 커질수록 밀도는 그만큼 작아집니다.
부피 확대율이 0이라는 것은 공간이 납작하게 눌리는 경우를 의미합니다. 즉 $\det(A) = 0$이면 행렬이 공간을 납작하게 압축하고 있음을 뜻하며, 이 경우 역행렬이 존재하지 않습니다.
4. 역문제와 Kernel, Rank
4-1. 핵(Kernel)
$m \times n$ 행렬 $A$에 대해 $Ax = \mathbf{0}$이 되는 벡터 $x$의 집합을 $A$의 핵(Kernel)이라 합니다. $\ker A$는 사상 $A$에서 납작하게 눌리는 방향을 가리킵니다.
납작하게 누른다는 것은 정보를 버리는 행위입니다. $\ker A$에 평행한 성분의 정보를 버리는 것인데, 목적에 따라 이 ‘누름’을 활용할 수도 있습니다. 무의미한 차이점의 정보를 버림으로써 노이즈에 휩쓸리지 않고 판단하는 것이 가능하기 때문입니다.
한편, 서로 다른 $x, x’$가 같은 $y$로 이동하면 선형 종속, 그렇지 않으면 선형 독립입니다. 기저와 선형독립은 다르며, 기저가 더 엄격한 조건을 요구합니다.
\[\dim \ker A + \dim \operatorname{Im} A = n\]4-2. 차원 정리
$m \times n$ 행렬 $A$에 대해 성립하는 차원 정리입니다. $n$차원 공간 중 $\ker A$의 차원만큼 납작하게 눌리고, 나머지가 $\operatorname{Im} A$의 차원으로 남습니다. $\dim \operatorname{Im} A$가 행렬 $A$의 랭크(rank)입니다.
랭크와 관련해 다음 부등식들이 성립합니다.
\[\operatorname{rank}(AB) \leq \min(\operatorname{rank} A,\, \operatorname{rank} B)\] \[\operatorname{rank}(A + B) \leq \operatorname{rank} A + \operatorname{rank} B\] \[\operatorname{rank}(AB) + \operatorname{rank}(BC) \leq \operatorname{rank}(ABC) + \operatorname{rank} B\]한번 납작하게 눌린 차원은 아무리 확대해도 되살릴 수 없습니다. 잃어버린 정보는 복원이 불가능하다는 사실을 수학적으로 보여주는 결과입니다.
압축이 심한 행렬의 역행렬은 그만큼 확대를 심하게 합니다. 초점이 맞지 않는 화상을 복원하려 할 때 노이즈까지 함께 확대되는 문제가 발생하는 이유가 바로 여기에 있습니다.
5. 컴퓨터에서의 계산: LU 분해
LU 분해는 행렬을 하삼각행렬(L)과 상삼각행렬(U)의 곱으로 나타내는 것입니다. 분해 후에는 연립방정식을 푸는 연산이 단순해져 계산 효율이 크게 향상됩니다.
$n$차 정방행렬에서 LU 분해에 필요한 연산 횟수는 나눗셈 $n$회, 곱셈 $\frac{n^3}{3}$회, 뺄셈 $\frac{n^3}{3}$회입니다. 또한 $A = LU$로 분해되어 있으면 행렬식도 간단히 구할 수 있습니다.
\[\det A = \det(LU) = \det L \cdot \det U = \prod (\text{U의 대각성분})\]6. 고윳값, 대각화, 요르단 표준형
고유벡터(eigenvector)란 행렬 $A$를 곱해도 방향이 변하지 않고 신축만 되는 벡터입니다. 이때의 신축률이 고윳값(eigenvalue) $\lambda$이며, 다음 관계가 성립합니다.
\[Ap = \lambda p\]6-1. 대각화
행렬 $A$가 대각화 가능하다면, 정칙행렬 $P$에 대해
\[P^{-1}AP = \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \ldots)\]로 나타낼 수 있고, 시계열 $x(t) = Ax(t-1)$은
\[x(t) = P\Lambda^t P^{-1} x(0)\]으로 표현됩니다. 여기서 폭주 위험은 고윳값의 절댓값이 1을 넘는지 여부로 판정합니다.
복소수 범위로 확장하면 실행렬에서도 복소 고윳값이 등장할 수 있습니다. 예컨대
\[A = \begin{pmatrix} 0 & -1 \\ 1 & 0 \end{pmatrix}\]는 원점을 중심으로 반시계 방향 90도 회전을 나타내며, 실수 고유벡터가 존재하지 않습니다.
닮음 변환에서 고윳값과 트레이스(Tr A)는 불변입니다. 트레이스는 대각성분의 합이자 모든 고윳값의 합을 의미합니다.
6-2. QR 분해와 요르단 표준형
대각화가 불가능한 경우에는 요르단 표준형(Jordan normal form)으로 변환할 수 있습니다. 적절한 정칙행렬 $Q$와 $R$을 선택해
\[P^{-1}AP = J\]형태로 만드는 것이며, $P = QR$로 두면 $P^{-1}AP = R^{-1}Q^{-1}AQR = R^{-1}DR = J$가 성립합니다.
모든 고윳값을 구하는 알고리즘으로 QR 분해 알고리즘이 사용됩니다. $A = QR$로 분해 후 $A_{k+1} = R_k Q_k$를 반복하면
\[A_{k+1} = R_k Q_k = Q_k^{-1}(Q_k R_k)Q_k = Q_k^{-1} A_k Q_k\]로 닮음 변환을 반복하는 것과 동일합니다. 대칭행렬뿐만 아니라 비대칭행렬에도 적용할 수 있어 범용성이 높습니다.
Ⅱ. 프로그래머를 위한 확률과 통계
대부분 이미 알고 있는 내용이라 선형대수 파트에 비해 새로운 발견은 적었습니다. 기초 확률 이론과 통계적 추론의 핵심 개념들을 프로그래머의 시각에서 정리한 도서로, 기초를 다시 한번 점검하는 용도로 활용하기 좋습니다.
Ⅲ. 마치며
수식을 통해 결과만 외우다 보면 선형대수가 왜 그렇게 동작하는지 직관이 쌓이지 않습니다. 이 책은 납작하게 눌린다, 부피 확대율, 잃어버린 정보는 복원할 수 없다와 같은 시각적 언어를 통해 그 직관을 채워줍니다. 랭크나 행렬식, 고윳값과 같은 개념이 단순한 수치가 아니라 기하학적 의미를 가진다는 것을 확인하고 싶은 분에게 추천합니다.