M4AI) Introduction to Linear Algebra

본인 면접 준비로 시작하는 선대 벼락치기..^^

• 나의 빛 나의 신 3B1B: https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab
• 유튜브 혁펜하임 강의: https://www.youtube.com/playlist?list=PL_iJu012NOxdZDxoGsYidMf2_bERIQaP0
• 코세라 Mathematics for Machine Learning - Linear Algebra: https://www.youtube.com/playlist?list=PLiiljHvN6z1_o1ztXTKWPrShrMrBLo5P3
• (일부) Math 54 from UC Berkeley: https://www.youtube.com/playlist?list=PLShth7hrtLHO2U1XkrI6ZgMyuPHDxRcob

버클리가 모교냐구요? 아니요.. 하지만 마음의 고향 막이래

 

인트로니까 기본적인 용어들, 익숙해져야 하는 표현들만 후루룩 적고 끝내겠음

 

Matrix form

(3B1B에서 인용한) 혁펜하임 선생의 기깔난 표현: 그냥 연립방정식이다!

$$\mathbf{A}\mathbf{x}=\begin{bmatrix}4\\9\end{bmatrix}$$

$$\begin{bmatrix}1&2\\3&4\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}3\\4\end{bmatrix}$$

네 뭐 모르면 큰일나죠

Inner product

다른 말로 내적이라고 하지요~.~

$$\begin{bmatrix}1\\3\end{bmatrix}\cdot\begin{bmatrix}2\\5\end{bmatrix}=\begin{bmatrix}1\times2\\3\times5\end{bmatrix}$$

이걸 transpose, 즉 전사를 써서 표현할 수 있는데,

$$\mathbf{a}\cdot\mathbf{b}=\mathbf{a}^\top\mathbf{b}$$

네 뭐 다 알죠

 

여기서 한발짝 더 나아가서, 

\begin{gather*}
\mathbf{a}^\top\mathbf{b}=\lVert\mathbf{a}\rVert\lVert\mathbf{b}\rVert \cos\theta\\
\therefore \cos\theta = \dfrac{\mathbf{a}^\top\mathbf{b}}{\lVert\mathbf{a}\rVert\lVert\mathbf{b}\rVert}
\end{gather*}

당연하지만 종종 잊는 표현~ $\lVert\mathbf{a}\rVert$는 벡터의 크기를 나타내는 표현입니다. 헉 그런데, 바로 뒤에 다뤄야 할 개념:

 

Norm

가끔 보면 $\lVert\mathbf{a}\rVert_2$ 이런 표현이 있단 말예요? 이게 도대체 모냐~

우리가 일반적으로 벡터 크기 구할 때 $\lVert\mathbf{a}\rVert = \sqrt{\mathbf{a}^\top\mathbf{a}}=\sqrt{\sum_ia_i^2}$ 일케 쓰잖아요? 이건 L2-norm이라고 부르고 (L2 distance), $\lVert\mathbf{a}\rVert = \sum_i\vert a_i \vert$ 이렇게 계산하는 경우엔 L1-norm이라 한대요. 이 두 가지 norm을 구분해주기 위해 아래첨자로 1 또는 2를 적는 것이라고 함..

나아가 P-norm은 $\lVert\mathbf{a}\rVert_P\triangleq\left(\sum_ia_i^P\right)^\frac{1}{P}$ 라고 정의함~

ㅇㅎㅇㅎ

P-norm에 따르면 infinity-norm도 정의할 수 있는데, P를 양의 무한대로 보내면 결국 가장 큰 성분의 절댓값으로 수렴해버립니다! 0.O!! 대박적~ 

$$\text{infinity-norm: } \lVert\mathbf{a}\rVert_\infty = \max|a_i|$$

그런 게 있다~

 

Span & linearly independent & basis

주어진 벡터들의 선형조합(linear combination)으로 나타낼 수 있는 모든 벡터들의 집합을 두고, 그 벡터들이 span하는 벡터 공간이다~라는 표현을 써요. $[1,0]^\top$, $[0,1]^\top$이 span하는 공간은 2차원 평면 전체가 되겠네요! 

선형 독립은, 수학적으로 표현하자면.. $a_1\mathbf{v}_1+\cdot a_n\mathbf{v}_n=0$을 만족할 때, 가능한 $a_i$의 값이 전부 0인 경우에 $\mathbf{v}_i$는 각각 선형독립이다~라고 해요. 쉽게 말해 그냥 일직선상에 없는 거임ㅋㅋ

어떤 벡터 공간이 있을 때, 그 벡터 공간을 span하는 linearly independent한 벡터들을 두고 basis 벡터, 또는 기저벡터라고 합니다.

 

아 뭐야 분량조절 대실패다 왜 이리 많어...

Rank

어떤 행렬이 가지는 independent한 열의 개수를 말합니다. 

$$rank\left(\begin{bmatrix}1&2&3\\1&2&5\\1&2&7\end{bmatrix}\right)=2$$

즉 벡터 공간, 또는 column space의 차원이 몇이냐를 물어보는 것과 같아요. 근데 여기서 중요한 특징:

independent한 열의 수 = independent한 row의 수

뭐.. row vector가 span하는 벡터 공간도 결국 이차원 평면이 되니까 맞긴 한가봐요..

그래서 이걸 수식으로 쓰면, $rank(\mathbf{A})=rank(\mathbf{A}^\top)$ ㅎㅎ

이때 만약 행렬이 $n\times n$인데 rank가 n이다? 그럼 full-rank라고 하고 그보다 작으면 rank-deficiency라고 한대요.

 

Null space

$\mathbf{A}\mathbf{x}=0$을 만족하는 벡터 $\mathbf{x}$들의 집합을 말합니다! 

 

---

귀찮아서 여까지 쓰겠음,, 직교행렬, 대각행렬 등등은 그냥 넘어갔어용~