That's a wrap! — Linear Algebra

면접 대비 That's a wrap 시리즈 1탄: 선형대수학

출처: https://jrc-park.tistory.com/259

 

🧐 Linearly Independent란?

n차원에 존재하는 벡터들의 선형결합으로 영벡터를 표현하고자 할 때, 가능한 계수 조합이 0들뿐인 경우, 즉 모든 벡터가 동일 직선 상에 있지 않은 경우를 선형 독립이라고 함!

 

🧐 Basis와 Dimension이란 무엇인가?

어떤 벡터 공간 $V$를 span하는, 서로 선형 독립인 벡터들을 basis라고 하고, 이 벡터들의 개수가 곧 $V$의 차원이 됨.

 

🧐 Null space란 무엇인가?

어떤 행렬 $\mathbf{A}$로 정의되는 선형 변환을 거쳤을 때 영벡터가 되는 벡터들의 집합, i.e. $\mathbf{A}\mathbf{x}=\boldsymbol{0}$을 만족하는 $\mathbf{x}$의 집합!

 

🧐 Symmetric Matrix란?

$n\times n$ 행렬과 그 전치 행렬이 동일한 경우 이를 symmetric matrix라고 함

 

🧐 Positive-definite란?

영벡터가 아닌 임의의 $n$차원 벡터 $\mathbf{z}$에 대해, Quadratic form (이차형식) 이 항상 양의 값을 가지는 행렬을 positive-definite이라고 하고, 음이 아닌 값을 가질 때 positive semi-definite이라고 함. positive definite 행렬은 그 eigenvalue가 양수라는 특징이 있음!

 

🧐 Rank 란 무엇인가?

행렬을 구성하는 행/열벡터가 span하는 벡터 공간의 차원. 행렬이 그 자체로 선형 변환을 의미한다고 생각하면, 선형변환으로써 얻을 수 있는 차원이 어느 정도인지를 의미한다고 볼 수도 있을 것 같다.

🧐 Determinant가 의미하는 바는 무엇인가?

기하학적으로는 행렬을 구성하는 열벡터로써 만들어지는 영역의 넓이인데, (e.g. $2\times2$ 행렬일 경우 열벡터가 만드는 평행사변형의 넓이) 이는 standard basis가 span하는 벡터 공간이 선형변환(행렬)을 통해 얼마나 변형됐는지를 나타내준다고 할 수도 있겠다.

 

🧐 Eigenvector는 무엇인가? 왜 중요한가?

어떤 행렬의 $\mathbf{A}$의 eigenvector는, 그 행렬과 곱한 결과가 벡터를 상수배(scaling)한 결과와 동일한 벡터들을 말한다. 이게 왜 중요하냐면, 역시 행렬이 그 자체로 선형 변환을 나타낸다는 관점에서 보았을 때, 선형 변환으로 인해 벡터 공간 상의 대부분의 벡터가 방향이 바뀌기 마련인데 eigenvector는 scaling될 뿐 방향을 일정하게 유지하기 때문에, 선형 변환의 고유한 성질이 될 수도 있을 듯하고, 바로 이 점 때문에 matrix multiplication을 단순화하는 데 활용될 수 있기 때문이다.

 

🧐 Eigenvalue란?

선형변환의 관점에서 Eigenvector의 scaling factor라고 할 수 있을듯.

 

🧐 SVD란 무엇인가?→ 중요한 이유는?

임의의 $m\times n$ 행렬이 나타내는 선형 변환을 singular value를 활용해 회전, scaling의 단계로 분해해주는 것을 의미함.  Eigendecomposition이 $n\times n$ 행렬에만 적용할 수 있는 것과 달리, 임의의 $m\times n$ 행렬이 나타내는 선형변환을 분해할 수 있다는 이점이 있다.

 

🧐 Jacobian Matrix란 무엇인가?

벡터 함수 $\mathbf{f}$의 특정 지점에서의 미분계수를 의미하는 건데, $\mathbf{J}$의 각 항은 벡터의 각 성분의 편미분임. 만약 이 함수가 $\mathbb{R}^n\rightarrow \mathbb{R}^n$이라면, $\det(\mathbf{J})\neq0$은 곧 이 근방에서 역함수가 존재한다는 것을 암시함!