M4AI) That's a Wrap! — MLDL

출처: https://jrc-park.tistory.com/259

• 🧐 Frequentist 와 Bayesian의 차이는 무엇인가? 빈도주의적 관점은 데이터-의존적인 방식으로 사건의 발생 빈도가 곧 확률이 된다는 입장이고, Bayesian은 belief라는 개념을 도입해 우리가 가설을 세우고 데이터로써 입증하여 belief를 갱신한다고 생각하는 입장임. 예를 들어, 혼자 있는 걸 좋아하고 진지하고 논리적인 사람이 개발자일 확률에 대해서는 frequentist라면 진지하고 논리적인 사람 중 개발자의 비율을 직접 데이터로 측정해 그게 곧 확률이라고 대답할 것임! 근데 베이지안은 prior(전체 인구 중 개발자의 비율), likelihood(저 성격의 사람이 개발자일 확률)를 이용해, "저런 성격의 사람이라면 개발자일 것이다"라는 우리의 가설을 posterior(저런 증거가 주어졌을 때 우리의 가설이 맞을 확률)라 하고 이를 데이터로써 업데이트한다는 식으로 생각할 것임.
• 🧐 Frequentist 와 Bayesian의 장점은 무엇인가? 전자의 경우 단순한 접근을 취하지만 데이터에 지나치게 의존적이라 데이터가 부족한 상황에서는 별로 좋은 방법이 아니고, 후자의 경우 bayes rule에 근거해 prior의 확률 모델이 잘 설정되어 있다면 hypothesis가 타당하다고 할 수 있지만 그게 곧 단점이 됨..
• 🧐 차원의 저주란? 모델의 complexity가 증가할수록 training data에 대한 에러는 작아질지언정 모델의 variance가 증가해서 test data에 대한 error는 커질 수도 있다는 것.
• 🧐 Train, Valid, Test를 나누는 이유는 무엇인가? real-world 데이터와 그 Label은 $y=f(x)+\epsilon$으로 표현되어, determinisitic한 부분 $f(x)$와 불가피한 noise $\epsilon$으로 표현이 되는데,(1) 데이터로부터 완벽한 hypothesis를 도출하려면 그만큼 데이터가 무한히 많아야 하지만 현실적으로 그렇지 않고, (2) 불가피한 noise가 항상 존재하기 때문에 모델이 overfitting이나 underfitting이 되지 않도록 검증해주는 과정도 필요하다. 그래서 그런듯.. valid data는 hyperparameter를 고르는 등의 학습하기 어려운 것들에 대해서 적절히 선택해줘야 할 때 주로 사용된다.
• 🧐 Cross Validation이란? 모델의 성능을 검증하는 방법 중 하나로 데이터를 여러 개의 subset으로 쪼갠 후 이중 일부의 subset에 대해 모델을 학습시키고 다른 subset에 대해 모델을 검증하는 방식을 의미함. 그래서 unseen data에 대해서도 모델이 잘 일반화될 수 있도록 하는 것이래요. K-fold (k개로 나눠서 k-1개에 대해 학습시키고 1개로 검증), LOOCV (데이터 포인트 한 개로 검증, 데이터가 작을 때 할 수 있는 방법 같음) 등이 있어요.
• 🧐 (Super-, Unsuper-, Semi-Super) vised learning이란 무엇인가?
  1) Supervised Learning: 정답이 있는 데이터로 학습할 경우. 분류과제(scoring 같은..), regression 등이 여기에 해당돼요.
  2) Unsupervised Learning: 정답이 없는 데이터로 학습할 경우. clustering 등이 여기에 해당될 수 있어요.
  3)Semi-Supervised Learning: 두 형태의 데이터를 모두 활용해서 학습할 경우. 

  ---

• 🧐 Decision Theory란? .. 확률론, 최적화이론 등을 활용해 어떤 불확실성이 내재하는 상황에서 (예측 과제라든지) 가설을 만들고 예측/결정을 하는 방법론을 다루는 이론이라고 할 수 있을 것 같습니다. 데이터를 바탕으로 Abstract한 모델을 만들 수도 있고, k-NN처럼 데이터를 store해서 online-learning을 하는 경우로 나눌 수 있을 거 같아요.
• 🧐 Receiver Operating Characteristic Curve란 무엇인가? 아 ROC.. false positive rate와 True positive rate를 각각 x, y축으로 하는 그래프인데, binary classifier의 성능을 확인하는 데 주로 사용됩니다. 그래프가 $y=x$를 기준으로 좌측 상단을 향해 멀어질수록, 즉 진양성률이 1에 가깝고 위양성률이 0에 가깝도록 그래프가 그려질 경우 좋은 성능을 나타낸다고 할 수 있어요. 
• 🧐 Precision Recall에 대해서 설명해보라 Binary classification의 경우, 
• 🧐 Precision Recall Curve란 무엇인가?
• 🧐 Type 1 Error 와 Type 2 Error는?

  ---

• 🧐 Entropy란 무엇인가? 정보이론에서 데이터가 얼마나 impure한지를 나타내는 지표인데, 평균정보량이라고도 말한다. log probability의 기댓값이라고 말할 수 있을듯
• 🧐 KL-Divergence란 무엇인가? symmetric하지 않은 semi- distance metric (??)이라고 표현할 수 있을 것 같은데, $KL(A\Vert B)$는 A의 entropy와 A의 B에 대한 cross entropy의 차이를 의미한다. 순서는 cross entropy - entropy..
• 🧐 Mutual Information이란 무엇인가?
• 🧐 Cross-Entropy란 무엇인가? "the dissimilarity between two probability distributions", 즉 두 확률 분포가 얼마나 다른지를 나타내는 지표. $H(A, B)$는 A의 기준에서 B의 분포와 얼마나 잘 일치하는지를 의미하고, 항상 엔트로피보다 크거나 같다는 특징이 있다. 같을 때는 두 확률 분포가 일치할 때, i.e. A=B일때!
• 🧐 Cross-Entropy loss 란 무엇인가? DL에서 cross entropy loss를 사용한다 함은, gold label $y$와 predicted label $\hat{y}$ 사이의 불일치를 cross entropy로써 확인하겠다는 것을 의미함.

  ---

• 🧐 Generative Model이란 무엇인가? 데이터의 joint probability P(X, Y)를 학습하는 모델로, 확률 분포를 학습함으로써 새로운 샘플을 생성할 수 있기 때문에 이런 이름이 붙음.
• 🧐 Discriminative Model이란 무엇인가? 
• 🧐 Discrinator function이란 무엇인가?

  ---

• 🧐 Overfitting 이란? 과적합, training data의 에러는 매우 작은 데 반해 모델의 variance가 커서 test data에 대해서는 low performance를 보여주는 경우.
• 🧐 Underfitting이란? 학습이 덜 된 경우.. 모델의 bias가 커서 true label과 predicted label의 차이가 커 training data에 대해서도 에러가 크다..
• 🧐 Overfitting과 Underfitting은 어떤 문제가 있는가? 
• 🧐 Overfitting과 Underfitting을 해결하는 방법은? 데이터를 늘리거나, regularization 기법을 적용하여 파라미터를 조절하거나 ...
• 🧐 Regularization이란? 값이 지나치게 큰 파라미터에 일종의 페널티를 줘서 그 값을 조절하는 기법. Ridge의 경우 objective function에 $w_i^2$를, Lasso의 경우 $|w_i^2|$ 항을 추가한다. 후자는 closed form 솔루션도 없고 differentiable하지도 않다는 단점이 있긴 하다..
  • Ridge / Lasso

    ---

• 🧐 Activation function이란 무엇인가?3가지 Activation function type이 있다.
  • Ridge activation Function / Radial activation Function  / Folding activation Function
• 🧐 CNN에 대해서 설명해보라 합성곱 신경망은 주로 이미지를 처리하는 데 활용되는 신경망으로, convolution layer, pooling layer, fully connected layer로 구성되어 있는 구조입니다. Convolution layer에서는 kernel과 input의 합성곱 연산이, pooling layer에서는 input size를 maxpool, average 등의 기법으로 줄이는 연산이, fc layer에서는 앞에서 거친 연산으로 나온 output을 다시 input으로 받아 feed forward 연산을 거쳐 최종 output을 내는.. 그런 flow를 거칩니다. 이때 학습되는 파라미터는 처음에 랜덤하게 initialize됐던 kernel, 그리고 FC layer의 파라미터들입니다.
• 🧐 RNN에 대해서 설명해보라 sequential한 데이터를 처리해주는 신경망으로, time step t에서의 input $x_t$의 hidden layer 연산값 $h_t$가 다음 time step의 input $x_{t+1}$과 함께 연산으로 
• 🧐 Netwon's method란 무엇인가?
• 🧐 Gradient Descent란 무엇인가? 최적 파라미터의 closed form solution을 구하는 대신, 계산의 효율성을 위해 파라미터의 search space에서 현재 step의 파라미터의 gradient를 계산해 그 방향으로 이동해가면서 파라미터를 업데이트하여 local/global optimum을 찾아가는 방식.
• 🧐 Stochastic Gradient Descent란 무엇인가? Gradient descent는 모든 training sample에 대해 적용해주는 데 반해, SGD는 batch 단위의 파라미터 업데이트를 진행하는 것입니다. GD에 비해 unstable하지만, local optimum에 갇혀도 빠져나와 global optimum에 도달할 수 있다는 것과 연산이 빠르다는 장점이 있습니다.
• 🧐 Local optimum으로 빠지는데 성능이 좋은 이유는 무엇인가?
• 🧐 Internal Covariance Shift 란 무엇인가? 보통 training data와 test data의 분포가 다른 것을 covariate shift라고 부르는데, 이것이 NN 안에서 발생하는 현상을 일컫는 용어입니다. 즉, 한 hidden layer에서 다른 hidden layer로 넘어가면서 계속 확률 분포가 조금씩 달라지는 현상을 의미해요. 
• 🧐 Batch Normalization은 무엇이고 왜 하는가? 위에서 언급한 ICS를 해결하기 위해, mini batch 안에서의 평균과 분산으로 batch를 normalize를 해주는 것을 의미합니다. 즉, batch 단위의 평균과 분산 값으로 정규화를 해줘서 평균이 0, 표준편차가 1이 되도록 scale-and-shift를 해주는 것이에요. training 시에는 batch 단위로 정규화를 진행하지만, inference 시에는 training set 전체의 평균과 분산을 계산해 normalize를 진행합니다.
• 🧐 Backpropagation이란 무엇인가? feed forward 과정으로 output과 loss를 계산했을 때, 이 loss의 gradient를 계산해 파라미터들을 업데이트해주는 과정을 말합니다.
• 🧐 Optimizer의 종류와 차이에 대해서 아는가? Momentum, AdaGrad, RMSProp, AdaM optimizer 등이 있습니다. momentum은 이전 time-step의 gradient, 즉 관성을 이용해 step size를 조절하는 것이고, AdaGrad는 gradient의 second moment 누적값을, RMSProp은 gradient의 exponential moving average를, 그리고 Adam은 momentum과 rmsprop을 혼합한 형태입니다. 

  ---

• 🧐 Ensemble이란?
• 🧐 Stacking Ensemble이란?
• 🧐 Bagging이란?
• 🧐 Bootstrapping이란?
• 🧐 Boosting이란?
• 🧐 Bagging 과 Boosting의 차이는?
• 🧐 AdaBoost / Logit Boost / Gradient Boost

  ---

• 🧐 Support Vector Machine이란 무엇인가? linear decision boundary를 찾을 때, decison boundary와 datapoint의 margin을 최대화하겠다는 아이디어로 나온 알고리즘입니다. constrained QP 문제에 해당되고, KKT condition을 만족하기 때문에 dual problem으로 바꾸어서 직접 linear decision boundary의 파라미터를 찾는 것보다 support vector, 즉 canonical line 위에 있는 datapoint를 찾는 문제로 전환하여 문제를 풀 수 있습니다. 또한, linear한 문제가 아니더라도 kernel trick을 이용한다면 Non-linear한 decision boundary를 찾는 문제에도 적용될 수 있어요. 
• 🧐 Margin을 최대화하면 어떤 장점이 있는가? 만족하는 decision boundary가 하나로 떨어집니다. perceptron은 아니었거든..

안 쓴 부분은 ㅎㅎ 대답 스무스하게 할 수 있을 거 가틈