That's a Wrap! - Prob&Stat

출처: https://jrc-park.tistory.com/259

• 🧐 Central Limit Theorem 이란 무엇인가? 표본평균을 정규화했을 때 표본의 크기가 증가함에 따라 그 분포가 표준정규분포에 수렴한다는 정리.
• 🧐 Central Limit Theorem은 어디에 쓸 수 있는가? 모집단의 표준편차를 알고 있는 상황에서 표본조사를 통한 통계적 추정을 할 때 CLT에 따르면 표본평균은 모평균에 수렴하고 표본평균을 정규화한 분포는 표준정규분포를 따르므로, 신뢰구간을 이용한 모평균의 추정 등에 활용될 수 있다. 단 이때, 분산이 유한하고, 표본들이 같은 확률분포를 따르는 집단에서 독립추출로 얻어진 것들이어야 한다는 조건이 있다!
• 🧐 큰수의 법칙이란? 빈도주의적 관점에서, 어떤 사건이 일어날 통계적 확률은 샘플 사이즈가 커지면 수학적 확률에 수렴한다!
• 🧐 확률이랑 통계랑 다른 점은?
• 🧐 Marginal Distribution이란 무엇인가?
• 🧐 Conditional Distribution이란 무엇인가?  
• 🧐 Bias란 무엇인가? 가설로써 예측한 값의 기댓값과 실제값의 차이를 의미함
• 🧐 Biased/Unbiased estimation의 차이는? 파라미터 추정값의 기댓값이 실제 모집단의 값과 일치하면 unbiased, 불일치하면 biased라고 합니다. unbiased의 대표적인 것이 MLE로 계산된 평균, biased의 대표적인 것이 이 MLE 평균으로부터 유도된 분산!
• 🧐 Bias, Variance, MSE란? 그리고 그들의 관계는 무엇인가? Bias-Variance Decomposition의 개념에 이들의 관계가 함축되어 있는데, 실제값 $y$와 우리의 가설로부터 예측한 값 $y^\prime$의 mean-squared-error는 bias^2, variance, 그리고 unavoidable error로 분해(?)할 수 있다는 것.. 이때 variance는 모델의 복잡도(?)를 나타내는 지표..인데 가설의 예측을 h(x)라고 한다면, h(x)의 분산을 의미한다고 설명..해야 할 거 같다.
• 🧐 Sample Variance란 무엇인가?
• 🧐 Variance를 구할 때, N대신에 N-1로 나눠주는 이유는 무엇인가? Unbiased estimator로 만들어주기 위해서임. N으로 나누면, 이 estimator의 기댓값이 모수의 파라미터와 다름..! 그래서 n-1로 나눠줘야 하는데, 여기에는 통계학에서의 자유도 개념이 내포되어 있고 sample variance를 구하는 데 있어 사용되는 표본평균의 DoF가 n-1이라 그렇다고 알고 있으나 이 이상은...ㅜㅜ
• 🧐 Gaussian Distribution에서 MLE와 Sample Variance 중에 어떤 걸 사용해야 하는가? ?? 몬소리야
• 🧐 Unbiased Estimation은 무조건 좋은가?
• 🧐 Unbiaed Estimation의 장점은 무엇인가? 모집단을 잘 대표해 준단 거..?

  ---

• 🧐 Binomial, Bernoulli, Multinomial, Multinoulli 란 무엇인가?
• 🧐 Beta Distribution과 Dirichlet Distribution이란 무엇인가?
• 🧐 Gamma Distribution은 어디에 쓰이는가? 지수 분포랑 푸아송 분포의 Conjugate prior로서 많이 활용됨.
• 🧐 Possion distribution은 어디에 쓰이는가? 특정 시간 동안 사건이 몇 번 일어나는지에 대한 이산확률분포로 많이 활용되고, 이때 사용되는 파라미터 $\lambda$가 그 average를 나타냄.
• 🧐 Bias and Varaince Trade-Off 란 무엇인가? 위에서 말함~
• 🧐 Conjugate Prior란?

  ---

• 🧐 Confidence Interval이란 무엇인가? 
• 🧐 covariance/correlation 이란 무엇인가?
  - 공분산: 두 확률변수 사이의 선형 관계를 나타내는 지표로, 하나가 증가할 때 다른 하나도 감소하는 경향이 있으면 공분산이 양의 값을 가지고 독립이면 0, 우하향(?)이면 음의 값을 가짐!
  - 상관계수: 공분산/두변수의std곱; 얘도 마찬가지의 기능임
• 🧐 Total variation 이란 무엇인가?
• 🧐 Explained variation 이란 무엇인가?
• 🧐 Uexplained variation 이란 무엇인가
• 🧐 Coefficient of determination 이란? (결정계수)
• 🧐 Total variation distance이란 무엇인가?
• 🧐 P-value란 무엇인가?
• 🧐 likelihood-ratio test 이란 무엇인가?