본문 바로가기

math4ai21

That's a Wrap! - Prob&Stat 출처: https://jrc-park.tistory.com/259🧐 Central Limit Theorem 이란 무엇인가? 표본평균을 정규화했을 때 표본의 크기가 증가함에 따라 그 분포가 표준정규분포에 수렴한다는 정리.🧐 Central Limit Theorem은 어디에 쓸 수 있는가? 모집단의 표준편차를 알고 있는 상황에서 표본조사를 통한 통계적 추정을 할 때 CLT에 따르면 표본평균은 모평균에 수렴하고 표본평균을 정규화한 분포는 표준정규분포를 따르므로, 신뢰구간을 이용한 모평균의 추정 등에 활용될 수 있다. 단 이때, 분산이 유한하고, 표본들이 같은 확률분포를 따르는 집단에서 독립추출로 얻어진 것들이어야 한다는 조건이 있다!🧐 큰수의 법칙이란? 빈도주의적 관점에서, 어떤 사건이 일어날 통계적 확률.. 2024. 8. 9.
M4AI) Probability & Statistics 하 떨려 드디어 면접공부 의미잇어짐ㅜ 그러나 기쁨도 잠시.. 정신차리고 학회 일정 소화 & 면접 공부 해야 합니다ㅜ Probability DistributionPoisson: 이산 확률 분포 중 하나로, 일정한 시간 동안 특정 사건이 발생하는 횟수에 대한 확률 분포. 이때 파라미터 $\lambda$는 그 시간 동안 사건이 일어나는 평균 횟수를 의미한다. 예를 들어, 톨 게이트에 트럭이 지나가는 사건을 A라고 한다면, 사건 A가 10분 동안 몇 번 일어나는지를 확률 분포로 나타낼 수 있다! 평균 세 대가 지나간다면 $\lambda=3$임.Binomial: 두 가지의 상호배타적인 결과가 있는 사건을 여러 차례 독립시행 하는 경우의 확률 분포. Sucess/Failure의 횟수를 확률분포로 나타낼 수 있다.G.. 2024. 8. 9.
M4AI) That's a Wrap! — MLDL 출처: https://jrc-park.tistory.com/259🧐 Frequentist 와 Bayesian의 차이는 무엇인가? 빈도주의적 관점은 데이터-의존적인 방식으로 사건의 발생 빈도가 곧 확률이 된다는 입장이고, Bayesian은 belief라는 개념을 도입해 우리가 가설을 세우고 데이터로써 입증하여 belief를 갱신한다고 생각하는 입장임. 예를 들어, 혼자 있는 걸 좋아하고 진지하고 논리적인 사람이 개발자일 확률에 대해서는 frequentist라면 진지하고 논리적인 사람 중 개발자의 비율을 직접 데이터로 측정해 그게 곧 확률이라고 대답할 것임! 근데 베이지안은 prior(전체 인구 중 개발자의 비율), likelihood(저 성격의 사람이 개발자일 확률)를 이용해, "저런 성격의 사람이라.. 2024. 8. 2.
M4AI) BayesNet, Markov Chain, HMM Bayes Net이걸 물어볼까 싶긴 한데 중요하긴 하니깐,, conditional independence를 전제하는 네트워크 구조입니다. 변수와 그 관계를 표시한 네트워크 구조, 그리고 주어진 데이터에서 그 확률 변수의 분포를 학습하는(=테이블 만드는..) 확률 모형이에요.  Markov Chain한 state에서 다른 state로 넘어가는 확률을 그래프 구조로 나타낸 것입니다. BayesNet은 각 arc가 그저 다른 변수들과의 관계를 상징하는 것이었다면, Markov chain에서는 각 arc마다 state 전환 확률이 부여된다는 특징이 있어요. Markov chain도 conditional independence를 전제하는데, 여기서는 과거의 사건과 미래의 사건은 현재에 대해 조건부 독립, 즉 현재.. 2024. 7. 31.
M4AI) Special Topics: MLDL Techniques 더보기공부해야 하는 것들CNN, RNN, LSTM, Transformer (NN milestones)Bayes Net, Markov Chain, HMM (이걸 물어볼까..)Learning Theory, Reinforcement Learning (이걸 물어볼까..2)MLDL Techniques (GD/SGD, Activation, Scheduling, BatchNorm, ...Gradient Descent & Stochastic Gradient Descent원래 최적해의 general solution을 찾았다면 그 form을 이용해 바로 해를 구할 수도 있지만, non-convex optimization의 일부 해들은 general solution을 찾지 못하는 경우도 있고, 차원이 매우 클 경우 comp.. 2024. 7. 31.
M4AI) Attention & Transformer 면접 답변용이라고 생각하고 최대한 풀어서 쓰겠음AttentionAttention이라는 용어는, 토큰의 시퀀스로 구성된 문장에서 토큰 간 얼마나 관련성이 있는지를 나타내는 용어입니다. 어텐션 매커니즘은 Query, Key, Value의 세 가지 벡터와 softmax함수로 계산되는데요, \begin{equation}\label{atn}\tag{*}\text{Attention}(Q, K, V) = \text{softmax}\left(\dfrac{QK^\top}{\sqrt{d_k}}\right)V\end{equation} 푸핫 이게 뭐람Query: '질문'이라는 의미를 가지고 있는데요, 어떤 토큰이 다른 토큰과 얼마나 연관성이 있는지 '질문'하는 역할을 해준다고 해요.Key: 그 질문에 대한 대답이라고 표현할 .. 2024. 7. 29.

티스토리툴바