SP24) Random Variable V

과연 마지막일까?

아닐 수도ㅋㅎ

 

갑자기 수업 듣다 헷갈리는 점이 생겼습니다— 아마 전공을 세 개 들어서 그럴 수도 있는데..

MLDL에서 추정의 방법으로 MLE, MAP를 배웠단 말예요? 물론 얘네 둘은 애초에 목적이 좀 달라서, <who: ML 모델, what: posteriori $P(\theta|\mathcal{D})$> 이렇게 배웠는데요.. 지난 포스트에서는 linear한 경우였지만 아니라면, 우리가 구하는 파라미터 $\hat{Y}=E[Y|X]$.. 이건 결국 posteriori 형태인데! 앞서 말한 방식들은, argmax를 써줘서 posterior 확률이 최대일 때의 $\hat{Y}$를 찾는 거였는데 왜 여기서는 $Y$가 뭔지도 모르면서 posterior를 바로 $\hat{Y}$로 쓰느냔 말이야..? (그리고 갑자기 혼자 헷갈리기 시작) 

그래서 뭘 주섬주섬 찾아봤단 말이지요.

음

네 그렇다구 합니다. 저렇게 병렬로 놓으니까 알겠네요.. 최댓값을 가질 때의 $\theta$ <=> 평균값을 가질 때의 $\theta$라고 하니까 약간 납득이 될 것도 같음ㅇㅇ

 

자 그럼 또.. 이 기댓값이라는 아이의 또 다른 이야기들을 들으러 갑시다~.~

 

 

Expectation (Contd.)

우리가 안 다룬 게 뭐지.

바로

벡터!!!

RV $\vec{X}$의 기댓값은 아래와 같이 정의합니다.

\begin{equation}\label{eq1}
E[\vec{X}] = \boldsymbol{\eta}_{\vec{X}} = \left[ E[X_1], E[X_2], \dots, E[X_n]\right]^\top
\tag{1.a}
\end{equation}

 

그럼 상관관계랑 공분산은?? 여기서 RV $\vec{X}$는 $X_i$들로 구성된 벡터니까, $\vec{X}$ 자체에 대한 상관관계와 공분산을 정의해줄 수 있어요.

\begin{equation}\label{eq2}
\text{Correlation:}\quad R_{\vec{X}} = E[\vec{X}\vec{X}^\top]
\tag{1.b}
\end{equation}

한편 공분산은,

\begin{equation}\label{eq3}
\text{Covariance:}\quad C_{\vec{X}} = E[(\vec{X}-\boldsymbol{\eta}_{\vec{X}})(\vec{X}-\boldsymbol{\eta}_{\vec{X}})^\top] = R_{\vec{X}}-\boldsymbol{\eta}_{\vec{X}}\boldsymbol{\eta}_{\vec{X}}^\top
\tag{1.c}
\end{equation}

 

개념만 알면 재미 없으니까 퀴즈를 하나 풀어보죠.

Find the expected value $E[\vec{X}]$, the correlation matrix $R_{\vec{X}}$, and the covariance matrix $C_{\vec{X}}$ of the 2–dimensional random vector $\vec{X}$ with PDF
$$f_{\vec{X}}=\begin{cases} 2 & 0\le x_1 \le x_2 \le 1 \\ 0 &\text{otherwise.}\end{cases}$$

대충 이런 상황이에요.

정교한 손가락 근육의 소유자

아이고 힌트까지 주셨네^^

$$\text{Hint:} \quad E[X_i] = \iint^{\infty}_{-\infty} x_if_{\vec{X}}(\vec{x})dx_1dx_2$$

다중적분은 구냥 차례대로 하면 될 거예요. 지금 약 3.5년전 배운 다변수해석학의 기억을 단전에서 끌어올리는 중임;;;

암튼 계산하면,

$$\begin{align*}
E[X_i] & = \int^1_0 \int^{x_2}_0 x_i2dx_1dx_2 = \boldsymbol{\eta}_{\vec{X}}
\end{align*}$$

적분 범위가 $[0, x_2]$인 이유는 음.. 음 $x_1$에 대해 먼저 해주고 그 다음 $x_2$에 대해서 해주니까!

암튼 하면 $E[X_1] = \dfrac{1}{3}, E[X_2] = \dfrac{2}{3}$이라고 합니다. 이걸 생각하고 $E[X_i]^2$, $E[X_1X_2]$을 구하면 ***$R_{\vec{X}} = \begin{bmatrix}E[X_1]^2 & E[X_1X_2] \\ E[X_1X_2] & E[X_2]^2\end{bmatrix}$***를 구하면 되구요.. 위에 식 이용해서 공분산도 계산해주면 됨. 나머진 귀찮으니 알아서^^ 별표 친 건 노테이션 봐두라고!

 

아 잠만 뒤에 개귀찮은.. 아

이거 지피티보고 라텍스 짜라고 시켜야겠다

 

자 지금부터 나오는 건 그냥 정의입니다.

\begin{equation}\label{eq4}
R_{YX} = E\left[\vec{X}\vec{Y}^\top\right] \tag{1.d}
\end{equation}

 

\begin{equation}\label{eq5}
C_{YX} = E\left[(\vec{X} - \boldsymbol{\eta}_{\vec{X}})(\vec{Y} - \boldsymbol{\eta}_{\vec{Y}})^\top\right] \tag{1.e}
\end{equation}

 

\begin{equation}\label{eq6}
\begin{split}
& \boldsymbol{\eta}_{\vec{Y}} = \mathbf{A}\boldsymbol{\eta}_{\vec{X}} + \mathbf{b} \\
& R_{\vec{Y}} = \mathbf{A}R_{\vec{X}}\mathbf{A}^\top+(\mathbf{A}\boldsymbol{\eta}_{\vec{X}})\mathbf{b}^\top +  \mathbf{b}(\mathbf{A}\boldsymbol{\eta}_{\vec{X}})^\top + \mathbf{b}\mathbf{b}^\top \\
& C_{\vec{Y}} = \mathbf{A}C_{\vec{X}}\mathbf{A}^\top \\
& R_{\vec{X}\vec{Y}}  = R_{\vec{X}}\mathbf{A}^\top + \boldsymbol{\eta}_{\vec{X}}\mathbf{b}^\top \\
& C_{\vec{X}\vec{Y}}  = C_{\vec{X}}\mathbf{A}^\top
\end{split}
\tag{1.f}
\end{equation}

 

네 계산 문제는 알아서 잘하자..

Normal Random Variables

식이 너무 해괴해서 이건 안 쓰고 넘어가겠음.. 대충 $f = C\exp(-\text{(quadratic)})$ 꼴입니다 여기서 $C$는 상수이구요!

여기서 알고 넘어가야 하는 내용은, 일반적으로 독립과 비상관관계는 일방향의..함축관계인데요ㅜ 아 어휘력 왜이래ㅜㅜ 독립이면 비상관관계인 건 맞지만 그 역은 성립하지 않습니다만, joint 가우시안 분포에 대해서는 이것이 성립합니다! 두둥

 

엥 이러고 나머지 피피티 전부 계산 문제네

ㅋㅋ 담엔 더 알차게 공부해오자..