coursework19 SP24) Filtering 절반 정도는 이전 포스트 참고^^ 이건 원래 푸리에 급수 쪽에서 다루는 내용인데, 푸리에 변환에 대한 이해도 필요해서 교수님이 중간고사 이후에 수업하신 듯!필터링은 말그대로 필터링임! 무엇을 필터링하냐면,,, 주파수 대역입니다. 고주파/저주파 통과 필터 등이 있구요.다음은 교과서의 내용입니다.For example, a lowpass filter is a filter that passes low frequencies —i.e., frequencies around $\omega= 0$— and attenuates or rejects higher frequencies. A highpass filter is a filter that passes high frequencies and attentuates or.. 2024. 5. 26. SP24) Sampling 샘플링을 공부하기 전에 Oppenheim 2nd의 3.8을 recap해봅시다. Fourier Series and LTI System3.8을 복습하려면 3.2를 복습해야 합니다^^어떤 시스템의 입력을 $x(t)$, 출력을 $y(t)$, impulse resonse를 $h(t)$라고 합시다. 이때, 복소수 $s$에 대해 $x(t)=e^{st}$이면,$$\begin{align} y(t) & = \int^{+\infty}_{-\infty} h(\tau)x(t-\tau)d\tau \\ & = \int^{+\infty}_{-\infty} h(\tau)e^{s (t-\tau) }d\tau \\& = e^{st} \int^{+\infty}_{-\infty} h(\tau)e^{-s\tau }d\tau = H(s)e.. 2024. 5. 26. SP24) Bagging & Boosting (Ensemble) 불성실한 막학기 학생 등장..이 아니고 사실 복습은 꾸준히 하는데 수식 입력하는 게 너무 귀찮아서ㅜ 공책에다 손으로 했음.. 근데 곧 면접 시즌 다가오니까 전부 다 정리해서 올릴 겁니다. 암튼 오늘의 토픽: Bagging & Boosting!예전에 우리가 Bias-Variance decomposition을 배운 적이 있었지요. 우리가 데이터 $D$로 만든 hypothesis의 예측과 실제값의 분산은, bias, variance, 그리고 불가피한 noise의 세 항으로 나타낼 수 있다는 내용이었어요. 여기서 bias는 예측이 실제와 얼마나 차이가 나는지를 의미하고, variance는 그 모델의 complexity를 내포해요. High bias면 모델의 예측이 꽤나 형편없다는... 거고... High var.. 2024. 5. 25. SP24) Bias-Variance Tradeoff 이날 퀴즈도 봤는데 꾸역꾸역 진도 나가신 멋진 Jeany Son 교수님... 흥칫이야 완전.. 오늘의 주제는 Bias-Variance Tradeoff! 뭔지 잘 모르므로 열심히 또 복습 기~ 참고 영상: https://www.youtube.com/watch?v=zUJbRO0Wavo 이 교수님 설명 ㄹㅇ 왕잘함 역시 코넬대학교 CS 최고.. 그리고 뭔가 손진희 교수님 설명과 다른 부분이 많은 것 같네요..? 참고로 'bias'라는 용어는 좀 느슨하게 사용되는 듯합니다. weight&bias에서 bias term을 말하는 경우도 있고, 이 강의에서는 다른 걸 지칭하는 것 같네요~.~ 교수님은 이런 표현을 사용하심 "The difference between the expected predictions of y.. 2024. 4. 1. SP24) Linear Regression II 자자 파라미터 LR에서 $\theta$를 구할 때는 오타를 최소화하는 방향으로 구한다는 것도 알았음! 그럼 계산을 해줘야 하는데.. 지난 포스트의 솔루션 구하는 식을 한 번 볼까요? $X^\topX$ 이런 항이 있지 않습니까,,, 이게 적당히 feature 수가 적은 데이터셋이면 그냥 바로 계산해버리면 되긴 하지만 real-world 데이터의 크기는 굉장히 크기 때문에, 손진희 교수님이 쓰신 표현을 빌리자면 "prohibitively expensive"라고 하더이다.. 이런 계산은 안하느니만 못한 거죠ㅜㅡㅜ 그래서 일단 파라미터를 무작위로 초기화 시켜두고, 최적의 파라미터를 찾아가도록 하는 최적화 알고리즘을 사용하는데 그 중 하나가 바로 gradient descent, 경사하강법입니다. 이거랑 같이, r.. 2024. 3. 31. SP24) Random Variable V 과연 마지막일까? 아닐 수도ㅋㅎ 갑자기 수업 듣다 헷갈리는 점이 생겼습니다— 아마 전공을 세 개 들어서 그럴 수도 있는데.. MLDL에서 추정의 방법으로 MLE, MAP를 배웠단 말예요? 물론 얘네 둘은 애초에 목적이 좀 달라서, 이렇게 배웠는데요.. 지난 포스트에서는 linear한 경우였지만 아니라면, 우리가 구하는 파라미터 $\hat{Y}=E[Y|X]$.. 이건 결국 posteriori 형태인데! 앞서 말한 방식들은, argmax를 써줘서 posterior 확률이 최대일 때의 $\hat{Y}$를 찾는 거였는데 왜 여기서는 $Y$가 뭔지도 모르면서 posterior를 바로 $\hat{Y}$로 쓰느냔 말이야..? (그리고 갑자기 혼자 헷갈리기 시작) 그래서 뭘 주섬주섬 찾아봤단 말이지요. 음 네 그렇다구.. 2024. 3. 31. 이전 1 2 3 4 다음
