coursework/Machine Learning & Deep Learning6 SP24) Bagging & Boosting (Ensemble) 불성실한 막학기 학생 등장..이 아니고 사실 복습은 꾸준히 하는데 수식 입력하는 게 너무 귀찮아서ㅜ 공책에다 손으로 했음.. 근데 곧 면접 시즌 다가오니까 전부 다 정리해서 올릴 겁니다. 암튼 오늘의 토픽: Bagging & Boosting!예전에 우리가 Bias-Variance decomposition을 배운 적이 있었지요. 우리가 데이터 $D$로 만든 hypothesis의 예측과 실제값의 분산은, bias, variance, 그리고 불가피한 noise의 세 항으로 나타낼 수 있다는 내용이었어요. 여기서 bias는 예측이 실제와 얼마나 차이가 나는지를 의미하고, variance는 그 모델의 complexity를 내포해요. High bias면 모델의 예측이 꽤나 형편없다는... 거고... High var.. 2024. 5. 25. SP24) Bias-Variance Tradeoff 이날 퀴즈도 봤는데 꾸역꾸역 진도 나가신 멋진 Jeany Son 교수님... 흥칫이야 완전.. 오늘의 주제는 Bias-Variance Tradeoff! 뭔지 잘 모르므로 열심히 또 복습 기~ 참고 영상: https://www.youtube.com/watch?v=zUJbRO0Wavo 이 교수님 설명 ㄹㅇ 왕잘함 역시 코넬대학교 CS 최고.. 그리고 뭔가 손진희 교수님 설명과 다른 부분이 많은 것 같네요..? 참고로 'bias'라는 용어는 좀 느슨하게 사용되는 듯합니다. weight&bias에서 bias term을 말하는 경우도 있고, 이 강의에서는 다른 걸 지칭하는 것 같네요~.~ 교수님은 이런 표현을 사용하심 "The difference between the expected predictions of y.. 2024. 4. 1. SP24) Linear Regression II 자자 파라미터 LR에서 $\theta$를 구할 때는 오타를 최소화하는 방향으로 구한다는 것도 알았음! 그럼 계산을 해줘야 하는데.. 지난 포스트의 솔루션 구하는 식을 한 번 볼까요? $X^\topX$ 이런 항이 있지 않습니까,,, 이게 적당히 feature 수가 적은 데이터셋이면 그냥 바로 계산해버리면 되긴 하지만 real-world 데이터의 크기는 굉장히 크기 때문에, 손진희 교수님이 쓰신 표현을 빌리자면 "prohibitively expensive"라고 하더이다.. 이런 계산은 안하느니만 못한 거죠ㅜㅡㅜ 그래서 일단 파라미터를 무작위로 초기화 시켜두고, 최적의 파라미터를 찾아가도록 하는 최적화 알고리즘을 사용하는데 그 중 하나가 바로 gradient descent, 경사하강법입니다. 이거랑 같이, r.. 2024. 3. 31. SP24) Linear Regression 1 톰 미첼 교수님은 수업에서 이걸 거의 다루지 않아서 손진희 교수님의 수업 내용만 담았습니다. 아 그리고 Stanford의 Andrew Ng 교수님이 2018년에 진행하신 Machine Learning 강의를 쬐애애애끔 참고했습니다ㅋㅋ 한.. 20분 들었나ㅋㅋ Gradient Decent 전까지 들었으니까 15분쯤 되겠네요^_^ Regression을 분류과제에 사용한다고 하면, 특히 이항형(binary)일 경우에는 음.. class A일 확률이 0.5 이상이면 A로 분류하는 느낌? 제 기억으론 logistic regression이 이런 느낌이었던 거 같은데요, 교수님이 딱히 강의에서는 무어라 언급하질 않았습니다. 반면에 응 교수님은 대번에 housing 예시를 들고 오셨어요. 이를테면, $X_1$이 안방 .. 2024. 3. 28. SP24) Naive Bayes Classifier 2 *이 포스트는 80% 정도는 CMU의 10-601; Machine Learning (by Prof. Tom Mitchell) 강의를, 20% 정도는 GIST의 EC4213 Machine Learning & Deep Learning (by Prof. 손진희) 강의를 참고하고 있습니다. 아 Naive Bayes의 중요성을 새삼 실감하는 강의 편성... 장장 4시간 가량의 강의가 모두 naive bayes입니다... 오늘은 거두절미하고 예시부터 바로 살펴보도록 하겠음 Text Classification, "Bag of Words" Model 수업에서 아마 제일 많이 등장하는 자연어 처리 (Natural Language Processing, a.k.a NLP) 관련 예시가 이게 아닐까 싶음 그 중에서도 제일 많.. 2024. 3. 24. SP24) Naive Bayes Classifier 1 베이즈 진짜 평생 보겠구나.. 하기사 지금 사용하는 인공지능 모델이 전부 확률 모델이기 때문에 새로운 패러다임이 도래하지 않는 이상 어쩔 수 없겠다는 생각이 드는군요~.~ 그나저나 쿤의 과학혁명 묘사에 따르면 곧 확률 모델이 가진 한계가 슬금슬금 등장하는, 패러다임의 위기가 올 텐데 과연... 베이즈 정리는 제가 이 블로그를 개설하기 전에, 원래 캐주얼한ㅋㅋ 포스트 작성할 때 애용하는 제 네이버 블로그에 MLE/MAP를 정리하며 꼼꼼히 올려뒀습니다. 민서야 제발 복습 좀이건 7강이야요 자 암튼 베이즈 정리도 알고 MAP가 Bayesian Learning이라는 것도 이제 안다! 지난번에 배웠던 내용들은 전부, 모델이 분류 과제에서 Posterior 확률, 즉 데이터 관측 후 그 데이터를 설명하는 최적의 .. 2024. 3. 20. 이전 1 다음
