math4ai/Machine Learning and Deep Learning12 M4AI) Unsupervised Learning: Clustering 고전적인 머신러닝 모델로 unsupervised learning, 즉 따로 레이블링이 되어있지 않은 데이터로 학습을 하는 경우는 크게 세 가지 과제로 구분할 수 있겠습니다.clustering; 비슷한 애들끼리 묶기association; 조합 만들기 (e.g. 음식 맛도리 조합.. 베이글&크림치즈와 커피 등..)dimension reduction; generalization이라고도 하는데, 집단 전체를 대표하는 무언가를 찾는 건가봐요. (e.g. PCA)여기서는 clustering을 훑어보도록 하겠습니당! K-Means, GMM&EM 정도..?K-Means Clustering아주 단순한 알고리즘임. 하이퍼파라미터 $k$는 우리가 찾고 싶은 cluster의 개수를 의미하는데, 데이터 포인트마다 그와 가장 가.. 2024. 7. 28. M4AI) Bias-Variance Decomposition, Perceptron Bias-Variance Decomposition블로그 주인장이 남겨둔 글인데 나름 나쁘지 않게 쓴 것 같아서: https://m-cademic-archive.tistory.com/12요약하자면, 우리에게 주어진 학습데이터 $\mathcal{D}$를 바탕으로 만든 모델 $h(x)$가 있을 때,label $y$는 determinisitc한 부분과 불가피한 noise의 합으로 표현되는데, ($y=f(x)+\epsilon$) 우리의 hypothesis $h(x)$가 완벽하게 학습됐다면 $h(x)=f(x)$이지만!! 완벽하게 학습하는 것도 어렵고 항상 불가피한 노이즈가 있어서 오차가 발생할 수밖에 없다..$y$와 $h(x)$의 MSE는 불가피한 noise, bias의 제곱, 그리고 variance로 분해할 수 .. 2024. 7. 27. M4AI) Logistic Regression & Linear Regression 둘다 회귀인데, 전자는 classification task이고 후자는 ..아님ㅋㅋ Logistic RegressionNaïve Bayes는 $P(Y|X)$를 계산할 때 $P(Y)$와 $P(X|Y)$를 모두 계산을 해줬었지요. Logistic regression은 $P(Y|X)$를 그냥 바로 구해버리자는 알고리즘이라고 합니다. NB에서, $P(X_i|Y=y_k)=\mathcal{N}(\mu_{ik}, \sigma_i)$라면, 즉 class에 상관없이 covariance가 같을 때 (\sigma_{ik} = \sigma_i) logistic regression으로 탈바꿈할 수 있대요. 조건은 대충 이럼:$Y$는 불리언$X_i$s are conditionally indep. given $Y$$P(X_i|Y=y.. 2024. 7. 26. M4AI) Naïve Bayes 예전 정리글:https://m-cademic-archive.tistory.com/4https://m-cademic-archive.tistory.com/6베이즈 정리를 또 다르게 응용하는 방법입니다. In a nutshell,\begin{equation}P(Y=y_k|X_1, \cdot, X_n) = \dfrac{P(Y=y_k)\prod_iP(X_i|Y = y_k)}{\sum_j P(Y=y_j)\prod_iP(X_i|Y = y_j)}, \\Y^{new} \leftarrow \arg\max_{y_k} P(Y=y_k)\prod P(X_i^{new}|Y=y_k)\label{naive}\tag{*}\end{equation}이게 무언 소리인고, 하니! 두둥탁중요한 개념을 알고 있어야 합니다: 조건부 독립! $X_1.. 2024. 7. 24. M4AI) MLE & MAP estimating의 방법들입니다. 약간... Stat/Prob 쪽이랑 겹치는 내용이기도 하겠지만, 일단 데이터를 바탕으로 학습하는 machine learning 측면에서 최대한 설명해보려고 노력하겠음 일단 이 두 개념을 공부하려면 Bayes' Rule에 대해 잘 숙지하고 있어야 합니다. 주어진 데이터 $\mathcal{D}$와 우리가 찾고 싶은 파라미터를 $\theta$라고 하면,\begin{equation}\label{bayes}\tag{*}P(\theta|\mathcal{D}) = \dfrac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\end{equation}$\theta$의 개념은 그냥 parametric model에서 사용하는 유한한 개수의 parame.. 2024. 7. 24. M4AI) Decision Tree 제가 이 과목을 빠르게 wrap-up을 할 수 있는지 의문이긴 하지만... 일단 최대한 달려보겠음.ReferenceCMU SP15 10-601 Machine Learning: https://www.cs.cmu.edu/~ninamf/courses/601sp15/lectures.shtmlCornell University CS4780 Machine Learning for Intelligent Systems: https://www.youtube.com/playlist?list=PLl8OlHZGYOQ7bkVbuRthEsaLr7bONzbXS 개인적으로 레전드라 생각GIST EC4213 Machine Learning and Deep Learning (본인 모교 수업ㅋㅋ)갈길이 머니까 빠르게 본론으로 ㄱㄱDecisi.. 2024. 7. 22. 이전 1 2 다음
