ML 기초 시리즈
회귀, 분류, 앙상블, 클러스터링까지 머신러닝의 핵심 알고리즘. 39편을 읽는 순서대로 정리했습니다.
머신러닝은 데이터에서 규칙을 찾는다, 지도·비지도·강화학습
사람이 규칙을 짜던 자리에 데이터를 놓는 것이 머신러닝이다. 이 방향 전환이 무엇을 바꾸는지, 그리고 지도학습·비지도학습·강화학습이 어디에서 갈라지는지 정리한다.
ML 기초
문제 정의부터 배포까지, 머신러닝 프로젝트의 전 과정
문제 정의, EDA, 전처리, 학습과 평가, 배포로 이어지는 머신러닝 프로젝트의 흐름을 정리한다. 이 흐름이 한 방향 직선이 아니라 되돌아오는 고리인 이유까지.
ML 기초
데이터에 가장 잘 맞는 직선을 찾는 선형 회귀
기울기와 절편이라는 두 숫자를 잔차 제곱합이라는 기준으로 정하는 선형 회귀의 원리. 정규 방정식이 그 해를 한 번에 계산하는 이유와, 이 방법이 무엇에 취약한지 정리한다.
ML 기초
모델이 얼마나 틀렸는지 재는 비용 함수
여러 개의 잔차를 숫자 하나로 요약하는 비용 함수. 절댓값 대신 제곱을 쓰는 세 가지 이유와, 비용 함수가 그리는 볼록한 지형이 최적화로 이어지는 과정을 정리한다.
ML 기초
비용 함수의 바닥까지 걸어 내려가는 경사하강법
기울기의 반대 방향으로 파라미터를 조금씩 옮기는 경사하강법의 갱신식과 편미분 유도. 학습률이 수렴과 발산을 가르는 이유, 배치와 미니배치의 차이까지 정리한다.
ML 기초
변수가 늘어나면 달라지는 것들, 다중 선형 회귀
변수가 여러 개인 선형 회귀에서 달라지는 세 가지. 정규 방정식으로 해를 한 번에 구하는 법, 겹친 변수가 계수 해석을 무너뜨리는 다중공선성, 스케일 차이가 경사하강법의 수렴을 막는 이유.
ML 기초
선형 회귀에 시그모이드를 얹어 만드는 로지스틱 회귀
선형 회귀가 분류에서 무너지는 이유, 시그모이드가 실수를 확률로 바꾸는 원리, 로그 손실 이 볼록해지는 이유를 따라가며 로지스틱 회귀의 구조를 정리한다.
ML 기초
모델이 데이터를 가르는 선, 결정 경계
로지스틱 회귀의 결정 경계가 왜 항상 직선인지, 다항 특성이 그 직선을 곡선으로 바꾸는 원리, 클래스가 셋 이상일 때 Softmax가 공간을 나누는 방식을 정리한다.
ML 기초
과적합을 막는 규제, Ridge와 Lasso는 무엇이 다른가
가중치 크기에 패널티를 걸어 과적합을 억누르는 규제. Ridge는 계수를 고르게 줄이고 Lasso는 일부를 정확히 0으로 만드는데, 그 차이는 패널티 식이 아니라 제약 영역의 모양에서 나온다.
ML 기초
베이즈 정리로 분류하는 나이브 베이즈(Naive Bayes)
조건부 독립이라는 명백히 틀린 가정으로 좋은 분류 성능을 내는 나이브 베이즈. 가정이 없앤 계산량, Gaussian과 Multinomial의 차이, 로지스틱 회귀와 갈리는 지점을 정리한다.
ML 기초
거리만으로 분류하는 K-최근접 이웃(KNN)
학습 없이 이웃의 다수결로 분류하는 KNN. 거리를 정의하는 방법, K가 결정 경계를 바꾸는 방식, 스케일링이 필수인 이유, 고차원에서 거리가 의미를 잃는 차원의 저주까지 다룬다.
ML 기초
마진을 최대화하는 분류기 서포트 벡터 머신(SVM)
두 클래스 사이에 가장 넓은 도로를 내는 SVM. 마진과 서포트 벡터의 기하학, 힌지 손실과 C 파라미터, 변환 없이 비선형을 다루는 커널 트릭을 정리한다.
ML 기초
모델 오차를 쪼개면 드러나는 편향-분산 트레이드오프
모델 오차는 편향, 분산, 줄일 수 없는 노이즈 세 조각으로 나뉜다. 과소적합과 과적합이 각각 어느 조각에서 오는지, 학습 곡선으로 둘을 어떻게 가려내는지 다룬다.
ML 기초
질문을 반복해 데이터를 쪼개는 결정 트리
결정 트리가 지니 불순도와 정보 이득으로 분할 기준을 고르는 방식, 축에 평행한 결정 경계가 만들어지는 이유, 깊이 제한으로 과적합을 막는 원리를 정리한다.
ML 기초
약한 모델 여러 개를 합쳐 분산을 줄이는 배깅
부트스트랩 복원 추출로 만든 여러 트리를 다수결로 합칠 때 분산이 왜 줄어드는지, 그리고 트리 간 상관관계가 그 효과를 어디서 멈춰 세우는지 정리한다.
ML 기초
특성 무작위성으로 트리 간 상관관계를 깨는 랜덤 포레스트
각 노드에서 후보 특성을 일부만 남기는 max_features가 트리 간 상관관계를 낮춰 배깅의 분산 하한을 끌어내리는 원리와, 특성 중요도를 읽을 때 상관된 특성이 만드는 함정을 정리한다.
ML 기초
틀린 것만 다시 배우는 부스팅, AdaBoost와 Gradient Boosting
앞 모델이 남긴 오차를 다음 모델이 이어받는 부스팅의 원리. AdaBoost의 샘플 가중치, Gradient Boosting의 잔차 학습, 학습률과 트리 수의 관계를 정리한다.
ML 기초
XGBoost와 LightGBM은 실제로 무엇이 다른가
XGBoost와 LightGBM은 그래디언트 부스팅의 원리는 그대로 두고 트리를 키우는 방식을 바꾼 구현체다. 기본 그래디언트 부스팅에 XGBoost가 더한 정규화 목적 함수와 2차 도함수, LightGBM의 leaf-wise 성장과 GOSS, EFB까지 셋이 갈라 지는 지점을 정리한다.
ML 기초
퍼셉트론에서 다층 신경망까지, 신경망의 구조
퍼셉트론이 로지스틱 회귀와 같은 계산을 한다는 데서 출발해, 은닉층이 XOR 같은 비선형 문제를 푸는 원리와 가중치 행렬의 차원 규칙까지 정리한다.
ML 기초
입력이 예측이 되기까지, 순전파의 행렬 연산
입력 벡터가 층마다 가중치 행렬과 곱해지고 활성화 함수를 지나 예측값이 되는 과정, 그리고 그 계산을 행렬 곱 한 번으로 묶는 벡터화를 정리한다.
ML 기초
연쇄 법칙으로 기울기를 되돌리는 역전파
손실에서 출발해 각 층의 가중치가 오차에 얼마나 기여했는지를 연쇄 법칙으로 역산하는 과정, 그리고 그 곱셈 사슬이 기울기 소실을 낳는 이유를 정리한다.
ML 기초
활성화 함수는 왜 ReLU로 정착했나
시그모이 드 도함수의 최댓값 0.25가 만든 기울기 소실, ReLU가 그 벽을 넘은 방식, GELU까지 이어진 은닉층 선택 기준을 정리한다.
ML 기초
SGD에서 Adam까지, 옵티마이저는 무엇을 개선해왔나
미니배치 분할, Momentum의 관성, RMSProp의 파라미터별 학습률, 둘을 합친 Adam의 편향 보정까지 갱신식이 달라져 온 이유를 정리한다.
ML 기초
신경망 학습을 안정시키는 가중치 초기화와 BatchNorm, Dropout
초기 가중치의 분산이 층마다 신호를 키우거나 죽이는 원리, BatchNorm이 입력 분포를 고정하는 방식, Dropout이 앙상블을 흉내 내는 구조를 정리한다.
ML 기초
Accuracy 99%가 거짓말일 때 보는 Precision과 Recall
혼동 행렬의 네 칸에서 Precision, Recall, F1, AUC가 어떻게 나오는지, 클래스가 불균형할 때 어떤 지표가 모델을 과대평가하는지 정리한다.
ML 기초
MAE, RMSE, R² 중 무엇으로 회귀 모델을 고를까
잔차를 절댓값으로 재느냐 제곱으로 재느냐에 따라 더 좋은 모델이 뒤바뀐다. MAE, MSE, RMSE, R², MAPE, RMSLE가 각각 무엇을 재고 어디서 무너지는지 정리한다.
ML 기초
K-Fold에서 TimeSeriesSplit까지, 교차 검증 전략 고르기
한 번의 분할로 얻은 점수를 믿을 수 없는 이유부터, K-Fold와 Stratified, TimeSeriesSplit, GroupKFold가 각각 무엇을 지키려고 데이터를 다르게 자르는지까지 정리한다.
ML 기초
하이퍼파라미터 튜닝, Grid Search보다 Random Search가 나은 이유
학습 전에 사람이 정하는 값을 탐색하는 방법. 격자 탐색이 정해진 예산을 어디에 낭비하는지, 무작위 탐색과 베이지안 최적화가 그 예산을 어떻게 다시 쓰는지 정리한다.
ML 기초
학습 곡선과 오차 분석으로 다음에 무엇을 할지 정한다
모델 정확도가 75%일 때 데이터를 더 모을지 모델을 바꿀지 가려내는 기준. 학습 곡선으로 편향과 분산을 진단하고, 오차 분석으로 개선 순서를 정한다.
ML 기초
One-Hot과 Label, 범주형 데이터 인코딩을 고르는 기준
명목형과 순서형의 구분부터 One-Hot의 차원 폭발과 다중공선성까지, 범주형 변수를 숫자로 바꾸는 방법과 모델별 선택 기준을 정리한다.
ML 기초
StandardScaler와 MinMaxScaler, 피처 스케일링은 무엇을 기준으로 고르나
스케일이 어긋나면 경사 하강과 거리 계산이 어떻게 망가지는지, StandardScaler·MinMaxScaler·RobustScaler·MaxAbsScaler가 각각 무엇을 기준으로 삼는지 정리한다.
ML 기초
필터·래퍼·임베디드, 피처를 걸러내는 세 갈래
피처 선택은 모델을 학습하기 전에 할 수도, 학습을 반복하며 할 수도, 학습 안에서 할 수도 있다. 필터와 래퍼, 임베디드가 갈리는 지점과 각각의 대가를 정리한다.
ML 기초
Target Encoding을 타겟 누수 없이 쓰는 법
타겟 평균으로 범주를 숫자 하나로 압축하는 Target Encoding의 원리와, 타겟 누수를 막는 Smoothing·K-Fold·CatBoost 순서 통계량을 정리한다.
ML 기초
결측치를 지울 것인가 채울 것인가
결측이 무작위인지, 다른 변수로 설명되는지, 값 자체에 달렸는지에 따라 삭제와 단순 대체, KNN, MICE 중 무엇을 써야 하는지 정리한다.
ML 기초
중심점을 옮겨가며 군집을 찾는 K-Means 클러스터링
K-Means가 최소화하는 WCSS, 할당과 이동을 번갈아 반복하는 절차, 지역 최적을 완화하는 K-Means++ 초기화, 엘보우와 실루엣으로 K를 고르는 기준.
ML 기초
가우시안 밀도부터 Isolation Forest까지, 이상 탐지의 원리
정상 데이터의 분포를 학습해 그 바깥을 이상으로 판정하는 원리. 가우시안 밀도와 임계값 선택, 다변량 가우시안이 잡아내는 상관관계, Isolation Forest와 LOF의 판정 기준을 정리한다.
ML 기초
분산이 가장 큰 방향으로 축을 다시 잡는 PCA
분산이 최대인 방향을 새 축으로 잡아 차원을 줄이는 PCA의 원리. 공분산 행렬의 고유벡터가 주성분이 되는 이유, 설명 분산 비율로 성분 수를 정하는 기준, 표준화가 먼저여야 하는 이유.
ML 기초
밀도로 묶는 DBSCAN과 확률로 묶는 GMM
밀도가 이어지는 방향으로 클러스터를 넓히는 DBSCAN과 가우시안 혼합으로 소속 확률을 내주는 GMM. 핵심점·경계점·잡음점 구분, eps 선택, EM 알고리즘, 공분산 타입까지.
ML 기초
고차 원 데이터를 2차원에 펼치는 t-SNE와 UMAP
t-SNE와 UMAP은 고차원 데이터의 이웃 관계를 보존한 채 2차원에 펼치는 비선형 차원 축소 기법이다. t-SNE는 이웃일 확률을, UMAP은 이웃 그래프를 맞춘다. 속도와 전역 구조, 새 데이터 투영에서 둘이 갈리는 지점과, 그림에서 군집 간 거리를 읽으면 안 되는 이유를 정리한다.
ML 기초
