K-최근접 이웃(KNN): 거리로 분류하는 가장 직관적인 알고리즘

새 데이터(★)를 분류하려 한다. 주변에 ●(클래스 A)와 ▲(클래스 B)가 섞여 있다.

        ▲
    ●       ▲
        ★           ▲
    ●       ●
                ▲
        ●

K=3: 가장 가까운 3개 → ● ● ▲ → 다수결: 클래스 A (●)
K=5: 가장 가까운 5개 → ● ● ● ▲ ▲ → 다수결: 클래스 A (●)
K=7: 가장 가까운 7개 → ● ● ● ▲ ▲ ▲ ▲ → 다수결: 클래스 B (▲)

유클리드 거리 vs 맨해튼 거리 (2D 예시)

  A(1,3) ─ ─ ─ ─ ┐
    ╲              │   맨해튼: |4-1| + |1-3| = 3 + 2 = 5
     ╲             │
      ╲ √13       │   유클리드: √(3² + 2²) = √13 ≈ 3.61
       ╲           │
        B(4,1) ◀──┘

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

data = load_breast_cancer()
X, y = data.data, data.target

k_range = range(1, 31)
scores = []

for k in k_range:
    pipe = Pipeline([
        ('scaler', StandardScaler()),
        ('knn', KNeighborsClassifier(n_neighbors=k))
    ])
    # 5-fold 교차 검증으로 안정적인 정확도 측정
    cv_score = cross_val_score(pipe, X, y, cv=5, scoring='accuracy')
    scores.append(cv_score.mean())

best_k = k_range[scores.index(max(scores))]
print(f"최적 K: {best_k}, 정확도: {max(scores):.4f}")
# 최적 K: 7, 정확도: 0.9684

고객 A: 나이 = 30, 연봉 = 5000만
고객 B: 나이 = 50, 연봉 = 5100만

유클리드 거리 = √((30-50)² + (5000-5100)²)
             = √(400 + 10000)   (단위: 만원)
             = √10400 ≈ 102

나이 차이 기여: 400 / 10400 = 3.8%
연봉 차이 기여: 10000 / 10400 = 96.2%

from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score

data = load_wine()
X_train, X_test, y_train, y_test = train_test_split(
    data.data, data.target, test_size=0.3, random_state=42
)

# 스케일링 없이
knn_raw = KNeighborsClassifier(n_neighbors=5)
knn_raw.fit(X_train, y_train)
acc_raw = accuracy_score(y_test, knn_raw.predict(X_test))

# 스케일링 적용
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

knn_scaled = KNeighborsClassifier(n_neighbors=5)
knn_scaled.fit(X_train_scaled, y_train)
acc_scaled = accuracy_score(y_test, knn_scaled.predict(X_test))

print(f"스케일링 전: {acc_raw:.4f}")
print(f"스케일링 후: {acc_scaled:.4f}")
# 스케일링 전: 0.7037
# 스케일링 후: 0.9815

1차원:  10%의 범위 = 0.1           (전체의 10%)
2차원:  10%의 면적 → 한 변 = 0.316  (전체의 31.6%)
10차원: 10%의 부피 → 한 변 = 0.794  (전체의 79.4%)
100차원: 10%의 부피 → 한 변 = 0.977 (전체의 97.7%)

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.metrics import accuracy_score, classification_report

# 데이터 로드
data = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(
    data.data, data.target, test_size=0.2, random_state=42
)

# KNN 파이프라인 (StandardScaler + KNN)
knn_pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('knn', KNeighborsClassifier(n_neighbors=7))
])

# 로지스틱 회귀 파이프라인 (비교용)
lr_pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('lr', LogisticRegression(max_iter=1000))
])

# 학습 및 평가
knn_pipe.fit(X_train, y_train)
lr_pipe.fit(X_train, y_train)

knn_acc = accuracy_score(y_test, knn_pipe.predict(X_test))
lr_acc = accuracy_score(y_test, lr_pipe.predict(X_test))

print(f"KNN (K=7)     정확도: {knn_acc:.4f}")
print(f"Logistic Reg  정확도: {lr_acc:.4f}")
print(f"\nKNN Classification Report:")
print(classification_report(y_test, knn_pipe.predict(X_test),
                            target_names=['악성', '양성']))

KNN (K=7)     정확도: 0.9561
Logistic Reg  정확도: 0.9737

KNN Classification Report:
              precision    recall  f1-score   support

          악성       0.93      0.95      0.94        43
          양성       0.97      0.96      0.96        71

    accuracy                           0.96       114
   macro avg       0.95      0.96      0.95       114
weighted avg       0.96      0.96      0.96       114