ML 분류 전체 문항

해설

선형 회귀를 분류에 쓰면 두 곳이 깨진다. 하나는 출력 범위다. 음의 무한대에서 양의 무한대까지 열려 있어 1.17 같은 값이 나오는데 이것을 확률로 읽을 수 없다. 다른 하나는 이상치 민감도다. 직선 하나가 모든 점과의 제곱 오차를 줄이려 하므로 클래스 안쪽에서 멀리 떨어진 점 하나가 직선 전체를 끌고 간다. 20시간 공부한 합격자 한 명을 추가하면 직선이 눌려 평평해지고, 원래 잘 맞히던 4시간 합격자의 예측이 0.70에서 0.45로 떨어져 판정이 뒤집힌다. 두 문제를 한꺼번에 푸는 장치가 출력을 0과 1 사이에 가두는 시그모이드다.

해설

확률은 0과 1 사이에 갇혀 있어 선형 모델로 직접 맞히기 어렵다. 승산을 취하면 0에서 무한대로, 로그까지 씌우면 실수 전체로 범위가 열리므로 그 값이라면 선형 모델이 그대로 다룰 수 있다. 이 등식을 확률에 대해 풀면 시그모이드가 유도의 결과로 나온다. 그래서 시그모이드는 범위를 압축하려고 갖다 붙인 함수가 아니라 확률과 선형 모델을 잇는 다리다. 여기서 계수 해석도 따라 나온다. 로지스틱 회귀의 계수는 확률에 대한 기여가 아니라 로그 승산에 대한 기여이므로, 계수에 지수를 씌운 값이 승산비가 된다. 모델 이름에 회귀가 붙은 것도 실제로 맞히는 대상이 이 연속량이기 때문이다.

해설

추가된 점은 이미 클래스 1 영역 깊숙이 있어 분류 판정에는 아무 정보도 더하지 않는다. 그런데 선형 회귀는 그 점의 제곱 오차까지 줄이려 하므로 직선이 눌려 평평해지고, 0.5를 지나는 자리가 밀리면서 원래 맞던 예측까지 틀리게 된다. 로지스틱 회귀가 이 문제에 강한 이유는 시그모이드의 모양에 있다. 이미 1에 가깝게 예측한 점은 손실이 거의 0이라 파라미터를 더 끌어당기지 않으므로, 멀리 있는 같은 클래스의 점이 경계를 밀지 못한다. 로그 손실이 벌하는 것은 정답 클래스에 낮은 확률을 준 경우이지 정답 쪽으로 멀리 떨어진 경우가 아니다.

해설

시그모이드를 씌운 예측에 제곱 오차를 적용하면 그 비용 곡면이 볼록하지 않아진다. 지역 최솟값이 여러 개 생기고 경사하강법이 어디서 출발하느냐에 따라 다른 곳에 멈추므로 전역 최솟값에 닿는다는 보장이 사라진다. 로그 손실은 시그모이드와 결합해도 볼록성을 유지하므로 이 문제가 없다. 벌의 모양도 눈여겨볼 만하다. 잘 맞힌 쪽의 이득은 0에서 멈추지만 확신 있게 틀린 쪽의 벌은 로그를 따라 발산한다. 정답 확률을 0.01로 준 예측 하나의 손실이 4.6인데, 이는 0.5로 어정쩡하게 준 예측 여섯 건분을 넘는 양이다. 확신 있는 오답을 강하게 벌하는 이 비대칭이 분류 학습을 이끄는 힘이다.

해설

정답 확률에 로그를 씌운 항을 미분하면 분모에 예측 확률이 생기고, 시그모이드를 미분하면 예측 확률 곱하기 그 여집합이 나온다. 연쇄 법칙으로 둘을 곱하는 순간 예측 확률이 약분되면서 잔차 곱하기 입력만 남는다. 그래서 비용 함수를 완전히 갈아 끼웠는데도 갱신식은 선형 회귀와 같은 모양으로 돌아온다. 이것이 세 조각이 서로를 붙들고 있다는 말의 의미다. MSE를 버린 것은 볼록성을 얻기 위해서였는데 그 대가로 고른 로그가 시그모이드의 미분과 정확히 맞물려 구현까지 단순하게 만들어준다. 같은 약분이 소프트맥스와 교차 엔트로피의 조합에서도 일어나므로, 신경망 분류기의 마지막 층에서 이 짝이 표준이 된 것도 같은 이유다.

해설

LogisticRegression의 C는 규제 강도의 역수다. C가 크면 규제가 약해 가중치가 커질 수 있고 과적합 쪽으로 가며, C가 작으면 가중치를 강하게 눌러 경계가 단순해지고 과소적합 쪽으로 간다. 규제 계수를 직접 받는 Ridge나 Lasso의 alpha와 방향이 정반대라 값을 옮길 때 뒤집기 쉽고, 여기서도 과적합을 줄이려다 오히려 키운 셈이 됐다. 라이브러리마다 이런 방향의 차이가 있으므로 새 모델의 규제 파라미터를 만나면 그것이 강도인지 역수인지부터 확인하는 것이 안전하다. 함께 기억할 것은 로지스틱 회귀에도 규제가 기본으로 켜져 있다는 점이다. 규제 없는 순수한 로지스틱 회귀를 원한다면 penalty를 따로 꺼야 한다.

해설

시그모이드가 정확히 0.5를 지나는 지점은 입력이 0인 곳 하나뿐이다. 따라서 0.5를 임계값으로 쓰는 한 예측이 갈리는 자리는 가중치와 입력의 내적에 절편을 더한 값이 0이 되는 점들이고, 이 등식은 2차원에서 직선, 3차원에서 평면, n차원에서 초평면이다. 가중치 벡터는 이 경계의 법선이라 경계는 언제나 그 벡터에 수직이고, 절편은 경계를 원점에서 얼마나 밀어낼지를 정한다. 학습이란 결국 이 평면의 방향과 위치를 옮기는 일이다. 아무리 오래 학습시키고 규제를 어떻게 걸어도 이 사실은 바뀌지 않는다. 곡선 경계를 얻으려면 모델이 아니라 입력을 손봐야 한다.

해설

점에서 경계까지의 부호 있는 거리를 구하면 시그모이드에 들어가는 값은 가중치 벡터의 크기 곱하기 그 거리다. 확률이 거리 하나로 정해지므로 확률이 같은 점을 이으면 경계와 나란한 직선이 나오고, 남은 변수는 가중치 벡터의 크기 하나다. 이 값이 크면 같은 거리에서도 확률이 가파르게 변하고, 규제로 눌러 작게 만들면 같은 확률에 닿기까지 훨씬 먼 거리가 필요해진다. 방향은 그대로인데 확신만 완만해지는 것이다. 확률을 그대로 의사결정 비용에 곱해 쓰는 상황이라면 이 차이가 중요하다. 정확도는 같아도 확률이 실제 빈도와 맞지 않을 수 있으므로 보정 곡선을 따로 확인해야 한다.

해설

두 변수에 제곱 항과 교차 항을 더하면 로지스틱 회귀는 확장된 5차원 공간에서 여전히 평평한 경계를 긋는다. 그런데 같은 식을 원래의 두 변수 평면에서 보면 2차 곡선이고, 두 제곱 항의 계수가 비슷하고 나머지가 작으면 원의 방정식이 된다. 동심원 데이터가 정확히 그 구조라 2차에서 완전히 갈린다. 모델은 한 글자도 바뀌지 않았고 바뀐 것은 입력의 표현뿐이다. 이 발상은 로지스틱 회귀에서 멈추지 않는다. 커널 SVM은 확장된 특성을 명시적으로 만들지 않고 내적만으로 같은 일을 하고, 신경망의 은닉층은 어떤 특성을 만들지를 학습으로 찾는다. 원래 공간에서 선형으로 안 풀리는 문제를 선형으로 풀리는 공간으로 옮긴다는 점이 셋 다 같다.

해설

점수에 1000 같은 값이 들어오면 지수 계산이 float 범위를 넘겨 무한대를 반환하고, 무한대 나누기 무한대가 되어 결과 전체가 nan으로 무너진다. 각 행의 최댓값을 빼면 지수가 0 이하로 눌려 계산이 안전해지고, 분자와 분모에 같은 상수가 곱해지는 것이라 출력값은 조금도 변하지 않는다. 값을 지키면서 안정성만 얻는 변형이다. 실제 프레임워크의 소프트맥스와 로그 소프트맥스에도 같은 처리가 들어 있고, 손실까지 한 함수로 묶은 구현을 권하는 이유도 여기에 있다. 소프트맥스를 따로 계산해 로그를 씌우면 확률이 0으로 눌린 자리에서 로그가 무한대로 발산하는데, 묶어서 계산하면 그 항이 지수 계산 없이 처리되어 그 위험이 사라진다.

해설

Softmax는 K개 점수를 한꺼번에 정규화해 확률의 합을 1로 만든다. 한 샘플에 정답이 하나뿐인 상호 배타적 문제라면 이 성질이 정확히 원하는 것이지만, 여러 레이블이 동시에 붙는 문제에서는 정답끼리 확률을 나눠 가지므로 어느 것도 임계값을 넘지 못하는 일이 생긴다. One-vs-Rest는 각 클래스에 대해 붙는지 아닌지를 따로 판정하는 이진 분류기를 K개 만들고 서로를 모른 채 학습하므로 다중 레이블에 그대로 맞는다. 확률의 합이 1이 되지 않아 어떤 점에서 두 클래스의 확률이 모두 높게 나올 수 있다는 성질도, 단일 레이블 문제에서는 단점이지만 여기서는 그것이 곧 원하는 동작이다. 클래스 수와 상관없이 문제의 배타성이 선택 기준이다.

해설

다항 특성의 개수는 원래 특성 수와 차수의 조합으로 늘어난다. 특성 10개를 5차까지 확장하면 3,003개가 되어 표본 2,000건보다 많아지고, 이 상태에서는 모델이 훈련 데이터를 사실상 외울 수 있게 되어 경계가 표본의 배치에 완전히 종속된다. 훈련 정확도는 복잡도를 올리는 쪽으로 단조롭게 좋아지므로 그 숫자만 보면 과적합이 시작된 지점을 영영 볼 수 없다. 동심원 데이터에서 2차와 5차가 훈련에서 둘 다 100%인데 5차 경계는 표본 몇 개의 배치에 맞춰 휘어 있어 새 데이터에서 더 자주 틀리는 것이 그 예다. 차수와 규제는 짝으로 움직여야 하고 두 값 모두 교차 검증 점수로 골라야 한다.

해설

여러 특성의 동시 확률을 데이터에서 직접 세려면 특성 조합 전체를 관측해야 한다. 이진 특성 20개면 100만 가지 조합을 각각 충분히 봐야 하고, 어휘가 수만 개인 실제 문서에서 이 표를 채우는 것은 데이터를 아무리 모아도 불가능하다. 클래스가 정해지고 나면 특성들이 서로 독립이라고 가정하면 동시 확률이 개별 확률의 곱으로 쪼개지고, 추정 대상이 조합 표 전체에서 특성 하나하나의 등장 확률로 줄어든다. 지수적으로 늘어나던 것이 선형이 되는 셈이다. 그 결과 최종 분류 규칙도 사전확률에 특성별 확률을 곱하는 형태로 정리된다. 베이즈 정리의 분모는 모든 클래스에서 같으므로 크기만 비교할 때는 계산하지 않아도 된다.

해설

분류가 요구하는 것은 확률의 정확한 값이 아니라 어느 클래스의 사후확률이 큰지 하나뿐이다. 상관된 특성을 독립으로 취급하면 같은 정보가 여러 번 곱해져 확률값이 한쪽으로 부풀지만, 그 부풀림은 대체로 두 클래스에서 비슷한 방향으로 일어나므로 순위를 뒤집지 못한다. 틀린 가정이 확률은 왜곡하되 순위는 대체로 보존하는 것이다. 그래서 이 모델을 쓸지 판단하는 기준은 정확도표가 아니라 용도가 된다. 어느 클래스인지만 알면 되는 자리, 특성 수가 문서 수보다 많은 자리, 모델을 자주 새로 만들어야 하는 자리에서는 여전히 가장 먼저 시도해볼 베이스라인이다. 반대로 특성 사이의 상관 자체가 판단의 핵심인 문제라면 다른 모델을 봐야 한다.

해설

상관된 특성을 독립으로 취급하면 같은 증거가 여러 번 곱해지므로 사후확률이 0이나 1 쪽으로 심하게 쏠린다. 순위는 대체로 보존되어 분류는 잘 되지만 값 자체는 실제 빈도와 맞지 않는다. 확률 수치를 사용자에게 보여주거나 임계값을 세밀하게 조정해야 하는 자리라면 이 성질이 곧바로 문제가 되므로 로지스틱 회귀 쪽이 맞다. 모델을 바꾸기 어렵다면 검증 세트로 확률을 사후 보정하는 방법이 있지만, 쏠림이 심할수록 보정으로 되찾을 수 있는 해상도가 줄어든다. 애초에 어느 클래스인지만 필요한 자리인지 확률값까지 필요한 자리인지를 먼저 가르는 편이 낫다.

해설

훈련 데이터에 한 번도 없던 단어가 테스트 문서에 나오면 그 단어의 조건부 확률이 0이 되고, 우도가 곱셈으로 결합되므로 문서 전체의 확률이 0으로 사라진다. 나머지 단어가 아무리 강하게 한 클래스를 가리켜도 그 정보가 통째로 무의미해진다. alpha는 모든 단어에 가상의 등장 횟수를 더해 이 소멸을 막는 값이다. alpha가 클수록 모든 단어의 확률이 균등해져 데이터가 말하는 바를 덜 듣게 되고, 0에 가까울수록 관측 빈도를 그대로 쓰되 이 소멸 위험에 노출된다. 어휘가 크고 문서가 적을수록 처음 보는 단어가 많으므로 alpha를 조금 크게 잡는 편이 안전하고, 반대의 경우에는 작게 두어도 된다. 교차 검증으로 고를 값이다.

해설

판별적 모델은 경계를 데이터에서 통째로 배워야 하므로 특성 수에 비해 표본이 적으면 흔들린다. 여기서는 문서 2,254개에 어휘 10,000개라 정확히 그 상황이다. 나이브 베이즈는 독립 가정이 미리 구조를 정해준 덕에 추정할 값이 특성 수만큼으로 줄어들고, 그만큼 적은 데이터에서 덜 흔들린다. 틀린 가정이 만들어준 안정성이 여기서는 이득이 된 셈이다. 다만 이 이득은 데이터가 적을 때만 유효하다. 표본이 늘어나면 그 구조가 반대로 족쇄가 되어 로지스틱 회귀가 추월한다. 두 모델을 고르는 축이 정확도표가 아니라 표본 수와 특성 수의 관계라는 뜻이다.

해설

각 클래스에서 특성이 정규분포를 따른다고 가정하면 클래스별 평균과 분산만으로 우도가 정해진다. 두 클래스의 사후확률이 같아지는 지점을 이은 것이 경계인데, 로그를 취해 정리하면 그 식에 입력의 이차 항이 남고 계수가 두 클래스 분산의 차이로 결정된다. 분산이 모든 클래스에서 같으면 그 항이 서로 지워져 경계가 직선이 되고, 다르면 자취가 이차 곡선으로 휜다. 로지스틱 회귀가 언제나 평평한 경계만 만드는 것과 대비되는 지점이다. 학습이라고 부를 것도 클래스별로 평균과 분산을 구하는 계산 한 번이 전부라 경사하강법도 반복도 없고, 각 특성이 자기 클래스 안에서 자기 단위로 정규화되므로 스케일링도 필요하지 않다.

해설

KNN이 세우는 가정은 하나다. 비슷한 데이터는 비슷한 레이블을 가진다. 여기서 나오는 절차는 학습 때 데이터를 그대로 저장하고, 예측 때 새 점과 저장된 전체의 거리를 재어 가장 가까운 K개를 다수결로 집계하는 것이 전부다. 학습 시점에 아무 계산도 하지 않고 예측 시점에 비로소 일을 시작하므로 게으른 학습이라 부른다. 이 구조에서 두 가지가 따라 나온다. 좋은 쪽은 데이터가 추가되어도 저장만 하면 되므로 재학습이 없다는 것이고, 나쁜 쪽은 예측 한 번에 저장된 전체와의 거리 계산이 필요하다는 것이다. 학습 데이터가 100만 개면 예측마다 100만 번을 계산해야 하고 그 100만 개를 계속 메모리에 들고 있어야 한다.

해설

스무 살 차이가 거리 제곱합에 기여하는 몫은 400으로 전체의 3.8%뿐이고, 나머지 96.2%는 연봉 100만원 차이가 가져간다. 이 상태의 KNN은 사실상 연봉이 비슷한 사람만 이웃으로 찾고 나이는 보지 않는다. 특성을 넣기는 했지만 모델에는 없는 것이나 마찬가지다. 실제 데이터에서 차이가 크게 벌어진다. Wine 데이터셋은 알코올 농도가 11.0에서 14.8, 프롤린이 278에서 1680까지라 스케일링 없이 학습하면 정확도가 0.74인데 표준화 한 줄을 넣으면 0.96으로 올라간다. 거리를 계산하는 알고리즘에서 스케일링은 선택적인 전처리가 아니라 알고리즘의 일부다.

해설

K는 KNN의 유일한 하이퍼파라미터이자 편향과 분산을 직접 조절하는 손잡이다. K가 1이면 가장 가까운 점 하나가 답을 정하므로 잘못 라벨링된 점 하나가 자기 주변을 통째로 자기 클래스로 만들고, 결정 경계가 잡음까지 따라 구불거린다. 반대로 K를 키우면 멀리 있는 이웃까지 표를 던져 경계는 매끈해지지만 다른 클래스 영역의 점이 섞여 들어와 국소적인 패턴을 뭉갠다. K를 전체 데이터 수까지 올리면 어떤 입력에도 다수 클래스만 답하는 상수 함수가 된다. 양쪽 끝이 모두 나쁘므로 최적값은 가운데에 있고, 그 자리는 데이터마다 다르므로 교차 검증으로 찾는다. 이진 분류라면 동점이 생기지 않도록 홀수로 두는 것이 관례다.

해설

고르게 흩어진 데이터의 10%를 담으려면 100차원에서는 모든 축의 97.7%를 훑어야 한다. 이것은 이웃이 아니라 공간 전체다. 실제로 차원이 올라가면 가장 가까운 점까지의 거리와 가장 먼 점까지의 거리 비율이 1에 수렴하고, 모든 점이 엇비슷하게 멀어지면 다수결에 뽑히는 K개는 사실상 무작위 표본이 되어 KNN이 동전 던지기에 가까워진다. 대응은 특성 수를 줄이는 쪽이다. PCA로 정보를 압축하거나 기여가 없는 변수를 골라내는 특성 선택을 앞단에 둔다. 특성이 수백 개를 넘고 줄일 여지가 없다면 애초에 거리에 의존하지 않는 트리 기반 모델로 갈아타는 편이 낫다.

해설

트리 계열은 특성을 이 값보다 큰가 작은가로만 나누므로 단위를 바꿔도 값의 순서가 그대로이고 따라서 같은 분할이 나온다. 스케일링이 결과를 바꾸지 못한다. 반면 KNN은 판단 근거가 거리 하나뿐이라 값의 폭이 가장 큰 특성이 거리의 거의 전부를 차지하고, 다른 특성은 사실상 무시된다. 같은 이유로 SVM과 K-Means도 스케일링이 필수다. 나이브 베이즈는 각 특성의 분포를 따로 추정하므로 스케일링이 필요하지 않고, 로지스틱 회귀는 규제가 없다면 예측이 스케일에 불변이지만 기본 규제가 켜진 구현에서는 결과에도 영향이 있어, 수렴 속도까지 생각하면 스케일링이 권장된다. 새 모델을 만났을 때 이 질문부터 던지면 된다. 이 알고리즘이 여러 특성의 값을 한 덩어리로 합치는가, 아니면 특성마다 따로 보는가.

해설

KD-Tree와 Ball Tree는 공간을 미리 분할해 탐색 범위를 좁혀 예측 비용을 낮춘다. 그런데 차원이 커지면 가지치기로 걸러지는 영역이 줄어들어 결국 대부분의 가지를 다 들어가 보게 되고, 전수 탐색보다 트리를 타고 내려가는 비용만 더 든다. 앞서 본 차원의 저주와 같은 뿌리다. 모든 점이 엇비슷하게 멀어지면 어떤 영역도 안전하게 배제할 수 없다. sklearn의 algorithm 기본값인 auto는 이 사정을 반영해 특성이 15개를 넘으면 트리를 만들지 않고 전수 탐색을 고른다. 그래서 고차원에서 예측이 느린 것은 설정 실수가 아니라 그 상황에서 가장 나은 선택을 라이브러리가 이미 한 결과다. 속도를 되찾으려면 알고리즘 설정이 아니라 차원 축소를 앞단에 두어야 한다.

해설

SVM은 마진 경계에 정확히 걸친 점, 즉 서포트 벡터만으로 결정 경계를 정한다. 그 밖에 여유 있게 놓인 점은 힌지 손실이 0이라 목적 함수에 아무것도 더하지 않으므로, 아무리 많고 아무리 멀리 옮겨도 경계가 움직이지 않는다. 반대로 서포트 벡터 하나를 옮기면 경계 전체가 따라 움직인다. 여기서 SVM의 두 성격이 한꺼번에 나온다. 학습이 끝나면 서포트 벡터만 남기고 나머지를 버려도 되므로 모델이 가볍고, 데이터의 대다수가 결정에 관여하지 않으므로 경계에서 먼 곳의 이상치에는 흔들리지 않는다. 모든 점의 제곱 오차를 줄이려 해 멀리 있는 점 하나에 직선이 끌려가는 선형 회귀와 정확히 대비되는 성질이다.

해설

SVM의 최적화 문제를 쌍대 형태로 바꾸면 데이터가 오직 두 점의 내적으로만 등장한다. 좌표 자체는 필요 없고 내적값만 있으면 된다는 뜻이다. 그렇다면 변환된 공간의 내적을 원래 좌표에서 바로 계산해주는 커널 함수만 있으면 실제로 옮길 이유가 없다. 이것이 커널 트릭이고, 무한 차원에 대응하는 RBF 커널을 쓸 수 있는 이유다. 특성이 d개일 때 2차 다항식으로 올리면 새 특성이 d의 제곱 규모로 생기고 차수를 높이면 폭발하는데, 커널은 그 계산을 통째로 건너뛴다. 다만 이 우회에는 조건이 있다. 최적화 문제가 애초에 내적으로만 데이터를 보도록 쓰여 있어야 한다. 커널 트릭이 SVM의 발명이 아니라 그 구조 위에 얹힌 보너스에 가까운 이유다.

해설

C는 마진 위반을 얼마나 비싸게 매길지를, gamma는 각 점의 영향이 미치는 반경을 정한다. gamma가 크면 각 점 주변에만 좁게 작용해 경계가 점 하나하나를 감싸듯 구불거리므로 결국 C와 같은 방향으로 복잡도를 올리는 손잡이가 되고, 둘 다 크면 확실하게 과적합한다. 한쪽을 고정하고 다른 쪽만 최적화하면 고정한 값에 맞춰진 국소해에 갇히므로 두 축을 격자 탐색으로 함께 훑어야 한다. 실험에서 눈여겨볼 지점이 하나 더 있다. C를 키울수록 교차 검증 정확도의 표준편차도 함께 커진다. 경계가 어느 폴드가 걸리느냐에 더 민감해진다는 뜻이라, 평균만 보고 고르면 안정성을 놓친다.

해설

소프트 마진은 위반을 허용하되 값을 치르게 하는 장치이고 C가 그 값을 정한다. C를 크게 잡는 것이 손해가 되려면 경계 근처에 겹치는 점이 애초에 있어야 한다. 두 반달이 깔끔하게 갈리는 데이터라면 마진을 조금 좁혀 전부 맞히는 것이 그냥 이득이므로 C를 키울수록 좋아지기만 한다. 반대로 겹침이 있으면 그 점들을 맞히려고 경계를 비틀게 되고 그것이 곧 과적합이다. 소프트 마진이 필요한 상황과 C 튜닝이 의미를 갖는 상황이 정확히 같다는 뜻이다. 그래서 C 그리드에서 오른쪽 끝이 꺾이지 않는다면 튜닝이 덜 된 것이 아니라 이 데이터에 겹침이 없다는 신호로 읽어야 한다.

해설

libsvm을 쓰는 커널 SVM의 학습 시간은 표본 수에 최소한 제곱으로 늘어나 수만 건을 넘어가면 현실적이지 않다. 이 구간에서는 선형 전용 구현이나 확률적 경사하강 기반 분류기로 내려가거나, 트리 기반 모델과 신경망 쪽으로 넘어가는 편이 낫다. SVM이 확실히 앞서는 자리는 반대쪽이다. 특성 수가 표본 수에 견줄 만큼 많은 경우, 마진 최대화 자체가 모델 복잡도에 제동을 걸어주므로 차원이 높아도 거리 기반 모델처럼 무너지지 않는다. 커널만 갈아 끼워 경계의 모양을 바꿀 수 있다는 유연함도 여기서 값을 한다. 표본이 적고 특성이 많으면 SVM, 표본이 아주 많으면 다른 모델이라는 대략의 기준이 선다.

해설

SVM이 내놓는 값은 경계까지의 부호 있는 거리이지 확률이 아니다. 이 값을 확률로 옮기려면 시그모이드 모양의 보정 곡선을 학습해야 하는데, 그 곡선을 훈련 데이터에 그대로 맞추면 이미 잘 맞히는 점들 때문에 편향된다. 그래서 내부에서 5폴드 교차 검증을 한 번 더 돌려 보정용 예측을 만들고, 결과적으로 학습이 여러 배로 느려진다. 확률이 필요한 자리에서 SVM이 불리한 이유가 여기에 있다. 순위만 필요하다면 이 옵션 없이 결정 함수 값을 그대로 쓰면 되고, ROC 곡선처럼 순위 기반 지표는 보정 없이도 계산된다. 정말 확률값 자체가 필요하다면 애초에 확률을 직접 내놓는 모델을 고르는 편이 낫다.

해설

분할의 좋고 나쁨은 자식 노드들의 가중 평균 불순도가 부모보다 얼마나 낮아졌는지로 잰다. 가중치는 각 자식에 들어간 샘플 수의 비율이다. 여기서는 왼쪽에 3분의 1, 오른쪽에 3분의 2가 걸리므로 가중 평균이 0.3333이고 부모 0.6667에서 정확히 절반이 줄었다. 트리는 특성과 임계값의 가능한 조합을 전부 시도해 이 감소량이 가장 큰 것을 고르며, 이 조합이 모든 후보 중 최선이라 첫 질문으로 뽑혔다. 지니 불순도 자체는 노드에서 샘플 하나를 뽑고 그 노드의 클래스 비율대로 무작위 레이블을 붙였을 때 틀릴 확률이다. 한 클래스만 남으면 0이고, 클래스가 K개일 때 균등하게 섞이면 1에서 K분의 1을 뺀 값이 최댓값이 된다.

해설

결정 트리의 분할 조건은 언제나 특성 하나와 임계값 하나로 이루어지므로 결정 경계가 축에 평행한 직선뿐이다. 기운 경계가 필요한 문제라면 계단으로 근사해야 하고, 매끄럽게 만들수록 분할이 많이 든다. 두 특성의 합이나 차 같은 조건은 트리가 스스로 만들지 못하므로 그런 조합이 의미 있는 데이터라면 특성을 미리 만들어 넣는 것이 해법이다. 반대로 특성 축 자체가 의미 있는 기준인 데이터, 이를테면 임계값이 실제로 존재하는 센서 값이나 나이 구간에서는 이 제약이 오히려 잘 맞는다. 리프 하나가 영역 하나에 대응하므로 학습된 규칙을 그림으로 펼쳐 읽을 수 있다는 성질도 같은 구조에서 나온다.

해설

깊이 제한이 없으면 트리는 모든 리프가 순수해질 때까지 쪼갠다. 클래스가 섞인 구석마다 분할을 하나씩 더 붙이는 셈이라 훈련 데이터의 잡음까지 규칙으로 새기고, 그 결과가 샘플 한두 개만 감싸는 좁은 영역으로 나타난다. 이런 영역은 그 안에 들어온 몇 개 점의 위치가 그대로 규칙이 된 것이라 데이터가 조금만 달라져도 사라지거나 자리를 옮긴다. 과적합이 결정 경계에 드러나는 모습이 정확히 이것이다. 깊이를 묶으면 훈련 점수를 조금 내주는 대신 이 암기를 막는다. Iris처럼 클래스가 잘 갈라진 데이터에서도 교차 검증 평균은 깊이 3 이후로 낮아지고, 잡음이 섞인 실제 데이터에서는 하락이 훨씬 뚜렷하다.

해설

트리는 매 단계 눈앞의 불순도 감소량만 보고 분할을 고르는 탐욕적 알고리즘이다. 루트에서 후보 두 개가 근소하게 갈릴 때 훈련 데이터가 조금만 바뀌면 순위가 뒤집히고, 그러면 아래로 나뉘는 데이터 자체가 달라져 하위 구조가 통째로 다시 그려진다. 표현력에 제약이 거의 없어 편향은 낮은데 이 연쇄 때문에 분산이 크다. 깊이 제한 같은 규제 파라미터는 이 분산을 눌러주는 대신 편향을 올리므로 맞바꿈 안에서만 움직인다. 여기서 더 나아가려면 다른 장치가 필요하고, 그것이 트리 여러 그루를 학습해 예측을 합치는 방법이다. 실무에서 단일 트리를 그대로 쓰는 일이 드문 이유다.

해설

양성이 1%인 데이터에서는 소수 클래스를 통째로 무시해도 불순도가 거의 줄어들지 않는다. 그 상태의 지니가 이미 0.02에 가까워 더 낮출 여지가 별로 없기 때문이고, 그래서 트리는 다수 클래스만 맞히는 쪽으로 자란다. 균형 클래스 가중치를 주면 각 클래스에 전체 샘플 수를 클래스 수와 그 클래스의 샘플 수의 곱으로 나눈 값이 붙어, 불순도 계산에서 소수 클래스 한 건이 다수 클래스 여러 건만큼의 무게를 갖는다. 소수 클래스를 잡아내는 분할이 비로소 이득으로 보이게 되는 것이다. 평가 지표도 함께 바꿔야 한다. 이런 데이터에서는 전부 정상으로 찍어도 정확도가 99%이므로 정밀도와 재현율을 기준으로 삼아야 한다.

해설

두 곡선은 클래스 비율이 0이나 1일 때 0이고 가운데서 최대인 같은 모양이며, 최댓값만 두 배 차이가 난다. 분할 선택은 감소량의 절댓값이 아니라 같은 기준 안에서 후보끼리 매긴 순위로 이루어지므로, 척도가 달라도 순위가 대체로 보존되어 같은 분할이 뽑힌다. 실무에서 성능 차이가 거의 없다는 말은 이런 뜻이다. 굳이 성격을 나누자면 지니는 로그 계산이 없어 조금 빠르고 큰 클래스를 먼저 떼어내는 경향이 있으며, 엔트로피는 정보량으로 해석되고 조금 더 균형 잡힌 트리를 만든다. 기본값인 지니를 그대로 쓰면 되고, 이 선택으로 성능을 끌어올리려는 시도보다 깊이와 리프 조건을 조율하는 편이 훨씬 큰 차이를 만든다.