ML 앙상블 전체 문항

해설

복원 추출로 원본 크기만큼 다시 뽑으면 한 샘플이 한 번도 걸리지 않을 확률이 자연상수의 역수, 약 36.8%로 수렴한다. 어떤 샘플을 놓고 보면 100그루 중 평균 37그루가 그 샘플을 학습에 쓰지 않았고, 그 그루들의 예측만 모아 다수결을 내면 그 샘플을 본 적 없는 앙상블의 예측이 된다. 모든 샘플에서 이렇게 구한 점수가 OOB 점수다. 교차 검증은 같은 일을 하려고 데이터를 여러 번 나눠 그만큼 다시 학습하는데, OOB는 배깅을 한 번 학습하는 도중에 공짜로 나온다. 데이터가 크거나 학습이 오래 걸릴수록 이 차이가 값을 한다. 읽을 때는 테스트 점수와 나란히 놓고 보고, OOB가 눈에 띄게 낮다면 데이터에 시간 순서나 그룹 구조가 있어 무작위 분할 자체가 맞지 않는다는 신호일 수 있다.

해설

다수결이 개별 모델보다 좋아지는 계산은 오류가 서로 독립이라는 가정 위에 서 있다. 모든 모델을 같은 데이터로 학습시키면 어려운 샘플에서 나란히 틀리고, 그러면 다수결의 답이 모델 하나의 답과 같아져 모델을 아무리 늘려도 얻는 것이 없다. 앙상블의 성패는 개별 모델의 성능이 아니라 모델들이 서로 얼마나 다르게 틀리는가에 달려 있다는 뜻이다. 이 이론값이 말해주는 것이 하나 더 있다. 수렴 속도가 개별 정확도에 크게 좌우된다는 점이다. 0.7짜리는 21개로 97%를 넘지만 0.6짜리는 51개를 모아도 92.6%에 그친다. 개별 성능이 0.5에 가까울수록 곡선이 완만해지므로 모델 수만으로 메우기 어려워진다.

해설

배깅이 손대는 것은 편향이 아니라 분산이다. 서로 독립인 예측값을 평균 내면 분산이 모델 수만큼 나뉘는데, 편향은 평균을 내도 그대로 남는다. 그래서 편향이 낮고 분산이 큰 모델을 넣어야 얻는 것이 많고, 가지치기 없이 끝까지 키운 트리가 정확히 그런 모델이다. 개별 트리가 과적합해도 상관없다는 말은 여기서 나온다. 반대로 미리 가지치기를 해서 편향을 올려 두면 평균을 내도 그 편향이 남으므로 앙상블이 벌어들일 몫이 줄어든다. 같은 이유로 이미 안정적인 모델에 배깅을 씌우는 것도 의미가 적다. 데이터가 조금 바뀌어도 계수가 거의 그대로인 모델은 부트스트랩 샘플을 100개 만들어도 거의 같은 모델 100개가 나오기 때문이다.

해설

상관관계를 반영한 분산 식은 두 항으로 갈리고 각각의 운명이 다르다. 뒷항은 트리 수를 늘리면 0으로 사라지며 이것이 배깅이 실제로 벌어들이는 몫이고, 앞항은 트리 수와 무관하게 그대로 남아 분산의 바닥이 된다. 상관관계가 0.8이면 만 그루를 심어도 원래 분산의 80%가 남는다. 상관관계가 커지는 전형적인 상황이 특성 하나가 지나치게 강할 때다. 어느 부트스트랩 샘플로 학습하든 모든 트리가 그 특성을 루트에 놓으므로 데이터를 다르게 줬는데도 트리 모양이 형제처럼 닮고 같은 곳에서 같이 틀린다. 그래서 다음 수는 트리 수가 아니라 상관관계 자체를 겨냥해야 한다. 트리가 볼 수 있는 것을 제한해 서로 다른 트리가 나오게 만드는 방법이 그 답이다.

해설

배깅이 줄이는 것은 분산뿐이다. 규제가 걸린 선형 모델처럼 데이터가 조금 바뀌어도 계수가 거의 그대로인 모델은 부트스트랩 샘플을 100개 만들어도 거의 같은 모델 100개가 나오고, 평균을 내도 원래 모델과 다를 것이 없다. 배깅의 단골 손님이 결정 트리인 것은 트리가 그만큼 불안정하기 때문이다. 같은 자리에서 자주 나오는 실수가 하나 더 있다. 복원 추출을 끄면 모든 모델이 같은 훈련 데이터를 통째로 받고, 결정 트리처럼 결정론적인 학습기라면 100그루가 전부 동일해져 앙상블 효과가 0이 된다. 배깅을 붙이기 전에 이 모델이 데이터를 흔들면 실제로 흔들리는 모델인지부터 확인하는 것이 순서다.

해설

OOB 점수는 부트스트랩에서 빠진 샘플로 재는 값이라 무작위 분할과 같은 전제 위에 있다. 데이터에 시간 순서나 그룹 구조가 있으면 검증에 쓰인 샘플의 시점이 학습 샘플과 뒤섞여 있게 되므로, 과거로 미래를 맞히는 실제 상황보다 쉬운 문제를 푼 셈이 된다. 무작위 분할로 만든 테스트 세트도 같은 전제를 공유하므로 두 값이 서로 일치한다고 해서 검증이 된 것이 아니다. 나란히 같은 방향으로 낙관적일 뿐이다. 이럴 때는 시점을 기준으로 앞뒤를 나눠 다시 재야 하고, 그룹 구조가 있다면 같은 그룹이 학습과 검증에 동시에 들어가지 않도록 나눠야 한다. OOB의 값어치는 학습 한 번으로 공짜로 나온다는 데 있지 어떤 분할 전략도 대체한다는 데 있지 않다.

해설

배깅에서 트리들이 닮아버리는 주범은 예측력이 유난히 강한 특성 하나다. 어느 부트스트랩 샘플을 쓰든 그 특성이 불순도를 가장 많이 줄이므로 모든 트리가 그것을 루트에 놓고, 데이터는 달랐는데 트리는 같은 자리에서 갈라져 결국 같은 샘플에서 나란히 틀린다. 랜덤 포레스트는 노드마다 후보 명단을 새로 뽑아 이 연결을 끊는다. 명단에 강한 특성이 없으면 그 노드는 두 번째로 좋은 특성으로 갈라지고, 그렇게 자란 트리들은 서로 다른 곳에서 틀린다. 대가도 분명하다. 후보를 줄이면 각 노드가 전체 중 최선이 아닌 분기를 고르게 되므로 개별 트리의 성능은 떨어진다. 개별 트리를 조금 나쁘게 만드는 대신 상관관계를 크게 낮추는 거래이고, 분산의 바닥이 상관관계로 정해지는 구조에서는 대체로 남는 장사다.

해설

후보 특성을 솎아내는 것은 개별 트리를 나쁘게 만드는 대신 트리들 사이의 상관관계를 낮추는 거래다. 손해는 트리 한 그루에서 곧바로 나타나지만 이득은 여러 트리의 표가 서로를 상쇄할 때 비로소 실현되므로, 세 그루 남짓에서는 손해만 남아 배깅에 뒤진다. 열 그루쯤부터 역전되고 그 뒤로는 두 곡선이 나란히 평평해진다. 여기서 실무적으로 중요한 지점이 하나 더 나온다. 50그루를 넘기면 200그루까지 더 얻는 것이 0.002뿐이다. 트리를 늘려도 과적합이 생기지는 않으므로 상한을 정하는 것은 성능이 아니라 학습 시간과 메모리이고, OOB 점수를 켜두면 검증셋을 따로 떼지 않고도 이 수렴 지점을 확인할 수 있다.

해설

상위 네 개가 0.12에서 0.13 사이에 몰려 있는 것을 네 특성이 비슷하게 중요하다고 읽으면 곤란하다. 반지름과 둘레와 넓이는 원 하나를 세 가지로 적어둔 것에 가까워 어느 노드에서든 셋 중 아무거나 뽑히면 되고, 그래서 하나가 받았어야 할 중요도가 셋에 쪼개져 들어간다. worst radius가 5위로 내려앉은 것도 실력 차이가 아니라 나눠 가진 결과다. 지니 기반 중요도에는 편향이 하나 더 있다. 임계값 후보가 많은 특성일수록 우연히 불순도를 줄이는 분할을 찾을 기회가 많아서 연속형이나 고유값이 많은 범주형이 과대평가된다. 순위를 진지하게 쓸 생각이라면 상관관계로 특성을 묶어 묶음마다 대표 하나만 남기고 다시 재는 편이 낫다.

해설

순열 중요도는 학습이 끝난 모델에 검증 데이터를 넣되 특성 하나의 값만 행 사이에서 섞어 다시 예측하고 점수가 얼마나 떨어지는지를 잰다. 여기서 값이 전부 0에 붙은 것은 모델이 무너지지 않았기 때문이다. 한 특성을 망가뜨려도 같은 정보를 담은 다른 특성이 그대로 남아 예측이 흔들리지 않는다. 두 방법이 이렇게 다른 답을 내면 어느 쪽이 맞는지를 따질 것이 아니라 특성들이 서로 심하게 겹쳐 있다는 신호로 읽어야 한다. 이 상태에서는 어느 방법으로 재도 개별 특성의 중요도라는 것이 성립하지 않는다. 함께 기억할 것은 중요도가 인과가 아니라는 점이다. 중요도가 0인 특성도 쓸모없는 특성이 아니라 다른 특성이 이미 같은 정보를 담고 있어 이 모델이 고르지 않은 특성인 경우가 많다.

해설

과적합을 잡을 때 깊이 제한은 트리 전체를 같은 깊이에서 자르므로 데이터가 촘촘해 믿을 만한 가지까지 함께 잘린다. 리프 최소 샘플 수는 표본이 부족한 자리에서만 분할을 멈추게 하므로 잡음을 규칙으로 새기는 성긴 가지만 골라서 막는다. 잡음이 많은 데이터에서 이 값을 5에서 20 사이로 올리면 눈에 띄게 안정된다. 같은 선택이 배포에서도 값을 한다. 랜덤 포레스트는 학습된 트리를 전부 들고 있어야 예측할 수 있고 트리 하나의 크기는 리프 개수에 비례하므로, 완전히 자란 트리 1000그루면 직렬화한 모델이 수백 MB에 이르기도 한다. 이럴 때 트리 수를 줄이는 것보다 리프 최소 샘플 수를 올리는 쪽이 성능 손실이 적다.

해설

sklearn의 후보 특성 기본값은 분류에서 전체 특성 수의 제곱근이지만 회귀에서는 전체다. 회귀 쪽 기본값은 후보 제한이 아예 없다는 뜻이고, 그 상태는 사실상 배깅이라 트리들이 강한 특성을 나란히 루트에 놓게 된다. 다른 구현과 참고 문헌은 회귀에서 전체의 3분의 1을 기본으로 잡으므로 이 값을 줄여보는 것이 첫 수다. 방향은 한 축 위에 있다. 후보를 줄이면 트리 간 상관관계가 내려가는 대신 개별 트리가 약해지고 늘리면 반대가 된다. 값이 전체와 같아지면 후보 제한이 사라져 배깅이 되고, 지나치게 줄이면 개별 트리가 너무 약해진다. 최적점은 양 끝이 아니라 가운데 어딘가이므로 교차 검증으로 훑어야 한다.

해설

배깅은 트리 수백 그루를 서로 모르는 채로 학습시킨 뒤 투표로 합친다. 어느 트리도 다른 트리가 무엇을 틀렸는지 모르므로 트리마다 제각각인 들쭉날쭉함은 평균에 깎여 사라지지만, 모든 트리가 공통으로 못 맞추는 부분은 그대로 남는다. 분산은 줄고 편향은 그대로다. 부스팅은 트리를 하나씩 순서대로 만들되 새 트리가 앞선 모델이 남긴 오차만 겨냥하므로 그 공통 부분을 직접 줄인다. 여기서 다른 성질도 따라 나온다. 앞 트리의 예측이 있어야 다음 트리의 타겟이 정해지므로 트리 사이를 병렬화할 수 없어 같은 100그루라도 몇 배 오래 걸리고, 트리를 늘리면 과적합이 실제로 늘어난다. 잡음이 많거나 병렬로 돌려야 하면 배깅, 데이터가 깨끗하고 마지막 몇 퍼센트를 짜내야 하면 부스팅이다.

해설

분류기 가중치는 가중 오류율 하나로 정해지는데 이 값이 두 가지 일을 동시에 한다. 잘 맞춘 분류기일수록 최종 투표에서 큰 지분을 갖고, 같은 값이 그 분류기가 틀린 샘플의 가중치를 밀어 올리는 폭도 정한다. 오류율이 정확히 0.5면 값이 0이 되어 찍기와 같으므로 버려지고, 0.5를 넘으면 수식상 음수가 되어 예측을 뒤집어 쓰는 것과 같아진다. 다만 실제 구현들은 이런 분류기를 만나면 그 라운드에서 버리거나 중단하는 쪽을 택한다. 실제로 샘플 20개로 두 라운드만 돌려보면 균등하던 0.05가 연속으로 틀린 샘플에서 0.25까지 올라 출발점의 다섯 배가 되고, 한 번도 틀리지 않은 샘플은 0.021까지 내려간다. 세 번째 분류기가 보는 데이터는 사실상 그 두 샘플이다.

해설

AdaBoost의 가중치는 라운드마다 배수로 곱해지며 누적된다. 라벨이 잘못 붙은 샘플처럼 아무리 학습해도 못 맞추는 데이터가 있으면 그 샘플의 가중치만 지수적으로 커져 나머지를 압도하고, 결국 앙상블 전체가 이상치 몇 개를 맞추려고 비틀린다. 부스팅이 이상치에 민감하다는 말의 구체적인 내용이 이것이고, 배깅이 이상치에 둔감한 것과 정확히 대비된다. 이상치가 섞인 데이터라면 그래디언트 부스팅이 낫고, 회귀에서는 손실 함수를 후버 손실로 바꿔 큰 잔차의 영향을 잘라낼 수 있다. 손실 함수를 갈아 끼우는 것만으로 이런 대응이 가능하다는 점이 그래디언트 부스팅이 살아남은 이유이기도 하다.

해설

제곱 오차 손실을 쓰면 음의 그래디언트가 정답에서 예측을 뺀 값, 즉 잔차와 정확히 같아진다. 잔차를 학습한다는 직관이 성립하는 것은 이 손실에서이고, 그래디언트로 정의해 두면 손실 함수를 갈아 끼워도 절차가 한 글자도 달라지지 않는다. 분류에 쓰는 로그 손실이라면 타겟이 정답에서 예측 확률을 뺀 형태로 바뀌지만 나머지는 그대로다. 이 구조를 함수 공간에서의 경사하강법으로 읽을 수도 있다. 파라미터를 옮기는 대신 모델 자체를 옮기며, 트리 한 그루가 한 스텝이고 학습률이 스텝 크기다. 그래디언트 부스팅이 살아남은 것은 성능 때문이라기보다 미분 가능한 손실만 있으면 무엇이든 같은 틀에 넣을 수 있다는 이 유연함 때문이다.

해설

학습률은 트리 한 그루의 기여를 얼마나 줄일지 정하므로 낮추면 같은 지점에 도달하는 데 더 많은 트리가 필요하다. 대략 학습률과 트리 수의 곱이 총 학습량이라고 보면 된다. 0.001은 200그루를 다 쓰고도 출발점에서 거의 못 벗어났고, 0.01과 0.1은 같은 예산 안에서 둘 다 충분히 수렴했으며, 1.0은 트리 한 그루가 잔차를 통째로 삼켜 초반 몇 그루에 끌려가는 모델이 됐다. 실무에서는 학습률을 0.05 근처로 낮게 잡고 트리 수를 넉넉히 준 다음 멈추는 시점을 조기 종료에 맡기는 쪽이 편하다. 다만 조기 종료가 찾아주는 것은 최고 성능 지점이 아니라 검증 손실이 더 이상 줄지 않는 지점이다. 검증용으로 떼어낸 몫이 작을수록 이 판단이 흔들리므로 데이터가 작다면 중단 조건을 넉넉히 주는 편이 안전하다.

해설

깊은 트리는 혼자서도 훈련 데이터를 거의 맞춘다. 그러면 두세 번째 트리가 학습할 잔차에 잡음밖에 남지 않아 오차를 나눠 갖는 부스팅의 구조 자체가 무너진다. 랜덤 포레스트가 트리를 끝까지 키우는 것을 기본값으로 두는 것과 정확히 반대이고, 이유는 두 방법이 요구하는 개별 모델이 다르기 때문이다. 배깅은 강한 모델의 분산을 평균으로 깎아내는 쪽이라 편향이 낮고 분산이 큰 트리를 원하고, 부스팅은 약한 모델의 편향을 누적으로 메우는 쪽이라 각 트리가 약해야 한다. 부스팅의 권장 깊이가 3에서 5 사이인 것도 그래서다. 앙상블에서 하이퍼파라미터를 옮길 때는 값 자체를 따라가지 말고 그 방법이 무엇을 줄이려 하는지부터 확인해야 한다.

해설

level-wise는 같은 깊이의 노드를 전부 분할한 다음 아래로 내려가고, leaf-wise는 지금 존재하는 리프 전체 중에서 이득이 가장 큰 하나만 골라 분할한다. 분할 횟수가 같아도 결과로 나오는 트리의 모양이 다르다. 리프 수가 같다면 leaf-wise 쪽이 훈련 손실을 더 많이 깎는데, 손실이 줄어드는 곳에만 예산을 쓰기 때문이다. 대신 트리가 한쪽으로만 깊어져서 데이터가 작으면 그 깊은 가지가 소수 샘플의 특징을 그대로 외운다. LightGBM이 작은 데이터에서 과적합한다는 말은 이 성질을 가리킨다. 다만 이 대비는 라이브러리의 차이가 아니라 기본값의 차이다. XGBoost도 성장 정책을 바꾸면 leaf-wise로 자라고, 이때는 깊이 대신 리프 수로 트리 크기를 제한한다.

해설

깊이 7의 균형 트리는 리프가 최대 2⁷ = 128개라, 그 근처로 리프 수를 잡으면 크기가 대응되는 것처럼 보인다. 하지만 leaf-wise 트리는 같은 리프 수를 훨씬 깊은 형태로 소비하므로, 그대로 옮기면 제한이 사실상 풀린 것과 다름없다. 공식 튜닝 문서는 깊이 7로 좋은 정확도가 나오는 데이터라면 리프 수를 127이 아니라 70에서 80 사이로 권한다. 순서도 정해져 있다. 리프 수를 먼저 정하고 깊이는 뒤에서 받쳐주는 안전장치로 둔다. 여기에 리프 최소 행 수까지 걸어 리프에 최소 몇 행은 남게 강제하는 것이 실질적인 제동 장치다. 두 라이브러리 사이에서 맞춰야 할 축은 깊이가 아니라 리프 수라고 기억하면 된다.

해설

GOSS는 그래디언트 절댓값이 큰 행은 지금 모델이 크게 틀리고 있어 정보량이 많고 작은 행은 이미 잘 맞추고 있어 얻을 것이 적다는 관찰에서 출발한다. 그래서 앞쪽은 전부 남기고 뒤쪽만 솎아내는데, 그냥 끝내면 작은 그래디언트 쪽의 비중이 줄어들어 분포가 왜곡된다. 아래쪽 80%에서 전체의 10%만 남겼으므로 뽑힌 한 행이 여덟 행을 대표하는 셈이고, 그 배율을 그래디언트와 헤시안에 곱해 원래 비중을 복원한다. 한 가지 짚어둘 것은 GOSS가 기본값이 아니라는 점이다. LightGBM의 행 샘플링 기본값은 평범한 배깅이고 GOSS는 직접 켜야 한다. 논문이 말한 큰 폭의 속도 향상도 GOSS 하나가 아니라 히스토그램 분할과 특성 묶기까지 합친 결과다.

해설

이름만 보고 옮기면 다른 모델이 만들어지는 자리가 두 군데 있다. 하나는 행 샘플링이다. LightGBM의 비율 파라미터는 빈도 파라미터를 함께 1 이상으로 주지 않으면 아무 일도 하지 않으므로, 비율만 적어두고 서브샘플링이 걸렸다고 생각하는 실수가 여기서 나온다. 다른 하나는 리프 제약이다. min_child_weight는 양쪽 모두 리프의 헤시안 합에 대한 하한이지 행 개수가 아니다. LightGBM에서 이 이름은 헤시안 합 파라미터의 별칭이고, 행 개수를 강제하는 것은 이름이 비슷한 다른 파라미터의 별칭이다. 기본값도 XGBoost의 min_child_weight는 헤시안 합 1, LightGBM의 min_data_in_leaf는 행 수 20으로 단위 자체가 다르다. 파라미터를 옮길 때는 이름이 아니라 그 값이 무엇의 단위인지부터 확인해야 한다.

해설

특성 묶기는 동시에 0이 아닌 값을 갖는 일이 없는 특성들, 즉 서로 배타적인 특성들을 한 컬럼으로 합친다. 원-핫 인코딩 결과가 전형적인 대상인데, 한 행에서 많아야 하나만 0이 아니므로 값의 범위를 어긋나게 배치하면 정보를 하나도 잃지 않고 되돌릴 수 있다. 얻는 것은 속도다. 히스토그램을 만드는 비용은 특성 수에 비례하므로 희소한 고차원 데이터일수록 이득이 크다. 다만 애초에 원-핫으로 펼치지 않는 편이 낫다는 점도 함께 기억할 만하다. 습관적으로 펼치면 차원이 불어나고 트리는 한 번에 범주 하나만 떼어내는 분할밖에 할 수 없게 된다. 세 라이브러리 모두 범주형을 직접 다루는 경로가 있으니 그쪽을 먼저 시도하는 것이 순서다.

해설

손실 함수를 현재 예측 주변에서 2차까지 전개하면 각 리프의 최적값과 분할 이득이 닫힌 형태로 나온다. 그 식의 분모에 정규화 계수가 들어앉아 있어 값이 클수록 리프 값이 0 쪽으로 당겨지고 예측이 보수적으로 바뀐다. 정규화가 학습이 끝난 뒤의 가지치기가 아니라 분할 여부를 판단하는 그 순간에 비용으로 반영된다는 뜻이다. 목적 함수에는 리프 하나를 늘릴 때마다 물리는 비용도 함께 들어 있어 분할 자체를 억제한다. 헤시안까지 쓰는 것은 수렴 쪽의 이득이다. 그래디언트만 쓰는 방식보다 뉴턴법에 가까워져 같은 트리 수에서 손실을 더 깎는다. 정규화를 목적 함수에 박아 넣고 깊이로 트리를 통제하는 이 보수적인 설계가 XGBoost의 성격을 만든다.