ML 전처리와 피처 전체 문항

해설

Label Encoding은 카테고리를 가나다순으로 정렬한 뒤 0부터 번호를 붙인다. 그런데 계수를 곱하거나 거리를 재는 모델은 이 번호를 크기로 읽으므로, 도시 데이터에 존재하지 않는 순서와 간격을 진짜 관계로 학습한다. 트리 계열은 이 숫자를 크기가 아니라 분할 기준으로만 쓴다. 어떤 번호가 붙었든 분할을 거듭하면 필요한 그룹을 갈라낼 수 있으므로 거짓 순서가 문제 되지 않고, 그래서 트리 모델에서는 Label Encoding이 실무 기본값이다. 순서가 실제로 존재하는 변수라면 이야기가 다르다. 그때는 가나다순이 아니라 도메인 순서를 직접 지정해 넣는다. 간격까지 같다는 보장은 없지만 방향이 맞으므로 모델이 단조 관계를 쓸 수 있다.

해설

트리에서 One-Hot이 불리한 이유는 분할의 정보량 때문이다. 번호로 넣은 컬럼 하나는 트리가 어느 지점에서든 자를 수 있어 한 번의 분할로 여러 카테고리를 한쪽에 모을 수 있다. 펼쳐 놓으면 각 컬럼이 이 카테고리인가 아닌가 하나만 물을 수 있어, 같은 그룹을 만들려면 분할을 여러 번 써야 하고 깊이만 낭비된다. 그래서 트리 계열에서는 번호를 매기는 쪽이 기본이고, 순서가 있는 변수라면 도메인 순서를 지정해 넣는다. LightGBM처럼 인코딩을 아예 건너뛰는 길도 있다. 범주형 컬럼을 지정하면 카테고리를 정렬해 최적 분할점을 직접 찾으므로, 범주를 두 집합으로 나누는 문제가 정렬된 축에서의 이분 문제로 바뀐다.

해설

카테고리를 전부 펼치면 모든 행에서 컬럼의 합이 정확히 1이 되고, 마지막 컬럼은 나머지로 완벽히 결정된다. 선형 회귀에서는 이 완전한 선형 종속이 역행렬 계산을 불안정하게 만들고 계수 해석을 망가뜨리므로 하나를 떨어뜨린다. 기준이 된 카테고리는 나머지가 전부 0인 상태로 표현되니 정보는 사라지지 않고, 남은 계수들이 그 기준 대비 차이로 읽힌다. 다만 이것은 선형 모델의 문제다. 트리 모델은 다중공선성의 영향을 거의 받지 않으므로 굳이 떨어뜨리지 않는 편이 해석에 낫다. 규제가 걸린 선형 모델에서도 판단이 갈릴 수 있는데, 하나를 떨어뜨리면 기준 카테고리만 규제를 받지 않는 비대칭이 생기기 때문이다.

해설

이 함수는 넘겨받은 데이터에 실제로 등장한 값만 보고 컬럼을 만든다. 훈련에 있던 카테고리가 테스트에 없으면 두 결과의 컬럼 구성이 어긋난다. 컬럼 수가 다르면 예외로 멈추지만, 빠진 컬럼과 새로 생긴 컬럼이 상쇄되어 수가 우연히 같으면 엉뚱한 컬럼에 가중치가 곱해진 채 조용히 지나간다. 꼭 써야 한다면 테스트 결과를 훈련 결과의 컬럼 목록에 맞춰 재정렬하고 빠진 자리를 0으로 채워야 한다. 학습 코드에는 처음부터 fit에서 카테고리 목록을 기억했다가 transform에서 항상 같은 컬럼을 만들어내는 인코더를 쓰는 편이 안전하다. 여기에 모르는 카테고리를 무시하는 옵션까지 켜면 프로덕션에서 새 값이 들어와도 서비스가 멈추지 않는다. 그 값은 모든 컬럼이 0인 벡터가 되어 정보는 없지만 예외도 나지 않는다.

해설

Binary Encoding은 카테고리에 정수를 매긴 뒤 그 정수를 이진수로 적고 각 비트를 컬럼 하나로 만든다. 필요한 컬럼 수가 카테고리 수의 로그로 늘어나므로 1,000개 카테고리도 10컬럼이면 되고, 번호를 하나 매기는 방식만큼의 거짓 순서도 만들지 않는다. 대신 각 비트 컬럼 자체에는 아무 의미가 없다. 어떤 비트가 1이라는 사실은 서로 무관한 카테고리들이 섞인 임의의 집합을 가리킬 뿐이라, 그 컬럼의 계수나 중요도를 읽을 수 없다. 압축은 되지만 해석은 포기하는 거래다. 카디널리티가 아주 높은 구간에서는 이것도 부족해서, 타깃 값을 끌어와 범주를 숫자 하나로 압축하는 방법이나 임베딩으로 넘어가게 된다.

해설

범주형 인코딩에서 실제로 결정해야 하는 것은 세 가지다. 이 변수에 순서가 있는가, 카테고리가 몇 개인가, 뒤에 붙는 모델이 숫자의 크기를 보는가 분할점만 보는가. 순서가 있으면 그 순서를 직접 지정해 넣고, 없으면서 카테고리가 적으면 펼치고, 트리를 쓸 것이라면 번호를 매긴다. 이 세 줄이 대부분의 상황을 덮는다. 남는 경우가 카디널리티가 수십을 넘어가는 변수다. 펼치기에는 컬럼이 감당이 안 되고, 번호를 매기는 것은 트리 밖에서 쓸 수 없으며, 빈도로 바꾸는 방법은 빈도 자체가 신호일 때만 통한다. 이 구간에서는 타깃 값을 끌어와 범주를 숫자 하나로 압축하는 방법이나 임베딩이 필요해진다.

해설

MaxAbsScaler의 존재 이유는 0을 0으로 남긴다는 점 하나다. 각 피처를 절댓값 최대치로 나누기만 하므로 곱셈만 일어나고 0은 계속 0이다. 평균을 빼는 스케일러는 0이던 원소가 평균의 부호를 뒤집은 값이 되고, 최솟값을 빼는 스케일러도 최솟값이 0이 아니면 마찬가지로 0을 옮긴다. 원소의 대부분이 0인 희소 행렬에서는 이것이 치명적이다. 저장하지 않던 0들이 전부 실제 값이 되면서 메모리가 폭증한다. 그래서 TF-IDF 벡터나 원-핫 인코딩 결과처럼 희소한 데이터에서는 이 스케일러가 기본 선택지가 되고, sklearn 구현도 희소 행렬을 그대로 받는다.

해설

RobustScaler가 이상치에 강하다는 말은 이상치가 스케일링 기준값에 영향을 주지 않는다는 뜻이지 이상치를 없앤다는 뜻이 아니다. 중앙값과 사분위 범위는 값의 순위에 기반한 통계량이라 극단값이 몇 개 섞여도 흔들리지 않으므로 정상 구간의 간격이 균등하게 살아 있고, 그것이 이 스케일러의 이득이다. 같은 데이터에 평균과 표준편차를 쓰면 두 통계량이 통째로 끌려가 1과 5의 차이가 0.01로 뭉개진다. 최솟값과 최댓값을 쓰는 쪽은 더 심하다. 평균은 극단값을 다른 값들과 나눠 가지지만 최댓값은 극단값 그 자체이기 때문이다. 다만 어느 쪽이든 변환 후에도 극단값 자체는 남으므로 지우고 싶다면 별도의 처리를 붙여야 한다.

해설

규제는 모든 가중치에 같은 페널티를 매긴다. 그런데 피처 스케일이 다르면 같은 영향력을 내는 데 필요한 가중치 크기도 달라진다. 값이 작은 피처는 가중치가 커야 하고 그만큼 페널티를 더 크게 맞으므로, 결국 규제가 스케일이 큰 피처를 편애하게 된다. 스케일을 맞춰야 모든 피처가 같은 조건에서 규제를 받는다. 스케일링이 필요한지 판단할 때 물어야 할 질문은 결국 하나다. 이 모델이 값의 크기를 보는가 순서를 보는가. 거리를 재는 모델과 경사 하강으로 학습하는 모델, 규제를 거는 모델은 크기를 보므로 스케일링이 필요하고, 분할 기준으로 순서만 보는 트리 계열은 필요하지 않다.

해설

경사 하강법은 각 가중치를 그 방향의 그래디언트만큼 움직이는데, 어떤 가중치의 그래디언트는 짝지어진 피처 값에 비례한다. 큰 값을 가진 피처의 가중치는 그래디언트가 크고 작은 값을 가진 피처의 가중치는 그래디언트가 작으므로, 비용 함수의 등고선이 한쪽으로 심하게 늘어난 타원이 된다. 학습률은 하나뿐인데 방향마다 적정 보폭이 다르니 좁은 축에서는 매번 반대편으로 튕겨 나가고 넓은 축에서는 거의 나아가지 못한다. 스케일을 맞추면 등고선이 원에 가까워지고 어느 방향으로 가든 같은 보폭이 맞아떨어져 훨씬 적은 스텝으로 도착한다. 신경망에서는 여기에 문제가 하나 더 붙는다. 입력이 크면 곱한 결과도 커져 출력 범위가 막힌 활성화 함수의 포화 구간으로 밀려나고, 그 구간의 기울기가 0에 가까워 학습이 멈춘다.

해설

일반적인 스케일러들은 전부 빼고 나누는 선형 변환이라 위치와 폭만 바꾼다. 정규분포였으면 정규분포로, 오른쪽으로 치우쳐 있었으면 치우친 채로 남는다. 소득이나 집값, 방문 횟수처럼 오른쪽 꼬리가 긴 데이터는 스케일이 아니라 분포 자체를 바꿔야 한다. 로그 변환이 가장 간단한 도구인데 큰 값일수록 더 많이 눌러주니 긴 꼬리가 접힌다. 0이 섞일 수 있는 데이터에는 1을 더한 뒤 로그를 취하는 함수를 쓴다. 지수를 직접 고르기 싫으면 정규분포에 가까워지도록 지수를 추정해 주는 변환기를 쓰면 되고, 이쪽은 변환 뒤 표준화까지 기본으로 수행하므로 뒤에 스케일러를 또 붙일 필요가 없다.

해설

Wine 데이터는 피처 스케일이 대놓고 제각각이다. 값의 범위가 가장 넓은 피처와 가장 좁은 피처의 자릿수가 세 개 차이 나므로, 스케일링 없이 거리를 재면 넓은 피처 하나가 계산을 독점한다. 이름만 KNN이지 실제로는 그 피처 하나로 이웃을 고르는 모델이었던 셈이고, 그래서 전처리 두 줄을 넣는 것만으로 정확도가 0.74에서 0.96으로 올라간다. 반면 세 스케일러 사이의 차이는 0.02 안쪽이라 한 번의 분할로 우열을 가릴 수 없다. 판단할 것은 스케일러 이름이 아니라 두 가지다. 이 피처의 값 분포가 어떤 모양인가, 그리고 이 모델이 값의 크기를 보는가 순서를 보는가.

해설

셋을 가르는 기준은 원리가 아니라 모델 학습과의 시점 관계다. 필터는 학습하기 전에 피처의 통계적 성질만 보고 자르므로 선택 단계에서 학습이 0회다. 래퍼는 실제로 모델을 학습시켜 부분집합의 성능을 직접 재므로 조합마다 학습이 한 번씩 든다. 임베디드는 모델을 학습시키면 선택이 부산물로 따라 나오므로 학습이 한 번이다. 속도와 정확도의 차이는 전부 여기서 파생된다. 학습을 아예 하지 않는 쪽은 싸지만 피처를 하나씩 따로 채점하므로 조합 효과를 못 보고, 조합마다 학습하는 쪽은 정확하지만 비싸다. 어느 하나가 우월한 것이 아니라 피처 수와 모델 무게가 어디까지 감당되는지가 선택을 정한다.

해설

필터 계열은 피처를 하나씩 따로 채점한다. 그래서 혼자로는 타겟과 아무 상관이 없지만 다른 피처와 같이 쓰면 강력해지는 경우를 잡아내지 못하고, 배타적 논리합 관계가 그 극단적인 예다. 두 이진 피처 각각은 타겟과 상관이 0이지만 둘을 함께 쓰면 타겟이 완벽하게 결정된다. 상호 정보량은 관계의 모양을 가리지 않는다는 장점이 있어 제곱 같은 비선형 관계도 잡지만, 피처 하나와 타겟 사이에서 계산된다는 점은 같으므로 이 한계는 그대로다. 그래서 필터는 단독 선택기가 아니라 1차 관문으로 쓴다. 분산 0과 상관이 아주 높은 중복을 쳐내 후보를 크게 줄여 놓고, 조합을 보는 비싼 방법을 그 좁아진 공간에만 쓰는 순서가 실용적이다.

해설

불순도 감소는 분기를 잘게 쪼갤수록 커진다. 그래서 값이 거의 다 다른 피처, 예컨대 주문번호 같은 식별자 컬럼은 훈련 데이터를 완벽하게 가를 수 있고 중요도가 최상위로 올라온다. 실제로는 일반화에 아무 도움도 안 되는 잡음이다. 훈련 데이터에서 계산된다는 점도 문제를 키운다. 과적합에 기여한 피처일수록 점수가 높게 나오기 때문이다. 그래서 최종 판단은 검증 데이터에서 잰 순열 중요도로 하는 편이 낫다. 학습이 끝난 모델을 그대로 두고 피처 하나의 값만 무작위로 섞어 성능이 얼마나 떨어지는지를 보면, 카디널리티에 끌려다니지 않고 훈련에서만 잘 듣던 피처도 걸러진다.

해설

래퍼의 비용은 곱셈으로 늘어난다. 피처 100개에서 하나씩 떨어뜨리며 10개를 남기려면 90번을 학습해야 하고, 여기에 5겹 교차 검증을 걸면 폴드마다 그 과정을 되풀이하므로 450번을 넘어간다. 한 단계에 떨어뜨리는 개수를 비율로 주면 학습이 90번에서 9번으로 줄지만, 한 번에 열 개를 같이 버리니 그중 하나가 남았어야 할 피처였는지 확인할 방법이 없다. 매 단계 남은 피처들로 다시 학습해 중요도를 갱신하는 것이 이 방법의 핵심인데 그 기회를 건너뛰는 셈이다. 그래서 순서를 두는 편이 낫다. 값싼 방법으로 후보를 크게 줄여 놓은 뒤 비싼 방법을 그 좁아진 공간에만 쓰면 정밀도를 크게 잃지 않고 비용을 감당할 수 있다.

해설

데이터가 적은데 조합을 많이 훑으면 이 조합이 검증 성능에서 가장 좋았다는 결론 자체가 우연일 확률이 높아진다. 조합의 수가 표본 수보다 훨씬 많으니 그중 하나는 반드시 잘 맞기 때문이다. 데이터가 적을수록 선택 기준을 단순하게 두거나 L1 정규화처럼 학습 안에서 처리되는 방법에 맡기는 편이 낫다. 반대로 피처 선택을 굳이 하지 않아도 되는 경우도 있다. 피처 대비 데이터가 압도적으로 많으면 차원의 저주가 문제 되지 않고, 트리 앙상블은 분기마다 후보를 일부만 쓰거나 정규화와 서브샘플링으로 어느 정도 면역이 있다. 딥러닝에서는 원시 입력에서 유용한 조합을 찾는 것이 학습의 일부라 사람이 미리 잘라내면 그 재료를 뺏는 셈이 된다.

해설

전체 데이터로 피처를 고른 다음 교차 검증을 돌리면 점수가 부풀려진다. 검증 폴드의 타겟을 보고 피처를 골랐으니 그 폴드는 이미 정답을 흘린 데이터이고, 그 상승분은 성능이 아니라 누수다. 상호 정보량이나 상관계수처럼 타겟을 쓰는 필터도 예외가 아니다. 선택기를 파이프라인 안에 넣으면 폴드마다 선택이 독립적으로 다시 수행되어 이 문제가 사라진다. 여기서 부수적으로 얻는 것이 하나 더 있다. 폴드별로 뽑히는 피처가 조금씩 달라지는 것이 정상이고, 그 변동 자체가 선택이 얼마나 안정적인지를 알려주는 신호가 된다. 매번 완전히 다른 피처가 뽑힌다면 그 선택 기준을 그대로 믿기 어렵다는 뜻이다.

해설

타겟 평균으로 만든 피처를 그 타겟을 예측하는 데 다시 쓰면 정답의 일부가 입력에 섞여 들어온다. 이것이 타겟 누수이고, 가장 알아보기 쉬운 형태가 희귀 범주다. 샘플이 하나뿐인 범주의 인코딩 값은 그 행의 타겟 그 자체이므로 모델은 어떤 관계를 학습한 것이 아니라 정답을 받아 적은 셈이 된다. 증상은 훈련 점수와 검증 점수의 괴리로 나타난다. 훈련 점수가 비정상적으로 높은데 검증 점수는 평범하거나 나쁘고, 겉보기에는 분산이 큰 모델의 전형적인 모습이지만 원인은 복잡한 모델이 아니라 정답을 품은 피처다. 이 방법을 쓸 때 다루어야 할 난이도는 인코딩 자체가 아니라 이 누수를 어떻게 관리하느냐에 있다.

해설

Smoothing은 범주별 평균을 전체 평균 쪽으로 수축시키되 샘플이 적은 범주일수록 더 많이 끌어당긴다. 식을 읽으면 타겟이 전체 평균인 가상의 샘플을 미리 넣어둔 것과 같아서, 실제 샘플이 많으면 범주 평균이 그대로 살아남고 적으면 결과가 전체 평균 근처로 끌려간다. 하지만 이것은 극단값을 눌러주는 장치일 뿐 각 샘플이 자기 타겟이 포함된 평균을 보고 있다는 사실 자체는 그대로다. 샘플이 셋인 범주라면 자기 타겟의 지분이 3분의 1이나 된다. 그래서 자기 참조를 끊는 별도의 장치가 필요하고, 두 방법은 서로 다른 문제를 막으므로 함께 쓴다. 폴드로 나눠 자기 참조를 끊고, 수축으로 샘플이 적은 범주의 통계를 눌러주는 조합이 실전 기본값이다.

해설

자기 자신이 들어 있지 않은 데이터로 인코딩하면 인코딩 값과 그 행의 타겟 사이의 직접적인 연결이 끊긴다. 격자로 그렸을 때 대각선이 비어 있다는 것이 이 방법의 전부다. 다만 어떤 범주가 특정 폴드에만 등장하면 나머지 폴드에 없어 매핑에 실패하므로 그 자리는 전체 평균으로 채운다. 그리고 이 구조는 희귀 범주의 통계가 불안정하다는 문제까지 해결하지는 못한다. 네 폴드에서 계산해도 샘플이 셋뿐인 범주는 여전히 셋 남짓으로 추정한 값이다. 그래서 수축과 함께 쓴다. 하나가 자기 참조를 끊고 다른 하나가 표본이 적은 범주의 통계를 눌러주는 역할 분담이다.

해설

Leave-One-Out은 폴드 크기를 1까지 줄인 극단이라 자기 자신을 확실히 배제하는 것처럼 보인다. 그런데 분자에서 빼는 값이 자기 타겟이므로 같은 범주 안에서도 타겟이 1인 샘플의 인코딩 값이 0인 샘플보다 항상 낮게 나온다. 결과적으로 범주마다 정확히 두 개의 값만 존재하고 그중 어느 쪽인지가 곧 타겟이 된다. 트리 모델은 그 두 값 사이에 분할점 하나만 놓으면 타겟을 그대로 읽어낼 수 있다. 누수를 막으려고 도입한 방식이 다른 경로로 더 직접적인 누수를 만드는 셈이다. 자기 자신을 빼는 것과 자기 자신을 뺀 흔적을 남기지 않는 것은 다른 이야기이고, 폴드 단위로 끊는 쪽이 그 흔적을 남기지 않는다.

해설

sklearn의 타겟 인코더는 교차 적합을 fit_transform에서만 수행한다. 따로 적합한 뒤 변환하면 전체 타겟으로 만든 통계를 그대로 돌려주므로 자기 참조가 살아 있고, 그 결과를 교차 검증에 넣으면 검증 폴드의 타겟이 이미 인코딩 값에 녹아 있어 점수가 부풀려진다. 배포하면 실제로 나오는 숫자는 낮은 쪽인데 그 사실은 배포 전까지 드러나지 않는다. 스케일러가 테스트 통계를 보면 점수가 조금 부풀지만, 인코더가 테스트 타겟을 보면 그 컬럼이 정답표가 된다는 점에서 위험의 크기가 다르다. 그래서 인코더는 파이프라인 안에 넣어 폴드마다 검증 폴드를 뺀 데이터로 새로 적합되게 해야 한다. 어떤 방식을 고르든 마지막 점검은 하나다. 이 인코딩 값을 만들 때 그 행의 타겟이 들어갔는가.

해설

순서 기반 인코딩은 무작위 순열에서 자기보다 앞선 샘플들의 타겟만 참조하므로 자기 자신과 뒤쪽 샘플이 애초에 계산에 들어오지 않는다. 폴드 기반과 갈리는 지점은 같은 범주에 붙는 값의 다양성이다. 폴드 기반에서는 한 폴드 안의 같은 범주 샘플이 전부 동일한 값을 받지만, 여기서는 앞에 몇 개가 쌓였느냐에 따라 값이 조금씩 달라진다. 앞쪽 샘플은 사전 확률에 가깝고 뒤로 갈수록 범주 평균에 수렴하므로 정규화 강도가 자연스럽게 조절되는 효과가 생긴다. 한 번의 순열에 의존하는 편향을 줄이기 위해 부스팅 과정에서 여러 개의 무작위 순열을 번갈아 쓴다. 이 라이브러리를 쓴다면 인코딩을 직접 할 필요 없이 범주형 컬럼만 알려주면 된다.

해설

결측 유형을 가르는 기준은 하나다. 결측 여부가 무엇에 달려 있는가. 아무것과도 무관하면 MCAR이고 남은 행이 전체의 축소판이라 지워도 분포가 그대로다. 관측된 다른 변수로 설명되면 MAR인데, 이름과 달리 무작위라는 뜻이 아니라 결측 패턴이 데이터 안의 변수로 설명된다는 뜻이다. 자영업자가 소득을 자주 비운다면 결측 여부는 직업이 결정하고 직업은 데이터에 남아 있으므로 그 정보를 쓰는 대체법이 통한다. 결측 여부가 가려진 값 자체에 달려 있으면 MNAR이다. 유형은 데이터가 알려주지 않는다는 점도 함께 기억할 만하다. 검정으로 MCAR 가설을 기각할 수는 있지만 나머지 둘의 구별은 안 보이는 값에 달려 있어 도메인 지식으로 판단해야 한다.

해설

결측 여부가 가려진 값 자체에 달려 있으면 어떤 대체법을 써도 편향이 남는다. 평균 대체는 물론이고 이웃에서 값을 빌려오거나 모델로 예측하는 방법도 마찬가지인데, 그 방법들이 전부 관측된 값들이 안 보이는 값을 대변한다는 가정 위에 서 있기 때문이다. 고액 연봉자가 소득을 비우는 상황은 정확히 그 가정이 깨진 경우다. 이럴 때 현실적인 대응은 결측 지시 변수를 만들어 두는 것이다. 결측 여부가 가려진 값과 엮여 있다면 그 지시 변수 자체가 값의 대리 신호가 되고, 트리 모델은 이 컬럼을 분기 조건으로 바로 쓸 수 있다. 대체법의 정교함을 비교하기 전에 결측이 왜 생겼는지를 먼저 묻는 편이 나은 이유다.

해설

평균으로 채운 값들은 편차가 정확히 0이라 제곱합에 아무것도 더하지 않는다. 그런데 분모의 자유도는 채운 개수만큼 늘어나므로 분산이 그 비율만큼 줄어든다. 관측값 다섯에 평균 셋을 채우면 원래의 57%가 된다. 분산 축소는 감으로 하는 말이 아니라 이렇게 계산되는 양이고, 표준오차와 신뢰구간이 실제보다 좁아지며 이 변수와 다른 변수의 상관도 함께 흐려진다. 더 근본적인 문제는 불확실성이 지워진다는 점이다. 빈칸의 진짜 값은 여러 값일 수 있는 상태인데 단순 대체는 거기에 하나를 확정해 찍고, 모델은 그 값이 추정치라는 사실을 알 방법 없이 관측된 값과 똑같은 무게로 학습한다. 결측 비율이 낮고 결측이 완전히 무작위일 때만 이 왜곡을 무시할 만하다.

해설

연쇄 방정식 기반 대체의 이름에는 다중이라는 말이 붙어 있지만 sklearn 구현의 기본 동작은 단일 대체다. 완성된 데이터셋 하나를 돌려주고, 이후 분석은 그 값을 관측값과 똑같이 취급한다. 대체값이 추정이었다는 사실이 표준오차에 반영되지 않아 신뢰구간이 실제보다 좁아진다. 진짜 다중 대체는 사후 표집을 켜고 시드를 바꿔가며 여러 번 돌려 서로 다른 완성 데이터셋을 만들고, 각각에 같은 분석을 돌린 뒤 결과를 합치는 것이다. 합칠 때 쓰는 규칙에서 분산은 두 몫으로 나뉜다. 각 데이터셋 안에서 나온 분산의 평균과, 여러 추정치가 서로 갈라진 정도다. 두 번째 몫이 단일 대체가 잃어버리는 부분이고, 대체값을 바꿨을 때 결론이 흔들린다면 그 흔들림이 결과의 불확실성에 포함되어야 한다는 뜻이다.

해설

부스팅 트리 구현들은 분기를 만들 때 결측 샘플을 왼쪽으로 보낸 경우와 오른쪽으로 보낸 경우의 손실을 둘 다 계산하고 이득이 큰 쪽을 그 분기의 기본 방향으로 학습해 둔다. 결측 처리 규칙 자체가 학습 대상이 되는 셈이다. 이런 모델에서 미리 대체를 해 봐야 얻는 것이 없고, 오히려 모델이 스스로 찾을 분기 방향을 사람이 임의로 덮어쓰게 된다. NaN을 그대로 두고 결측 여부가 신호일 것 같으면 지시 변수만 얹는 편이 낫다. sklearn 쪽에서도 히스토그램 기반 부스팅 구현은 결측을 자체 처리하지만, 로지스틱 회귀나 거리 기반 모델 같은 나머지 추정기는 여전히 결측을 받지 못하므로 대체가 필요하다.

해설

이 대체기는 결측이 없는 나머지 피처로 거리를 재서 가장 가까운 K개 행을 찾고 그 행들의 값으로 빈칸을 채운다. 거리 기반이므로 값의 범위가 큰 컬럼이 있으면 그 컬럼이 거리를 통째로 지배하고 이웃 선택 자체가 틀어진다. 스케일러가 결측을 무시하고 통계를 구한 뒤 결측인 자리를 그대로 통과시키므로 스케일링을 먼저 걸고 대체를 나중에 놓는 순서가 가능하다. 함께 확인할 것이 두 가지 더 있다. 이 대체기는 수치형만 받으므로 범주형은 최빈값 대체 같은 별도 경로로 처리해야 하고, 이웃 수는 5에서 10 사이가 무난하다. 너무 작으면 이웃 한둘의 잡음을 그대로 베끼고 너무 크면 결국 전체 평균에 수렴한다. 비용도 만만치 않아 결측이 있는 행마다 나머지 전체와 거리를 재므로 행 수의 제곱에 비례해 늘어난다.