ML 기초와 평가 전체 문항

해설

전통적인 프로그래밍은 데이터와 규칙을 넣어 결과를 얻고, 머신러닝은 데이터와 결과를 넣어 규칙을 얻는다. 이 한 번의 방향 전환에서 나머지가 따라 나온다. 스팸 필터로 보면 분명하다. 규칙을 손으로 쓰면 스패머가 우회할 때마다 조항이 하나씩 붙고 어느 순간 서로 충돌하기 시작하지만, 레이블이 붙은 메일 수천 통을 넣으면 모델이 판별 기준을 스스로 만든다. 사람의 일은 규칙을 정하는 쪽에서 데이터를 모으고 정답을 붙이는 쪽으로 옮겨간다. 그래서 모델의 품질을 좌우하는 것도 알고리즘보다 데이터 쪽인 경우가 많다.

해설

지도학습과 비지도학습을 가르는 것은 학습 신호가 무엇이냐다. 지도학습은 레이블이 학습을 감독하므로 레이블이 없으면 성립하지 않는다. 비지도학습은 정답이 무엇인지 묻지 않고 무엇이 서로 비슷한지만 묻기 때문에 입력만으로 돌아가고, 그래서 fit의 시그니처부터 다르다. 이 차이가 실무에서 중요한 이유는 현실에서 쌓이는 데이터 대부분이 레이블 없이 쌓이기 때문이다. 유저 행동 로그, 센서 측정값, 의료 이미지에 사람이 일일이 정답을 붙이려면 비용을 감당할 수 없다. 클러스터링과 차원 축소, 이상 탐지가 데이터를 처음 뜯어보는 단계에서 자주 등장하는 이유가 여기 있다.

해설

갈래를 고르는 기준은 두 가지다. 손에 있는 데이터가 어떤 형태인지, 그리고 무엇을 얻고 싶은지다. 여기서는 입력만 있고 얻고 싶은 것이 데이터의 구조이므로 클러스터링으로 떨어진다. 실무에서 손에 잡히는 문제 대부분은 지도학습으로 가지만, 그것은 예측 목표가 분명하고 레이블을 어떻게든 확보할 방법이 있을 때다. 비지도학습은 그 앞단에서 데이터를 훑거나 특성을 만들어내는 역할로 붙는 경우가 많다. 여기서도 군집 번호를 새 특성으로 만들어 나중에 지도학습 모델에 넣는 식으로 이어질 수 있고, 그때는 두 갈래가 한 파이프라인 안에 함께 놓인다.

해설

fit에 입력과 정답을 함께 넘긴 것이 전부인데 모델은 면적이 1m² 늘 때 값이 425만원 오른다는 관계를 데이터에서 직접 읽어냈다. 사람이 그 숫자를 알려준 적이 없다는 점이 요점이다. 여기서 눈여겨볼 것이 절편 3,350이다. 이 값이 있어서 면적과 집값의 관계는 비례가 아니라 직선이 되고, 두 배 넓다고 두 배 비싸지지 않는다. 학습 데이터에 없던 80m²에 답을 내놓는 것도 마찬가지로 중요하다. 데이터를 외운 것이 아니라 관계를 잡았기 때문에 가능한 일이고, 다만 학습 범위를 크게 벗어난 입력에서는 그 관계가 유지된다는 보장이 사라진다.

해설

강화학습은 정답 대신 보상으로 배우고, 그 대가로 시행착오의 횟수를 지불한다. 한 번의 행동이 좋았는지 나빴는지는 결과가 나올 때까지 알 수 없으므로 필요한 경험의 양이 폭발한다. 사람 수준의 바둑에 이르기까지 백만 판 단위의 자가 대국이 필요했던 것이 그 규모다. 여기서 나오는 실무적 판단은 단순하다. 레이블을 확보할 수 있는 문제라면 지도학습이 비교할 수 없이 싸다. 강화학습이 제자리를 찾는 곳은 지금의 선택이 다음 상황을 바꾸는 순차적 의사결정 문제이고, 게임이나 로봇 제어처럼 환경과의 상호작용 자체가 문제의 본질인 자리에 한정된다.

해설

머신러닝은 사람이 규칙을 쓰던 자리에 데이터를 놓는다. 이 한 번의 방향 전환에서 두 가지가 따라 나온다. 결과를 정하는 것이 데이터이므로 데이터의 품질이 곧 모델의 품질이 되고, 규칙을 코드에서 읽을 수 없으니 모델이 왜 그렇게 판단했는지를 따로 물어야 한다. 앞의 사실이 데이터 중심 접근을 낳고 뒤의 사실이 설명 가능성이라는 분야를 낳았다. 세 패러다임의 구분도 무엇을 학습 신호로 쓰는지에 따른 것이지 실무의 칸막이는 아니다. 레이블이 일부만 붙은 데이터를 다루는 준지도학습처럼 경계에 걸친 방식도 있고, 하나의 시스템 안에 셋이 섞여 있기도 하다.

해설

처음에는 데이터 수집에서 배포로 곧게 이어지는 직선을 떠올리기 쉽지만 실제 모양은 두 개의 고리가 붙은 형태다. 평가 결과를 보고 전처리 방식을 바꾸고, 특성이 모자라면 데이터를 더 모으고, 다시 학습시키는 과정이 반복된다. 배포한 뒤에도 성능이 떨어지면 데이터 수집으로 되돌아온다. 머신러닝 개발이 공학보다 실험에 가깝다고 말하는 이유가 여기 있다. 한 번에 끝내는 절차가 아니라 어디로 되돌아갈지를 계속 고르는 절차이기 때문이다. 그래서 막혔을 때 유용한 질문도 무엇을 더 해볼까가 아니라 어느 고리로 돌아가야 하는가다.

해설

평가지표는 학습을 시작하기 전에 정해야 한다. 모델을 여러 개 돌려본 뒤 점수가 잘 나오는 지표를 고르면 지표가 모델을 정당화하는 순환 논리가 되고, 그 순간부터 개선의 근거가 사라진다. 지표는 비즈니스 요구에서 나와야 한다. 아파트 가격 예측에서 MAE를 고른 것도 평균적으로 얼마나 틀리는지를 원 단위 그대로 읽을 수 있어 비즈니스 쪽과 이야기하기 쉽다는 이유였다. 성공 기준도 함께 못박아둔다. 지표와 기준선이 먼저 서 있어야 나중에 나온 숫자가 통과인지 미달인지를 다투지 않고 판정할 수 있다.

해설

베이스라인의 역할은 점수를 읽을 자를 만드는 것이다. 3,240에서 1,820으로 44% 줄었다는 비교가 있어야 1,820이라는 숫자에 의미가 생긴다. 기준선이 없으면 어떤 모델의 점수를 봐도 좋은 것인지 판단할 방법이 없다. 여기에 함께 붙는 원칙이 하나 있다. 복잡도가 올라가면 학습 시간, 추론 지연, 해석 가능성, 운영 비용이 모두 나빠지므로 개선폭이 그 대가를 넘어야 복잡한 모델이 정당화된다. 그래서 실전 순서는 늘 같다. 가장 단순한 모델로 먼저 점수를 재두고, 그 값을 기준으로 이후의 모든 변경을 저울질한다.

해설

트리 계열 모델은 특성값의 절대 크기가 아니라 어디서 나눌지만 보기 때문에 스케일에 영향받지 않는다. 면적을 m²로 재든 평으로 재든 데이터의 순서가 같으면 같은 지점에서 갈라지고, 분할 기준값만 단위에 맞춰 바뀐다. 반면 선형 회귀나 거리 기반 모델은 값의 크기를 그대로 계산에 쓰므로 스케일이 다르면 특정 특성이 결과를 지배한다. 표준화가 필요한지 아닌지를 가르는 기준이 여기 있다. 모델이 값의 크기를 직접 쓰느냐, 아니면 순서만 쓰느냐다. 다만 트리에 표준화를 해도 손해는 없으므로, 여러 모델을 같은 파이프라인으로 비교할 때는 그냥 넣어두는 편이 실수가 적다.

해설

학습에 쓴 전처리는 추론에서도 똑같이 재현돼야 한다. 스케일러를 썼다면 그 스케일러도 함께 저장해 같은 순서로 적용해야 하고, 원핫 인코딩을 했다면 컬럼 순서와 범주 목록까지 맞아야 한다. 이 어긋남이 특히 위험한 이유는 예외가 나지 않는다는 데 있다. 특성 개수만 맞으면 계산은 정상적으로 돌아가고 그럴듯한 숫자가 나오므로, 예측이 이상하다는 신고가 들어올 때까지 아무도 모른다. 전처리와 모델을 하나의 Pipeline으로 묶어 통째로 저장하면 이 문제가 구조적으로 생기지 않는다. 학습과 추론이 같은 객체를 쓰게 되므로 재현할 것이 남지 않기 때문이다.

해설

입력 데이터의 분포가 변하거나 입력과 타깃의 관계 자체가 변하는 현상을 모델 드리프트라 한다. 코드는 그대로인데 성능만 조용히 떨어지므로 배포 시점에 세워둔 모니터링이 없으면 한참 뒤에야 알게 된다. 그래서 예측 성능과 입력 분포를 계속 재는 모니터링과 새 데이터로 다시 학습시키는 파이프라인이 배포와 한 묶음이어야 한다. 여기서 중요한 것이 무엇을 재느냐다. 정답이 뒤늦게 들어오는 문제라면 성능 지표는 몇 달 뒤에나 계산되므로, 그전에 입력 분포의 변화만으로 경보를 울릴 수 있어야 한다. 배포는 끝이 아니라 마지막 고리의 시작이다.

해설

제곱 오차는 편향 제곱, 분산, 노이즈 분산의 합으로 정확히 갈라진다. 앞의 둘은 우리가 움직일 수 있지만 노이즈는 데이터를 만든 과정에 들어 있어 어떤 모델로도 줄일 수 없다. 이 하한선이 실무에서 중요한 이유는 언제 멈출지를 알려주기 때문이다. 검증 오차가 어느 선 아래로 내려가지 않는다고 해서 모델이 잘못된 것이 아니라 데이터 자체가 정한 바닥일 수 있다. 게다가 총 오차 곡선은 최저점에서도 그 바닥에 닿지 않는다. 편향 제곱과 분산이 동시에 0이 되는 복잡도는 없기 때문이다. 점수를 더 짜내려고 씨름하기 전에 지금 바닥이 모델의 한계인지 데이터의 한계인지 구분하는 것이 먼저다.

해설

편향 제곱은 차수 3에서 이미 거의 0으로 떨어지고 그 뒤로는 내려갈 자리가 없다. 반면 분산은 차수 5부터 꾸준히 오르다가 9를 지나면서 폭주한다. 그래서 총합이 가장 작은 곳은 양쪽이 다 작은 중간 지점이고, 이 U자 모양이 편향과 분산 트레이드오프의 전부다. 마지막 줄의 분산 11.4가 이상해 보이지만 계산 오류가 아니다. 표본 40개에 11차 다항식을 맞추면 설계 행렬이 거의 특이해져 계수가 수백 배로 튀고 훈련점 사이에서 예측이 크게 요동친다. 훈련셋이 조금만 달라져도 그 요동의 위치와 크기가 통째로 바뀌므로 분산이 그만큼 커진다.

해설

총 오차 곡선은 최저점에서도 노이즈 분산 선에 닿지 않는다. 편향 제곱과 분산이 동시에 0이 되는 복잡도가 없기 때문이다. 그러니 검증 오차가 어느 선 아래로 내려가지 않는다고 해서 모델이 잘못됐다는 뜻은 아니고, 데이터 자체가 정한 바닥일 수 있다. 실무에서 어려운 점은 그 바닥이 얼마인지 대개 모른다는 것이다. 그래서 인간 수준 성능이나 같은 데이터를 다룬 기존 시스템의 점수를 기준점으로 세워둔다. 기준점이 없으면 남은 0.01을 짜내려고 몇 주를 쓰게 되는데, 그 노력을 데이터 품질이나 새 특성 쪽에 돌리는 편이 나은 경우가 많다.

해설

데이터를 더 모으면 웬만한 것이 해결된다는 말은 분산 문제에만 해당한다. 편향은 모델이 표현할 수 있는 함수의 범위에서 오는 것이고 데이터의 양은 그 범위를 넓히지 못한다. 직선으로 사인 곡선을 맞추면 좁힐 수 없는 편향이 0.196이고 여기에 노이즈 0.09를 더한 0.286이 이 모델의 바닥이다. 표본이 적을 때 훈련 오차가 그보다 낮았던 것은 직선이 그 몇 개 점에 조금 맞춰졌기 때문이고, 표본이 늘수록 그 여지가 사라져 바닥에 붙는다. 데이터 수집은 대개 가장 비싸고 오래 걸리는 작업이므로, 착수하기 전에 학습 곡선을 그려 좁힐 갭이 실제로 있는지부터 확인하는 편이 낫다.

해설

규제가 분산을 다루는 방식은 복잡도를 깎지 않고 계수 크기를 눌러 훈련점 사이의 요동만 걷어내는 것이다. 그래서 차수는 11 그대로인데 분산이 백 분의 일로 떨어지고, 계수 폭주가 만들던 왜곡이 사라지면서 편향까지 함께 내려간다. 그런데도 총 오차가 차수 3에 닿지 못한다. 규제는 과한 복잡도를 사후에 다듬는 도구이지 맞는 복잡도를 고르는 일을 대신해주지 않는다는 뜻이다. 실무에서 이 구분이 중요해지는 자리는 탐색 순서다. 모델의 크기나 차수를 먼저 대략 맞추고 그 위에서 규제 강도를 조정하는 편이, 과한 모델을 세워놓고 규제로만 끌어내리는 것보다 도달할 수 있는 지점이 낫다.

해설

규제는 복잡도 손잡이를 왼쪽으로 미는 일이다. 너무 밀면 반대편 낭떠러지로 떨어진다. 차수 4는 이 데이터에 이미 알맞은 크기라 규제를 걸 여유분이 없어 alpha를 올리는 족족 편향만 늘고, 10000에서는 총 오차가 차수 1 직선보다도 나빠진다. 계수를 끝까지 누르면 4차 다항식이 직선을 지나 거의 평평한 상수 쪽으로 끌려가기 때문이다. 여기서 얻을 실무 원칙은 단순하다. 규제 강도는 세게 걸수록 안전한 값이 아니라 다른 하이퍼파라미터와 똑같이 검증으로 골라야 하는 값이다. 세게 거는 것이 안전하다는 감각은 분산 쪽만 보고 편향 쪽을 잊었을 때 생긴다.

해설

주요 지표는 전부 혼동 행렬 네 칸의 조합이고, 각 지표가 표의 어느 방향을 읽느냐가 성격을 정한다. Precision은 예측 Positive 열을 세로로 읽어 모델이 양성이라 말했을 때 그 말을 얼마나 믿을 수 있는지를 잰다. Recall은 실제 Positive 행을 가로로 읽어 세상에 존재하는 양성 중 몇 퍼센트를 건져 올렸는지를 잰다. 둘이 TP를 공유하되 분모가 다르다는 것이 이 두 지표를 헷갈리게 만드는 지점이다. 어느 쪽을 볼지는 문제가 정한다. 스팸 필터는 업무 메일이 사라지는 것이 더 아프니 Precision을, 암 검진은 환자를 돌려보내는 것이 더 아프니 Recall을 앞세운다.

해설

scikit-learn의 confusion_matrix는 레이블을 오름차순으로 놓기 때문에 행렬이 [[TN, FP], [FN, TP]] 형태로 나온다. 교과서 그림은 보통 Positive를 먼저 놓아 TP가 좌상단에 오는데 코드로 뽑으면 TP가 우하단에 있다. 인덱스를 손으로 꺼내 쓸 때 이 순서를 착각하면 Precision 자리에 NPV(음성 예측의 적중률)가, Recall 자리에 Specificity(음성의 재현율)가 나오고, 두 값이 모두 그럴듯한 범위에 있어 한동안 눈치채기 어렵다. 방어는 간단하다. ravel로 풀어 tn, fp, fn, tp 순서로 이름을 붙이거나 애초에 precision_score와 recall_score를 쓰는 것이다. 손으로 꺼낼 일이 있다면 완벽하게 예측한 데이터를 한 번 넣어보고 어느 칸이 채워지는지 확인하는 습관이 도움이 된다.

해설

확률을 출력하는 모델은 그 값을 임계값과 비교해 양성과 음성을 정하고, 기본값 0.5는 그냥 기본값이다. 임계값을 내리면 Recall이 오르고 Precision이 내려가며 올리면 반대가 된다. 두 분포가 완전히 갈라지지 않는 한 이 교환은 피할 수 없으므로, 지표를 고르는 일은 사실 어느 쪽 오류를 더 아프게 볼 것인가를 정하는 일이다. 여기서 함께 기억할 것은 임계값이 하이퍼파라미터라는 사실이다. 학습이 끝난 모델의 성능은 고정된 하나의 숫자가 아니라 임계값을 따라 움직이는 곡선이고, 배포 직전에 검증 데이터로 임계값을 다시 고르는 것만으로 재학습 없이 원하는 균형을 만들 수 있는 경우가 많다.

해설

산술평균은 큰 값에 끌려가고 조화평균은 작은 값에 끌려간다. 두 값 중 하나가 0에 가까우면 곱이 먼저 무너지기 때문에 결과도 같이 무너지고, 그래서 Precision 1.0에 Recall 0.01인 모델의 F1은 0.02가 된다. 두 값이 비슷하면 두 평균이 거의 같고 벌어질수록 F1이 훨씬 인색해진다. F1은 두 지표에 같은 무게를 준다는 또 하나의 선택이기도 하다. 한쪽이 더 중요하면 Fβ로 기울이는데, β는 Recall을 Precision보다 몇 배 중요하게 볼 것인가를 뜻한다. 암 검진처럼 놓치지 않는 것이 우선이면 F2를, 스팸 필터처럼 헛경보를 줄이는 것이 우선이면 F0.5를 쓴다.

해설

AUC가 임계값에 독립적이라는 장점은 그대로 함정이 되기도 한다. 음성이 압도적으로 많으면 FPR의 분모가 커져 어지간한 오탐으로는 눈금이 움직이지 않기 때문이다. 여기서 오탐 110건은 FPR로는 0.011이지만 Precision으로 보면 경보의 절반 이상이 헛것이라는 뜻이 된다. 차이의 원인은 하나다. FPR은 분모에 TN을 쓰고 Precision은 쓰지 않으므로, 음성이 많을수록 TN이 FP를 희석해 ROC 곡선을 낙관적으로 만든다. 양성이 극소수인 문제에서 PR 곡선을 보라는 권고가 여기서 나온다. 보고서에 양성 비율을 함께 적는 습관도 도움이 되는데, 그 숫자가 없으면 읽는 사람이 기준선을 모른 채 값만 보게 된다.

해설

PR 곡선의 무작위 기준선은 ROC와 달리 고정되어 있지 않고 양성 비율 그 자체다. 그래서 양성이 1%인 데이터에서 PR-AUC 0.4는 기준선 0.01의 40배이므로 나쁘지 않은 성적이고, 양성이 40%인 데이터의 0.6은 기준선 대비 1.5배에 그친다. 절대값만 보고 판단하면 결론이 뒤집힌다. ROC-AUC는 기준선이 언제나 0.5라 이런 혼동이 없지만 대신 음성이 많은 데이터에서 높은 값이 오탐 부담을 반영하지 못하는 문제를 안고 있어, 어느 쪽도 혼자서는 충분하지 않다. 그래서 불균형 데이터를 보고할 때는 양성 비율을 반드시 함께 적는다. 그 숫자가 없으면 PR-AUC를 읽는 사람이 기준선을 모르고, Accuracy를 읽는 사람은 99%가 어디서 왔는지 모른다.

해설

잔차에는 부호가 있어 그대로 평균 내면 상쇄되므로 절댓값을 씌우거나 제곱한다. 사소해 보이는 선택인데 결과가 갈린다. 절댓값은 모든 잔차를 크기에 비례해 취급하고 제곱은 큰 잔차를 불균형하게 키우기 때문이다. 여기서는 잔차 하나가 절댓값 기준으로 합계의 57%지만 제곱 기준으로는 86%를 가져간다. MSE를 최소화하는 학습은 사실상 그 하나짜리 이상치를 줄이는 일에 대부분의 힘을 쓴다는 뜻이다. 제곱을 쓰는 실용적인 이유는 미분이 매끄럽다는 데 있다. 절댓값은 0에서 꺾여 경사하강법에 불편하므로 학습에는 MSE를, 보고에는 단위가 타깃과 같은 RMSE를 쓰는 조합이 흔하다.

해설

MAE와 RMSE가 서로 다른 모델을 고른다는 것은 지표가 정확도의 등급표가 아니라 어떤 실수를 얼마나 미워할지에 대한 선언이라는 뜻이다. 대부분의 예측이 정확한 대신 가끔 크게 어긋나도 되는 문제라면 B가 낫고, 한 번의 큰 실수가 치명적인 문제라면 A가 낫다. 배송 예상 시간이라면 대체로 정확한 쪽이 낫고, 항공기 부품 수명 예측이라면 한 번의 큰 실수를 막는 쪽이 낫다. 그래서 순서는 지표를 고르고 모델을 학습하는 것이 아니다. 이 문제에서 무엇이 비싼 실수인지 먼저 정하고 그 정의에 맞는 지표를 고르는 쪽이다.

해설

RMSE는 항상 MAE 이상이고 두 값이 같아지는 것은 모든 잔차의 크기가 똑같을 때뿐이다. 반대편 끝은 √n으로 잔차 하나가 전부를 짊어질 때 나온다. 그래서 이 비율은 두 지표를 이미 계산했다면 공짜로 얻는 진단 도구다. 1에 가까우면 잔차가 고르게 퍼져 있고, 눈에 띄게 크면 소수의 큰 오차가 섞여 있다는 신호다. 비가 튀었을 때의 다음 순서도 정해져 있다. 잔차 상위 몇 개를 직접 열어 그 관측이 무엇이 다른지 보는 것이다. 데이터 오류일 수도 있고 모델이 다루지 못하는 유형일 수도 있는데, 두 경우의 처방이 서로 다르므로 눈으로 확인하는 것 말고 지름길이 없다.

해설

최소제곱으로 특성을 추가하면 R²는 절대 줄어들지 않는다. 추가된 특성이 완전한 난수여도 그렇다. 새 열의 계수를 0으로 두면 이전 모델과 똑같아지므로 최적화 결과가 그보다 나쁠 수 없기 때문이다. 그래서 학습 데이터의 R²로는 특성 수가 다른 모델을 비교할 수 없다. Adjusted R²는 특성 수에 비례하는 벌점을 붙여 이를 보정하고, 표에서 유효 특성 3개를 넘어서는 순간부터 내려가기 시작한다. 여기에 붙는 다른 함정도 있다. R²는 음수가 될 수 있는데, 절편을 포함한 최소제곱 모델을 학습 데이터에서 평가하면 0과 1 사이가 보장되므로 음수는 홀드아웃에서만 나온다. 테스트 R²가 음수라면 과적합이나 분포 이동을 알리는 신호다.

해설

MAPE는 오차를 실제값으로 나누므로 위아래가 대칭이 아니다. 과소예측은 0으로 예측하는 것이 최악이라 오차율이 100%를 넘을 수 없지만, 과대예측에는 천장이 없어 실제값의 세 배로 예측하면 200%가 된다. 같은 크기의 실수라도 위로 틀리는 쪽이 더 크게 벌점을 받으니 이 값을 목적함수로 삼으면 예측이 체계적으로 아래로 눌린다. 재고 부족이 재고 과잉보다 비싼 문제에서는 정확히 반대 방향의 치우침이라 손해가 크다. 대안은 두 갈래다. 분모를 실제값과 예측값의 평균으로 바꾼 sMAPE는 값이 200%로 묶이지만 이름과 달리 완전히 대칭은 아니다. 시간 순서가 있다면 순진한 예측의 오차로 나누는 MASE가 분모의 폭발 문제까지 함께 해결한다.

해설

로그의 차는 곧 비의 로그이므로 RMSLE는 두 값의 비율이 얼마나 어긋났는지를 잰다. 그래서 5천만 원짜리와 10억 원짜리를 나란히 10%씩 틀렸다면 로그 오차가 둘 다 같고, 같은 두 집을 RMSE로 재면 7,080만 원이 나오는데 그 값의 거의 전부가 비싼 집 하나에서 온다. 집값이나 매출처럼 양수이면서 오른쪽으로 길게 늘어진 타깃에 RMSLE를 쓰는 이유가 이것이다. 함께 알아둘 성질이 하나 더 있다. RMSLE는 과소예측을 더 세게 벌한다. 100을 150으로 예측하면 제곱 로그 오차가 0.162인데 50으로 예측하면 0.467로 2.9배 무겁다. 재고 부족이 재고 과잉보다 비싼 문제처럼 아래로 틀리는 것이 더 위험한 상황에 잘 맞는다.

해설

TimeSeriesSplit은 미래를 보지 않기 위해 검증 구간보다 뒤에 있는 데이터를 그 회차에서 통째로 버린다. 그 대가는 초반 회차에 집중된다. 첫 회차의 훈련셋은 20건뿐이라 전체의 20%만 보고 학습한 모델을 평가하는 셈이고 점수가 낮게 나오기 쉽다. 회차별 점수를 그냥 평균내면 이 초반 핸디캡이 섞여 들어가므로, 뒤쪽 회차에 무게를 두거나 최소 훈련 크기를 정해두는 편이 실전 성능에 가깝다. 검증 구간이 16건으로 고정되고 훈련만 늘어나는 구조도 함께 기억할 만하다. 이 절차가 흉내 내는 것은 결국 운영이다. 오늘까지의 데이터로 학습해 내일을 예측하고, 하루가 지나면 그 데이터를 훈련에 넣고 다시 학습하는 흐름 그대로다.

해설

KFold와 StratifiedKFold 모두 shuffle이 기본으로 꺼져 있다. 데이터가 어떤 키로 정렬된 채 저장돼 있으면 각 폴드가 연속 구간이 되고, 검증할 때마다 훈련에서 본 적 없는 영역을 외삽하게 된다. 9차 다항식처럼 유연한 모델은 훈련 범위 밖에서 크게 튀어 오르므로 오차가 폭발한다. 다섯 자릿수 차이가 모델이 아니라 데이터의 정렬 상태에서 왔다는 뜻이다. 993이라는 값이 잡음을 새로 뽑을 때마다 수십에서 수천 사이를 오간다는 점도 이 숫자가 모델의 성질이 아니라는 증거다. 시계열이 아니라면 shuffle=True를 명시해두는 편이 안전하고, 정렬 여부를 확인하지 않은 채 기본값에 맡기는 것이 이 함정의 실제 모습이다.

해설

fit_transform(X)가 전체 데이터의 통계량을 계산하는 순간, 검증 폴드에 들어갈 샘플들의 정보가 그 평균과 표준편차에 실려 훈련 폴드로 새어 들어간다. Pipeline으로 감싸면 각 폴드에서 파이프라인 전체가 훈련 폴드만으로 학습되고 검증 폴드에는 transform만 적용되어 이 문제가 사라진다. 스케일링만의 이야기가 아니다. 결측치 대치, 특성 선택, PCA, 타깃 인코딩, 오버샘플링까지 데이터에서 무언가를 학습하는 모든 단계가 파이프라인 안에 들어가야 한다. 특히 특성 선택이 위험한데, 전체 데이터에서 타깃과 상관 높은 특성을 미리 골라두고 교차 검증을 돌리면 정답을 본 뒤에 시험을 치는 것과 같다. 누수는 에러를 내지 않고 점수를 올려주므로 배포 후에야 드러난다.

해설

같은 환자에게서 나온 기록이 훈련셋과 검증셋에 갈라져 들어가면 모델은 병을 배우는 대신 그 환자의 특징을 외운다. 검증 폴드에 이미 본 환자가 있으니 점수가 부풀려지고, 처음 보는 환자만 오는 실전에서 급락한다. 진단의 열쇠는 GroupKFold로 다시 재보는 것이다. 환자 단위로 폴드를 나눈 뒤에도 0.94가 유지되면 원인은 다른 데 있고, 0.7대로 떨어지면 그룹 누수가 맞다. 분포가 다르다는 설명도 가능하지만 이 한 번의 재측정으로 두 가설이 갈린다. 같은 구조가 사용자 세션, 문서에서 잘라낸 문장, 같은 기기에서 나온 로그에서도 반복되므로, 데이터를 받으면 무엇이 반복 관측의 단위인지부터 확인해야 한다.

해설

K개 점수의 평균이 안정적이려면 그 점수들이 서로 독립이어야 한다. K를 키우면 회차마다의 훈련셋이 거의 같아져 점수들이 함께 움직이고, 평균의 분산은 뒷항이 ρσ²로 수렴해 더 내려가지 않는다. LOO가 그 극단이다. 훈련셋들이 한 건씩만 다르니 ρ가 1에 가깝고, 데이터가 1만 건이면 모델을 1만 번 학습해야 한다. 점수를 더 안정시키려면 K를 키우는 대신 서로 다른 시드로 K-Fold를 여러 번 반복하는 편이 낫다. 반복마다 폴드 구성이 새로 짜여 덜 겹치는 점수를 모으게 되고, 유방암 데이터에서 5-폴드 한 번의 2.0%p 흔들림이 10회 반복으로 0.8%p까지 줄어든다. 모델 두 개의 0.01 차이를 판별하려면 이 정도가 필요하다.

해설

테스트셋의 값어치는 어떤 선택에도 쓰이지 않았다는 사실 하나에서 나온다. 점수가 마음에 안 들어 다른 모델로 바꾼 순간 그 선택의 근거가 테스트 점수가 되고, 테스트셋은 검증셋으로 강등된다. 두 번째로 얻은 0.86은 두 후보 중 이 데이터에서 더 잘 나온 쪽을 고른 값이라 낙관적으로 치우쳐 있고, 후보를 늘릴수록 치우침이 커진다. 올바른 절차는 처음에 테스트셋을 떼어 잠가두고, 남은 개발셋 안에서만 교차 검증으로 모델과 하이퍼파라미터를 고르고, 결정이 끝나면 개발셋 전체로 재학습한 뒤 마지막에 한 번만 평가하는 것이다. 그 숫자가 기대에 못 미쳐도 그것이 보고할 값이고, 되돌아가고 싶다면 새 테스트셋을 확보해야 한다.

해설

두 개념을 가르는 것은 정해지는 시점이다. 파라미터는 학습 과정에서 옵티마이저가 데이터를 보며 찾는 값이라 선형 회귀의 가중치, 신경망 각 층의 가중치 행렬, 결정 트리 각 노드의 분기 기준이 여기 속한다. 하이퍼파라미터는 학습을 시작하기 전에 사람이 정하는 값이고 학습 절차 자체를 규정한다. 실질적인 차이는 자동 장치가 있느냐다. 파라미터에는 경사 하강법 같은 옵티마이저가 있지만 하이퍼파라미터에는 그런 장치가 없어서, 값을 넣고 학습시키고 점수를 보는 절차를 사람이 반복해야 한다. 탐색 전략이라는 것이 필요해지는 지점이 바로 여기이고, 그래서 튜닝은 알고리즘 문제가 아니라 예산 배분 문제가 된다.

해설

격자는 모든 축을 동등하게 취급한다. 3 × 3 격자에서 중요한 축의 값은 세 개뿐이고, 나머지 여섯 번의 학습은 이미 본 세 값을 덜 중요한 축의 다른 위치에서 되풀이하는 데 쓰인다. 무작위 샘플링은 아홉 번 모두 다른 값을 뽑으므로 어느 축으로 사영해도 아홉 개가 남는다. Bergstra와 Bengio가 2012년에 정리한 관찰이 이것이다. 탐색 공간의 명목 차원이 높아도 성능을 실제로 좌우하는 유효 차원은 낮고, 그 축이 어디인지는 미리 모른다. 격자는 그 축을 맞히지 못하면 예산을 통째로 낭비하지만 무작위는 어느 축이든 시도 횟수만큼을 남긴다. 실전 기준은 단순하다. 파라미터가 셋 이하이고 후보 값이 명확하면 격자, 그 밖에는 무작위가 기본이다.

해설

0.001에서 1.0까지 균등하게 뽑으면 0.001에서 0.01 사이가 전체 범위의 1%도 되지 않아 표본이 거의 떨어지지 않고, 절반은 0.5 이상에서 나온다. 학습률이 실제로 쓸모 있는 영역이 대개 0.001에서 0.1 사이라는 점을 생각하면 예산의 대부분을 쓸모없는 구간에 버리는 셈이다. 로그 균등으로 바꾸면 자릿수마다 비슷한 밀도로 탐색하므로 세 자릿수에 걸친 이 범위에서 각 자릿수가 약 3분의 1씩을 가져간다. 학습률, 규제 강도, weight decay처럼 여러 자릿수에 걸친 값은 예외 없이 로그다. 탐색기를 무엇으로 고르든 이 설정이 틀려 있으면 좋은 영역에 표본이 닿지 않으므로, 탐색 공간의 설계가 탐색기의 선택보다 앞선다.

해설

best_score_는 하이퍼파라미터를 고르는 데 이미 쓰인 점수다. 수백 개 조합 가운데 검증 폴드에서 가장 잘 나온 하나를 골랐으니 그 값에는 검증 데이터에 맞춘 만큼의 낙관적 편향이 섞여 있고, 조합을 많이 시도할수록 편향이 커진다. Nested CV는 고르는 루프와 재는 루프를 분리해 이 편향을 없앤다. 바깥 5-Fold가 평가를 맡고 안쪽 3-Fold가 튜닝을 맡으면 바깥 Fold마다 조합을 새로 찾으므로, 각 테스트 점수는 자기 자신이 튜닝에 쓰이지 않은 값이 된다. 비용이 폴드 수의 곱이라 만만치 않으므로 실무에서는 역할을 나눈다. 성능을 보고하고 모델 후보를 비교할 때는 Nested CV를 쓰고, 배포할 최종 모델은 전체 데이터에 일반 CV로 튜닝해 학습한다.

해설

Successive Halving은 후보 전부를 적은 자원으로 한 번씩 평가하고 하위를 탈락시키면서 살아남은 후보에만 자원을 늘려준다. 이 절약이 성립하려면 전제가 하나 필요하다. 적은 자원에서 나쁘게 나온 후보가 자원을 늘려도 여전히 나쁠 것이라는 가정이다. 이 가정이 깨지는 경우가 실제로 있다. 규제가 약한 조합은 데이터가 적을 때 과적합으로 밀렸다가 데이터가 늘면 앞서기도 하고, 학습률이 작은 설정은 라운드를 적게 주면 아직 수렴하지 못한 상태로 평가된다. 그래서 초기 자원을 너무 작게 잡으면 좋은 후보를 1라운드에서 잃고, min_resources를 지나치게 낮추지 않는 것이 실무의 방어책이다. 예산이 빠듯할 때 쓰는 방법이지 기본값으로 삼을 방법은 아니다.

해설

베이지안 최적화가 아끼는 것은 시도 횟수다. 지금까지의 결과로 대리 모델을 세우고 획득 함수가 다음 지점을 고르므로, 무작위로 뽑는 것보다 적은 시도로 좋은 영역에 닿는다. 그런데 이 이점은 시도 하나가 비쌀 때만 값을 한다. 학습이 3초면 무작위로 여러 번 돌리는 편이 대리 모델을 세우고 제안을 받는 것보다 빠르고, 샘플러 자체의 오버헤드가 학습 시간을 넘어서기도 한다. 함께 짚어둘 것이 병렬화다. 무작위 탐색은 시도가 서로 독립이라 코어 수만큼 그냥 나눠 돌릴 수 있지만, 베이지안은 앞의 결과를 봐야 다음을 고르므로 완전한 병렬화가 어렵다. 코어가 넉넉하고 학습이 싸다면 무작위 쪽이 실측 시간에서 앞서는 경우가 흔하다.

해설

학습 곡선을 읽을 때 보는 것은 두 곡선의 높이와 간격 둘뿐이다. 여기서는 둘 다 높은 곳에 붙어 있고 데이터를 늘려도 움직이지 않으므로 모델의 표현력이 모자란 상태다. 이 진단에서 곧장 결론이 나온다. 데이터를 더 모으는 것은 도움이 되지 않고 손댈 곳은 모델 복잡도, 규제 완화, 피처 추가 쪽이다. 여기서 놓치기 쉬운 것이 피처다. 모델이 단순해서가 아니라 입력에 신호가 없어서 못 맞히는 경우가 많고, 그럴 때는 모델을 XGBoost로 갈아 끼우는 것보다 상호작용 항이나 도메인 피처를 넣는 쪽이 효과가 크다. 신경망이라면 층과 뉴런을 키우는 것과 더 오래 학습시키는 것을 먼저 구분해야 한다.

해설

검증 에러 하나만 보면 두 사례가 거의 같아 보인다. 인간 수준 에러를 기준점으로 놓고 쪼개면 완전히 다른 그림이 나온다. 회피 가능한 편향은 훈련 에러에서 인간 수준 에러를 뺀 값이고 분산은 검증 에러에서 훈련 에러를 뺀 값인데, A는 4%와 5%, B는 7%와 1%다. A는 외운 쪽이 문제라 규제와 데이터로 잡고 B는 못 배운 쪽이 문제라 모델을 키운다. 두 처방이 정확히 반대라서 진단 없이 하나를 고르면 절반의 확률로 뒷걸음질이 된다. 여기서 기준점의 값어치가 드러난다. 인간 수준 성능이나 단순 모델 점수가 없으면 훈련 에러 5%가 좋은 값인지 나쁜 값인지 말할 방법이 없고, 편향과 분산을 숫자로 나눌 수도 없다.

해설

타깃 누수는 정답에서 파생된 정보가 피처에 섞여 들어간 상태다. 퇴원처리일자는 퇴원이 일어난 뒤에야 생기는 값이라 예측하려는 시점에는 존재하지 않는다. 모델은 그 열 하나로 정답을 맞히므로 검증 정확도가 99%까지 오르고, 배포하면 그 값이 비어 있어 아무 쓸모가 없다. 전처리 누수와 결정적으로 다른 점은 파이프라인으로 막을 수 없다는 것이다. Pipeline은 폴드마다 훈련 부분으로만 fit해주지만 애초에 들어가면 안 되는 열을 걸러주지는 않는다. 방어는 사람이 한다. 피처 목록을 한 줄씩 훑으며 예측 시점에 이 값을 실제로 알 수 있는지 물어야 하고, 실전에서 가장 비싼 실패는 성능이 낮은 모델이 아니라 배포 전까지 성능이 높아 보였던 모델이다.

해설

오차 분석 표가 알려주는 것은 각 유형의 개선 상한이다. 약물 광고 스팸이 오분류의 35%를 차지하므로 그 유형을 완벽하게 잡아도 줄일 수 있는 에러는 35%가 최대다. 여기서 단위를 헷갈리기 쉽다. 정확도가 75%면 에러가 25%이고 그중 35%가 사라지는 것이라 정확도 상승은 8.75%p다. 이 표의 값어치는 어디에 시간을 쓸지 정해준다는 데 있다. 비영어 스팸에 두 주를 쓰면 최대 15%까지지만 약물 광고 쪽에 쓰면 35%까지 열린다. 자동화된 지표로는 이 분해가 나오지 않으므로 틀린 사례를 직접 눈으로 넘겨보는 수밖에 없고, 그 과정에서 라벨 오류나 구별 불가능한 입력 같은 다른 문제도 함께 드러난다.

해설

증강이 통하는 근거는 변형이 라벨을 바꾸지 않는다는 사전 지식이다. 좌우로 뒤집힌 고양이는 여전히 고양이고 동의어로 바꾼 문장의 감성은 그대로라는 것을 우리가 알고 있어서 쓸 수 있다. 정형 데이터에는 기댈 불변성이 없다. 나이를 셋 올리고 소득을 5% 흔든 행이 현실에 존재할 수 있는 조합인지, 그 조합에서 라벨이 그대로인지 보장할 방법이 없고, 나이와 근속연수처럼 서로 묶인 열을 따로 흔들면 모순된 행이 만들어진다. 그래서 정형 데이터의 증강은 SMOTE처럼 소수 클래스의 결정 경계 근처를 메우는 좁은 용도로 쓴다. 그마저도 교차 검증 폴드 안에서 훈련 부분에만 적용해야 한다. 밖에서 미리 늘려두면 원본에서 파생된 행이 검증 폴드로 새어 든다.

해설

첫 모델의 목표는 좋은 점수가 아니라 끝까지 돌아가는 파이프라인이다. 데이터를 읽고 나누고 학습시켜 점수를 기록하는 경로가 한 번이라도 완성돼야 그다음 진단이 가능해진다. 학습 곡선을 그리려면 점수가 필요하고 오차 분석을 하려면 예측이 필요한데 발산하는 모델에서는 둘 다 나오지 않는다. 이 주째 발산을 잡고 있다는 것은 아직 측정 체계가 없다는 뜻이고, 측정이 없으면 무엇을 고쳐야 할지 정할 방법도 없다. 로지스틱 회귀로 10분 만에 첫 점수를 내고 나면 그 숫자가 기준점이 되어 이후의 모든 변경을 견줄 수 있다. 정형 데이터에서 신경망이 나쁜 선택이라는 뜻은 아니다. 다만 그것이 첫 모델일 이유는 없다.