ML 비지도학습 전체 문항

해설

K-Means가 줄이려는 값에는 미지수가 두 종류 들어 있다. 중심점의 위치와 각 점의 소속이다. 둘을 동시에 최적으로 푸는 문제는 계산이 감당되지 않으므로 한쪽을 고정하면 나머지가 쉽게 풀린다는 성질을 쓴다. 소속을 고정하면 목적값을 최소로 만드는 중심점은 그 클러스터의 평균이고, 중심점을 고정하면 각 점의 최적 소속은 가장 가까운 중심점이다. 두 단계 어느 쪽도 값을 늘리지 않으므로 번갈아 돌리면 값이 단조 감소하고, 가능한 소속 조합이 유한하니 언젠가 멈춘다. 다만 멈춘 자리가 전역 최적이라는 보장은 없다. 초기 중심점을 어디에 두었느냐에 따라 서로 다른 지역 최적에 갇히고, 그래서 초기화가 하이퍼파라미터 취급을 받는다.

해설

sklearn 1.4부터 초기화 반복 횟수의 기본값이 auto로 바뀌었고, 이 값이 10회를 뜻하는 것은 무작위 초기화를 지정했을 때뿐이다. 기본 초기화에서는 단 한 번만 돈다. 1.4 이전 기본값이 10이었기 때문에 여전히 열 번 도는 줄 알고 쓰는 코드가 많다. 개선된 초기화는 중심점끼리 서로 멀리 떨어지도록 유도해 나쁜 출발을 크게 줄여주지만 한 번의 실행으로 지역 최적을 완전히 피하지는 못한다. 그래서 서로 다른 초기화로 여러 번 돌린 뒤 목적값이 가장 낮은 결과를 고르는 방법을 함께 쓰고, 그 횟수를 정하는 값이 이 파라미터다. 초기화 운에 민감한 데이터라면 숫자를 직접 적는 편이 안전하다. 미니 배치 구현도 기본 초기화에서는 한 번만 돈다.

해설

엘보우 기준은 K를 늘리면 목적값이 반드시 줄어든다는 성질에서 출발하므로 값 자체가 아니라 줄어드는 속도를 본다. 급하게 떨어지다 완만해지는 지점이 있으면 거기를 고른다. 문제는 그 지점이 보이지 않을 때가 많다는 것이다. 클러스터끼리 겹쳐 있거나 밀도가 이어져 있으면 K를 늘릴 때마다 비슷한 몫이 계속 깎여 어디를 골라도 근거가 약해지고, 실제 데이터에서 오히려 이쪽이 더 흔하다. 그래서 실루엣 같은 다른 기준을 함께 보고, 두 기준이 다른 K를 가리키면 각각으로 돌려 클러스터의 내용이 해석되는 쪽을 고르는 편이 낫다. K를 정하는 일에는 데이터 바깥의 판단이 반드시 들어간다.

해설

K-Means가 그릴 수 있는 경계는 중심점 두 개를 잇는 선분의 수직이등분선뿐이다. 결과적으로 공간은 중심점들의 보로노이 다이어그램으로 쪼개지고 각 조각은 직선으로 둘러싸인 볼록한 영역이 된다. 고리나 초승달처럼 이 조각들로 표현할 수 없는 모양이면 K를 아무리 잘 골라도 답이 나오지 않는다. 알고리즘의 정의에서 곧장 나오는 제약이라 튜닝으로 풀리지 않고 모델을 바꿔야 한다. 밀도로 군집을 정의하는 방법이나 스펙트럴 클러스터링이 이런 모양에 맞는다. 같은 뿌리에서 나오는 약점이 몇 개 더 있다. 중심점이 평균이라 이상치 하나에 크게 끌려가고, 클러스터의 크기와 밀도가 제각각이면 큰 덩어리의 중심점이 작은 덩어리 쪽 점까지 가져간다.

해설

실루엣은 점마다 같은 클러스터의 다른 점들과의 평균 거리와 가장 가까운 다른 클러스터까지의 평균 거리를 견줘 계산한다. 1에 가까우면 자기 클러스터에 잘 붙어 있고, 0 근처면 경계에 걸쳐 있으며, 음수면 다른 클러스터가 더 가깝다는 뜻이라 잘못 할당된 점이다. 전체 평균만 보면 이런 국소적인 문제가 다른 클러스터의 높은 값에 가려지므로, 점마다의 값을 꺼내 클러스터별로 나눠 봐야 한다. 특정 클러스터 하나만 값이 낮거나 음수 구간이 넓다면 그 안에 서로 다른 무리가 섞여 있다는 신호이고 더 쪼개는 쪽이 낫다. 지표 하나의 평균으로 K를 결정하는 대신 분포를 들여다보는 습관이 여기서 값을 한다.

해설

무작위 초기화의 위험은 중심점 두 개가 나란히 뽑혀 한 덩어리를 나눠 갖고 다른 덩어리는 통째로 남의 클러스터에 묻히는 것이다. 그 자리에서 수렴해도 목적값은 나쁜 값에 머문다. K-Means++는 이미 뽑힌 중심점까지의 최단 거리 제곱에 비례하는 확률로 다음 중심점을 뽑아 이 문제를 완화한다. 먼 점일수록 유리하므로 아직 중심점을 못 얻은 덩어리에서 나올 가능성이 커지고, 그러면서도 확률이라 가장 먼 점, 즉 이상치일 가능성이 높은 점에 결정적으로 끌려가지 않는다. 이 초기화만으로 기대 목적값이 최적값의 로그 K 배 안에 든다는 보장이 붙고, 순수 무작위 초기화에는 그런 보장이 없다. 다만 보장은 기댓값에 대한 것이라 여러 번 돌려 최선을 고르는 방법과 함께 써야 한다.

해설

둘 중 어느 쪽이 맞는지는 이상 사례를 얼마나 확보했는지, 그리고 앞으로 나타날 이상이 지금까지 본 것과 비슷할지로 갈린다. 라벨이 충분하고 새 사례가 기존과 닮았다면 이상의 생김새를 직접 배우는 분류기가 낫다. 반대로 이상이 극소수이거나 유형을 미리 알 수 없다면 정상의 생김새를 배우고 그 바깥을 이상으로 판정하는 쪽으로 간다. 정상 데이터는 얼마든지 쌓여 있으니 재료 걱정이 없고, 처음 보는 유형도 정상이 아니라는 이유만으로 걸린다. 더 근본적인 갈림길은 유형 쪽에 있다. 분류기는 학습한 패턴만 잡으므로 공격자가 수법을 바꾸는 순간 그 패턴은 학습 데이터에 없는 것이 되고 모델은 조용히 통과시킨다.

해설

특성마다 가우시안을 따로 세워 곱하면 각 특성을 혼자 보면 정상 범위인데 조합이 이상한 경우를 통과시킨다. 두 점 모두 첫 특성의 편차가 5, 둘째 특성의 편차가 절댓값 8이라 제곱해서 더하는 순간 부호가 사라지고 완전히 같은 밀도가 나온다. 어떤 임계값을 고르더라도 둘은 같이 통과하거나 같이 걸린다. 다변량 가우시안은 공분산 행렬로 이 관계를 담아, 첫 특성이 크면 둘째도 커야 한다는 사실을 알고 있으므로 그 관계를 거스른 점을 훨씬 드문 사건으로 취급한다. 두 모델은 별개의 알고리즘이 아니라 같은 식에 다른 공분산을 넣은 것이다. 비대각 원소를 0으로 만드는 순간 다변량 가우시안은 독립 가우시안의 곱과 정확히 같아진다.

해설

이 파라미터는 이름만 보면 데이터에 이상이 얼마나 섞였는지 모델에 귀띔해 주는 값 같지만 실제로는 임계값 그 자체다. sklearn은 학습 데이터의 점수 분포에서 지정한 비율의 백분위수를 잘라 경계로 삼으므로, 0.06을 주면 실제로 이상이 몇 개든 정확히 6%가 이상으로 찍힌다. 그래서 몇 개 중 몇 개를 잡았다는 숫자를 성능으로 읽으면 안 된다. 찍힌 개수는 이미 정해져 있고 진짜 물어야 할 것은 그 개수 안에 진짜 이상이 들어 있느냐다. 이상 비율을 모른다면 자동 설정으로 두고 점수를 직접 정렬해 자를 지점을 고르는 편이 낫다. 다른 알고리즘의 비슷한 파라미터도 같은 자리를 차지하므로 이름이 아니라 구현이 그 값을 어떻게 쓰는지 확인해야 한다.

해설

확률 밀도는 평균에서 조금만 멀어져도 자릿수 단위로 떨어진다. 선형 등간격으로 후보를 훑으면 200개가 전부 큰 값 쪽에 몰려서, 정작 정상과 이상을 갈라내는 아주 작은 자리는 한 번도 시험해 보지 못한다. 자릿수마다 후보를 고르게 놓아야 실제로 유효한 구간을 탐색한다. 임계값을 고르는 절차 자체도 짚어둘 만하다. 정상 데이터만으로 파라미터를 추정하고, 정상과 이상이 섞인 소량의 라벨 데이터에서 후보를 훑어 값을 고르고, 손대지 않은 테스트 세트에서 최종 성능을 잰다. 후보를 고를 때 정확도를 기준으로 삼으면 안 된다. 검증 세트도 정상이 압도적으로 많아 아무것도 탐지하지 않는 값이 1등을 차지하기 때문이다.

해설

LOF의 강점은 이름에 붙은 Local에 있다. 어떤 점의 밀도를 그 점의 이웃들이 가진 밀도와 견주는 것이 전부이고, 이웃들이 자기보다 훨씬 빽빽하면 값이 1보다 크게 나오고 이웃과 비슷하면 1 근처가 된다. 전체 분포가 아니라 각 점의 이웃을 기준으로 한 상대 밀도를 보므로 밀도가 서로 다른 여러 덩어리가 섞인 데이터에서도 각 덩어리의 기준으로 판정한다. 전역 임계값 하나로는 이 구분을 낼 수 없다. 참조할 이웃 수가 유일한 손잡이인데 작으면 노이즈 한 점에 휘둘리고 크면 국소성이라는 장점이 사라진다. 방법을 고를 때 물어야 할 것은 알고리즘 이름이 아니라 정상 영역이 어떤 모양인가다. 밀도가 불균일하면 LOF, 특성이 적고 정규분포에 가까우면 확률값을 그대로 쓸 수 있는 가우시안 모델이 낫다.

해설

Isolation Forest는 특성 하나를 무작위로 고르고 그 값 범위에서 분할 지점을 무작위로 잡는 일을 한 점만 남을 때까지 반복한다. 이상치는 다른 점들과 떨어져 있어 몇 번 자르지 않아도 혼자 남고, 밀집 지역의 점은 이웃을 떼어내느라 훨씬 많은 분할을 거친다. 한 트리의 결과는 무작위 분할에 좌우되므로 트리 여러 개의 평균 경로 길이를 쓴다. 그런데 표본이 많아지면 트리가 자연히 깊어져 경로 길이가 함께 커지므로, 같은 크기의 이진 탐색 트리에서 기대되는 평균 경로 길이로 나눠 그 효과를 상쇄한다. 그 결과 경로가 짧을수록 점수가 1에 가까워지는 해석이 데이터 크기와 무관하게 유지된다. 분포를 전혀 가정하지 않고 빠르며 파라미터가 적어 기준선으로 먼저 돌려보기 좋은 방법이다.

해설

센터링된 데이터에서 원점부터 한 점까지의 거리 제곱은 어느 축을 잡든 고정이고, 그 값이 축 방향 성분의 제곱과 수직 성분의 제곱의 합으로 갈린다. 축 위의 몫을 키우면 잘려 나가는 몫이 자동으로 줄어드는 관계라, 분산을 최대한 보존한다와 가장 적게 뭉갠다는 같은 말이 된다. PCA는 이 방향을 첫 축으로 잡고, 거기에 직교하면서 남은 분산이 가장 큰 방향을 다음 축으로 잡는 식으로 이어간다. 피처가 d개면 주성분도 최대 d개 나오고 서로 전부 직교하며, 그중 분산이 큰 상위 몇 개만 남기면 차원이 줄어든다. 각 주성분이 전체 분산의 몇 퍼센트를 설명하는지는 고유값의 비율로 바로 읽히고, 이 값이 성분 수를 정하는 기준이 된다.

해설

PCA는 분산이 큰 방향을 찾는데 분산의 크기는 단위에 딸려 있다. 연봉을 원 단위로 적으면 분산이 압도적으로 커져 첫 주성분이 사실상 연봉 축 그 자체가 되고, 같은 데이터를 만원 단위로 바꿔 적기만 해도 결과가 달라진다. 그래서 단위가 제각각인 데이터에서는 각 피처를 평균 0, 표준편차 1로 맞춘 뒤 PCA를 거는 것이 기본이고, 이것은 공분산 행렬 대신 상관 행렬을 분해하는 것과 같다. 다만 이미지 픽셀 밝기나 같은 계측기의 여러 채널처럼 단위가 처음부터 통일된 데이터에서는 피처 간 분산 차이 자체가 정보라 표준화가 오히려 그것을 지운다. 판단 기준은 하나다. 피처끼리 분산을 비교하는 것이 의미 있는 데이터인가.

해설

선형 모델과 PCA는 궁합이 좋다. 둘 다 피처의 선형 결합만 보기 때문에, 상관이 높은 피처들을 직교하는 축으로 다시 잡아주면 정보를 잃지 않고 입력만 줄어든다. 여기서도 주성분 10개로 원본 30개와 같은 정확도에 닿았다. 트리 계열은 반대다. 축에 수직인 분할로 경계를 만드는데 PCA가 축을 회전시키면 원래 피처 하나로 깔끔하게 갈리던 경계를 여러 번의 계단으로 근사해야 한다. 게다가 트리는 쓸모없는 피처를 알아서 고르지 않으므로 차원을 줄여 얻을 이득도 적다. 차원 축소를 붙일지 판단할 때는 뒤에 오는 모델이 축의 방향에 의존하는지부터 보는 것이 순서다.

해설

PCA가 찾는 것은 직선 방향이다. 데이터가 휘어진 면 위에 놓여 있으면 어느 직선 방향으로 사영해도 말린 층들이 서로 겹쳐 찍히고, 원래 면 위에서 멀리 떨어져 있던 점들이 이웃으로 보인다. 커널 PCA는 데이터를 커널 함수로 더 높은 차원에 올린 뒤 거기서 PCA를 해서, 원래 공간에서 보면 곡선 축을 찾은 셈이 되어 말린 구조를 어느 정도 편다. 대신 표본 수의 제곱 크기 행렬을 만들어야 해서 데이터가 커지면 급격히 무거워지고 커널 파라미터에 결과가 크게 좌우된다. 비선형 구조를 눈으로 확인하는 것이 목적이라면 다른 시각화 전용 기법이 낫고, 모델 파이프라인에 넣을 차원 축소는 여전히 PCA가 표준이다.

해설

PCA는 레이블을 보지 않고 축을 잡는다. 분산이 크다고 해서 예측에 유용한 방향이라는 보장이 없으므로, 분류에 결정적인 신호가 분산이 작은 축에 실려 있으면 PCA는 그 축부터 버린다. 차원을 줄였는데 성능이 떨어졌다면 이 가능성을 먼저 의심하는 편이 좋다. 대응은 두 갈래다. 하나는 기준을 올려 더 많은 축을 남기는 것이고, 다른 하나는 레이블을 쓰는 차원 축소나 피처 선택 쪽으로 옮기는 것이다. 여기서 PCA와 피처 선택이 갈리는 지점도 분명해진다. 피처 선택은 남은 피처의 의미가 그대로 보존되는 대신 버린 피처의 정보가 사라지고, PCA는 분산 기준으로는 최적이지만 새 축이 무엇인지 설명하기 어려워진다.

해설

고유값 분해는 PCA가 무엇을 하는지 설명하는 언어이고 계산은 특이값 분해가 맡는다. 센터링된 데이터를 분해하면 오른쪽 특이벡터가 곧 공분산 행렬의 고유벡터이고 고유값은 특이값의 제곱을 표본 수에서 1을 뺀 값으로 나눈 것이라, 두 경로의 결과가 같다. 그런데도 굳이 특이값 분해로 도는 이유는 수치 안정성이다. 공분산 행렬을 명시적으로 계산하면 곱을 만드는 순간 조건수가 제곱이 되어 작은 고유값 쪽의 정밀도가 먼저 무너진다. 뒤쪽 주성분을 남길 생각이라면 이 차이가 실제로 결과에 나타난다. 여기에 더해 피처가 수만 개면 정사각 행렬 자체가 메모리에 들어가지 않는 문제도 겹친다.

해설

DBSCAN은 반경과 그 안의 최소 점 개수 두 값으로 모든 점을 셋으로 나눈다. 자기 반경 안의 점이 기준 이상이면 핵심점, 자신은 핵심점이 아니지만 어떤 핵심점의 반경 안에 있으면 경계점, 어느 핵심점의 반경에도 들어가지 않으면 잡음점이다. 경계점은 클러스터에 속하되 자기 이웃을 다시 끌어오지는 못한다는 점이 핵심이다. 클러스터를 넓히는 연쇄는 핵심점을 통해서만 이어지므로 경계점에서 성장이 멈춘다. 한 가지 짚어둘 것은 경계점의 소속이 유일하게 정해지지 않는다는 점이다. 서로 다른 두 클러스터의 핵심점 모두에서 도달 가능하면 먼저 도달한 쪽이 가져가므로, 데이터 순서를 바꾸면 경계점 몇 개의 레이블이 달라질 수 있다.

해설

DBSCAN의 약점은 반경이 데이터 전체에 하나뿐이라는 데서 나온다. 촘촘한 쪽에 맞춰 줄이면 성긴 덩어리가 통째로 잡음이 되고, 성긴 쪽에 맞춰 늘리면 촘촘한 덩어리들이 합쳐진다. 하나의 반경으로 여러 밀도 수준을 동시에 담을 방법이 없다. HDBSCAN은 이 문제를 겨냥한 확장으로, 고정된 반경 하나를 쓰는 대신 여러 밀도 수준에서 클러스터 계층을 만들고 그중 밀도 변화에 가장 오래 버티는 클러스터를 골라낸다. 정할 값도 최소 클러스터 크기 하나로 줄어들고 sklearn 1.3부터 기본으로 들어와 있으므로, 밀도 기반 클러스터링을 실무에 쓸 생각이라면 이쪽을 먼저 시도해 보는 편이 낫다. 다만 차원이 높아지면 둘 다 약해지는데 거리 자체가 변별력을 잃기 때문이라 알고리즘 교체로는 해결되지 않는다.

해설

GMM은 데이터가 여러 가우시안에서 섞여 나왔다고 보고 각 컴포넌트에 중심, 공분산, 전체에서 차지하는 비율을 준다. EM은 현재 파라미터로 각 점이 어느 컴포넌트에서 나왔을 사후 확률을 계산하고, 그 확률을 가중치로 삼아 파라미터를 다시 맞추는 두 단계를 번갈아 돈다. 이 구조가 K-Means와 겹치는 것은 우연이 아니다. 할당 단계가 앞 단계에, 평균 갱신이 뒤 단계에 대응하며 차이는 소속이 확률이냐 0과 1이냐뿐이다. 모든 공분산을 같은 구형으로 묶고 분산을 0으로 보내면 확률이 가장 가까운 컴포넌트에 1로 쏠려 정확히 K-Means가 된다. sklearn이 GMM을 K-Means 결과로 초기화하는 기본 설정도 이 관계에서 나온다.

해설

공분산 타입이 정하는 것은 각 컴포넌트가 표현할 수 있는 모양과 추정해야 할 파라미터 수다. 완전한 공분산은 컴포넌트마다 차원과 차원 더하기 1의 곱을 2로 나눈 만큼의 값을 추정해야 하므로 특성 40개면 컴포넌트 하나에 820개다. 차원이 높거나 표본이 적으면 행렬이 특이해지기 쉽고, sklearn이 대각 성분에 작은 값을 더해 두는 것도 이 때문이다. 차원 대비 표본이 부족하면 대각 성분만 쓰는 쪽부터 시작하는 것이 안전하다. 이 선택은 컴포넌트 수와 함께 정보 기준으로 정리할 수 있다. 공분산 타입을 바꾸면 파라미터 수가 통째로 달라지므로 컴포넌트 수와 공분산 타입을 같이 놓고 정보 기준을 비교하면 두 선택을 한 번에 마무리할 수 있다.

해설

K-Means와 DBSCAN은 한 점을 정확히 한 클러스터에 넣는다. 경계가 흐릿한 데이터에서는 그 강제 할당이 정보를 지운다. 한쪽 성향이 6할, 다른 쪽이 4할인 점을 어느 하나에 밀어 넣으면 애매하다는 사실 자체가 사라지기 때문이다. GMM이 주는 레이블은 소속 확률의 최댓값 위치일 뿐이므로 값을 통째로 받으면 어디에도 확신이 없는 점을 골라낼 수 있고, 이 목록은 그대로 검토 대상이 된다. 사람에게 레이블링을 맡길 샘플을 고르는 능동 학습이 대표적인 용처다. 클러스터링에는 채점할 정답이 없으므로 남는 일은 내가 세운 가정이 이 데이터에 맞았는지 확인하는 것뿐이고, 확률은 그 확인에 쓸 수 있는 몇 안 되는 재료다.

해설

두 정보 기준은 로그 가능도에 파라미터 수에 대한 벌점을 붙인 값이고, 갈리는 곳은 그 벌점의 계수뿐이다. 표본이 8 정도만 넘어도 로그 값이 2를 넘으므로 BIC의 벌점이 더 무겁고, 그만큼 컴포넌트 수를 적게 고른다. 둘 중 하나를 기본으로 쓴다면 BIC 쪽이 무난하다. 클러스터링에서 이 기준을 쓰는 이유는 GMM이 확률 모형이라 가능도가 정의되기 때문이다. 엘보우나 실루엣 같은 기하학적 기준 대신 모형 선택의 언어를 그대로 쓸 수 있다. 공분산 타입을 바꾸면 파라미터 수가 통째로 달라지므로 컴포넌트 수와 공분산 타입을 함께 격자로 훑어 최솟값을 찾으면 두 선택을 한 번에 정리할 수 있다.

해설

t-SNE와 UMAP이 지키는 것은 이웃 관계 하나다. 군집 사이의 거리에는 의미가 없다. 목적 함수가 멀리 있던 것을 가깝게 배치하는 실수를 거의 벌하지 않으므로 군집들의 상대 위치는 초기값과 최적화 경로에 따라 달라진다. 군집의 크기에도 의미가 없다. 점마다 이웃을 재는 척도를 따로 잡아 밀도를 정규화하기 때문에 원본에서 빽빽하던 군집과 넓게 퍼져 있던 군집이 비슷한 크기의 얼룩으로 나온다. 빈 공간의 넓이도 마찬가지다. 축의 방향까지 포함해서, 목적 함수가 점들 사이의 거리만 보므로 임베딩을 통째로 회전시켜도 손실이 그대로다. x축이 무엇을 뜻하느냐는 질문 자체가 성립하지 않는다.

해설

고차원 공간은 넓어서 한 점 주위에 이웃을 여유 있게 늘어놓을 수 있지만 2차원 평면에는 그만한 자리가 없다. 적당히 떨어져 있던 이웃들을 억지로 밀어 넣으면 전부 한 덩어리로 뭉치는데, 이것이 crowding problem이다. 꼬리가 두꺼운 분포는 가우시안보다 같은 확률값을 만드는 데 필요한 거리가 더 멀어서, 중간 거리의 점들에게 더 멀리 떨어질 여유를 준다. 그 덕분에 군집이 서로 벌어져 선명하게 보인다. 이름의 t가 여기서 나온다. 대신 이 벌어짐은 시각적 분리를 위해 만들어진 것이지 원본 공간의 거리를 반영한 것이 아니다. 군집 사이의 간격을 정량적으로 읽으면 안 되는 이유가 목적 함수만이 아니라 이 분포 선택에도 있다.

해설

두 알고리즘의 차이는 목적 함수 한 줄에서 갈린다. t-SNE의 KL 발산은 고차원에서 가까웠던 점을 저차원에서 떼어놓는 실수를 크게 벌하지만, 원래 멀었던 쌍은 앞에 곱해지는 가중치 자체가 작아 어디에 놓이든 손해가 거의 없다. 그래서 군집 내부는 잘 지켜지는 대신 군집들의 상대 위치가 초기값과 최적화 경로에 따라 흔들린다. UMAP이 쓰는 교차 엔트로피에는 떨어져 있어야 할 점이 가까이 놓인 경우를 벌하는 항이 하나 더 있어 이 부분이 어느 정도 잡힌다. 다만 상대적으로 낫다는 것이지 군집 사이 거리를 그대로 믿어도 된다는 뜻은 아니다. 거리를 정량적으로 논해야 하는 자리에서는 두 방법 모두 근거가 되지 못한다.

해설

t-SNE와 UMAP은 애초에 덩어리를 만들도록 설계되어 있다. 구조가 전혀 없는 데이터를 넣어도 평면 위에서는 그럴듯한 군집이 그려지고, 그 좌표로 클러스터링을 하면 지표까지 좋게 나온다. 같은 데이터를 원본 공간에서 자르면 나눌 것이 없다는 정직한 값이 나온다. 그림에서 군집이 보인다는 사실 자체는 데이터에 군집이 있다는 증거가 되지 못한다. 순서를 지켜야 한다. 실제 군집은 원본 공간에서 중심점 기반이든 밀도 기반이든 클러스터링으로 찾고, 시각화는 그 결과를 눈으로 확인하는 용도로 쓴다. 같은 이유로 파라미터 하나에서만 보이는 패턴도 의심해야 한다. perplexity에 5와 30과 50을 각각 넣으면 그림이 눈에 띄게 달라지므로 여러 값에서 함께 살아남는 구조만 믿을 만하다.

해설

sklearn의 t-SNE 구현에는 학습한 임베딩에 새 데이터를 얹는 메서드가 없고 전체를 한 번에 변환하는 경로만 있다. 새 샘플이 들어올 때마다 전체를 다시 돌려야 하는데 그러면 좌표계 자체가 달라져 이전 그림과 비교할 수 없고, 모델이 배운 규칙도 함께 무의미해진다. 그래서 t-SNE 좌표를 모델 입력으로 쓰는 것은 사실상 불가능하다. UMAP은 학습한 이웃 그래프를 그대로 두고 새 점의 자리만 찾는 구현이 붙어 있어 기존 좌표계에 얹을 수 있다는 점이 실용적인 차이다. 다만 축에 해석할 의미가 없다는 성질은 그대로다. 모델에 넣을 차원 축소는 매번 같은 결과를 내고 역변환도 되는 PCA가 표준이고, t-SNE와 UMAP은 사람이 볼 그림을 그리는 도구다.

해설

t-SNE와 UMAP은 모두 최근접 이웃 탐색 위에서 동작한다. 차원이 높으면 거리 자체의 변별력이 떨어져 누가 이웃인지부터 부정확해지고, 계산량도 함께 커진다. 피처가 수백 개를 넘으면 먼저 PCA로 50차원 정도까지 줄인 뒤에 넣는 것이 표준이고 sklearn 문서도 이 순서를 권한다. 노이즈 차원이 걷히면서 이웃 계산이 정확해지고 속도도 크게 빨라진다. 여기서 두 도구의 관계가 드러난다. PCA와 이 둘은 경쟁 관계가 아니라 순서 관계다. PCA는 매번 같은 결과를 내고 역변환이 되며 축이 원본 피처의 선형 결합이라 모델 파이프라인에 넣어도 되는 전처리 도구이고, t-SNE와 UMAP은 그 뒤에 붙어 사람이 볼 그림을 그리는 도구다.