ML 회귀 전체 문항

해설

잔차는 실제값에서 예측값을 뺀 값이라 직선 위의 점에서는 양수, 아래의 점에서는 음수가 된다. 그대로 더하면 서로 상쇄되어 모든 점을 크게 빗나간 직선도 합이 0이 나올 수 있다. 그래서 제곱해서 더한 잔차 제곱합을 최소화 대상으로 삼는다. 제곱을 고르면 부호가 사라지는 것 말고도 두 가지가 따라온다. 크게 빗나간 점일수록 더 무거운 벌점을 받고, 미분이 매끄러워 최적화에 편하다. 앞의 성질은 양날이다. 이상치 하나가 나머지를 전부 합친 것보다 큰 벌점을 만들어 직선을 통째로 끌어당길 수 있다.

해설

선형 회귀가 하는 일은 결국 두 개의 숫자를 정하는 것이다. 기울기는 면적이 1m² 늘 때 집값이 얼마나 오르는지를, 절편은 직선의 높이를 맞추는 값을 뜻한다. 여기서 절편 -0.08176이 음수인 것은 문제가 아니다. 면적 0인 집은 학습 데이터에도 현실에도 없으므로 그 지점의 값을 해석할 이유가 없고, 직선이 학습 범위 안에서 데이터를 잘 지나가는지만 보면 된다. 예측도 이 두 숫자의 산술로 끝난다. 100m²라면 0.03804에 100을 곱하고 절편을 더해 약 3.72억이다. 계수 하나만 봐도 어떤 특성이 예측에 얼마나 기여하는지 바로 읽히는 것이 이 모델이 지금도 기준선 자리를 지키는 이유다.

해설

정규 방정식은 잔차 제곱합을 파라미터로 미분해 0으로 놓고 푼 결과라 반복 없이 한 번에 해를 준다. 문제는 역행렬 계산량이 특성 수의 세제곱에 비례한다는 것이다. 특성이 수만 개면 단 한 번의 계산조차 감당하기 어렵고, XᵀX가 역행렬을 갖지 않는 경우도 생긴다. 특성끼리 완전히 겹치거나 샘플보다 특성이 많을 때가 그렇다. 이 지점부터는 기울기를 따라 조금씩 내려가는 반복 알고리즘이 사실상 유일한 선택지가 된다. 반대로 특성이 몇 개뿐이라면 정규 방정식 쪽이 명백히 낫다. 학습률을 고를 필요도, 수렴을 기다릴 필요도 없기 때문이다.

해설

선형 회귀가 전제하는 네 가지 가정 가운데 선형성과 등분산성은 잔차 플롯 한 장으로 함께 본다. 가로축에 예측값, 세로축에 잔차를 찍었을 때 0 주변에 고르게 흩어져 있으면 두 가정이 다 통과다. U자 패턴이 보이면 선형성이 깨진 것이라 다항 회귀나 로그 변환을 검토하고, 부채꼴이면 등분산성이 깨진 것이라 가중 최소제곱이나 y 변환을 검토한다. 나머지 둘은 도구가 따로다. 정규성은 Q-Q 플롯으로 보고, 독립성은 데이터가 어떻게 수집됐는지를 봐야 알 수 있다. 실전에서 네 가정을 완벽히 만족하는 데이터는 거의 없으므로, 중요한 것은 통과 여부가 아니라 위반을 확인하는 습관 쪽이다.

해설

선형 회귀는 이상치에 유난히 약하다. 잔차를 제곱해서 최소화하기 때문에, 혼자 멀리 떨어진 점의 잔차가 제곱되면서 나머지를 전부 합친 것보다 커지고 직선이 그쪽으로 끌려간다. 여기서는 점 하나가 기울기를 39% 키우고 절편을 1.27억이나 끌어내렸다. 그래서 학습 전에 데이터를 그려보는 단계를 건너뛸 수 없다. 대처는 이상치의 정체에 따라 갈린다. 측정 오류나 입력 실수라면 걷어내고, 실제로 존재하는 값이라면 큰 잔차에 덜 반응하는 비용 함수나 이상치에 강한 모델로 바꾼다. 무조건 지우는 것은 답이 아니다. 그 점이 진짜 시장의 일부라면 지운 모델이 현실을 설명하지 못하게 된다.

해설

정규 방정식과 특이값 분해 기반 풀이는 같은 해를 겨냥하지만 XᵀX가 거의 특이한 상황에서 갈린다. 특성끼리 강하게 겹치거나 샘플보다 특성이 많으면 역행렬이 없거나 수치적으로 매우 불안정해져 계수가 터무니없이 튀고, 손으로 짠 역행렬 코드는 그대로 멈추거나 쓰레기 값을 뱉는다. 특이값 분해는 아주 작은 특이값에 해당하는 방향을 걸러내고 최소 노름 해를 돌려주므로 그런 데이터에서도 계산이 이어진다. 대가는 계산량이고, 그래서 특성 수가 크게 늘면 두 방식 모두를 버리고 반복 알고리즘으로 옮겨간다. 라이브러리가 조용히 해주는 이런 선택을 알아두면 계수가 이상할 때 어디를 의심할지가 정해진다.

해설

합을 쓰면 데이터가 많을수록 값이 커져 크기가 다른 데이터셋 사이에서 값을 견줄 수 없다. 개수로 나누면 한 건당 평균 오차가 되어 같은 자로 읽힌다. 최솟값의 위치 자체는 어느 쪽을 써도 같다는 점도 함께 알아둘 만하다. 함수 전체에 상수를 곱하거나 나누어도 바닥의 위치는 옮겨지지 않기 때문이고, 교과서에 따라 분모에 2n을 쓰는 관습도 같은 이유로 결과에 영향이 없다. 미분할 때 제곱의 지수가 앞으로 나오면서 2분의 1과 상쇄되어 식이 깔끔해지는 것이 그 관습의 목적이다. 참고로 개별 포인트의 오차만 가리킬 때는 손실 함수라 부르지만 실무에서 두 용어는 거의 구분 없이 쓰인다.

해설

함수 전체에 양수 상수를 곱하거나 나누어도 최솟값의 위치는 바뀌지 않는다. 곡선의 높이만 달라질 뿐 바닥이 놓인 가로 위치가 그대로이므로 학습 결과도 같다. 2분의 1을 붙이는 관습은 미분할 때 제곱의 지수 2가 앞으로 나오면서 상쇄되어 식이 깔끔해지기 때문에 생겼다. 여기서 얻을 일반적인 감각이 하나 있다. 비용 함수에서 중요한 것은 값의 절대 크기가 아니라 파라미터를 움직였을 때 값이 어느 방향으로 변하는가다. 그래서 스케일이 다른 비용 값끼리 비교하는 것은 의미가 없고, 같은 정의로 잰 값끼리만 나란히 놓을 수 있다.

해설

MSE의 단위는 타깃의 제곱이라 그대로는 감이 오지 않는다. 제곱근을 씌우면 단위가 타깃과 같아져 사람이 읽을 수 있는 값이 되고, 그것이 RMSE다. 여기서는 0.0504억이므로 예측이 500만 원 안팎으로 빗나간다는 뜻이다. 학습에는 MSE를, 보고에는 RMSE를 쓰는 조합이 흔한 것도 이 때문이고, 제곱근이 단조 함수라 최소화 지점은 둘이 같으므로 어느 쪽을 최적화해도 결과가 동일하다. 함께 볼 것이 MAE와의 격차다. 잔차가 모두 같은 크기면 RMSE와 MAE가 일치하고 편차가 클수록 벌어지므로, 두 값의 차이 자체가 유독 크게 빗나간 예측이 섞여 있는지를 알려준다.

해설

비용 함수가 매끈한 그릇 모양인 것은 예측식이 파라미터에 대해 선형이기 때문이다. 선형 식을 제곱하면 파라미터에 대한 2차식이 되고 2차식은 볼록하다. 볼록 함수에서는 국소 최솟값이 곧 전역 최솟값이라 어느 지점에서 출발해 내려가든 같은 바닥에 도착하고, 최적화 알고리즘이 여기가 진짜 바닥인지 의심할 필요가 없다. 이 성질이 얼마나 큰 선물인지는 반대편을 보면 안다. 신경망처럼 비선형 모델에서는 같은 제곱 오차를 써도 비용 지형이 울퉁불퉁해져 국소 최솟값이 여럿 생기고, 어디서 출발하느냐에 따라 도착하는 바닥이 달라진다. 초기화 방법이 신경망에서 하이퍼파라미터로 다뤄지는 이유가 여기 있다.

해설

최적화 알고리즘은 비용 함수의 미분값을 따라 파라미터를 옮긴다. 기울기가 정의되지 않는 지점이 있으면 그 근처에서 갱신 방향이 진동하며 불안정해지고, 절댓값 함수의 꺾인 점이 바로 잔차가 0에 가까워지는 자리라 하필 수렴 직전에 그 일이 벌어진다. 제곱 함수는 어디서나 매끄럽고 잔차가 작아질수록 기울기도 함께 작아져 자연스럽게 잦아든다. MAE도 서브그래디언트 같은 기법으로 쓸 수 있으니 불가능한 것은 아니지만 MSE 쪽이 다루기 쉬운 것은 분명하다. 이 성질이 MSE를 기본값 자리에 올린 세 이유 가운데 하나이고, 나머지 둘은 큰 오차에 무거운 벌점을 준다는 것과 선형 모델에서 최솟값이 하나뿐이라는 것이다.

해설

이상치가 실제로 존재하는 값이라면 지우는 것은 답이 아니다. 그렇다고 제곱 벌점을 그대로 두면 소수의 큰 잔차가 학습의 대부분을 가져간다. Huber는 그 사이를 겨냥한다. 잔차가 작을 때는 제곱처럼 동작해 매끄러운 미분을 유지하고, 정해둔 임계를 넘으면 절댓값처럼 동작해 벌점이 선형으로만 늘어난다. 이상치의 영향을 눌러두면서 꺾임 문제도 피하는 절충이다. 대신 그 임계를 정해야 한다는 하이퍼파라미터가 하나 늘어난다. 실무 순서는 대체로 이렇다. MSE로 시작해 잔차 분포를 보고, 큰 잔차가 소수 섞여 있으면서 그것이 진짜 데이터라면 Huber나 MAE로 바꿔 성능을 비교한다.

해설

기울기가 양수라는 것은 파라미터를 키우면 비용이 올라간다는 뜻이므로, 비용을 줄이려면 반대로 가야 한다. 기울기가 음수면 뺄셈이 곧 덧셈이 되어 오른쪽으로 움직이므로 곡면의 어느 쪽에 서 있든 부호가 알아서 방향을 잡아준다. 여기에 함께 붙는 성질이 하나 있다. 학습률은 처음부터 끝까지 고정인데도 바닥에 가까워질수록 보폭이 저절로 줄어든다. 경사가 완만해지면서 학습률 곱하기 기울기 값 자체가 작아지기 때문이고, 별도의 감속 장치 없이 바닥 근처에서 조심스러워지는 셈이다. 이 규칙이 단순한데도 살아남은 이유는 비용 함수의 전체 모양을 몰라도 현재 위치의 기울기 하나만으로 다음 걸음을 뗄 수 있다는 데 있다.

해설

두 편미분의 유일한 차이는 뒤에 곱해진 입력값이다. 합성함수의 미분을 적용하면 괄호 안을 w로 미분한 x가 곱해지고, b로 미분할 때는 b가 1이 되므로 아무것도 붙지 않는다. 그래서 x가 큰 데이터 포인트에서 생긴 오차일수록 w를 더 세게 흔든다. 이 비대칭이 곧 실제 문제로 나타난다. 면적 값이 60에서 155 사이라면 w의 기울기는 그 큰 숫자가 곱해진 값이고 b의 기울기는 그렇지 않으니, 두 기울기의 크기가 수십 배 차이 나는데 학습률은 하나뿐이다. 입력을 미리 비슷한 범위로 맞추는 전처리가 경사하강법에서 사실상 필수인 이유가 여기 있다.

해설

w의 기울기에는 입력값이 곱해지고 b의 기울기에는 곱해지지 않는다. 면적이 60에서 155 사이라면 두 기울기의 크기가 수십 배 차이 나는데 학습률은 하나뿐이다. w가 발산하지 않도록 학습률을 낮추면 b 쪽은 한 걸음이 사실상 0이 되어 제자리걸음을 한다. 여기서 눈여겨볼 것은 비용이 0.003까지 떨어져 마치 수렴한 것처럼 보인다는 점이다. 절편이 거의 0에 묶인 채 기울기 혼자 데이터를 맞춘 상태라, 겉으로 드러나는 숫자만 보면 문제를 알아채기 어렵다. 해결은 입력을 표준화하는 것이다. 두 기울기의 크기가 맞아떨어지면 학습률 0.01로 1,000번만 돌려도 정규 방정식이 주는 해에 그대로 도달한다.

해설

학습률이 너무 크면 바닥을 지나쳐 반대편 벽으로 튕겨 나간다. 튕긴 자리는 경사가 더 가파르니 다음 걸음은 더 크게 튕기고, 몇 번만 반복되면 비용이 무한대로 폭주해 부동소수점 범위를 넘어선다. 여기서는 첫 갱신부터 비용이 두 배 가까이 뛰는 것이 그 시작이다. 실무에서는 0.1, 0.01, 0.001처럼 10배씩 낮춰가며 비용 곡선이 매끄럽게 떨어지는 가장 큰 값을 고른다. 비용이 진동하거나 오히려 커지면 그 학습률은 너무 크다는 신호다. 앞의 두 학습률이 3,000번에서 사실상 같은 자리에 있는 것은 별개의 이유이므로 헷갈리지 않아야 한다. 둘 다 스케일 문제에 걸려 절편이 제자리이기 때문이다.

해설

미니배치는 데이터를 섞어 작은 묶음으로 자르고 묶음 하나마다 파라미터를 한 번씩 갱신한다. 기울기 방향은 전체를 훑을 때보다 부정확하지만 같은 시간에 갱신 횟수가 훨씬 많아져 결과적으로 더 빨리 내려간다. 흔들리는 방향이 얕은 국소 최솟값을 빠져나오는 데 도움이 되기도 한다. 용어 하나를 짚어둘 만하다. SGD라는 이름은 엄밀히 1건짜리 방식을 가리키지만 실무에서는 미니배치까지 묶어 통칭으로 쓴다. 라이브러리의 SGD 옵티마이저도 배치 크기가 얼마인지는 모르고 넘겨받은 기울기를 갱신식에 그대로 넣을 뿐이라, 배치 크기는 옵티마이저가 아니라 데이터 로더 쪽에서 정해진다.

해설

비용 변화량으로 조기 종료를 거는 것은 흔하고 대체로 잘 동작하지만, 비용이 평평해지는 원인이 하나가 아니라는 점이 함정이다. 진짜 최솟값에 닿아도 평평해지고, 어떤 파라미터의 보폭이 사실상 0이 되어도 평평해진다. 두 경우가 같은 신호를 내므로 비용 곡선만 보고는 구분할 수 없다. 여기서는 정규 방정식이 알려주는 최솟값 0.00254와 견주면 0.003이 아직 바닥이 아님이 드러나지만, 실전에서는 그 기준값을 모르는 경우가 대부분이다. 그래서 조기 종료를 걸 때 파라미터가 실제로 움직이고 있는지 함께 찍어보는 것이 안전하고, 애초에 입력을 표준화해 이런 정체가 생기지 않게 만드는 편이 근본적이다.

해설

다중 회귀의 각 계수는 나머지 변수를 고정한 상태에서 그 변수만 1 늘렸을 때 예측이 얼마나 변하는지를 뜻한다. 이 조건이 붙어 있어서 면적의 효과와 방 수의 효과를 따로 떼어 볼 수 있고, 그것이 변수를 여러 개 넣는 이유이기도 하다. 여기서 곧장 주의점이 두 가지 나온다. 계수를 단독 회귀의 기울기와 같다고 보면 안 된다. 다른 변수와 함께 움직이는 부분은 이미 그쪽으로 갔기 때문이다. 그리고 계수의 크기만으로 중요도를 비교해서도 안 된다. 단위가 제각각이라 값의 범위가 큰 변수일수록 계수가 작게 나오기 때문이다.

해설

두 열이 정확히 비례하면 XᵀX의 행렬식이 0이라 역행렬이 없고, 같은 예측을 내는 계수 조합이 무한히 많아 해가 하나로 정해지지 않는다. 여기서 계산이 된 것은 m²를 반올림하면서 미세한 차이가 남은 덕분인데, 그 차이가 해를 하나로 정해주기는 해도 안정시키지는 못한다. 타깃에 작은 잡음을 얹고 다시 풀면 겹친 두 열의 계수만 크게 흩어지고 겹치지 않은 방 수와 층수는 제자리에 머문다. 이 상태를 다중공선성이라 한다. 요점은 무너진 것이 예측이 아니라 계수 해석이라는 데 있다. 두 계수를 합치면 원래 효과가 그대로 나오고 예측 성능도 멀쩡하다.

해설

VIF는 변수 하나를 나머지 변수들로 회귀했을 때의 결정계수로 정의된다. 다른 변수들로 그 변수가 잘 설명될수록 분모가 0에 가까워져 값이 폭발하고, 보통 10을 넘으면 의심하고 들여다본다. 여기서 1,500만이 나온 것은 면적 두 열이 서로를 거의 완전히 설명한다는 뜻이다. 겹치지 않은 방 수와 층수는 1 근처에 머물러 대비가 뚜렷하다. 대처는 두 갈래다. 겹친 열 하나를 지우는 것이 가장 깔끔하고, 지우기 아깝다면 가중치 크기 자체에 벌점을 거는 규제를 쓴다. 표준화한 데이터에 Ridge를 걸면 두 열의 계수가 고르게 나뉘고 부호가 뒤집히는 일도 사라진다.

해설

경사하강법의 갱신량은 각 열의 값 크기에 비례한다. 면적 열은 값이 수십에서 백 단위라 기울기가 크고 방 수 열은 한 자리 수라 작은데, 학습률은 전 변수에 하나만 적용된다. 그래서 면적에 맞추면 방 수가 거의 움직이지 않고 방 수에 맞추면 면적이 발산한다. 비용 함수의 등고선으로 보면 가늘고 긴 타원이 되어 경사하강법이 골짜기를 가로지르며 지그재그로 내려간다. 해결은 모든 변수를 비슷한 범위로 맞추는 것이다. 표준화한 뒤에는 학습률을 1,000배 키울 수 있고 300회 부근에서 수렴한다. 스케일링 없이 5,000번을 돌려도 닿지 못한 지점이다.

해설

원래 단위 계수만 보면 방 수가 면적의 20배라 압도적으로 중요해 보인다. 그런데 면적은 42에서 156까지 움직이고 방 수는 1에서 5까지밖에 못 움직인다. 1 단위 변화의 효과를 나란히 놓는 것은 서로 다른 크기의 자를 같은 눈금으로 읽는 것과 같다. 각자 표준편차 1만큼 움직였을 때의 효과로 환산하면 면적이 0.856으로 방 수의 0.645를 앞선다. 같은 모델의 같은 해인데 결론이 뒤집히는 것이다. 그래서 계수로 중요도를 이야기하려면 어느 단위에서 나온 숫자인지를 반드시 확인해야 하고, 단위가 제각각인 계수를 크기순으로 늘어놓는 표는 그 자체로 오해를 만든다.

해설

다중공선성에서 무너지는 것은 예측이 아니라 계수 해석이다. 겹친 두 열이 서로를 상쇄하며 같은 예측을 만들어내므로 R²는 거의 그대로이고, 대신 그 상쇄를 어느 비율로 나눌지가 정해지지 않아 계수가 데이터의 미세한 흔들림에 끌려다닌다. 여기서 실무적 판단이 갈린다. 예측값만 쓰는 시스템이라면 겹친 열을 그냥 둬도 큰 문제가 없다. 반면 계수를 근거로 정책을 정하거나 특성 중요도를 보고한다면 그 근거가 사라진 상태이므로 열을 정리하거나 규제를 걸어야 한다. VIF로 먼저 진단하고, 지울 수 없다면 Ridge로 계수를 고르게 나눠주는 순서가 실무에서 흔하다.

해설

변수가 늘어 데이터 수보다 많아지면 훈련 데이터를 정확히 맞추는 해가 무한히 많아지고, 그중에는 가중치가 극단적으로 큰 해도 섞여 있다. 가중치가 크다는 것은 입력이 조금 흔들릴 때 출력이 크게 튄다는 뜻이라 노이즈에 민감해지고, 그것이 과적합의 메커니즘이다. 차수 15 다항식이 점 하나하나를 쫓아가면서 점과 점 사이에서 위아래로 크게 요동치는 것이 그 모습이다. 처방도 그만큼 단순하다. 가중치를 작게 유지하면 모델이 단순해지는 대가로 훈련 오차는 조금 올라가지만 데이터가 조금 바뀌어도 결과가 덜 흔들린다. 둘의 합이 줄어드는 구간이 있고 규제는 그 구간을 노린다.

해설

편향은 입력과 무관하게 출력 전체를 위아래로 옮기는 항이다. 규제의 목적은 특성과 출력 사이 관계의 복잡도를 낮추는 것이지 출력의 평균 수준을 0쪽으로 끌어내리는 것이 아니므로, 편향까지 규제하면 타깃의 평균이 0에서 멀수록 손해만 본다. 집값을 억 단위로 예측하는 모델의 편향은 5 근처인데 그 값을 0쪽으로 밀 이유가 없다. 이 원칙은 라이브러리에도 반영되어 있어 sklearn의 Ridge와 Lasso 모두 절편을 패널티에서 제외한다. 같은 이유로 신경망에서도 가중치 감쇠를 걸 때 편향 파라미터는 대상에서 빼는 것이 관례다.

해설

sklearn의 Ridge는 오차 제곱합을 데이터 수로 나누지 않고 여기에 alpha를 곱한 패널티를 더한 값을 최소화한다. 반면 직접 구현한 코드는 오차를 MSE 형태로 썼으므로 같은 문제를 표현하려면 양변을 데이터 수로 나눠야 하고, 그 결과 lam이 alpha를 데이터 수로 나눈 값이 된다. 20건이면 alpha 1.0에 대응하는 값이 0.05이고 그 값을 넣으면 두 결과가 정확히 일치한다. 이 어긋남이 실무에서 중요한 이유는 규제 강도가 데이터 수에 따라 다르게 해석된다는 데 있다. 논문이나 다른 라이브러리에서 본 alpha 값을 그대로 가져오면 데이터 크기가 다를 때 전혀 다른 세기의 규제가 걸리므로, 값을 옮기기 전에 각 구현이 어떤 식을 최소화하는지 확인해야 한다.

해설

규제는 가중치의 크기에 값을 매기는데 가중치의 크기는 변수의 단위에 따라 달라진다. 값의 범위가 넓은 면적은 계수가 작게 나오고 범위가 좁은 방 수는 계수가 크게 나오므로, 같은 강도의 패널티가 두 변수에 전혀 다른 세기로 걸린다. 결과적으로 방 수만 집중적으로 눌리고 면적은 거의 규제받지 않는다. 이것은 우리가 의도한 규제가 아니라 단위가 우연히 만들어낸 규제다. 그래서 규제를 쓰는 모델에서 표준화는 선택이 아니라 전제이고, Pipeline으로 스케일러와 모델을 묶어두면 이 순서를 놓칠 일이 없다. 반대로 규제 없는 선형 회귀나 트리 계열에서는 표준화가 결과를 바꾸지 않는다는 점도 함께 알아둘 만하다.

해설

Ridge와 Lasso를 가르는 것은 패널티 식의 사소한 차이가 아니라 제약 영역의 모양이다. 원은 어디를 잘라도 매끄러워서 등고선이 축이 아닌 자리에 닿고 두 계수가 모두 0이 아닌 값으로 남는다. 마름모는 축 위에 뾰족한 꼭짓점이 있고 등고선이 커지다가 제일 먼저 부딪히는 곳이 대개 그 꼭짓점인데, 꼭짓점은 나머지 좌표가 0인 점이다. 차원이 올라갈수록 꼭짓점과 모서리가 늘어나 이 효과는 더 강해진다. 그래서 Lasso가 변수를 골라내는 능력은 따로 붙인 기능이 아니라 절댓값이라는 함수 모양에서 자동으로 따라 나온 것이고, 같은 이유로 L1 패널티는 선형 회귀 바깥에서도 계수를 희소하게 만들고 싶은 자리마다 쓰인다.

해설

교차 검증이 고른 규제 강도는 그 자체로 데이터에 대한 정보를 담고 있다. Lasso의 alpha가 거의 0으로 뽑혔다는 것은 어떤 변수도 0으로 보낼 이유가 없다는 뜻이고, 실제로 이 데이터는 면적과 방 수와 층수가 모두 유의미해서 지울 것이 없다. 쓸모없는 변수가 섞인 데이터라면 훨씬 큰 값이 뽑히고 그와 함께 계수 몇 개가 0으로 떨어진다. 여기서 실무적 판단이 하나 나온다. 변수 선택이 목적이라면 Lasso를 쓰기 전에 그럴 만한 변수가 있는지를 먼저 봐야 하고, 없다면 Ridge 쪽이 계수를 고르게 유지해 해석에도 유리하다. 상관된 변수 그룹이 있다면 Lasso가 그중 하나만 임의로 남기므로 ElasticNet이 더 안정적인 선택이 된다.