확률과 통계 전체 문항

479,001,600가지다. 12명을 한 줄로 세운 뒤 앞에서부터 5명, 4명, 3명씩 끊는다.

12!은 줄 세우는 방법의 수라서 같은 버킷 안의 순서까지 다른 경우로 센다. A에 들어간 5명의 순서를 바꿔도 배정 결과는 똑같으므로 그 5!가지가 전부 중복이다. 세 버킷에서 5! × 4! × 3! = 17,280번씩 겹친다.

531,441가지다. 사용자마다 세 버킷 중 하나를 고르므로 3의 12제곱이다.

3^12은 버킷 크기에 제약이 없을 때의 계산이다. 12명이 전부 A로 몰리는 배정까지 포함하므로 5명, 4명, 3명이라는 조건을 무시한 셈이다. 크기가 고정되어 있는지 아닌지가 다항 계수와 이 계산을 가른다.

1,320가지다. 12명 중 세 명을 뽑아 각 버킷의 대표로 세우는 순열이다.

P(12,3) = 1,320은 사람 셋을 서로 다른 자리에 앉히는 문제의 답이다. 여기서는 12명 전원이 어느 버킷에든 들어가야 하므로 세는 대상 자체가 다르다.

고전적 정의 P(A) = |A|/|Ω|에서 분자가 분모보다 클 수 없기 때문이다.

고전적 정의는 결과가 유한하고 모두 동등하게 가능할 때만 쓸 수 있다. 공리계는 그런 제약 없이 세워졌고 다트판 위의 점처럼 결과가 무한한 실험에도 적용된다. 특수한 경우의 정의로 일반 공리의 성질을 떠받칠 수는 없다.

공리 3이 요구하는 무한급수의 수렴 조건 때문에 합이 발산할 수 없어서다.

수렴한다는 것과 1 이하라는 것은 다른 이야기다. 공리 3은 배반인 사건들의 확률을 더해도 된다고 허락할 뿐 그 합에 상한을 두지 않는다. 상한은 공리 2가 P(Ω) = 1로 못박은 데서 온다.

네 번째 공리로 따로 규정되어 있고, 위 세 가지는 그중 자주 쓰는 것만 추린 것이다.

콜모고로프의 공리는 비음성, 정규성, 가산 가법성 세 개가 전부다. 여사건 공식, 포함배제 원리, 단조성은 모두 정리이지 공리가 아니다. 무엇이 가정이고 무엇이 결과인지 섞이면 증명의 방향을 잃는다.

2.16%다. 두 사건의 확률을 곱한다.

0.18 × 0.12는 두 사건이 독립일 때만 성립하는 계산이다. 실제 교집합 0.05는 이 값의 두 배가 넘으므로 독립 가정이 깨져 있고, 빌드가 흔들린 배포에서 성능 회귀도 더 자주 났다는 뜻이다. 독립은 가정이지 기본값이 아니다.

7%다. 합사건 0.25에서 더 큰 쪽인 0.18을 뺀다.

0.25 - 0.18 = 0.07은 빌드 실패 없이 성능 회귀만 난 배포의 비율이다. 교집합이 아니라 B에서 A를 뺀 차집합이므로 묻는 대상이 다르다.

30%다. 두 비율을 그대로 더한다.

0.18 + 0.12 = 0.30은 겹치는 배포를 두 번 센 값이고, 실제 합사건 0.25보다 크다. 그 차이 0.05가 바로 중복해서 센 교집합이다.

40%다. 단계마다 8%이므로 다섯 번 더한다.

확률을 그냥 더하는 것은 사건들이 배반일 때만 성립한다. 두 단계가 동시에 실패할 수 있으므로 배반이 아니고, 그 경우가 중복해서 세어진다. 단계가 열세 개면 이 계산이 1을 넘어버리는 것에서 방식 자체가 틀렸음이 드러난다.

8%다. 단계마다 실패율이 같으므로 파이프라인 전체의 실패율도 같다.

단계 하나의 실패율과 파이프라인 전체의 실패율은 다른 값이다. 관문이 늘어날수록 통과하지 못할 기회가 늘어나므로 전체 실패율은 반드시 8%보다 커진다.

약 0.0003%다. 실패 확률 0.08을 다섯 번 곱한다.

0.08^5은 다섯 단계가 전부 실패할 확률이다. 적어도 하나가 아니라 전부에 해당하므로 묻는 사건이 다르고, 그래서 값도 다섯 자릿수만큼 작다.

2^63, 약 920경 건 근처다.

공간의 절반을 채워야 충돌이 시작된다는 직관인데, 이 시점이면 충돌 확률은 이미 사실상 1이다. 비둘기집 원리로 공간을 다 채우기 전에 충돌이 확정되는 지점과, 확률이 절반을 넘는 지점은 완전히 다른 자리에 있다.

2^64의 1%인 약 18경 건 근처다.

충돌 확률이 채운 비율에 비례한다는 가정인데 실제로는 뽑은 개수의 제곱에 비례해 오른다. 비례 관계를 잘못 잡으면 기준선이 여덟 자릿수 가까이 어긋난다.

건수와 무관하다. 새로 뽑는 값이 기존 값과 겹칠 확률은 늘 1/2^64다.

1/2^64는 특정한 값 하나와 겹칠 확률이다. 이미 n개가 저장되어 있으면 비교 대상이 n개이므로 새 값이 걸릴 확률은 n/2^64이고, n이 커질수록 함께 커진다.

이 사건은 반복할 수 없으므로 애초에 확률을 정의할 수 없다.

반복 불가능성은 빈도론적 정의를 막을 뿐이다. 주관적 확률은 반복할 수 없는 사건에도 믿음의 정도로 값을 주고, 유사 후보의 과거 통과율을 근거로 삼는 방식이 그 예다. 확률 자체가 정의되지 않는 것은 아니다.

결과가 두 개뿐인 표본공간은 콜모고로프 공리를 만족하지 못한다.

동전 던지기도 결과가 둘이고 공리를 문제없이 만족한다. 공리는 확률값이 지켜야 할 성질만 규정하지 표본공간의 크기를 따지지 않는다.

50%라는 값에는 신뢰구간이 붙지 않아 불확실성을 표현하지 못한다.

구간이 없다는 것은 표현의 부족이지 값이 틀린 이유가 아니다. 문제는 50%라는 점추정 자체가 데이터도 대칭성도 아닌, 결과가 두 개라는 사실 하나에서 나왔다는 데 있다.

독립이다. 겹치는 부분이 없으니 한쪽이 다른 쪽 확률을 건드릴 수 없다.

겹치지 않는다는 것은 영향이 없다는 뜻이 아니라 가장 강한 영향이 있다는 뜻이다. A가 일어났다는 사실 하나로 B의 확률이 0.4에서 0으로 떨어지므로 영향이 최대다.

주어진 값만으로는 P(A∩B)를 알 수 없어 판정할 수 없다.

배반이라는 조건이 곧 P(A∩B) = 0이라는 뜻이다. 판정에 필요한 값은 이미 전부 주어져 있다.

P(A) + P(B) = 0.7로 1보다 작으므로 독립이다.

합이 1 이하인 것은 배반 사건이 두 개일 때 당연히 성립하는 성질일 뿐 독립과 아무 관계가 없다. 독립 판정에 쓰는 값은 합이 아니라 곱이다.

95%다. 탈취 계정의 95%를 잡아내는 성능이 그대로 신뢰도가 된다.

95%는 실제로 탈취되었다는 조건 아래에서 표시될 확률이다. 우리가 알고 싶은 것은 표시되었다는 조건 아래에서 실제로 탈취되었을 확률이라 조건과 결과가 뒤집혀 있다. 이 둘을 잇는 다리가 베이즈 정리다.

98%다. 정상 계정을 잘못 표시하는 비율 2%를 1에서 뺀 값이다.

그 값은 특이도이고, 정상 계정이 조용히 넘어갈 확률이다. 표시된 계정의 구성과는 다른 질문에 대한 답이다.

0.2%다. 탐지 결과와 무관하게 원래 비율이 그대로 유지된다.

모델이 아무 정보도 주지 않을 때만 사전확률이 그대로 남는다. 여기서는 8.7%로 40배 넘게 올라갔으므로 탐지에 정보가 분명히 들어 있다. 다만 그 정보가 확신을 주기에는 모자랄 뿐이다.

하루 사이에 기저율이 달라지지 않았다는 가정이다.

탈취 비율이 하루 만에 크게 움직이는 일은 드물고, 움직였더라도 1차 사후확률을 사전확률로 쓰는 순간 그 값은 이미 이 계정 하나에 대한 믿음으로 바뀌어 있다. 모집단 기저율은 2차 계산에 직접 들어가지 않는다.

민감도와 특이도가 두 실행에서 같다는 가정이다.

모델을 재배포하지 않았다면 이 값은 그대로다. 성능 지표가 흔들리는 것보다 두 판단이 서로 얽혀 있는 쪽이 훨씬 흔하고 영향도 크다.

베이즈 정리는 사후확률을 다시 사전확률로 쓰는 것을 허용하지 않는다는 점이다.

조건부 독립만 성립하면 순차 업데이트는 두 관측을 한 번에 넣은 계산과 정확히 같은 값을 준다. 절차 자체가 금지된 것이 아니라 그 절차가 기대는 가정이 문제다.

여전히 바꾸는 쪽이 2/3으로 유리하다. 결과가 같으니 계산도 같다.

열린 문 뒤에 염소가 있었다는 결과는 같아도 그 결과가 만들어진 과정이 다르다. 원래 규칙에서 P(3번을 엶 | 자동차가 2번) = 1이었던 자리가 여기서는 1/2로 내려가고, 그 차이가 사후확률을 통째로 바꾼다.

유지하는 쪽이 2/3으로 유리해진다. 염소가 나온 것은 처음 선택이 맞았다는 증거다.

처음 선택이 맞았을 때와 틀렸을 때 모두 염소가 나올 확률이 1/2로 같으므로 어느 쪽 증거도 되지 못한다. 관측이 한쪽 가설에서 더 흔해야 그쪽으로 믿음이 기운다.

진행자가 자동차 위치를 몰랐으므로 확률을 계산할 근거 자체가 없다.

진행자가 무엇을 아는지는 우도를 정하는 재료이지 계산을 막는 조건이 아니다. 무작위로 연다는 규칙이 명시되어 있으므로 우도는 1/2로 확정된다.

30%다. B로 보내는 트래픽 비율이 그대로 유지된다.

실패라는 조건이 붙는 순간 표본공간이 실패 건으로 줄어들고, 그 안의 구성은 원래 트래픽 비율과 다르다. 조건부 확률은 축소된 공간에서 다시 세는 것이다.

1.8%다. B의 실패율이 곧 답이다.

1.8%는 B를 거쳤다는 조건 아래에서 실패할 확률이다. 묻는 것은 실패했다는 조건 아래에서 B를 거쳤을 확률이라 조건과 결과가 서로 바뀌어 있다.

약 34%다. A가 트래픽의 다수이므로 실패도 A 쪽이 더 많다.

A의 실패 기여도 0.0028을 전체 0.0082로 나눈 값이라 계산 자체는 맞지만 묻는 대상이 B다. 트래픽이 많다고 실패도 많으리라는 직관은 실패율 차이가 트래픽 차이보다 크면 뒤집힌다.

특성 수가 늘어나면 위반이 서로 상쇄되어 곱이 참값에 수렴한다.

상쇄되지 않고 오히려 같은 방향으로 누적된다. 붙어 다니는 단어를 독립으로 보고 곱하면 같은 증거를 여러 번 세는 셈이라 확률이 0이나 1 쪽으로 더 심하게 몰린다.

조건부 독립은 무조건 독립보다 약한 가정이라 대부분의 데이터에서 성립한다.

두 개념은 강약 관계가 아니라 별개다. 독립인 사건이 조건을 붙이면 종속이 되기도 하고 그 반대도 일어나므로, 한쪽이 다른 쪽을 함의하지 않는다.

라플라스 평활을 적용하면 종속 관계로 생긴 편향이 제거된다.

평활은 학습 데이터에 없던 단어 때문에 확률이 0이 되는 문제를 막는 장치다. 단어끼리의 종속 관계와는 다른 문제를 다룬다.

확률이 399%라는 뜻이므로 정규화가 어긋난 분포다.

이 분포의 전체 적분은 정확히 1이라 정규화에는 문제가 없다. 밀도값 하나를 확률로 읽은 것이 오류다.

x = 0 근처에서 값이 나올 확률이 99.9%를 넘는다는 뜻이다.

근처가 얼마나 넓은지를 정하지 않으면 확률을 말할 수 없다. 폭을 정해 적분해야 비로소 확률이 나오고, 폭을 0으로 좁히면 확률도 0으로 간다.

표준편차가 1보다 작을 때 생기는 수치 오차이므로 σ를 1로 표준화해 읽어야 한다.

오차가 아니라 정확한 값이다. 1/(0.1 × √(2π)) = 3.9894로 정직하게 계산된 밀도이고, 표준화는 해석을 편하게 할 뿐 값이 틀려서 하는 일이 아니다.

평균 65ms, 분산 164다. 두 분산을 더하면 된다.

Var(X) + Var(Y)로 끝나는 것은 두 변수가 독립일 때뿐이다. 여기서는 공분산이 48로 0이 아니므로 2Cov(X, Y) = 96이 더 붙는다. 함께 느려지는 구간을 독립으로 보면 흔들림을 실제보다 작게 잡는다.

평균 65ms, 분산 212다. 공분산 48을 한 번 더한다.

덧셈 정리의 공분산 항에는 2가 붙는다. X와 Y를 전개하면 교차항이 두 번 나오기 때문이고, 그래서 164 + 96 = 260이다.

두 변수에 상관이 있으므로 평균도 주어진 값만으로는 구할 수 없다.

E[X + Y] = E[X] + E[Y]는 독립을 요구하지 않는 항등식이라 어떤 상관 구조에서도 성립한다. 상관 정보가 필요한 쪽은 분산뿐이다.

가중치를 잘못 줬다. 건수 비율이 아니라 소요 시간 비율로 가중해야 한다.

기댓값은 각 값이 나올 확률로 가중하는 것이 정의라 건수 비율이 맞다. 소요 시간으로 가중하면 긴 장애에 두 번 가중치를 주는 셈이 된다.

표본이 100건뿐이라 평균의 신뢰도가 낮다.

표본을 1만 건으로 늘려도 분포 모양이 같으면 평균은 여전히 22.75분 근처이고 문제도 그대로다. 추정의 정밀도가 아니라 요약 방식이 문제다.

분산을 함께 보고하면 이 문제가 해소된다.

평균과 분산 두 숫자로는 한쪽으로 길게 늘어진 분포를 요약할 수 없다. 여기서 표준편차는 77분에 이르는데 이 값 역시 어느 실제 경험과도 맞지 않는다.

표본이 10만 개로 커서 상관계수가 0으로 수축했다. 표본을 줄이면 값이 드러난다.

표본이 커질수록 추정은 참값에 가까워진다. 여기서 참값 자체가 0이므로 표본을 줄이면 오차만 커지고 관계가 드러나지는 않는다.

제곱은 새 정보를 만드는 변환이므로 중복이 아니고, 상관계수 0이 그 증거다.

제곱은 원래 값에서 부호를 지우는 변환이라 정보를 더하지 않고 오히려 줄인다. 첫째 피처를 알면 둘째 피처가 완전히 결정되므로 추가되는 정보는 없다.

첫째 피처의 범위가 대칭이라 0이 나왔을 뿐이고, 범위와 무관하게 두 피처는 독립이다.

대칭 구간이라 상쇄가 일어난 것은 맞지만 결론이 뒤집혀 있다. 한쪽이 다른 쪽을 완전히 결정하므로 두 피처는 어떤 구간에서도 독립이 아니고, 구간을 양수 쪽으로 옮기면 상관계수도 0에서 벗어난다.

모델 수가 늘어나면 각 모델의 개별 분산 σ²이 함께 커진다.

모델을 더 학습시킨다고 이미 만든 모델의 분산이 달라지지는 않는다. 바뀌는 것은 모델끼리의 관계이지 개별 모델의 성질이 아니다.

평균을 내면 편향이 커져서 분산이 줄어든 만큼을 상쇄한다.

편향과 분산은 서로 다른 항이라 한쪽이 다른 쪽을 상쇄하지 않는다. 게다가 같은 종류의 모델을 평균 내는 것은 편향을 거의 그대로 남긴다.

분산의 덧셈 정리는 변수 두 개까지만 성립하고 셋 이상에는 적용되지 않는다.

n개로 확장하면 개별 분산 n개와 서로 다른 쌍의 공분산 n(n-1)개가 모두 더해진다. 항이 늘어날 뿐 정리 자체는 그대로 성립한다.

512를 빼면 분산도 512만큼 줄고, 64로 나누면 거기서 다시 64분의 1이 된다.

상수를 빼는 것은 모든 값을 같은 만큼 옮길 뿐이라 값들 사이의 거리가 그대로다. 분산은 거리의 제곱을 평균 낸 것이므로 평행 이동에 반응하지 않는다.

평행 이동과 스케일링 모두 분산을 그대로 두므로 4,096으로 유지된다.

평행 이동은 분산을 바꾸지 않지만 스케일링은 바꾼다. Var(aX + b) = a²Var(X)에서 b는 사라지고 a만 제곱으로 남는다.

분산이 64분의 1인 64가 된다.

나누는 상수는 제곱으로 작용하므로 64가 아니라 4,096으로 나뉜다. 지수를 놓치면 자릿수가 통째로 어긋난다.

이항 분포다. 매 순간 전화가 오거나 오지 않거나 둘 중 하나다.

이항을 쓰려면 시행 횟수 n이 정해져 있어야 하는데 여기서는 셀 수 있는 기회 자체가 없다. 순간을 잘게 쪼개 n을 무한히 키우고 각 순간의 확률을 0으로 보내면 포아송으로 수렴하므로, 이 직관의 종착지도 결국 포아송이다.

기하 분포다. 첫 전화가 걸려올 때까지의 대기를 센다.

기하 분포가 세는 것은 첫 성공까지의 시행 횟수다. 여기서 알고 싶은 것은 정해진 한 시간 안에 몇 건이 들어오는가이므로 세는 대상이 다르다.

초기하 분포다. 하루치 전화 가운데 한 시간분을 비복원으로 떼어낸다.

초기하는 크기가 정해진 모집단에서 표본을 뽑을 때 쓴다. 하루 전체 통화량이 미리 정해져 있지 않으므로 뽑아낼 모집단 자체가 없다.

표본이 90일뿐이라 분산 추정이 불안정하다.

90개 표본이면 분산 추정이 7배씩 어긋날 정도로 불안정하지는 않다. 여기서 문제는 추정의 정밀도가 아니라 모형이 요구하는 제약이 관측과 정면으로 어긋난다는 점이다.

평균 42는 포아송이 다루기에 너무 커서 정규 근사로 넘어가야 한다.

λ가 크면 포아송이 종 모양에 가까워지는 것은 맞지만 그것이 포아송을 못 쓰는 이유는 아니다. 정규 근사로 갈아타도 분산을 42로 잡는 한 같은 문제가 그대로 남는다.

분산이 평균보다 크면 이항 분포를 써야 한다.

이항의 분산 np(1-p)는 평균 np보다 항상 작으므로 방향이 정반대다. 분산이 평균보다 큰 데이터에 이항을 얹으면 어긋남이 더 커진다.

0.8보다 높다. 세 번이나 실패했으니 이제 성공할 차례다.

도박사의 오류다. 시행이 독립이면 과거의 결과가 다음 시행의 확률을 조정하지 않는다. 균형을 맞추려는 힘 같은 것은 존재하지 않는다.

0.0016이다. 네 번째에 처음 성공할 확률인 0.2의 세제곱 곱하기 0.8이다.

그 값은 아직 아무것도 관측하지 않은 시점에서 네 번째에 첫 성공이 나올 확률이다. 이미 세 번 실패했다는 조건이 주어졌으므로 그 부분은 이미 일어난 사실이고 확률에서 빠진다.

0.8보다 낮다. 세 번 연속 실패는 실제 성공률이 0.8보다 낮다는 증거다.

성공 확률을 모르는 상황이라면 타당한 추론이고 사후분포가 낮은 쪽으로 이동한다. 다만 여기서는 0.8이 주어진 값이라는 전제가 붙어 있어 데이터가 그 값을 수정하지 않는다.

평균과 분산을 모두 과소평가한다. 비복원이면 뽑을수록 성공 확률이 올라가기 때문이다.

비복원에서 남은 불량 비율은 앞서 무엇을 뽑았느냐에 따라 오르기도 내리기도 한다. 한 방향으로 치우치지 않으므로 평균은 이항과 정확히 같은 1.0이다.

분산을 과소평가한다. 남은 모집단이 편중되면서 결과가 더 크게 흔들린다.

방향이 반대다. 뽑을수록 남은 구성이 확정되므로 결과의 흔들림은 오히려 줄어든다. 20개를 전부 뽑으면 불량은 반드시 4개이고 분산은 0이 된다.

차이가 없다. 평균 불량률이 같으면 두 분포의 평균과 분산이 모두 일치한다.

평균은 일치하지만 분산은 일치하지 않는다. 복원과 비복원의 차이가 분산에만 나타나기 때문에 평균만 확인하고 넘어가면 이 어긋남을 놓친다.

6.8% 그대로다. 트래픽과 용량의 비율이 같으므로 확률도 같다.

비율만으로 결정된다면 규모와 무관해야 하는데 실제로는 규모가 커질수록 안정된다. 확률을 정하는 것은 여유분이 표준편차의 몇 배인가이고, 그 배수가 λ와 함께 커진다.

약 13.6%로 두 배가 된다. 요청이 두 배이므로 넘칠 기회도 두 배다.

요청 수와 넘칠 확률은 비례 관계가 아니다. 넘침은 한 분 동안의 총량이 임계값을 넘는 사건이고, 평균이 커져도 임계값이 함께 커지면 오히려 멀어진다.

약 3.4%로 절반이 된다. 워커 수에 반비례해 줄어든다.

감소는 있지만 반비례가 아니다. 포아송 꼬리 확률은 여유분을 표준편차로 나눈 값에 대해 지수적으로 떨어지므로 단순한 비례식으로 예측되지 않는다.

n = 10은 너무 작아 이항 공식 자체가 부정확해진다.

이항 PMF는 n이 얼마든 정확한 값을 준다. 근사에 쓰이는 쪽은 포아송이고, 어긋나는 것도 포아송이 이항을 얼마나 잘 흉내 내느냐의 문제다.

np가 같으면 두 분포는 항상 같아야 하므로 계산이 틀렸다.

np는 평균만 맞춰줄 뿐이다. 평균이 같아도 분산이 다르면 분포 모양이 달라지고, 여기서 갈리는 것이 정확히 그 지점이다.

포아송에는 값의 상한이 없고 이항에는 n이라는 상한이 있어서다.

상한 차이는 n = 100일 때도 똑같이 존재했지만 그때는 근사가 잘 맞았다. 게다가 어긋남이 k = 0이라는 가장 낮은 값에서 나타나므로 꼬리 쪽 상한과는 무관하다.

loc에는 평균이 아니라 중앙값을 넣어야 한다.

정규분포는 좌우 대칭이라 평균과 중앙값이 같은 값이다. 어느 쪽을 넣어도 결과가 달라지지 않는다.

cdf가 아니라 sf를 써야 P(X ≤ 90)이 나온다.

cdf(x)가 곧 P(X ≤ x)이고 sf(x)는 P(X > x)다. 호출한 메서드는 맞았고 넘긴 파라미터가 틀렸다.

norm은 표준정규분포 전용이라 loc과 scale을 받지 않는다.

loc과 scale은 scipy의 모든 연속분포가 공통으로 받는 인자다. 기본값이 0과 1이라 생략하면 표준정규가 될 뿐이다.

표준편차를 구할 때 ddof를 지정하지 않아 값이 작게 나왔다.

ddof 차이는 √(n/(n-1))배라 표본이 수백 개면 0.1% 수준이다. 초과 빈도가 열 배 넘게 벌어지는 것을 설명하지 못한다.

3σ가 아니라 2σ를 임계값으로 잡았어야 한다.

임계값을 낮추면 초과가 더 자주 일어난다. 예상보다 자주 넘는 상황에서 문턱을 낮추자는 것은 방향이 반대다.

평균과 표준편차를 같은 데이터에서 추정해 임계값이 편향됐다.

같은 데이터에서 추정하면 임계값이 조금 안쪽으로 당겨지는 것은 맞지만 그 효과는 표본이 커질수록 사라진다. 여기서 벌어진 간격을 만들어낼 만한 크기가 아니다.

베타 분포가 0과 1 사이에 갇혀 있어 큰 값이 눌리기 때문이다.

0.075는 구간 한복판에서 한참 떨어진 작은 값이라 경계에 눌릴 일이 없다. 구간 제약이 작동하는 것은 값이 0이나 1에 바짝 붙었을 때다.

베타 분포에서는 평균이 최빈값보다 항상 작기 때문이다.

여기서는 반대다. Beta(17, 223)의 최빈값은 16/238 = 0.0672로 평균 0.0708보다 작다. 오른쪽으로 늘어진 분포에서는 평균이 최빈값보다 크다.

노출과 클릭을 이항이 아니라 초기하로 봤기 때문이다.

베타는 이항의 켤레 사전분포이고 여기서도 이항 우도를 쓴다. 초기하로 바꾼 적이 없으므로 값의 이동과 무관하다.

우연히 일치했을 뿐이고 시간 구간을 바꾸면 어긋난다.

어떤 구간을 잡아도 두 값은 항상 같다. 포아송 쪽은 e^(-λt)이고 지수 쪽 생존함수도 e^(-λt)라 t가 무엇이든 같은 식이 나온다.

지수 분포가 포아송 분포의 켤레 사전분포이기 때문이다.

포아송의 켤레 사전분포는 감마 분포다. 게다가 켤레 관계는 베이지안 갱신을 편하게 하는 성질이지 두 확률값을 같게 만드는 성질이 아니다.

λ가 작아 포아송을 지수로 근사할 수 있는 구간이기 때문이다.

근사가 아니라 정확한 일치다. 두 분포는 서로 다른 대상을 재므로 근사 관계로 이어질 수 있는 사이도 아니다.

Poisson(10)이고 평균 10건, 표준편차 √10건이다.

포아송은 정해진 시간에 몇 건이 일어나는지를 세는 분포다. 여기서 묻는 것은 건수가 아니라 시간이라 단위부터 맞지 않는다.

Exp(2/5)이고 평균 2.5시간, 표준편차 2.5시간이다.

평균은 맞지만 분포가 틀렸다. 지수 분포는 평균과 표준편차가 같아 변동계수가 항상 1인데, 다섯 번의 대기를 합치면 그 값이 내려가야 한다.

Exp(2)를 다섯 번 더한 것이므로 평균 2.5시간, 표준편차는 다섯 배인 2.5시간이다.

앞 절반은 맞고 뒤 절반이 틀렸다. 독립인 값을 더하면 표준편차가 아니라 분산이 더해지므로, 표준편차는 5배가 아니라 √5배로 늘어난다.

평균 5년은 기댓값일 뿐이므로 중앙값으로 바꿔 보고해야 한다.

지수 분포에서 중앙값은 평균의 약 0.69배라 값은 달라지지만, 3년 쓴 디스크와 새 디스크의 남은 수명이 같다는 결론은 그대로다. 요약값을 바꾸는 것으로는 문제가 사라지지 않는다.

지수 분포는 분산이 평균의 제곱이라 추정이 불안정하다.

변동이 크다는 지적은 맞지만 그것은 추정의 정밀도 문제다. 여기서 어긋난 것은 정밀도가 아니라 시간에 따라 위험이 변한다는 구조를 아예 담지 못한다는 점이다.

고장 시점은 이산적으로 관측되므로 기하 분포를 써야 한다.

관측을 일 단위로 기록한다고 해서 기하 분포로 바꿀 이유는 없다. 게다가 기하 분포도 무기억성을 갖고 있어 같은 한계를 그대로 물려받는다.

큰 수의 법칙은 표본이 작을 때, 중심극한정리는 클 때 쓰는 정리다.

둘 다 표본이 커질 때 무엇이 일어나는지를 말하는 정리다. 표본 크기에 따라 갈라 쓰는 관계가 아니라 같은 상황을 두 각도에서 본 것이다.

큰 수의 법칙은 데이터가 정규분포에 수렴한다고 말하고, 중심극한정리는 그 속도를 준다.

정규분포가 등장하는 쪽은 중심극한정리뿐이고, 그마저도 데이터가 아니라 표본 평균의 분포에 관한 이야기다. 큰 수의 법칙은 어떤 분포로 가는지를 아예 말하지 않는다.

큰 수의 법칙은 이산분포에, 중심극한정리는 연속분포에 적용된다.

두 정리 모두 원래 분포의 종류를 가리지 않는다. 중심극한정리의 위력이 드러나는 대표적인 예가 0과 1만 갖는 베르누이에서도 표본 평균이 정규로 수렴한다는 것이다.

n = 10,000은 중심극한정리를 적용하기에 아직 부족하다.

표본을 100만 개로 늘려도 원자료의 왜도는 2 근처에 그대로 머문다. 크기 문제가 아니라 정리가 말하는 대상이 다르다.

지수분포는 유한 분산을 갖지 않아 중심극한정리의 사정권 밖이다.

지수분포의 분산은 1/λ²으로 유한하다. 조건을 깨뜨리는 것은 파레토처럼 꼬리 지수가 2 이하인 분포이고, 지수분포는 오히려 표본 평균이 잘 수렴하는 예로 쓰인다.

왜도 1.99는 정규분포의 왜도 범위 안이므로 주장 자체는 맞다.

정규분포의 왜도는 정확히 0이다. 1.99는 강한 오른쪽 비대칭을 뜻하고, 정규성과는 거리가 멀다.

1,000명이다. 오차 범위와 표본 크기가 반비례한다.

반비례하는 것은 n이 아니라 √n이다. 두 배로 늘리면 오차는 절반이 아니라 1/√2인 약 71%로 줄어 ±3.1%p가 된다.

4,000명이다. 오차를 절반으로 줄이려면 네 배의 제곱인 여덟 배가 필요하다.

제곱이 붙는 자리를 한 번 더 적용했다. σ/√n에서 √n을 두 배로 만드는 데 필요한 배수는 4이고 그 이상은 과잉이다.

표본 크기와 무관하다. 오차 범위는 모집단 크기가 결정한다.

모집단 크기는 이 식에 들어오지 않는다. 표본 비중이 모집단의 5%를 넘어 유한 모집단 보정이 필요한 경우가 아니면 전국 조사든 한 도시 조사든 같은 표본 크기가 같은 오차를 준다.

정규 근사의 분산 np(1-p)를 표본분산으로 바꿔 편향을 없앤다.

보정은 분산을 건드리지 않는다. 손대는 것은 확률을 읽어낼 경계선의 위치뿐이고, μ와 σ는 그대로 쓴다.

이항 분포의 왜도를 보정해 좌우 대칭으로 만든다.

왜도 보정은 별개의 기법이고 여기서는 쓰지 않는다. p = 0.4라 약간 비대칭하지만, 보정이 메우는 것은 비대칭이 아니라 이산과 연속의 경계 차이다.

np가 5보다 작은 경우에도 근사를 쓸 수 있도록 조건을 완화한다.

보정은 근사가 이미 쓸 만한 구간에서 남은 오차를 다듬는 장치다. np가 5에 못 미치면 분포 모양 자체가 정규와 달라서 0.5를 옮기는 것으로 해결되지 않는다.

표본이 서로 독립이 아니어서 큰 수의 법칙이 깨졌다.

종속이 있으면 수렴이 느려지는 것은 맞지만, 관측치 하나가 평균을 끌고 가는 증상은 종속이 아니라 꼬리 두께에서 나온다. 게다가 꼬리 지수 1.5라는 단서가 원인을 분포 쪽으로 가리킨다.

n이 아직 30에 못 미쳐 중심극한정리가 작동하지 않았다.

n을 10배씩 키우며 관찰한 상황이므로 크기는 문제가 아니다. 30이라는 숫자 자체도 정리의 조건이 아니라 경험 법칙일 뿐이다.

파레토 분포는 기댓값이 정의되지 않으므로 큰 수의 법칙부터 성립하지 않는다.

기댓값이 없는 것은 꼬리 지수가 1 이하일 때이고 대표적인 예가 코시 분포다. 1.5에서는 기댓값이 존재하므로 큰 수의 법칙은 여전히 성립하고, 표본 평균은 느리게나마 참 평균으로 간다.

노이즈가 16분의 1로 줄고 그만큼 일반화가 나빠진다는 것까지 예측한다.

배치 크기에 반비례하는 것은 분산이고 표준편차는 그 제곱근이라 4분의 1로 준다. 일반화 쪽은 정리가 아예 다루지 않는 영역이다.

배치가 커지면 그래디언트가 편향되므로 검증 성능이 떨어진다는 것까지 설명한다.

미니배치 그래디언트는 배치 크기와 무관하게 전체 그래디언트의 불편 추정량이다. 배치를 키워 달라지는 것은 편향이 아니라 흩어짐뿐이다.

중심극한정리는 배치 크기와 무관하므로 이 현상 전체가 정리와 관계없다.

미니배치 그래디언트는 개별 샘플 그래디언트의 평균이므로 정확히 표본 평균이다. 그 흩어짐이 배치 크기에 따라 어떻게 변하는지가 바로 정리가 답하는 부분이다.

확률이 낮을수록 정보가 커야 한다는 조건이다.

이 조건만으로는 함수가 정해지지 않는다. 1/p나 1 - p처럼 감소하기만 하면 되는 함수가 얼마든지 있다.

확실한 사건의 정보량이 0이어야 한다는 조건이다.

p = 1에서 0이 되는 함수도 하나가 아니다. 1/p - 1도 이 조건을 만족하지만 로그가 아니다.

정보량이 항상 0 이상이어야 한다는 조건이다.

확률이 1을 넘지 않으므로 -log p는 자동으로 0 이상이 된다. 조건이 아니라 결과에 가깝고, 함수 형태를 좁혀주지도 않는다.

두 값이 언제나 같은 수이기 때문이다.

여기서도 1.612와 0.127로 다르다. 두 값이 같아지는 것은 H(P)가 0일 때, 즉 정답이 한 클래스로 확정된 경우에 한한다.

KL 발산이 항상 0 이상이라 교차 엔트로피의 하한이 되기 때문이다.

0 이상이라는 성질에서 나오는 결론은 H(P, Q)가 H(P) 밑으로 내려갈 수 없다는 것이다. 두 최소화가 같아지는 근거는 부등호가 아니라 H(P)가 상수라는 사실이다.

교차 엔트로피가 KL 발산의 지수 변환이기 때문이다.

지수 변환으로 얻는 것은 퍼플렉시티이고 그 대상도 KL 발산이 아니라 교차 엔트로피다. 두 양은 지수가 아니라 덧셈으로 이어져 있다.

Q의 어떤 성분이 0이면 확률분포로 성립하지 않는다.

확률이 0인 결과가 있는 것은 아무 문제가 없다. 합이 1이고 모든 성분이 0 이상이면 정당한 분포다. 문제는 Q 자체가 아니라 P와 겹치는 방식에 있다.

반대 방향인 D_KL(Q||P)로 계산하면 언제나 유한하므로 방향을 바꾸면 된다.

이 예에서는 P가 모든 자리에 양수를 주기 때문에 반대 방향이 유한할 뿐이다. P에 0이 있고 그 자리에 Q가 양수라면 반대 방향도 똑같이 발산한다.

로그의 밑이 2라서 그렇고, 자연로그로 바꾸면 유한한 값이 나온다.

밑을 바꾸는 것은 상수를 곱하는 것이라 무한대는 무한대로 남는다. 단위가 비트에서 냇으로 바뀔 뿐이다.

MSE의 손실값이 0.5를 넘지 못해 그래디언트도 그만큼 작아진다.

상한이 있다는 지적 자체는 맞지만 손실값의 크기와 그래디언트의 크기는 다른 이야기다. 여기서 학습을 막는 것은 손실의 천장이 아니라 미분에 곱해진 항이다.

시그모이드 대신 소프트맥스를 쓰면 해결된다.

이진 분류에서 소프트맥스는 시그모이드와 사실상 같은 함수이고, 포화 구간에서 미분이 0으로 가는 성질도 그대로다. 손을 대야 할 곳은 활성화가 아니라 손실이다.

학습률이 낮아서 생긴 현상이고 MSE 자체에는 문제가 없다.

학습률을 올리면 잘 학습되던 샘플까지 함께 흔들린다. 특정 구간에서만 신호가 죽는 것은 전역 배율이 아니라 그 구간의 미분이 0에 가깝다는 뜻이다.

말할 수 있다. 퍼플렉시티는 토크나이저와 무관한 절대 지표다.

퍼플렉시티는 토큰당 교차 엔트로피의 지수라 정의 자체에 토큰 단위가 들어 있다. 절대 지표가 되려면 문자나 바이트처럼 공통 단위로 정규화해야 한다.

말할 수 없다. 퍼플렉시티는 코퍼스 크기에 비례하므로 크기를 맞춰야 한다.

퍼플렉시티는 토큰당 평균값이라 코퍼스가 길어진다고 커지지 않는다. 문제가 되는 것은 코퍼스의 크기가 아니라 도메인과 토큰 단위다.

말할 수 있다. 로그를 취해 교차 엔트로피로 되돌리면 단위가 통일된다.

로그를 취해도 여전히 토큰당 값이다. 지수를 벗기는 것과 토큰 단위를 맞추는 것은 다른 작업이다.

P||Q가 한 봉우리를 고르고, Q||P가 두 봉우리를 덮는다.

방향이 반대다. 어느 쪽 분포가 기댓값의 기준이 되는지를 보면 갈린다. 기댓값을 취하는 분포가 확률을 주는 자리에서 상대가 0에 가까운 것이 벌점이 된다.

둘 다 두 봉우리 사이 골짜기에 중심을 두고 같은 해로 수렴한다.

골짜기에 중심을 두는 것은 넓게 덮는 쪽 해의 모습에 가깝다. 좁게 붙는 쪽은 오히려 골짜기를 적극적으로 피하므로 두 해가 같아질 수 없다.

두 방향의 차이는 값의 크기뿐이고 최소화된 해는 같다.

비대칭이 값에만 나타난다면 KL을 거리로 써도 문제가 없었을 것이다. 최적해 자체가 달라지기 때문에 어느 방향을 쓰느냐가 모델링 선택이 된다.

추정량은 모집단에서, 추정값은 표본에서 계산하는 값이다.

둘 다 표본에서 나온다. 모집단에서 계산되는 것은 모수이고, 그 값은 애초에 알 수 없어서 추정하는 것이다.

추정량은 점추정에, 추정값은 구간추정에 쓰이는 용어다.

구간추정에도 추정량과 추정값의 구분이 그대로 있다. 구간의 양 끝을 만드는 규칙이 추정량이고, 그 규칙에 데이터를 넣어 얻은 숫자가 추정값이다.

추정량에는 편향이 있고 추정값에는 없다.

편향이 있고 없고는 추정량마다 다르다. 추정값에 편향을 말할 수 없는 것은 편향이 0이어서가 아니라 이미 정해진 숫자 하나에 기댓값을 물을 수 없어서다.

표본이 모집단보다 작으므로 그 크기 차이를 보정하는 것이다.

모집단 크기는 이 계산에 등장하지 않는다. 100만 명 중 10명을 뽑든 20명 중 10명을 뽑든 나누는 수는 똑같이 9다.

이상치 하나가 분산을 부풀리는 것을 막기 위한 장치다.

이상치의 영향은 나누는 수가 아니라 제곱된 편차 자체에서 온다. 분모를 1 줄이면 값이 오히려 커지므로 방향도 반대다.

n으로 나눈 값은 일치추정량이 아니어서 표본이 커져도 참값에 가지 않는다.

n으로 나눈 값도 일치추정량이다. 편향이 -σ²/n이라 표본이 커지면 0으로 사라지고 참값으로 수렴한다. 문제는 수렴 여부가 아니라 유한한 표본에서의 치우침이다.

둘 다 비편향이므로 표본이 늘어도 품질 차이가 없다.

비편향은 기댓값이 참값과 같다는 뜻일 뿐 한 번의 추정이 얼마나 정확한지는 말해주지 않는다. 품질을 가르는 것은 그 기댓값 주위로 얼마나 흩어지는가이고, 두 규칙은 여기서 크게 갈린다.

A는 편향이 생기고 B는 비편향으로 남는다.

A의 기댓값은 표본 크기와 무관하게 μ다. 데이터를 버리는 것과 편향이 생기는 것은 다른 이야기다.

A의 분산도 100분의 1로 줄지만 수렴 속도가 B보다 느리다.

A는 X₁ 하나만 보므로 나머지 9,999개는 계산에 아예 들어가지 않는다. 속도가 느린 것이 아니라 줄어들지 않는다.

S²의 비편향성은 정규분포에서만 성립하므로 전제부터 틀렸다.

S²은 분산이 유한한 어떤 분포에서도 σ²에 비편향이다. 정규성이 필요한 것은 S²의 분포를 카이제곱으로 특정할 때이지 비편향성 자체에는 필요하지 않다.

S는 항상 σ보다 작은 값이 나오므로 애초에 비편향일 수 없다.

개별 표본에서는 S가 σ를 넘는 경우도 흔하다. 치우치는 것은 여러 번 반복했을 때의 평균이지 매번의 값이 아니다.

ddof=1을 지정하지 않아 생긴 문제이고, 지정하면 S도 비편향이 된다.

ddof=1은 S²을 비편향으로 만드는 설정이다. 그 값의 제곱근을 취하는 순간 젠슨 부등식이 다시 작동하므로 어떤 설정으로도 S를 비편향으로 만들 수는 없다.

n = 5로 표본이 작아 생긴 시뮬레이션 오차이고, 반복을 늘리면 순서가 뒤집힌다.

반복 10만 번이면 표본오차는 소수점 둘째 자리 수준이다. 5.79와 8.06의 간격은 그 오차로 설명되지 않고, 이론적으로도 계산해보면 5.76과 8.00으로 같은 순서가 나온다.

MSE는 편향과 분산의 곱이므로 편향이 0이면 오히려 값이 커진다.

곱이라면 편향이 0일 때 MSE도 0이 되어 말이 되지 않는다. 분해식은 합이고, 편향이 0이면 MSE가 분산과 정확히 같아진다.

n으로 나눈 추정량은 비편향이 아니므로 MSE 분해 공식을 적용할 수 없다.

분해는 편향이 있든 없든 항등식으로 성립한다. 오히려 편향이 있을 때 두 항이 어떻게 맞바뀌는지를 보여주는 것이 이 식의 쓸모다.

순서 정보는 무작위로 나온 것이라 어떤 분석에도 쓸모가 없다.

순서에는 p에 대한 정보가 없을 뿐 다른 정보는 들어 있다. 앞면 뒤에 앞면이 더 자주 나오는지, 후반부에 확률이 달라졌는지 같은 것은 순서를 봐야 알 수 있다.

표본이 100개로 충분히 커서 요약해도 손실이 무시할 만하다.

표본이 10개여도 성공 횟수만 남기면 p 추정에 필요한 정보는 온전히 보존된다. 손실이 작은 것이 아니라 아예 없다는 점이 이 성질의 요점이다.

베르누이 시행에서는 어떤 통계량이든 충분 통계량이 된다.

첫 관측값만 남기는 통계량은 나머지 99개의 정보를 통째로 버리므로 충분하지 않다. 충분한 통계량은 따로 찾아야 하고, 그 도구가 Fisher-Neyman 분해다.

우도 함수는 로그를 취한 형태이고 확률밀도함수는 그렇지 않다.

로그를 취한 것은 로그우도라는 별도의 이름을 갖는다. 로그는 계산 편의를 위한 변환이지 두 함수를 가르는 기준이 아니다.

우도 함수는 모수에 대해 적분하면 1이 된다.

1이 되는 것은 확률밀도함수를 데이터에 대해 적분했을 때다. 우도를 모수에 대해 적분한 값에는 아무 제약이 없고, 그래서 우도는 확률이 아니다.

우도 함수는 이산분포에만 쓰고 확률밀도함수는 연속분포에만 쓴다.

우도는 이산과 연속을 가리지 않는다. 연속분포에서는 밀도값의 곱으로, 이산분포에서는 확률의 곱으로 만들어질 뿐 개념은 같다.

유도 과정에 실수가 있었고 올바른 MLE는 n-1로 나눈 값이다.

로그우도를 σ²으로 편미분해 0으로 놓으면 n으로 나눈 값이 정확한 해다. n-1로 나눈 값은 우도를 최대화하지 않으며, 비편향성이라는 다른 기준에서 나온 추정량이다.

정규분포에서는 MLE와 적률법이 서로 다른 답을 준다는 뜻이다.

정규분포에서는 두 방법이 정확히 같은 추정량을 준다. 둘 다 n으로 나눈 값이라 편향도 같이 가진다.

MLE가 일치추정량이 아니라는 뜻이다.

편향이 -σ²/n이라 표본이 커지면 0으로 사라지므로 일치성은 온전하다. 편향이 있다는 것과 수렴하지 않는다는 것은 다른 이야기다.

σ를 모수로 삼아 로그우도를 다시 세우고 최대화해야 한다.

다시 풀어도 같은 답이 나온다. 단조 변환은 최댓값의 위치를 옮기지 않으므로 σ²에서 최대이던 지점의 제곱근이 σ에서도 최대다. 계산만 두 번 하는 셈이다.

제곱근을 취한 뒤 젠슨 부등식만큼 보정해야 한다.

그 보정은 비편향성을 유지하려 할 때 필요한 것이다. MLE는 비편향성을 목표로 하지 않으므로 보정 없이 제곱근만 취하는 것이 정확히 MLE다.

σ의 MLE는 존재하지 않으므로 모수화를 σ²으로 고정해야 한다.

모수를 어떻게 표기하든 같은 분포족이라 MLE는 항상 존재한다. 불변성이 보장하는 것이 바로 모수화를 바꿔도 결과가 일관된다는 점이다.

p가 0.02인 쪽이다. 희귀한 사건일수록 관측이 적어 추정이 어렵다.

상대 정밀도를 기준으로 하면 맞는 이야기지만 여기서는 절대 정밀도를 맞추려 한다. 표준오차의 절대값만 놓고 보면 분자인 p(1-p)가 작은 쪽이 유리하다.

표본 크기는 p와 무관하게 목표 정밀도만으로 정해진다.

베르누이의 분산이 p(1-p)라 p가 계산에 직접 들어간다. 표본 크기 산정에서 예상 전환율을 먼저 묻는 이유가 이것이다.

둘 다 같다. 피셔 정보량은 표본 크기에만 의존한다.

피셔 정보량은 관측 하나가 담는 정보라 모수 값에 따라 달라진다. 표본 크기는 그 값을 n배 하는 역할만 한다.

표본이 5개로 너무 작아 적률법을 적용할 수 없다.

표본 크기와 무관하게 같은 모순이 생길 수 있다. 최댓값이 2X̄를 넘는 표본은 n이 얼마든 나올 수 있고, 문제는 크기가 아니라 방법이 제약을 보지 않는다는 데 있다.

θ̂이 표본 평균의 두 배라 항상 과대추정하는 구조다.

적률법 추정량은 기댓값이 정확히 θ라 비편향이다. 여기서 드러난 것은 치우침이 아니라 개별 표본에서 데이터와 모순될 수 있다는 성질이다.

균일분포에는 적률이 존재하지 않아 적률법이 정의되지 않는다.

균일분포의 적률은 모두 유한하고 계산도 간단하다. 적률법이 적용되지 않는 것이 아니라 적용한 결과가 데이터와 어긋나는 것이다.

일치성이 무너져 표본을 늘려도 참값에 다가가지 않는다.

1/n 속도로 수렴한다는 서술 자체가 일치성이 살아 있다는 뜻이다. 오히려 표준적인 경우보다 빠르게 수렴한다.

크래머-라오 하한에 도달하지 못해 비효율적인 추정량이 되었다.

도달하지 못하는 것이 아니라 하한이 무의미해진다. 하한을 유도할 때 쓰는 미분과 적분의 교환이 성립하지 않기 때문이고, 실제로 보정한 추정량의 분산은 형식적으로 계산한 하한보다 훨씬 작다.

MLE가 존재하지 않아 표본 최댓값을 임시 대안으로 쓴 것이다.

표본 최댓값은 임시방편이 아니라 우도를 정확히 최대화하는 값이다. θ가 최댓값보다 작으면 우도가 0이고 클수록 우도가 줄어들므로 최댓값에서 정확히 최대가 된다.

참 모수가 이 구간 안에 있을 확률이 95%다.

빈도주의에서 모수는 미지이지만 고정된 상수라 확률변수가 아니다. 이미 계산된 구간에 대해 참값은 안에 있거나 없거나 둘 중 하나이고 그 사이에 확률이 들어설 자리가 없다. 모수에 확률을 부여하려면 베이지안의 신용구간이 필요하다.

표본 관측값의 95%가 3.2와 5.8 사이에 들어 있다.

그것은 데이터의 분포를 말하는 구간이고 이름도 다르다. 신뢰구간은 개별 관측이 아니라 모평균이라는 하나의 값을 겨냥한다.

같은 표본으로 다시 계산하면 95% 확률로 같은 구간이 나온다.

같은 표본에 같은 공식을 적용하면 언제나 똑같은 구간이 나온다. 흔들리는 것은 계산이 아니라 어떤 표본이 뽑히느냐다.

t 분포의 중심이 0이 아니라 구간의 위치가 옮겨졌기 때문이다.

t 분포도 0을 중심으로 좌우 대칭이다. 두 구간의 중심은 104.44로 같고 달라진 것은 폭뿐이다.

표본이 12개로 작아 중심극한정리가 성립하지 않기 때문이다.

모집단이 정규라면 표본이 작아도 표본평균이 정확히 정규를 따르므로 중심극한정리가 필요하지도 않다. t를 써야 하는 이유는 분자가 아니라 분모에 있다.

t 분포를 쓰면 신뢰 수준이 자동으로 더 높게 잡히기 때문이다.

두 구간 모두 95% 수준으로 계산했다. 같은 수준에서 임계값이 다른 것이지 수준이 달라진 것이 아니다.

표본 200건이 너무 적어 어떤 방법으로도 구간을 만들 수 없다.

200건으로도 Wilson이나 Clopper-Pearson은 정상적인 구간을 준다. 문제는 표본 크기가 아니라 p̂이 경계에 붙었을 때 Wald의 근사가 무너진다는 데 있다.

하한을 0으로 자르면 신뢰 수준이 오히려 97.5%로 올라가 지나치게 보수적이 된다.

자른다고 신뢰 수준이 올라가지 않는다. 구간이 애초에 잘못된 위치에 놓여 있어서 실제 커버리지는 명목 95%에 오히려 못 미친다.

음수가 나온 것은 반올림 탓이고 정밀도를 높여 계산하면 양수가 된다.

p̂ = 0.005에 표준오차의 1.96배인 0.0098을 빼면 정확히 계산해도 음수다. 수치 문제가 아니라 공식 자체가 이 영역에서 맞지 않는다.

표본분산 23.04가 참값보다 작게 나와 구간이 한쪽으로 밀렸기 때문이다.

표본분산이 얼마든 구간은 그 값에 비례해 늘어날 뿐이라 비대칭의 정도는 그대로다. 값이 아니라 분포의 모양이 원인이다.

신뢰 수준을 양쪽 꼬리에 균등하게 나누지 않았기 때문이다.

양쪽에 2.5%씩 균등하게 나눴다. 확률을 같게 나눠도 비대칭 분포에서는 잘라낸 지점까지의 거리가 서로 다르다.

분산은 음수가 될 수 없어 하한이 0에서 막혔기 때문이다.

하한 13.33은 0에서 한참 떨어져 있어 경계에 걸린 것이 아니다. 경계 제약이 없어도 이 구간은 비대칭이다.

표본 90개는 중심극한정리를 적용하기에 부족하다.

부족했다면 커버리지가 조금 어긋나는 수준이지 33%p나 벌어지지 않는다. 게다가 일별 집계값 자체가 이미 많은 개별 이벤트의 합이라 정규에 가깝다.

t 대신 z를 써서 임계값이 작아졌다.

자유도 89에서 t 임계값은 1.987로 z의 1.960과 1.4%밖에 차이 나지 않는다. 이 정도로는 커버리지가 62%까지 내려가지 않는다.

분포가 오른쪽으로 치우쳐 있어 구간의 중심이 밀렸다.

치우침은 구간을 좌우로 조금 어긋나게 만들지만 폭을 절반으로 줄이지는 않는다. 커버리지가 이만큼 무너지는 것은 폭 자체가 잘못 계산됐다는 신호다.

묶어도 된다. 둘 다 0을 포함하므로 효과가 없다는 결론이 같다.

0을 포함한다는 것은 효과가 0일 가능성을 배제하지 못했다는 뜻이지 효과가 없다는 증거가 아니다. 두 실험은 배제한 범위가 전혀 다르므로 같은 문장으로 요약할 수 없다.

묶어도 된다. 점추정이 둘 다 +0.4%p로 같으므로 효과 크기가 같다.

점추정이 같아도 그 값을 얼마나 믿을 수 있는지가 다르다. 구간의 폭이 바로 그 정보를 담고 있고, 여기서는 열 배 넘게 차이 난다.

안 된다. B의 구간이 넓으므로 효과가 없다는 결론이 더 강하다.

방향이 반대다. 구간이 넓다는 것은 아는 것이 적다는 뜻이라 어떤 결론도 강하게 내릴 수 없다.

귀무가설이 참일 확률이 3%다.

p값은 데이터에 걸린 확률이지 가설에 걸린 확률이 아니다. 가설이 참일 확률을 구하려면 사전확률이 필요하고 그것은 베이즈 정리의 영역이다.

대립가설이 참일 확률이 97%다.

앞의 오해를 뒤집어 말한 것이라 같은 오류다. p값에서 어느 가설의 확률도 곧바로 읽어낼 수 없다.

같은 실험을 반복하면 97%에서 같은 결론이 나온다.

재현 확률은 p값이 아니라 검정력이 결정한다. p = 0.03인 결과를 그대로 재현할 확률은 대개 50%대에 머문다.

p = 0.42는 0.5보다 작으므로 오히려 차이가 있다는 증거다.

0.5는 아무 기준도 아니다. p값은 유의수준과 견주는 것이고 0.42는 0.05를 한참 넘으므로 기각할 근거가 없다.

유의수준을 0.10으로 올렸다면 기각됐을 것이므로 수준 설정이 문제다.

0.42는 0.10으로 올려도 기각되지 않는다. 게다가 결과를 본 뒤 유의수준을 조정하는 것은 그 자체로 절차 위반이다.

표본 30명이면 중심극한정리가 성립하므로 검정 자체에는 문제가 없다.

검정 절차가 유효한 것과 그 결과에서 결론을 끌어낼 수 있는 것은 다른 문제다. 계산은 정당해도 설계가 효과를 잡아낼 힘이 없으면 결론을 지탱하지 못한다.

알 수 없다. 검정 통계량과 p값을 따로 계산해야 한다.

기각 여부만 알면 되는 상황에서는 다시 계산할 필요가 없다. p값이 정확히 얼마인지를 알고 싶다면 계산이 필요하지만 기각 여부는 구간으로 결정된다.

알 수 있다. 10이 하한 10.11에 가까우므로 기각되지 않는다.

가깝다는 것은 판정 기준이 아니다. 구간 안이냐 밖이냐만이 기준이고 10은 밖이다. 가까운 만큼 p값이 0.05에 근접할 뿐이다.

알 수 없다. 구간은 양측인데 검정은 단측일 수 있어 서로 대응하지 않는다.

형태가 맞아야 한다는 지적은 옳지만 여기서는 둘 다 양측이라 문제가 없다. 단측 검정에는 단측 구간이 대응한다.

단측으로 바꾼다고 p값이 정확히 절반이 되지는 않으므로 계산이 틀렸다.

귀무분포가 대칭이고 관측된 방향으로 단측을 잡으면 p값은 정확히 절반이 된다. 산술은 맞고 문제는 그 방향을 언제 정했느냐에 있다.

단측 검정은 표본이 일정 크기 이상일 때만 쓸 수 있다.

단측과 양측을 가르는 것은 표본 크기가 아니라 대립가설의 형태다. 표본이 작아도 방향이 사전에 정해져 있으면 단측을 쓸 수 있다.

단측으로 바꾸면 신뢰 수준이 90%로 떨어져 결론을 믿을 수 없다.

단측 검정에 대응하는 것은 한쪽만 막힌 90% 구간이 아니라 단측 신뢰한계다. 수준이 낮아지는 것이 아니라 관심의 방향이 하나로 좁혀지는 것이다.

p < 0.05이므로 통계적으로 확인된 개선이니 전면 적용해야 한다.

p값은 효과가 0이 아닌지만 말해주고 그 크기가 쓸모 있는지는 말해주지 않는다. 배포 여부를 정하는 자리에서 물어야 할 것은 효과가 사업적 기준선을 넘느냐다.

표본이 너무 커서 p값을 믿을 수 없으니 표본을 줄여 다시 검정해야 한다.

표본이 크다고 p값이 틀리는 것이 아니라 오히려 더 정확해진다. 표본을 일부러 줄이는 것은 정보를 버려 유의하지 않게 만드는 조작에 가깝다.

구간이 0을 포함하지 않으므로 효과 크기가 크다는 뜻이다.

0을 포함하지 않는다는 것은 방향이 확실하다는 뜻일 뿐이다. 크기는 구간이 놓인 위치가 말해주고, 여기서는 상한마저 0.0035%p에 그친다.

20개 지표의 p값을 평균 내어 보고해야 한다.

p값은 평균을 낼 수 있는 종류의 수가 아니다. 각각이 서로 다른 가설에 대한 답이라 평균에는 해석할 의미가 없다.

표본 크기를 20배로 늘리면 이 문제가 사라진다.

표본을 늘리면 검정력이 오를 뿐 1종 오류율은 유의수준에 고정되어 있다. 여러 번 검정해서 생기는 누적 위험은 표본 크기와 무관하다.

유의한 것만 고른 것은 문제지만 20개를 검정한 것 자체는 오류율에 영향이 없다.

누적 위험을 만들어내는 것이 바로 검정 횟수다. 20개를 모두 보고하더라도 그 안에서 유의한 하나를 발견으로 읽는 순간 같은 함정에 빠진다.

독립 표본 t-검정이다. 전과 후는 서로 다른 시점의 측정이라 독립이다.

같은 사람의 두 측정은 강하게 연결되어 있어 독립이 될 수 없다. 원래 혈압이 높은 사람은 프로그램 뒤에도 상대적으로 높다.

일원 ANOVA다. 시점이 두 개이므로 비교할 집단도 두 개다.

ANOVA는 집단이 셋 이상일 때 쓰는 도구이고, 두 집단에서는 t-검정과 같은 결론을 준다. 게다가 대응 구조를 반영하지 못한다는 문제가 그대로 남는다.

카이제곱 검정이다. 개선과 미개선으로 나누면 범주형 데이터가 된다.

연속형 값을 범주로 뭉개면 얼마나 개선됐는지가 통째로 사라진다. 원자료가 연속이면 연속으로 다루는 쪽이 검정력에서 앞선다.

0.031이다. scipy의 기본값이 곧 표준적인 방법이므로 그것을 따른다.

기본값은 역사적 관행일 뿐 권장 설정이 아니다. equal_var=True는 두 집단의 분산이 같다고 선언하는 것인데, 표준편차가 4.2와 18.7이면 그 선언이 명백히 사실과 어긋난다.

두 값의 중간인 0.06 근처로 보고한다.

p값은 평균을 낼 수 있는 종류의 수가 아니다. 어느 가정 위에서 계산했는지를 정하고 그 하나를 보고해야 한다.

분산이 다르면 t-검정 자체를 쓸 수 없으므로 둘 다 버려야 한다.

Welch 방식이 정확히 이 상황을 위해 만들어졌다. 등분산을 요구하는 것은 고전적 Student 방식뿐이다.

세 집단의 평균이 모두 서로 다르다.

F값이 크다고 모든 쌍이 다른 것은 아니다. 한 집단만 크게 벗어나 있어도 F는 충분히 커진다.

평균이 가장 높은 C가 나머지 둘보다 유의하게 낫다.

결과적으로는 맞는 진술이지만 ANOVA 하나로는 알 수 없다. 순위는 표본 평균이 알려줄 뿐이고 그 차이가 유의한지는 별도의 절차가 판정한다.

세 집단의 분산이 서로 다르다.

ANOVA는 분산을 재료로 쓸 뿐 검정하는 대상은 평균이다. 오히려 등분산은 이 검정이 요구하는 가정 쪽에 속한다.

각 셀의 관측값을 같은 열의 평균으로 바꾼 값이다.

이 표에서는 열 평균과 우연히 값이 같지만 행 합이 서로 다르면 어긋난다. 기대 빈도는 행과 열 정보를 모두 써서 만든다.

전체 합 360을 셀 개수 6으로 나눈 값이다.

그러면 모든 셀이 60이 되어 표의 값과 맞지 않는다. 균등하게 나누는 것은 주변 합의 차이를 무시하는 계산이다.

이론적으로 정해둔 비율에 전체 합을 곱한 값이다.

그 방식은 적합도 검정에서 쓴다. 독립성 검정은 바깥에서 비율을 가져오지 않고 데이터의 주변 합에서 기대 빈도를 만들어낸다.

계산이 잘못됐다. 중앙값이 같으면 이 검정이 유의하게 나올 수 없다.

이 검정이 재는 것이 중앙값이 아니므로 계산에 문제가 없다. 중앙값이 같아도 산포가 다르면 기각될 수 있다.

비모수 검정이라 중앙값이 아니라 평균을 비교한 것이다.

이 검정은 원자료를 순위로 바꿔 다루므로 평균도 비교 대상이 아니다. 순위의 합을 통해 확률적 우위를 재는 구조다.

산포가 다르면 이 검정을 쓸 수 없으므로 t-검정으로 바꿔야 한다.

t-검정은 평균을 비교하므로 여기서는 다른 질문에 답하게 된다. 위치만 보고 싶다면 검정을 바꾸기보다 중앙값 차이의 구간을 부트스트랩으로 직접 만드는 편이 낫다.

Shapiro-Wilk는 표본 50개 이상에서만 유효하다.

이 검정은 오히려 소표본을 위해 설계된 편이고 3개부터 쓸 수 있다. 문제는 적용 가능 여부가 아니라 결과를 읽는 방식이다.

p = 0.687은 0.5를 넘으므로 오히려 정규성이 깨졌다는 증거다.

0.5는 아무 기준도 아니고 방향도 반대다. p가 클수록 정규성과 어긋난 증거가 약하다는 뜻이다.

정규성 검정 결과와 무관하게 t-검정은 언제나 쓸 수 있다.

표본이 크면 중심극한정리 덕에 평균에 대한 검정이 정규성 이탈에 꽤 견디지만, 12개라면 그 보호를 기대하기 어렵다.

복원 추출이 비복원보다 계산이 빠르기 때문이다.

두 방식의 계산 비용은 사실상 같다. 방식을 가르는 것은 속도가 아니라 재표본에 변동이 생기느냐다.

원래 표본보다 큰 재표본을 만들어야 하기 때문이다.

표준 부트스트랩은 원래 표본과 같은 크기 n으로 뽑는다. 크기를 키우면 추정량의 변동이 실제보다 작게 나와 구간이 좁아진다.

복원 추출이 표본 분포를 정규분포로 만들어주기 때문이다.

부트스트랩 분포의 모양은 통계량과 원자료가 정한다. 오히려 정규 근사를 거치지 않고 분포를 직접 근사하는 것이 이 방법의 장점이다.

각 모델이 데이터의 63.2%만 보므로 학습 시간이 그만큼 줄어든다.

재표본의 크기는 여전히 n이고 중복이 섞였을 뿐이라 학습 시간은 줄지 않는다. 고유한 값의 개수가 줄어드는 것과 처리할 행 수가 줄어드는 것은 다른 이야기다.

36.8%를 일부러 버려 과적합을 막는 효과가 있다.

버려지는 데이터가 모델마다 다르고 전체를 놓고 보면 모든 관측이 여러 모델에 쓰인다. 배깅이 과적합을 줄이는 것은 데이터를 버려서가 아니라 여러 모델의 예측을 평균 내기 때문이다.

63.2%가 넘으면 모델끼리 상관이 커지므로 이 값이 상한 역할을 한다.

63.2%는 복원 추출에서 자동으로 따라 나오는 수학적 결과이지 조절할 수 있는 설정값이 아니다. 모델 간 상관을 낮추는 장치는 따로 있고, 랜덤 포레스트의 특성 무작위 선택이 그것이다.

원자료 분포가 비대칭이기 때문이다.

표가 이 설명을 반박한다. 대칭인 정규 표본의 중앙값에서도 86.2%로 떨어지고, 왜도가 가장 큰 로그정규 평균에서는 두 방법의 차이가 2.5%p뿐이다.

중앙값은 이론적 표준오차 공식이 없어 피벗을 만들 수 없다.

부트스트랩은 이론 공식 없이도 피벗 구조를 흉내 낼 수 있고 그래서 중앙값에도 적용된다. 문제는 만들 수 있느냐가 아니라 만든 뒤 중심이 맞느냐다.

재표본 횟수가 부족해 분위수 추정이 불안정하기 때문이다.

재표본이 부족하면 두 방법이 함께 흔들려야 하는데 백분위는 94%를 유지한다. 한쪽만 무너지는 것은 계산 정밀도가 아니라 구조의 문제다.

최댓값은 확률변수가 아니라 관측된 상수이므로 분포를 논할 수 없다.

표본이 달라지면 최댓값도 달라지므로 어엿한 확률변수이고 표집 분포도 존재한다. 부트스트랩이 그 분포를 흉내 내지 못하는 것이 문제다.

재표본을 10만 번으로 늘려도 부족해서 생긴 정밀도 문제다.

재표본을 100만 번 돌려도 같은 계단 모양이 나온다. 횟수가 아니라 원본에 최댓값이 하나뿐이라는 구조가 원인이다.

최댓값은 정규분포를 따르지 않아 신뢰구간을 만들 수 없다.

부트스트랩은 정규성을 요구하지 않는 방법이라 이 이유는 성립하지 않는다. 극값에는 극값 이론이라는 별도의 분포족이 마련되어 있다.

데이터의 중심을 0으로 맞추는 표준적인 전처리 절차다.

중심을 0이 아니라 1.5로 옮기고 있으므로 표준화와는 다른 작업이다. 옮기는 목표값이 귀무가설에서 온다는 점이 이 조작의 성격을 말해준다.

이동하지 않으면 재표본에 음수가 섞여 중앙값 계산이 깨지기 때문이다.

중앙값은 음수가 있어도 문제없이 계산된다. 오히려 이 이동은 값을 위로 옮기는 방향이라 음수를 만들 일이 없다.

이동은 선택 사항이고 최종 p값에는 영향을 주지 않는다.

이동을 빼면 귀무분포의 중심이 관측값과 겹쳐 통계량이 0 근처에 몰린다. 그러면 p값이 늘 크게 나와 어떤 귀무가설도 기각하지 못한다.

표본 200개는 분위수 추정에 부족하므로 두 방법 모두 믿을 수 없다.

200개면 90분위수 근처에 20개가량이 놓여 추정이 불가능한 수준은 아니다. 두 방법이 갈리는 것은 데이터가 모자라서가 아니라 정규 근사가 이 통계량에 잘 맞지 않아서다.

BCa는 평균에는 적용할 수 없고 분위수에만 쓰는 방법이다.

BCa는 통계량을 가리지 않는다. 평균에 적용해도 정상적으로 작동하며, 다만 정규 근사가 이미 잘 듣는 자리라 얻는 것이 적을 뿐이다.

두 방법의 결과가 갈리면 이론에 근거한 t 구간을 택하는 것이 원칙이다.

t 구간의 이론은 정규성 또는 중심극한정리를 전제한다. 그 전제가 성립하지 않는 통계량에서는 근거 자체가 사라지므로 자동으로 우선하지 않는다.

신용구간이 신뢰구간보다 넓게 계산되어 더 안전하기 때문이다.

넓이는 사전분포와 데이터가 정하는 것이라 신용구간이 더 좁게 나오는 경우도 흔하다. 해석의 근거는 폭이 아니라 모수를 무엇으로 보느냐에 있다.

MCMC 샘플에서 직접 세어 만든 구간이기 때문이다.

켤레 관계가 있으면 MCMC 없이 해석적으로 구해도 같은 해석이 성립한다. 계산 방법이 아니라 모수를 확률변수로 두었다는 전제가 근거다.

사전분포를 균일로 두면 두 구간이 같은 값이 되기 때문이다.

수치가 같아지는 경우가 있어도 해석이 같아지지는 않는다. 같은 숫자를 놓고도 한쪽은 절차의 성공률을, 다른 쪽은 모수의 확률을 말한다.

MLE는 사후 평균이고 MAP는 사후 최빈값이라 같은 사후분포의 두 요약이다.

MLE는 사후분포에서 나온 값이 아니라 우도만 최대화한 값이다. 사후 평균과 사후 최빈값은 둘 다 베이지안 쪽 요약이고 MLE와는 다른 계보에 있다.

MAP는 표본이 커지면 MLE로 수렴하므로 두 값은 언제나 같다.

수렴한다는 것과 언제나 같다는 것은 다르다. 표본이 작으면 사전분포의 영향으로 두 값이 눈에 띄게 벌어지고, 그 벌어짐이 규제 효과의 실체다.

MLE는 빈도주의, MAP는 베이지안 방법이라 수학적으로 이어지지 않는다.

철학은 다르지만 식은 이어져 있다. MAP의 목적함수에서 사전분포 항을 상수로 만들면 그대로 MLE의 목적함수가 된다.

문제다. 사전분포 Beta(2, 2)가 너무 약해 추정이 데이터에 끌려갔다.

사전분포를 세게 잡으면 이 표본에서는 참값에 가까워지겠지만, 표본이 반대로 치우친 경우에는 오히려 멀어진다. 결과를 알고 나서 사전분포를 조정하는 것은 추론이 아니다.

문제다. 켤레 관계를 잘못 적용해 하이퍼파라미터 갱신이 어긋났다.

Beta(2, 2)에 성공 37과 실패 13을 더하면 정확히 Beta(39, 15)다. 갱신은 규칙대로 이뤄졌다.

문제가 아니다. 신용구간이 참값을 포함하므로 사후평균도 참값과 같다고 봐야 한다.

구간이 참값을 담는 것과 점추정이 참값과 일치하는 것은 별개다. 사후평균은 0.722이고 참값은 0.65로 명백히 다른 수다.

P(X)가 대개 1에 가까워 무시해도 되기 때문이다.

P(X)는 데이터와 모델에 따라 아주 작은 값이 되기도 한다. 크기와 무관하게 계산에서 사라지는 것이 요점이다.

제안 분포를 대칭으로 잡으면 P(X)가 식에서 빠지기 때문이다.

대칭 제안 분포가 지워주는 것은 제안 분포의 비대칭 보정항이다. P(X)는 제안 분포와 무관하게 비를 취하는 순간 사라진다.

샘플이 충분히 많아지면 정규화가 자동으로 이뤄지기 때문이다.

샘플 개수는 분포의 근사 정밀도를 높일 뿐 정규화 상수를 만들어내지 않는다. 상수를 몰라도 되는 것은 알고리즘의 구조 덕분이다.

사전분포가 정보를 더하므로 구간이 좁아지는 것이 설명의 전부다.

사전분포가 폭을 줄이는 방향으로 작용하는 것은 맞지만 비교 대상 쪽에도 사정이 있다. 한쪽 요인만 보면 사전분포의 영향을 실제보다 크게 잡게 된다.

신용구간은 등꼬리 방식이라 구조적으로 언제나 더 좁게 나온다.

등꼬리는 오히려 HPD보다 넓거나 같은 구간을 준다. 방식이 폭의 우열을 자동으로 정하지 않는다.

표본 30개는 두 방법을 견주기에 부족하므로 비교 자체가 성립하지 않는다.

표본이 작을수록 두 방법의 차이가 드러나므로 오히려 비교할 만한 상황이다. 문제는 비교 가능성이 아니라 차이의 원인을 하나로 돌린 데 있다.

샘플이 10만 개이므로 R-hat이 다소 커도 큰 수의 법칙으로 상쇄된다.

큰 수의 법칙은 표본이 목표 분포에서 나왔을 때 작동한다. 체인이 수렴하지 않았다면 뽑힌 값들이 애초에 사후분포에서 온 것이 아니라 개수가 늘어도 소용이 없다.

유효 표본 크기 47이면 t 검정을 쓸 만한 크기이므로 그대로 보고해도 된다.

47이라는 숫자는 자기상관 때문에 실질적으로 독립인 샘플이 그만큼뿐이라는 경고다. 명목상 10만 개를 뽑고 47개를 얻은 상태에서 사후 분위수는 매우 불안정하다.

R-hat이 1보다 크면 과도하게 수렴했다는 뜻이므로 샘플 수를 줄여야 한다.

R-hat은 체인 사이 분산과 체인 안 분산의 비라 수렴하면 1에 가까워지고 어긋날수록 커진다. 1보다 크다는 것은 덜 수렴했다는 뜻이지 과하다는 뜻이 아니다.

평균 9,320만원이다. 모든 값을 반영하므로 정보 손실이 없다.

모든 값을 반영한다는 것이 곧 이상치에 무방비하다는 뜻이기도 하다. 9,320만원은 열 명 중 아무도 받지 않는 액수라 대표값 구실을 못 한다.

둘의 중간인 6,710만원으로 절충해 보고한다.

두 지표는 서로 다른 질문에 답하는 값이라 평균을 내면 어느 질문에도 답하지 못한다. 절충이 아니라 무엇을 묻는지를 정하는 것이 순서다.

최빈값이다. 가장 자주 나오는 값이 곧 대표값의 정의다.

이 데이터는 값이 모두 달라 최빈값을 정할 수 없다. 연속형에 가까운 데이터에서 최빈값이 잘 쓰이지 않는 이유가 이것이다.

중심 봉우리가 뾰족해져 값들이 3σ 안쪽에 더 몰린다.

첨도를 뾰족함으로 설명하는 관행이 널리 퍼져 있지만 정확하지 않다. 첨도가 재는 것은 봉우리가 아니라 꼬리이고, 방향도 반대다.

표준편차 1.2%가 과소추정되어 임계값이 낮게 잡혔다.

표준편차를 올려 잡으면 임계값이 함께 올라가 초과가 줄어드는 방향이다. 문제는 σ의 크기가 아니라 σ를 기준으로 확률을 읽는 정규분포 가정 자체에 있다.

첨도는 왜도와 함께 봐야 의미가 있으므로 이 값만으로는 판단할 수 없다.

왜도는 비대칭을, 첨도는 꼬리 두께를 재는 별개의 지표다. 좌우 대칭인 분포여도 첨도가 크면 양쪽 꼬리가 함께 두꺼워진다.

데이터에 음수가 섞여 있다.

최솟값이 0.00이므로 음수는 없다. 오히려 0에서 막혀 있다는 사실이 다음 결론을 강제한다.

계산이 잘못됐다. 표준편차는 평균을 넘을 수 없다.

그런 제약은 없다. 값이 모두 양수여도 위쪽으로 크게 벌어진 관측이 있으면 표준편차가 평균을 얼마든지 넘어선다.

분포가 좌우 대칭이면서 매우 넓게 퍼져 있다.

대칭이라면 평균에서 표준편차만큼 아래로 간 지점이 음수가 되어야 하는데 운임은 0 미만이 될 수 없다. 대칭 가정이 데이터의 하한과 충돌한다.

열이 늘어 학습 시간이 길어진다는 점 외에는 문제가 없다.

alive는 예측하려는 값 그 자체를 다른 표기로 담고 있다. 시간 문제가 아니라 결과를 통째로 무의미하게 만드는 문제다.

문자열 열은 인코딩만 거치면 되므로 중복 자체는 문제가 되지 않는다.

인코딩은 형식을 바꿀 뿐 정보가 겹친다는 사실을 없애지 못한다. 오히려 인코딩 뒤에는 원래 열의 복제라는 것이 눈에 덜 띈다.

중복 열은 상관계수가 1이라 상관 히트맵에서 자동으로 걸러진다.

문자열 열은 수치 상관 계산에 아예 들어가지 않으므로 히트맵에 나타나지도 않는다. 자동으로 걸러진다는 기대 자체가 위험하다.

0.82는 강한 상관이므로 두 피처 중 하나를 중복으로 보고 제거해야 한다.

그 판단의 근거가 되는 상관이 관측 하나에서 나왔다. 그 점을 빼면 상관이 사라질 수 있으므로 제거 결정의 근거가 무너진다.

표본이 열한 개로 작아 상관계수를 계산할 수 없다.

열한 개로도 계산은 된다. 문제는 계산 가능성이 아니라 그 값이 관측 하나에 좌우된다는 데 있다.

떨어진 점이 있으면 상관계수가 오히려 작아지므로 실제 상관은 0.82보다 강하다.

방향은 그 점이 어디에 놓였느냐가 정한다. 여기서는 직선의 연장선 위에 있어 상관을 키우는 쪽으로 작용했다.

1.5×IQR 규칙 바깥에 있으므로 셋 다 제거하는 것이 표준 절차다.

그 규칙은 살펴볼 후보를 뽑아주는 장치이지 판정을 대신하지 않는다. 셋을 뭉뚱그려 지우면 봇 트래픽이라는 발견과 열성 사용자라는 정보가 함께 사라진다.

셋 다 남겨야 한다. 이상치를 지우는 것은 정보 손실이므로 언제나 피한다.

음수 페이지뷰는 정보가 아니라 오류다. 남겨두면 평균과 분산이 오염되고 그 위에 올라간 모든 계산이 어긋난다.

(1)과 (2)는 남기고 (3)만 제거한다. 건수가 많을수록 왜곡이 크기 때문이다.

건수는 판단 기준이 아니다. 300건이 자연스러운 사용자 행동이라면 그것이 오히려 지켜야 할 데이터이고, 12건의 음수는 적어도 여전히 오류다.

둘 다 √n에 반비례해 줄어든다.

√n에 반비례하는 것은 표준오차뿐이다. 편향은 추출 방식에서 오므로 같은 방식으로 표본을 늘리면 그대로 따라 늘어난다.

편향은 줄지만 표준오차는 그대로다.

방향이 정확히 반대다. 표본을 늘릴수록 표본 평균의 흔들림은 줄어들고 치우침은 남는다.

표본이 모집단의 절반을 넘으면 둘 다 0이 된다.

표본 비중이 커지면 유한 모집단 보정으로 표준오차가 추가로 줄어드는 것은 맞지만 0이 되지는 않는다. 편향은 비중과 아무 관계가 없다.

우편 설문이라 응답까지 시차가 길어 그 사이 여론이 뒤집혔다.

여론이 뒤집혔다면 갤럽의 예측도 함께 어긋났어야 한다. 같은 시기에 같은 선거를 대상으로 한 두 조사가 갈렸으므로 원인은 시점이 아니라 방법에 있다.

240만도 미국 유권자 수에 비하면 여전히 작은 표본이었다.

5만 명으로 맞힌 조사가 있었으므로 크기가 부족했다는 설명은 성립하지 않는다. 표본 비중은 표준오차에 거의 영향을 주지 않는다.

회신율 24%가 낮아 표준오차가 커졌다.

240만 통이 회신됐으므로 표준오차는 극히 작았다. 낮은 회신율이 문제가 되는 것은 개수가 줄어서가 아니라 응답한 사람과 응답하지 않은 사람이 다르기 때문이다.

표준오차가 같으므로 두 추정의 품질도 같다고 봐야 한다.

품질은 정밀도와 정확도를 함께 봐야 한다. 편향 1,616은 표준오차 160의 열 배라 이 추정은 참값 근처에 얼씬도 하지 않는다.

편향된 추출이 표준오차가 조금 더 작으므로 그쪽이 나은 방법이다.

상위 절반만 뽑으면 값의 범위가 좁아져 표준오차가 살짝 줄어든다. 흩어짐이 작아진 것을 추정이 좋아진 것으로 읽으면 정확히 반대의 결론에 도달한다.

시뮬레이션 반복이 1,000번으로 부족해 차이가 드러나지 않았다.

반복을 늘려도 두 표준오차는 계속 비슷하게 나온다. 이것은 오차가 아니라 표준오차가 편향을 담지 못한다는 성질이 그대로 드러난 결과다.

표본 5,000명은 통계적으로 충분하므로 판단 자체에는 문제가 없다.

크기가 문제가 아니라 누가 표본에 들어 있느냐가 문제다. 5만 명에게 물어도 같은 집단에서 뽑는 한 결과는 달라지지 않는다.

설문에는 응답 편향이 있으므로 로그 데이터만 보고 판단해야 한다.

설문을 로그로 바꿔도 활성 사용자만 남아 있다는 사실은 그대로다. 문제는 측정 방식이 아니라 누구를 측정하고 있느냐다.

불만이 낮게 나온 항목은 우선순위가 낮은 것이 맞으므로 결론은 옳다.

여기서는 낮게 나온 것 자체가 신호일 수 있다. 그 기능 때문에 떠난 사람이 응답자에서 빠져 있으면 불만이 과소 집계된다.

질환 A가 질환 B를 막는 보호 효과가 있다는 증거다.

일반 인구에서 두 질환이 무관하다는 것이 이미 주어져 있다. 보호 효과가 있었다면 인구 전체에서도 음의 상관이 나타났어야 한다.

입원 환자 수가 적어 우연히 나타난 상관이다.

표본을 늘려도 이 상관은 사라지지 않고 오히려 더 뚜렷해진다. 우연이 아니라 선택 기준이 만들어낸 구조적 결과이기 때문이다.

두 질환의 진단 기준이 겹쳐 한쪽을 진단하면 다른 쪽을 배제하기 때문이다.

진단 기준이 겹치는 경우에도 비슷한 현상이 생길 수 있지만 여기서는 그런 조건이 주어지지 않았다. 두 질환이 독립적으로 입원 확률을 올린다는 사실만으로 이미 설명된다.

각 개인이 뽑힐 확률을 같게 만들어 편향을 없앤다.

단순 무작위 추출에서도 각 개인의 확률은 이미 같다. 비례 배분 층화도 그 확률을 그대로 유지하므로 이 점에서는 두 방법이 다르지 않다.

관리직 표본을 늘려 소수 집단의 추정 정밀도를 높이는 것이 유일한 목적이다.

그것은 비례를 깨고 배분할 때 얻는 효과이고, 대신 전체 추정에서 가중치를 되돌려야 한다. 비례대로 뽑아도 전체 분산이 줄어드는 이득이 따로 있다.

층 사이의 차이가 클수록 층화의 이득이 줄어든다.

방향이 반대다. 층 사이 차이가 크고 층 안이 비슷할 때 이득이 가장 크고, 층 사이에 차이가 없으면 단순 무작위와 같아진다.

표본 크기가 훨씬 커서 통계적 검정력이 높다.

전후 비교도 오래 돌리면 표본이 커진다. 크기를 아무리 키워도 무엇이 원인인지 가려낼 수 없다는 문제는 그대로 남는다.

가설검정 대신 신뢰구간으로 결론을 내리기 때문이다.

두 방법 모두 신뢰구간과 검정을 쓸 수 있다. 분석 도구가 아니라 데이터를 만드는 방식이 다르다.

두 그룹을 동시에 측정하므로 계절 효과가 사라진다.

동시에 측정하는 것도 이점이지만 그것만으로는 부족하다. 같은 기간에 두 그룹을 봐도 그룹 구성이 다르면 차이가 무엇에서 왔는지 알 수 없고, 그 구성을 맞춰주는 것이 무작위 배정이다.

확보 가능한 트래픽이다. 트래픽에 맞춰 MDE를 역산하는 것이 순서다.

실무에서 흔히 벌어지는 일이지만 순서가 뒤집혀 있다. 트래픽에 맞춰 MDE를 키우면 그보다 작지만 의미 있는 개선을 놓치고도 효과가 없다고 결론짓게 된다.

과거 실험들의 평균 p값이다. 그 수준을 MDE로 옮기면 된다.

p값은 효과의 크기가 아니라 관측이 얼마나 극단적인지를 재는 값이다. 단위부터 달라 MDE로 옮길 수 없다.

유의수준과 검정력이다. 그 둘을 정하면 MDE가 따라 결정된다.

네 값 가운데 셋을 정하면 나머지 하나가 결정되는 관계다. 유의수준과 검정력만으로는 MDE와 표본 크기 둘이 미정으로 남는다.

각 구간을 Wilson 방식으로 계산해서 서로 비교할 수 없다.

계산 방식이 문제가 아니다. 어떤 방식으로 구해도 개별 구간의 겹침은 차이의 유의성과 한 방향으로만 이어진다.

겹침 여부는 유의성과 아무 관계가 없어 어떤 정보도 주지 않는다.

관계가 아예 없는 것은 아니다. 겹치지 않으면 유의하다는 것은 확실히 말할 수 있고, 다만 그 반대 방향이 성립하지 않을 뿐이다.

구간이 겹치지 않으면 오히려 유의하지 않다는 뜻이다.

방향이 반대다. 겹치지 않는다는 것은 두 값이 확실히 다르다는 강한 증거이고, 실제로 여기서도 p는 0.0012다.

Welch 방식을 써서 검정력이 떨어졌다.

Welch가 등분산 방식보다 잃는 검정력은 무시할 만한 수준이다. 두 표준편차가 46과 49로 비슷하므로 어느 쪽을 써도 결과가 거의 같다.

t-검정은 로그정규 데이터에 쓸 수 없다.

표본이 2,000개면 중심극한정리 덕에 평균에 대한 t-검정이 작동한다. 검정이 무효인 것이 아니라 감지할 힘이 모자란 것이다.

5% 차이는 애초에 통계적으로 감지할 수 없는 크기다.

표본을 충분히 늘리면 감지된다. 감지 가능성은 효과 크기 하나가 아니라 효과 크기와 분산과 표본 크기의 관계가 정한다.

중간 시점에는 표본이 적어 검정 자체가 부정확하기 때문이다.

각 시점의 검정은 저마다 정확하고 그 시점의 유의수준도 5%로 지켜진다. 문제는 개별 검정이 아니라 언제 멈출지를 결과를 보고 정한다는 데 있다.

5,000번 시뮬레이션이 부족해 생긴 몬테카를로 오차다.

5,000번이면 비율 추정의 표준오차가 0.5%p 수준이다. 4.4%와 12.4%의 간격은 그 오차로 설명되지 않는다.

유의해지면 즉시 종료하므로 마지막 날 데이터가 빠졌기 때문이다.

데이터가 빠진 것이 손실이라면 검정력이 떨어져야 하는데 실제로는 거짓 양성이 늘었다. 방향이 반대이므로 다른 설명이 필요하다.

최종 분석은 전체 데이터를 쓰므로 1.96을 그대로 쓰는 것이 맞다.

데이터가 전부 모였다는 것과 그동안 몇 번 판정 기회를 썼는지는 다른 문제다. 앞선 세 번에서 이미 기각할 기회가 있었으므로 그만큼을 최종 경계에서 갚아야 한다.

1차 경계가 4.049로 매우 엄격했으므로 최종에서 완화해도 균형이 맞는다.

표의 경계들이 이미 그 균형을 계산해 나온 값이다. 초기를 엄격하게 잡은 덕분에 최종이 2.024까지 내려온 것이지 1.96까지 내려오지는 않는다.

순차 검정은 최종 임계값을 오히려 1.96보다 낮춰준다.

표의 마지막 줄이 2.024로 1.96보다 높다. 중간 확인의 대가는 어디선가 치러야 하고 그 자리가 최종 경계다.

본페로니는 1종 오류를, 벤야미니-호흐베르크는 2종 오류를 제어한다.

둘 다 거짓 양성 쪽을 다루는 방법이다. 다만 그 거짓 양성을 개수로 보느냐 비율로 보느냐가 다르고, 2종 오류는 어느 쪽도 직접 제어하지 않는다.

둘 다 같은 대상을 제어하고 계산 방식만 다르다.

제어 대상이 다르기 때문에 결과도 갈린다. 같은 데이터에서 본페로니가 셋을 잡을 때 BH가 넷을 잡는 것이 그 차이의 실질적 모습이다.

본페로니는 검정 횟수를, BH는 표본 크기를 조정한다.

둘 다 표본 크기를 건드리지 않는다. 조정하는 것은 각 검정의 판정 문턱이고, 데이터를 다시 모으는 일과는 무관하다.

여성 지원자 수가 남성의 절반이라 표본이 작아 생긴 우연이다.

1,101명이면 합격률 추정이 흔들릴 크기가 아니다. 게다가 역전은 우연이 아니라 지원 분포가 만들어낸 구조적 결과라 표본을 늘려도 그대로 남는다.

합격률을 학과별로 나눈 계산 자체에 오류가 있다.

각 칸의 비율은 모두 정확하고 소계도 맞다. 두 층위의 결론이 다른 것은 계산 오류가 아니라 심슨의 역설이라 부르는 현상 그 자체다.

학과 C에서 남성 합격률이 높아 그 학과 하나가 전체를 뒤집었다.

C의 격차는 2.8%p로 미미하다. 전체를 뒤집은 것은 어느 한 학과의 격차가 아니라 각 학과에 얼마나 지원했는가라는 가중치다.

상위 50%만 남기면 분산이 줄어 검정력이 올라간 정당한 결과다.

정당한 검정력 향상이라면 진짜 차이가 있을 때만 p가 내려가야 한다. 여기서는 차이가 0인데 내려갔으므로 얻은 것은 검정력이 아니라 거짓 양성의 기회다.

난수 시드를 고정해 우연히 극단적인 표본이 뽑혔다.

시드를 바꿔도 같은 절차를 반복하면 비슷한 일이 벌어진다. 특정 표본의 문제가 아니라 여러 번 시도해 최소값을 고르는 절차 자체가 만들어내는 결과다.

표본 200개는 t-검정에 부족해 p값이 불안정하다.

각 그룹 200개면 t-검정에 충분하고 전체 분석의 p = 0.2351도 정직한 값이다. 값이 불안정한 것이 아니라 여러 값 중 가장 작은 것만 골라낸 것이 문제다.

Z를 통제하면 상관이 음수가 되므로 X가 Y를 억제하는 관계다.

-0.220은 표본 50개에서 나오는 잡음 수준이고 p = 0.1242로 유의하지도 않다. 부호를 읽을 값이 아니다.

편상관이 유의하지 않으므로 원래 상관 0.824도 우연이었다.

0.824는 우연이 아니라 실제로 관측되는 관계다. 다만 그 관계가 인과가 아니라 공통 원인을 거쳐 만들어진 것일 뿐이다.

표본 50개로는 편상관을 신뢰할 수 없어 판단을 보류해야 한다.

50개면 0.8 수준의 상관이 사라진 것을 확인하기에 충분하다. 0.824가 -0.220으로 떨어진 것은 표본 크기로 설명될 만한 변화가 아니다.

p = 0.106은 0.05에 가까우므로 사실상 유의하다고 봐야 한다.

가깝다는 이유로 기준을 넘겨주면 유의수준을 정한 의미가 사라진다. 문제는 판정 자체가 아니라 판정 결과를 효과가 없다는 진술로 옮기는 데 있다.

표본이 1,000개면 충분하므로 그 결론이 맞다.

충분한지는 감지하려는 효과 크기가 정한다. 여기서 진짜 차이는 0.02이고 그 크기를 잡아내려면 훨씬 큰 표본이 필요하다는 것이 아래 행들이 보여주는 사실이다.

효과 크기 0.0724가 Cohen 기준의 작은 효과에 못 미치므로 결론이 맞다.

효과가 실질적으로 작다는 것과 효과가 없다는 것은 다른 진술이다. 게다가 0.0724는 표본에서 관측된 값이고 진짜 값은 0.02라 표본 잡음이 섞여 있다.

국가 수가 수십 개뿐이라 상관계수가 불안정하기 때문이다.

국가를 수백 개로 늘려도 같은 문제가 남는다. 표본 크기가 아니라 분석한 단위와 결론을 적용하려는 단위가 어긋난 것이 원인이다.

초콜릿 소비와 노벨상 사이에는 시차가 커서 어떤 결론도 낼 수 없기 때문이다.

시차는 인과를 논할 때 따져볼 요소이지만 여기서 문제 삼는 것은 시간이 아니라 단위다. 시차를 맞춰 다시 계산해도 집단 상관을 개인에 옮길 수는 없다.

상관계수는 인과를 증명하지 못하므로 어떤 수준의 결론도 낼 수 없기 때문이다.

인과가 아니어도 집단 수준의 연관 자체는 정당한 관찰이고 가설의 출발점이 된다. 금지되는 것은 그 관찰을 다른 단위로 옮기는 일이다.