Dependency Injection 제대로 이해하기
의존성 주입(DI)의 개념을 Car와 Engine 예제로 짚어봅니다. 의존성 분리와 의존관계 역전 원칙(DIP), 제어의 역전(IoC)까지, 의존 화살표의 방향이 어떻게 뒤집히는지를 중심으로 정리합니다.
Airflow DAG Hash가 계속 바뀌는 문제: Variable.get()의 함정
Airflow DAG Hash가 30초마다 바뀌면서 Task가 실패하는 원인과, Variable.get()을 Task 실행 시점으로 옮겨 해결하는 방법을 정리합니다.
조건부 확률과 베이즈 정리: 사전 정보를 업데이트하는 방법
조건부 확률의 정의부터 베이즈 정리까지, ML의 핵심 도구인 확률 업데이트 메커니즘을 Monty Hall 시뮬레이션과 의료 검사 예제로 완전 이해하는 가이드.
XGBoost와 LightGBM은 실제로 무엇 이 다른가
XGBoost와 LightGBM은 그래디언트 부스팅의 원리는 그대로 두고 트리를 키우는 방식을 바꾼 구현체다. 기본 그래디언트 부스팅에 XGBoost가 더한 정규화 목적 함수와 2차 도함수, LightGBM의 leaf-wise 성장과 GOSS, EFB까지 셋이 갈라지는 지점을 정리한다.
Prisma가 만든 enum 마이그레이션이 P3006으로 막히는 이유
새 enum 값은 커밋 전까지 같은 트랜잭션에서 쓸 수 없습니다. 이 PostgreSQL 제약이 Prisma의 Shadow DB 재실행과 만나 P3006이 되는 과정을 짚습니다.
Long Context, 1M을 넣어도 다 쓰지 못하는 이유
모델 카드의 1M은 그만큼 넣을 수 있다는 뜻이지 그 길이를 다 쓴다는 뜻이 아닙니다. 먼 곳의 정보가 학습 때는 드물게 등장하고 추론 때는 가중치가 수많은 위치로 흩어져서 생기는 격차를 숫자로 따라갑니다.
LLM
Linear Attention, 곱의 순서를 바꾸면 생기는 일
softmax를 빼고 행렬 곱의 순서를 바꾸면 Linear Attention은 과거 전체를 고정 크기 상태 하나로 압축해 O(n)이 됩니다. 이 압축이 무엇을 잃고, 그래서 왜 하이브리드가 표준이 됐는지 따라갑니다.
LLMSparse Attention, 블록으로 묶으면 달라지는 것
토큰 하나씩 점수를 매기면 인덱서 자체가 O(n²)입니다. 블록으로 묶어 대표값만 비교하면 이 딜레마가 어떻게 풀리는지 따라갑니다.
LLMKV Cache를 10분의 1로 줄인 MLA의 트릭
GQA는 K, V의 벌 수를 줄였고 MLA는 차원 자체를 압축했습니다. 잠재 벡터로 캐시를 10분의 1로 줄이는 메커니즘과 RoPE 흡수 트릭을 짚습니다.
LLMMoE는 전문가를 어떻게 고를까
FFN을 전문가로 나눈 뒤 라우터가 토큰마다 일부만 골라 활성화하는 MoE의 원리를 다룹니다. 게이팅 수식, 전문가 붕괴, 보조 손실 없이 균형 잡는 법, 세분화 전문가까지 핵심 메커니즘을 정리합니다.
LLMFlashAttention은 왜 더 많이 계산하면서 더 빠를까
어텐션의 진짜 병목은 연산이 아니라 데이터 이동입니다. FlashAttention 은 타일링과 online softmax로 점수 행렬을 없애고, 재계산으로 FLOPs를 더 쓰면서도 실행 시간을 줄였습니다.
LLMQwen3.8-Flash-Next 테크 리포트 정리, 무엇이 달라졌나
125B MoE에서 6B만 활성화하면서 397B 플래그십을 넘기는 Qwen3.8-Flash-Next의 28페이지 테크 리포트를 정리합니다. GDN, QSA, Gated Residual, N-gram Embedding과 Muon 옵티마이저의 설계 결정을 분석합니다.
Transformer 블록 뜯어보기
Transformer가 레이어를 100개 쌓아도 학습이 되는 이유를 잔차 연결, 정규화, FFN에서 찾습니다. 잔차가 기울기 고속도로를 열고, RMSNorm이 크기를 다스리고, SwiGLU가 비선형 용량을 더합니다.
LLMPositional Encoding에서 RoPE까지, 어텐션에 순서를 부여하는 법
어텐션의 내적에는 토큰 순서가 없습니다. 위치 벡터를 더하는 Positional Encoding에서 벡터를 돌리는 RoPE까지, 순서를 부여하는 두 방식의 원리와 차이를 숫자로 따라갑니다.
LLMLLM은 왜 가장 확률 높은 토큰을 고르지 않을까
LLM이 내놓는 확률 분포에서 토큰을 고르는 방법을 greedy와 beam search의 실패에서부터 따라갑니다. 최빈값이 반복으로 무너지는 이유, top-p와 temperature가 분포의 어디를 손대는지, 추론 모델이 greedy를 피하는 이유를 정리합니다.
LLM