Series / Airflow

Airflow 시리즈

데이터 파이프라인 운영에서 쌓은 Airflow 실전 경험. 5편을 읽는 순서대로 정리했습니다.

Airflow DAG Hash가 계속 바뀌는 문제: Variable.get()의 함정

Airflow DAG Hash가 30초마다 바뀌면서 Task가 실패하는 원인과, Variable.get()을 Task 실행 시점으로 옮겨 해결하는 방법을 정리합니다.

Airflow Dynamic Task Mapping으로 대량 Task를 병렬 처리할 때, 동시 실행을 제한하는 세 가지 전략과 실전 패턴을 비교합니다.

Airflow "No host supplied" 에러의 원인을 hostname에서 찾았지만, 실제 원인은 Scheduler 메모리 부족이었던 디버깅 과정을 정리합니다.

Airflow 메타데이터 DB 정리의 모든 것. db clean 명령어 해부, 실행 로그 해석법, archive 테이블 함정, 용량 모니터링과 VACUUM까지 운영에 필요한 내용을 정리합니다.

Airflow에서 SQL Server 2008 R2에 연결하면서 만난 에러 5개와 해결 과정을 정리합니다. pymssql이 막힌 지점이 TDS 버전이 아니라 TLS 핸드셰이크였던 이유부터 pyodbc Custom Hook 구현, 실전 동기화 파이프라인까지 다룹니다.