Airflow에서 하나의 DAG는 다수의 ()로 구성된다?
task or operate
DISTINCT 방식의 중복처리는 PK UNIKENESS 보장이 어려움
PRIMARY키를 고려하지 않은 채로 중복 제거하기 때문에
컬럼 값이 하나라도 다른 경우에는 중복이 제거되지 않음
'데브코스 데이터엔지니어링' 카테고리의 다른 글
| [Spark] Apache Spark 파티션과 병렬처리 구조(셔플링) (1) | 2024.12.26 |
|---|---|
| mysql 프로덕션DB= OLTP ->redshift DW= OLAP 로 복사하기 (0) | 2024.12.26 |
| Schedule cron tab 표현식 airflow (0) | 2024.12.26 |
| [TIL] incremental update 하면서 PK 유일성 보장하는 방법 (0) | 2024.12.26 |
| [TIL] Open Weather Dag 구현하기 full refresh (1) | 2024.12.26 |