DAG란?
Airflow에서 ETL을 부르는 명칭으로 Directed Acyclic Graph 의 줄임말
DAG는 태스크로 구성됨
- 만약 3개의 태스크로 구성된다면 Extract, Transform, Load로 구성
- Task 단위로 순서 지정
Task란?
Airflow의 오퍼레이터(Operator)로 만들어짐
Airflow에서 제공하는 다양한 종류의 오퍼레이터를 경우에 맞게 사용하거나 직접 개발
Redshift writing, Postgres query, S3 Read/Write, Hive query, Spark job, shell script 등
🔜 이어지는 다음 글 보기
- [ETL] Airflow 설치하기 (on AWS EC2 ubuntu 서버)
[ETL] Airflow 설치하기 (with AWS EC2 ubuntu 서버)
설치 환경 미리 보기✅ 우분투 24.04 사용 (프리티어 가능한 버전 선택)✅ AWS EC2 t3.small or t3a.small 인스턴스사용 Airflow 2.9.1 설치 과정- Airflow 메타데이터베이스로 로컬 서버에 Postgres 설치 예정- Air
ourjune.tistory.com
- [ETL] Mac에서 도커로 Airflow 설치하기
[ETL] Mac에서 도커로 Airflow 설치하기
도커 세팅✅ 맥북 기준 최소 4GB (이상적으로는 8GB) 메모리 Docker 할당* 도커 세팅 및 메모리 설정 변경 관련 아래 문서 참고 [Docker] Mac OS 맥에서 Docker Desktop 설치 & 도커 컨테이너 생성Docker Desktop
ourjune.tistory.com
'데브코스 데이터엔지니어링' 카테고리의 다른 글
| [ETL] Airflow 설치하기 (on AWS EC2 ubuntu 서버) (0) | 2024.12.27 |
|---|---|
| [AWS] EC2 우분투 ubuntu 인스턴스 생성 (0) | 2024.12.27 |
| [Airflow] Apache 에어플로우 아키텍처 (1) | 2024.12.27 |
| [프로젝트] OpenSky REST API 호출하여 항공 데이터 수집 (0) | 2024.12.26 |
| [웹크롤링] BeautifulSoup 웹스크래핑 attribute 속성 참조 (1) | 2024.12.26 |