[Airflow] Mac에서 도커로 Airflow 설치하기

도커 세팅✅ 맥북 기준 최소 4GB (이상적으로는 8GB) 메모리 Docker 할당* 도커 세팅 및 메모리 설정 변경 관련 아래 문서 참고  [Docker] Mac OS 맥에서 Docker Desktop 설치 & 도커 컨테이너 생성Docker Desktop vs. Docker Engine- Docker Desktop은 Docker Engine +  여러가지 툴들 UI, 커맨드라인 툴등이 추가된을 포함된 형태- Docker Engine은 컨테이너 분리된 공간으로 실행되기 위한 레이어단 Docekr 시스템ourjune.tistory.com✅  도커 버전 최소 v2.29.1 이상% docker compose version 명령으로 확인 가능  도커 기반 Aiflow 설치 과정Mac에서 도커로 Aiflow를 설..

• format_list_bulleted 데브코스 데이터엔지니어링
• · 2024. 12. 27.

[Airflow] Apache 에어플로우 아키텍처

Airflow 란?파이썬으로 작성된 데이터 파이프라인(ETL) 프레임워크Airbnb에서 시작한 아파치 오픈소스 프로젝트가장 많이 사용되는 데이터 파이프라인 관리/작성 프레임워크데이터 파이프라인 스케쥴링 지원웹 UI 제공데이터 파이프라인 작성을 쉽게 해줌(데이터 소스와 데이터 웨어하우스를 쉽게 통합해주는 모듈 제공-operator)데이터 파이프라인 관리 관련 다양한 기능 제공 특히 BackfillAirflow에서는 데이터 파이프라인을 DAG(Directed Acyclic Graph)라고 부름- 하나의 DAG는 하나 이상의 태스크로 구성Airflow 2.10.4이 2024년 12월에 릴리스(최신 버전)https://airflow.apache.org/docs/apache-airflow/stable/releas..

• format_list_bulleted 데브코스 데이터엔지니어링
• · 2024. 12. 27.