[Airflow] Mac에서 도커로 Airflow 설치하기

도커 세팅

✅ 맥북 기준 최소 4GB (이상적으로는 8GB) 메모리 Docker 할당

* 도커 세팅 및 메모리 설정 변경 관련 아래 문서 참고 

[Docker] Mac OS 맥에서 Docker Desktop 설치 & 도커 컨테이너 생성

✅  도커 버전 최소 v2.29.1 이상

% docker compose version 명령으로 확인 가능

 

 

도커 기반 Aiflow 설치 과정

Mac에서 도커로 Aiflow를 설치하는 과정입니다.

 

1. docker-compose.yaml 다운로드

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.10.4/docker-compose.yaml'

 

 

airflow 도커 이미지를 다운로드 받기 위한 docker-compose.yaml 실행

참고로, yaml(yml)은 환경설정 파일 포맷

2. docker compose up airflow-init

데이터베이스를 초기화 하는 과정

 

⚠️ AIRFLOW_UID 관련 에러 발생시 아래 문서 참고

[ETL] The "AIRFLOW_UID" variable is not set. Defaulting to a blank string. 에러 해결

3. docker compose up -d

컨테이너 띄우기

 

4. docker ps 명령으로 도커 프로세스 실행 확인

도커 데스크탑에서도 확인 가능

5. airflow webserver 접속

브라우저에서 http://localhost:8080/ 접속 or 도커 데스크탑 웹서버 링크 열기

아래와 같이 로그인 페이지가 나오면 성공한 것!

초기 계정 아이디: airflow, password: airflow로 로그인 가능할 수 있습니다. 

 

6. airflow 컨테이너로 로그인

docker ps 명령어를 실행하고 Container ID를 바탕으로

docker exec -it [컨테이너 ID] sh 

 

쉘모드로 접속하고 airflow 명령어를 실행 할 수 있다.

 

 

🔜 이어지는 다음 글 보기 [ETL] 도커 Airflow에서 태스크 실행 - DAG 코드 기본 구조

[ETL] 도커 Aiflow에서 태스크 실행-DAG 코드 기본 구조

 

 

참고

Running Airflow in Docker — Airflow Documentation