[Airflow] The "AIRFLOW_UID" variable is not set. Defaulting to a blank string. 에러 해결

docker compose up airflow-init 실행시 아래와 같은 에러 메시지 발생WARN[0000] THE "AIRFLOW_UID" variable is not set. Defaulting to a blank string.docker-compose.yaml 파일 내에서 환경 변수를 사용하는데, AIRFLOW_UID 변수가 설정되지 않았기 때문에 발생.해결방법mkdir -p ./dags ./logs ./plugins ./config echo -e "AIRFLOW_UID=$(id -u)" > .env 이후 .env 에서 AIRFLOW_UID=501 와 같이 수동으로 Airflow_UID 지정해도 되고 echo -e "AIRFLOW_UID=$(id -u)" > .env 명령어로 시스템상에 현재 UI..

  • format_list_bulleted 데브코스 데이터엔지니어링
  • · 2024. 12. 27.

Superset

Superset이란?Airbnb에서 시작된 오픈소스Airflow를 만든 Maxim이란 사람이 같이 시작한 오픈소스https://github.com/apache/superset오픈소스인데 보안과 권한 제어 기능이 제공됨SQLAlchemy와 연동(다양한 데이터베이스 지원)그 데이터베이스 중 하나가 Druid.io. Druid.io와 연동하여 실시간 데이터 시각화 가능확장성이 좋다 API와 플러그인 아키텍처 제공대시보드 공유가 가능 GitHub - apache/superset: Apache Superset is a Data Visualization and Data Exploration PlatformApache Superset is a Data Visualization and Data Exploration P..

  • format_list_bulleted 데브코스 데이터엔지니어링
  • · 2024. 12. 27.

[docker] docker 프로그램 개발 프로세스

1. 대상 SW 선택개별 프로세스로 돌아가면 각각 도커 이미지로 만들어야함우리는 sw가 하나의 도커이미지로 돌아간다고 가정하고 실습2. Docker Image를 빌드하는 과정을 Dockerization (도커화한다)- sw를 Docker Image로 빌드하는 과정을 기술한 텍스트 파일을 Dockerfile- $ docker build -t tag- dockerfile에는 세가지 컴포넌트가 있음- FROM (기본이 되는 SW가 무엇이냐? ex. python ) , RUN (어떤 SW들을 설치할것이냐 ex. python 모듈, postgre 설치 명령어등) 키워드 사용- ENTRYPOINT or CMD 이 프로그램을 어떻게 실행할 것이냐 (setup 실행명령어, shell스크립트 등)- docker imag..

  • format_list_bulleted 데브코스 데이터엔지니어링
  • · 2024. 12. 27.
[ETL] Airflow 설치하기 (on AWS EC2 ubuntu 서버)

[ETL] Airflow 설치하기 (on AWS EC2 ubuntu 서버)

설치 환경 미리 보기✅ 우분투 24.04 사용 (프리티어 가능한 버전 선택)✅ AWS EC2 t3.small or t3a.small 인스턴스사용 Airflow 2.9.1 설치 과정- Airflow 메타데이터베이스로 로컬 서버에 Postgres 설치 예정- Airflow는 /var/lib/airflow/ 밑에 설치- Airflow 서버에는 총 3개의 어카운트 사용 (보안 이슈를 최소화하기위해 서비스 별로 계정 분리)    - ubuntu: 메인 어카운트    - postgres: postgres 설치시 만들어지는 계정으로 postgres 엑세스를 위한 airflow 계정을 별도로 생성    - airflow: Airflow용 어카운트, Airflow 서비스는 이 계정으로 실행 0. AWS EC2 서버 론치..

  • format_list_bulleted 데브코스 데이터엔지니어링
  • · 2024. 12. 27.
[AWS] EC2 우분투 ubuntu 인스턴스 생성

[AWS] EC2 우분투 ubuntu 인스턴스 생성

설치 환경 미리 보기✅ 우분투 24.04 사용 (프리티어 가능한 버전 선택)✅ AWS EC2 t3.small or t3a.small 인스턴스사용 AWS EC2 우분투 ubuntu 인스턴스 생성 1. AWS 콘솔 로그인2. AWS EC2 서비스 선택 3. EC2 인스턴스 시작4. EC2 인스턴스 Launch 화면키페어 생성시 자동 다운로드 되기 때문에 작업폴더에 저장해두기 SSH 로그인 해서 AWS EC2 서버 접속퍼블릭 IPv4 DNS 복사(호스트)  작업 폴더에 키페어 파일 저장 확인  # ssh 접속ssh -i [키페어이름.pem] ubuntu@[아까 복사한 EC2 호스트명]  ⚠️ 만약 EC2 ssh 접속시 pem 파일에 대해 Permission denied 에러 발생한다면chmod 600 [키페어..

  • format_list_bulleted 데브코스 데이터엔지니어링
  • · 2024. 12. 27.

[Airflow] Airflow DAG란

DAG란?Airflow에서 ETL을 부르는 명칭으로 Directed Acyclic Graph 의 줄임말DAG는 태스크로 구성됨- 만약 3개의 태스크로 구성된다면 Extract, Transform, Load로 구성- Task 단위로 순서 지정 Task란?Airflow의 오퍼레이터(Operator)로 만들어짐Airflow에서 제공하는 다양한 종류의 오퍼레이터를 경우에 맞게 사용하거나 직접 개발 Redshift writing, Postgres query, S3 Read/Write, Hive query, Spark job, shell script 등 🔜 이어지는 다음 글 보기 - [ETL] Airflow 설치하기 (on AWS EC2 ubuntu 서버) [ETL] Airflow 설치하기 (with AWS EC..

  • format_list_bulleted 데브코스 데이터엔지니어링
  • · 2024. 12. 27.