insert into 방식은 퍼포먼스가 좋지않음 레코드가 적을 경우 선호 2step mysql?
copy 방식은 레코드가 많을 경우 (s3버킷 필요) 3step?
보안 설정 필요 IAM
클라우드 지식 필요
S3버킷 시스템 권한설정
1. AIRFOLW DAG 에서 S3접근 파일 쓰기 (쓰기권한)
- IAM User를 만들고 S3 버킷에 대한 읽기/쓰기 권한 설정하고 access key와 secret key를 사용
2. redshift가 S3 접근 파일 읽기 (읽기권한)
- Redshift에 S3를 접근할 수 있는 역할(Role)을 만들고 이를 Redshift에 지정
+ mysql 과 연결
'데브코스 데이터엔지니어링' 카테고리의 다른 글
| [웹크롤링] 정적 웹 크롤링 requests 라이브러리 (1) | 2024.12.26 |
|---|---|
| [Spark] Apache Spark 파티션과 병렬처리 구조(셔플링) (1) | 2024.12.26 |
| [til] 숙제 apple updatesymbol_v2 incremental update 방식바꾸기 (2) | 2024.12.26 |
| Schedule cron tab 표현식 airflow (0) | 2024.12.26 |
| [TIL] incremental update 하면서 PK 유일성 보장하는 방법 (0) | 2024.12.26 |