관리자도구 태그 확인 가능
콘텐츠 기반으로 스크래핑 하는 경우, 특정 태그를 해킹해서 스크래핑 하는 건 가장 간단하고 직관적인 방법이지만 대상이 되는 웹페이지가 항상 같은 구조가 아닐 수도 있어서 좋다고 볼 수 는 없음.
HTML 요청을 위한 requests 라이브러리, HTML Parsing을 위한 BeautifulSoup 라이브러리를 이용할 예정입니다.
객체를 통해 python에서 할 수 있는 건 1. method를 호출 2. attribute 속성을 참조
'데브코스 데이터엔지니어링' 카테고리의 다른 글
[Airflow] Apache 에어플로우 아키텍처 (1) | 2024.12.27 |
---|---|
[프로젝트] OpenSky REST API 호출하여 항공 데이터 수집 (0) | 2024.12.26 |
[웹크롤링] BeautifulSoup로 페이지네이션(pagination) 구현 (1) | 2024.12.26 |
[웹크롤링] HTML의 Locator로 웹스크래핑(Web Scraping) (2) | 2024.12.26 |
[웹크롤링] 정적 웹크롤링 BeautifulSoup (0) | 2024.12.26 |