고성능 스크래핑 전략 - Selenium의 안정성과 Requests의 속도 결합

1. 스크래핑 기법일반적으로 스크래핑 기법은 정적 스크래핑과 동적 스크래핑의 두 가지 방법으로 얘기하곤 합니다. 하지만 이 두 가지 방식이 혼합된 하이브리드 방식이 훨씬 효율적일 수 있습니다. 일반적으로 사용되는 스크래핑 기법들에 대한 간단한 소개와 하이브리드 방식에 대해 자세히 기술해 보겠습니다.1) 정적 수집 (Static Scraping)대표 도구 : requests + BeautifulSoup, lxml작동 원리 : 서버에 HTTP 요청을 보내 HTML 코드를 텍스트로 받아온 후, 태그를 분석하여 데이터를 추출합니다.적합한 대상 :SSR (Server-Side Rendering) 사이트 : 서버가 이미 데이터가 채워진 완성된 HTML을 보내주는 경우 (예: 위키백과, 전통적인 게시판)로그인이나 복..
Coding Study/Scraping 2025. 12. 16. 20:17
1