How do I live?

1. 스크래핑 기법일반적으로 스크래핑 기법은 정적 스크래핑과 동적 스크래핑의 두 가지 방법으로 얘기하곤 합니다. 하지만 이 두 가지 방식이 혼합된 하이브리드 방식이 훨씬 효율적일 수 있습니다. 일반적으로 사용되는 스크래핑 기법들에 대한 간단한 소개와 하이브리드 방식에 대해 자세히 기술해 보겠습니다.1) 정적 수집 (Static Scraping)대표 도구 : requests + BeautifulSoup, lxml작동 원리 : 서버에 HTTP 요청을 보내 HTML 코드를 텍스트로 받아온 후, 태그를 분석하여 데이터를 추출합니다.적합한 대상 :SSR (Server-Side Rendering) 사이트 : 서버가 이미 데이터가 채워진 완성된 HTML을 보내주는 경우 (예: 위키백과, 전통적인 게시판)로그인이나 복..

VScode와 구글 스프레드 시트 연동하기-11. 개요재고 관리 DB는 Google Spread sheet를 통해 관리하고 있다.Google Spread sheet의 DB 파일을 내려받아 VScode 에서 DB 파일의 제품별 URL을 찾아가서 필요한 데이터를 Scraping 하는 방식arc-viewpoint.tistory.com4. python code 설정지금까지 해왔던 내용을 다시 정리하면 아래와 같다.1. Google Cloud Console(`https://console.cloud.google.com/`)에서 프로젝트를 생성2. API 및 서비스 대쉬보드에서 **Google Sheets API**를 검색하고 활성화3. **IAM & Admin** > **Service Accounts**에서 새 서..

1. 개요재고 관리 DB는 Google Spread sheet를 통해 관리하고 있다.Google Spread sheet의 DB 파일을 내려받아 VScode 에서 DB 파일의 제품별 URL을 찾아가서 필요한 데이터를 Scraping 하는 방식이다. 결과물은 CSV 파일로 저장이 되는데 다시 이걸 Google Spread sheet에 올리는 방식이다.작업 흐름을 보면 아래와 같다.1. Google Spread sheet의 DB 파일 내려받기 2. VScode Scraping3. CSV Output4. Google Spread sheet에 uploadVScode와 Google Spread sheet를 연동하는 목적은 1,2,4 번 과정을 바로 VScode에서 실행하기 위함이다. 작업 순서- Google ..

이전 발행글2023.05.23 - [Python/Scraping] - [Python selenium] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 111 [Python selenium] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created:ChromeDriver는 Python selenium 사용시 필수 프로그램인데, 이 오류는 Chrom..