How do I live?

1. 스크래핑 기법일반적으로 스크래핑 기법은 정적 스크래핑과 동적 스크래핑의 두 가지 방법으로 얘기하곤 합니다. 하지만 이 두 가지 방식이 혼합된 하이브리드 방식이 훨씬 효율적일 수 있습니다. 일반적으로 사용되는 스크래핑 기법들에 대한 간단한 소개와 하이브리드 방식에 대해 자세히 기술해 보겠습니다.1) 정적 수집 (Static Scraping)대표 도구 : requests + BeautifulSoup, lxml작동 원리 : 서버에 HTTP 요청을 보내 HTML 코드를 텍스트로 받아온 후, 태그를 분석하여 데이터를 추출합니다.적합한 대상 :SSR (Server-Side Rendering) 사이트 : 서버가 이미 데이터가 채워진 완성된 HTML을 보내주는 경우 (예: 위키백과, 전통적인 게시판)로그인이나 복..

이전 발행글2023.05.23 - [Python/Scraping] - [Python selenium] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 111 [Python selenium] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created:ChromeDriver는 Python selenium 사용시 필수 프로그램인데, 이 오류는 Chrom..

스마트스토어의 상품의 재고관리를 파이썬 스크래핑를 통해 관리 하고 있는데 가끔씩 스크래핑 Data 값이 의심될때가 있다. 품절된 또는 재입고된 상품의 개수가 이전값보다 확연히 늘어났기 때문이다. 우선적으로 직접 웹페이지의 데이터를 확인하고 오류 여부를 확인한다. 문제가 있다고 판단되면 두가지 정도의 원인을 생각해 볼수 있는데 첫번째는 크롬드라이버의 버전오류, 두번째는 웹사이트 변경이다. 웹사이트의 변경의 경우 코드를 리뷰해 봐야한다. 우리는 데이터의 위치를 컴퓨터에게 알려주고 데이터를 가져오도록 하는데 위치가 변경된 경우 위치를 재지정하는 등 코드를 수정해야한다. 물론 다른 변경이슈도 있을 수 있다. 하지만 웹사이트를 변경하는 것은 회사입장에서 큰 비용, 시간 등이 필요하기 때문에 자주 일어나는 일이 아..

2023.05.23 - [Productivity/tips] - [Python selenuim] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 111 [Python selenuim] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created: ChromeDriver는 Python selenuim 사용시 필수 프로그램인데, 이 오류는 ChromeDr..