How do I live?

Firecrawl은 웹사이트에서 데이터를 추출하고 이를 AI 모델(특히 대규모 언어 모델, LLM)에 바로 사용할 수 있는 형태로 변환해주는 강력한 웹 스크래핑 도구이다. 간단히 말해, 웹 데이터를 "크롤링"하고 "스크랩"해서 깔끔한 마크다운(Markdown)이나 구조화된 데이터(JSON 등)로 바꿔주는 서비스이다.Firecrawl이란?Firecrawl은 Mendable.ai 팀이 개발한 오픈소스 기반의 API 서비스로, 개발자나 데이터 분석가들이 웹에서 데이터를 쉽게 수집할 수 있도록 설계되었다. 복잡한 설정 없이 URL 하나만 주면 해당 웹사이트와 그 하위 페이지를 자동으로 탐색해서 데이터를 가져온다. 특히 LLM에 최적화된 출력(예: 마크다운, 구조화된 데이터)을 제공한다는 점이 큰 특징이다.주요 ..

VScode 에서 코드 내 빨간색 밑줄이 나타난다면 코드에 문법에 오류, 선언되지 않은 변수, 잘못된 함수 호출 등이 있을 때 발생하는데 밑줄에 그어진 부분에 마우스를 올리면 오류 메시지를 확인 할 수 있고 이에 따라 문제를 해결하면 된다. 나의 경우 from playwright.async_api import async_playwright 에 밑줄이 표시되었다. 오류 메시지는 아래와 같은데, 이 오류 메시지는 Pylance에서 playwright.async_api 모듈을 찾을 수 없어서 발생한 것이다.  해결방법1. 모듈 설치 확인 및 설치터미널을 열고 현재 python 환경에 playwright 가 설치되어 있는지 확인해 보자pip show playwright설치가 필요하다면, 다음 명령어를 사용해 설..

이전 발행글2023.05.23 - [Python/Scraping] - [Python selenium] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 111 [Python selenium] ChromeDriver 버전오류-selenium.common.exceptions.SessionNotCreatedException: Message: session not created:ChromeDriver는 Python selenium 사용시 필수 프로그램인데, 이 오류는 Chrom..

스마트스토어의 상품의 재고관리를 파이썬 스크래핑를 통해 관리 하고 있는데 가끔씩 스크래핑 Data 값이 의심될때가 있다. 품절된 또는 재입고된 상품의 개수가 이전값보다 확연히 늘어났기 때문이다. 우선적으로 직접 웹페이지의 데이터를 확인하고 오류 여부를 확인한다. 문제가 있다고 판단되면 두가지 정도의 원인을 생각해 볼수 있는데 첫번째는 크롬드라이버의 버전오류, 두번째는 웹사이트 변경이다. 웹사이트의 변경의 경우 코드를 리뷰해 봐야한다. 우리는 데이터의 위치를 컴퓨터에게 알려주고 데이터를 가져오도록 하는데 위치가 변경된 경우 위치를 재지정하는 등 코드를 수정해야한다. 물론 다른 변경이슈도 있을 수 있다. 하지만 웹사이트를 변경하는 것은 회사입장에서 큰 비용, 시간 등이 필요하기 때문에 자주 일어나는 일이 아..