crawl4AI - openai api를 사용한 크롤링

crawl4AI는 크롤링을 위한 파이썬 패키지입니다. 기본적으로 웹페이지의 텍스트들을 잘 가져옵니다. 여기까지만 하면 여타 다른 크롤링 라이브러리와 다른점이 없습니다만, 좋은 부분은 openai의 api와 연동할 수 있다는 점입니다. 그렇게 하면 웹페이지에서 가져온 데이터들을 토대로 원하는 데이터만 쏙쏙 뽑을 수 있습니다. 테스트로 https://news.daum.net/의 데이터를 뽑아 달라고 했는데, 잘 만들어줍니다. 코드는 요거 밖에 안됩니다. async def main(): async with AsyncWebCrawler(verbose=True) as crawler: result = await crawler.arun( url='https://news.daum.net/', word_count_threshold=1, extraction_strategy=LLMExtractionStrategy( provider="openai/gpt-4o-mini", api_token=os.getenv('OPENAI_API_KEY'), schema=OpenAIModelFee.schema(), extraction_type="schema", instruction="""뉴스타이틀과 url을 뽑아서 다음과 같은 JSON포맷으로 출력해주세요. [ {"title": , "url": }, {"title": , "url": }, ... ] """ ), bypass_cache=True, ) print(result.extracted_content) 결과물도 잘 나오네요.. [ { "title": "'개미 무덤' 오명에 4000억 투입…네이버, 주가부양 나서", "url": "https://news.daum.net/20240930/한경비즈니스/20240930102405045scye", "error": false }, { "title": "수소차도 휩쓰는 中… 한·미·일·유럽 합종연횡 속도", "url": "https://news.daum.net/20240930/조선비즈/20240930104141207irbp", "error": false }, { "title": "\"10억 넘게 번다\"…강남 '분상제' 청약 열풍", "url": "https://news.daum.net/20240930/이데일리/20240930104508702gsln", "error": false }, ... 생략 ] https://github.com/unclecode/crawl4ai