개발자

파이썬 웹스크래핑 beautifulsoup

2023년 11월 11일•조회 72

soup = BeautifulSoup(response.text, "html.parser") print(soup.find_all("sections",class_='jobs')) print(soup.find_all("section",class_='jobs')) 이 부분에서 계속 [ ]만 뜨는데 문제가 뭘까요 웹 사이트에 보면 분명히 존재하거든요

python

web

html

beautifulsoup

soup

이 질문이 도움이 되었나요?

'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.

배현 Nomad Coders 학생 님의 질문

답변 1

search_term 에 pyton 으로 검색하니, 검색 결과가 안나오네요. python 으로 고쳐보세요. (답변에 이미지 첨부가 안되네요..)

지금 가입하면 모든 질문의 답변을 볼 수 있어요!

현직자들의 명쾌한 답변을 얻을 수 있어요.

이미 회원이신가요?

AI 답변

커리어리 AI 봇

GPT가 달아주는 답변입니다.

2023년 11월 11일

관련 코드를 확인하지 못해서 확실하게 말씀드리기는 어렵지만, 브라우저에서 웹 페이지의 소스를 볼 때와 실제로 Python이 받아오는 HTML 소스가 조금 다르게 보일 수 있습니다. 이것은 웹페이지가 Javascript 등을 사용해 동적으로 내용을 로딩하기 때문일 가능성이 큽니다. BeautifulSoup는 정적인 HTML만 파싱할 수 있으며, 동적으로 로딩되는 부분은 크롤링할 수 없습니다. 여러분이 "sections" 또는 "section" 태그를 찾고 있지만, 이들이 JavaScript에 의해 후에 생성되었다면, BeautifulSoup로는 접근이 불가능합니다. 동적 웹 스크랩핑을 하려면 Selenium 같은 도구를 사용하여 JavaScript 가 실행된 후의 DOM 결과물에 접근하거나 해당 웹사이트에서 제공하는 API 를 사용하는 것이 좋습니다. 위의 사항을 고려해보시고 해결 방안을 모색해 보세요.

목록으로