나만 모르는 숨은 웹 요소? Shadow DOM 크롤링 하는 방법

iframe과 같이, 웹 페이지 내부에 독립된 영역을 구축하는 기술, Shadow DOM.


Shadow 라는 명칭처럼 내부의 웹 요소를 외부로 드러나지 않도록 하여 결과적으로 웹 요소를 보호하고 독립적으로 유지시켜주는 기술입니다. 


하지만, 데이터를 수집하려는 입장에서는 골치아프기 그지 없는데요, 본 포스팅에서는 이러한 Shadow DOM으로부터 필요한 데이터를 추출하는 이론과 예제를 수록했습니다.


POST INDEX


  1. Shadow DOM 이란?

  2. Shadow DOM과 iframe의 차이 

  3. Shadow DOM 크롤링 방법 

  4. 결론 : Shadow DOM 크롤링을 잘 활용하여 숨겨진 데이터를 획득하자.



https://blog.hashscraper.com/hidden-web-elements-shadow-dom-crawling/

Shadow DOM 크롤링 가이드: 웹의 은밀한 요소 해부 | Hashscraper-Blogㅣ해시스크래퍼 블로그

Hashscraper

Shadow DOM 크롤링 가이드: 웹의 은밀한 요소 해부 | Hashscraper-Blogㅣ해시스크래퍼 블로그

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2023년 10월 31일 오전 1:14

조회 166

댓글 0

    함께 읽은 게시물

    '보이스루'의 영상 번역 AI 서비스를 위한 LLM 비교 선택 과정

    ... 더 보기

    Voithru의 GPT에서 Amazon Bedrock Claude Sonnet 3.5로의 전환 여정 | Amazon Web Services

    Amazon Web Services

    Voithru의 GPT에서 Amazon Bedrock Claude Sonnet 3.5로의 전환 여정 | Amazon Web Services

    Product Designer 그리고 Frontend(RN App) 혹은 Backend Engineer(Python/TS)를 곧 모셔야할 듯.. 요즘은 어디로 가야 좋은 분들을 만날 수 있으려나요. 디자인과 개발을 즐기는 사람이라면 경력자가 아니어도 괜찮은데..

     • 

    저장 1 • 조회 3,776


    이번 구글 I/O, 구글 여러분들 행사전에 입이 근질근질하셨겠네요. ㅎㅎ


    내용은 다들 소개하셨으니 한줄평하자면, 구글이 처음으로 OpenAI에 비해 반발짝정도 앞서나간 이벤트인 것 같습니다.


    더불어 출시한 모델과 서비스들을 보니.. 역시 AI는 돈빨이며 구글이 돈빨을 제대로 세웠.. 쿨럭..


    SSR 최적화

    ... 더 보기

    마이리얼트립 SSR 최적화

    Medium

    마이리얼트립 SSR 최적화

     • 

    저장 49 • 조회 6,080


    이직의 조건

    

    ... 더 보기

    기회

    

    ... 더 보기

    조회 484