어플리케이션 데이터 크롤링, 요새는 이렇게 합니다.


어플리케이션에서의 데이터 수집은 통상적으로 불가능한 것으로 여겨집니다. HTML과 달리 폐쇄적인 구조를 지니고 있기 때문에, 유효한 데이터까지의 접근 로직을 설계하기가 무척 어렵습니다. 


하지만, 리버스엔지니어링, OCR, 패킷 스니핑 등 대안이 개발되었으며, 현재 실무에서 어플리케이션 크롤링 시 가장 많이 활용되고 있습니다. 


본 포스팅에서는 각 기술의 장단점과 대표적인 도구, 진행 절차에 대해 준비했습니다.


목차

  1. 리버스 엔지니어링 (Reverse Engineering)

  2. OCR 

  3. 패킷 스니핑(Packet Sniffing)



---

https://blog.hashscraper.com/application-data-crawling-reverse-engineering-ocr-packet-sniffing/

어플리케이션 데이터 크롤링의 세 가지 비법: 리버스 엔지니어링, OCR, 패킷 스니핑 | Hashscraper-Blogㅣ해시스크래퍼 블로그

Hashscraper

어플리케이션 데이터 크롤링의 세 가지 비법: 리버스 엔지니어링, OCR, 패킷 스니핑 | Hashscraper-Blogㅣ해시스크래퍼 블로그

더 많은 콘텐츠를 보고 싶다면?

또는

이미 회원이신가요?

2023년 11월 3일 오전 8:38

댓글 0

    함께 읽은 게시물

    SSR 최적화

    ... 더 보기

    마이리얼트립 SSR 최적화

    Medium

    마이리얼트립 SSR 최적화

     • 

    저장 49 • 조회 6,099


    개발자의 장애 공유 문화

    ... 더 보기

    개발자의 장애 공유 문화

    K리그 프로그래머

    개발자의 장애 공유 문화

     • 

    저장 23 • 조회 4,116


    기회

    

    ... 더 보기

    조회 504


    [대방출] AWS GenAI 공개 고객 사례집!

    ... 더 보기

    AWS GenAI 공개 고객 사례집 | Notion

    Seonhwan Baek의 Notion on Notion

    AWS GenAI 공개 고객 사례집 | Notion

    "4050 패션 플랫폼 포스티(Posty)는 올 3~4월 신규 고객 수가 전년 동기 대비 2배 증가했다고 밝혔다. 신규 구매자 수는 전년 동기 대비 85% 증가했으며, 해당 기간 전체 주문 고객 중 신규 구매자 비중이 30%였다.

    ... 더 보기

    카카오스타일 포스티, 올 3~4월 신규 고객 수 2배 증가 – 바이라인네트워크

    바이라인네트워크

    카카오스타일 포스티, 올 3~4월 신규 고객 수 2배 증가 – 바이라인네트워크

    '보이스루'의 영상 번역 AI 서비스를 위한 LLM 비교 선택 과정

    ... 더 보기

    Voithru의 GPT에서 Amazon Bedrock Claude Sonnet 3.5로의 전환 여정 | Amazon Web Services

    Amazon Web Services

    Voithru의 GPT에서 Amazon Bedrock Claude Sonnet 3.5로의 전환 여정 | Amazon Web Services