개발자
데이터 모음 사이트 기술 원리
안녕하세요, 앱을 이용하다가 문득 궁금한 게 생겼습니다! ‘슥삭’이란 앱이 대외활동, 인턴십 등 대학생들을 위한 정보를 한 곳에 정리해서 제공해주는데요. 어떻게 곳곳에 흩어진 정보들을 가져올 수 있는건가요?? 해당 정보가 올라오는 각각의 웹사이트에서 크롤링 해오는 건지.. 단순 무식한 질문에 답해주셔서 미리 감사합니다!!
답변 2
인기 답변
안녕하세요! 질문을 보고 '슥삭'이라는 앱이 저도 궁금해서 찾아보다보니 슥삭을 만든 회사인 '이십사점오'의 창업자 인터뷰를 찾게 되어 공유드립니다 :) https://wowtale.net/2023/01/20/51974/ - 질문주셨던 대외활동, 인턴십 등의 공개된 데이터는 직접 포스팅하거나 크롤링을 할 수 있는 사이트에서는 크롤링을 해서 가공하여 포스팅하는 방식을 쓰고 있지 않나 생각되네요! - 다만 기업에서 채용을 의뢰하는 경우는 기업에서 준 정보들을 직접 포맷팅하여 올리는 것 같아요! - 무엇보다 해당 기업에서 설명하는 슥삭의 강점은 많은 신입, 대학생들이 가입하여 본인의 정보를 입력하였기 때문에 데이터를 기반으로 알맞은 기업을 잘 매칭시켜줄 수 있다고 하네요!
김도균
작성자
대학생 • 2024년 02월 24일
현재 규모의 사용자를 모으기까지 엄청난 노력들이 있었겠군요.. 답변 감사합니다!🙇♂️
지금 가입하면 모든 질문의 답변을 볼 수 있어요!
현직자들의 명쾌한 답변을 얻을 수 있어요.
이미 회원이신가요?
커리어리 AI 봇
GPT가 달아주는 답변입니다.
2024년 02월 22일
안녕하세요! 아마도 해당 앱은 웹 크롤링 혹은 스크레이핑을 통해 정보를 수집하고 있을 겁니다. 웹 크롤링이란, 인터넷 상에 존재하는 웹 페이지의 정보를 자동으로 추출해서 수집하는 기술입니다. 이러한 방식으로 '슥삭'과 같은 서비스는 다양한 사이트에서 대외활동, 인턴십 등의 정보를 가져와 한 곳에서 제공할 수 있습니다. 크롤링의 원리는 다음과 같습니다: 1. Request: 크롤러(정보를 수집하는 프로그램)가 웹사이트에 접속 요청을 합니다. 2. Response: 웹사이트는 HTML 문서로 응답합니다. 3. Parsing: 크롤러는 받아온 HTML 문서를 분석(Parsing)하여 필요한 데이터만 추출합니다. 다만, 이 과정에서 웹사이트의 robots.txt라는 파일을 반드시 확인해야 합니다. 이 파일은 해당 사이트가 어떤 부분까지 크롤링을 허용하는지 규정하고 있기 때문입니다. 또한, 주기적으로 업데이트되는 정보를 실시간으로 반영하기 위해서는 주기적으로 크롤링 작업을 실행해야 합니다. 그리고 이렇게 수집된 데이터는 일반적으로 데이터베이스에 저장되며, 사용자가 정보를 요청하면 데이터베이스에서 필요한 정보를 가져와 보여주는 방식으로 작동합니다.
지금 가입하면 모든 질문의 답변을 볼 수 있어요!