스프링 부트에서 웹 크롤링 파이썬 코드 호출

Question

스프링 부트에서 웹 크롤링 파이썬 코드를 호출하고 싶은데 호출하려면 따로 장고로 API를 분리하여 스프링 부트에서 장고 웹 크롤링 파이썬 코드를 호출하여야 하나요? 아니면 jyton을 사용하여야 하나요?

추후 웹 크롤링을 하여 해당 데이터로 추천 모델링을 만들어 확장시킬려고 합니다

cozy · Answer

안녕하세요 !

정답은 아니고 그냥 머릿속에 생각해봤는데 2가지 방식으로 가능할 것 같아요 !

첫 번째는 말씀하신 것 처럼 Django나 FastAPI 등의 API 구성하는 것입니다. 모델링을 하시면 사이킷런이나 텐서, 파이토치 등 Python 기반으로 쓰실 가능성이 높아서 확장성을 고려하기 좋은 환경일 것 같아서 괜찮은 것 같아요 !

두 번째 방식은 당장 크롤링 데이터를 적재를 빠르게 하고 싶다면 Shell Script 작성도 나쁘지 않은 선택지 같습니다. 정확히 말하면 SpringBoot를 통해서 같은 서버(로컬이면 내 컴퓨터)에 있는 미리 작성해둔 Shell Script를 통해 크롤링를 실행시킬 수도 있고, 또는 다른 서버면 ssh로 접속해서 처리할 수도 있을 것 같습니다 !