NiFi 프로세서로 웹크롤링하고 데이터 다루기

Apache NiFi는 데이터 플로우 자동화 도구로, 데이터를 효율적으로 수집, 처리, 전송하기 위한 오픈 소스 소프트웨어입니다. NiFi 를 알아갈수록 NiFi를 통해 활용 범위가 정말 넓다는 생각을 했던것 같습니다. ExecuteStreamCommand로 Python 스크립트를 실행시켜 selenium으로 웹크롤링을 하고 출력된 데이터를 NiFi에서 또다른 처리를 할 수 있습니다. json으로 출력하여 ConvertRecord로 json화 시켜주고 EvaluateJsonPath로 파싱하거나, 정말 활용범위가 넓은것 같습니다. 해당 방법을 링크에 넣어둡니다. NiFi를 사용하시는 분들이나 웹 크롤링에 관심 있으신 분들은 한번 도전해 보세요 https://hbcha0916.tistory.com/52