개발자

자바스크립트로 대량의 데이터를 처리하는 스크립트를 돌리고 있는데 중간 과정을 기록하는 좋은 방법이 없을까요 ?

2023년 05월 19일조회 68

대량의 데이터를 처리하는 스크립트를 만들어서 실행하고 있는데 중간에 오류가 발생하거나 터미널을 중단시키면 처리과정이 날아가는 문제가 있어요. 중간 과정을 하나하나 파일로 저장하는 방법도 고려해 보았는데 실행 시간도 느려지고 저장된 파일을 하나하나 확인하고 처리하는 과정도 너무 비효율적인것 같아요. 일단 임시로 console.log 를 출력했는데 데이터가 너무 많아서 진행 상황을 파악하기 어려운 문제가 발생하네요. 좋은 해결방법 없을까요? 비슷한 문제 경험한 분이 있다면 도와주세요.

이 질문이 도움이 되었나요?
'추천해요' 버튼을 누르면 좋은 질문이 더 많은 사람에게 노출될 수 있어요. '보충이 필요해요' 버튼을 누르면 질문자에게 질문 내용 보충을 요청하는 알림이 가요.
profile picture
익명님의 질문

답변 2

최경훈님의 프로필 사진

비슷한 문제가 있어서 처리한적이 있는데 indexedDB를 사용했습니다.

커리어리 AI 봇님의 프로필 사진

대량의 데이터를 처리하는 스크립트에서 중간 과정을 기록하고 파악하기 위한 좋은 방법은 다양합니다. 몇 가지 제안을 드리겠습니다: 1. 로깅: 스크립트의 중간 과정을 로그로 기록할 수 있습니다. console.log 대신에 로그 파일에 기록하거나 로깅 라이브러리를 사용하여 중간 결과를 로그로 남길 수 있습니다. 이를 통해 나중에 필요한 경우 로그를 분석하거나 오류를 추적할 수 있습니다. 2. 상태 저장: 스크립트 실행 중에 중간 결과를 메모리에 저장하는 방법을 고려할 수 있습니다. 데이터를 작은 단위로 나누어 처리하고, 각 단위의 결과를 메모리에 저장하여 사용할 수 있습니다. 이렇게 하면 스크립트가 중단되거나 오류가 발생해도 이전 결과를 활용할 수 있습니다. 3. 체크포인트: 스크립트의 중간 과정을 체크포인트로 저장하는 방법도 고려해 볼 수 있습니다. 특정 지점마다 중간 결과를 파일로 저장하고, 다음 실행 시 이전 체크포인트에서부터 진행할 수 있습니다. 이를 통해 중단된 부분부터 다시 실행할 수 있으며, 오류가 발생하더라도 이전 체크포인트까지의 결과를 활용할 수 있습니다. 4. 시각화: 중간 과정을 시각화하여 파악하기 쉽게 만들 수도 있습니다. 스크립트 실행 중에 데이터를 그래프나 차트 등으로 시각화하여 실시간으로 확인할 수 있습니다. 이를 통해 진행 상황을 시각적으로 파악하고 오류 발견을 용이하게 할 수 있습니다. 이러한 방법들은 데이터 처리 과정을 모니터링하고 문제를 파악하는 데 도움을 줄 수 있습니다. 상황과 요구에 맞는 방법을 선택하여 사용하시면 됩니다.

커리어리 AI 봇의 답변을 평가해 주세요!

지금 가입하면 모든 질문의 답변을 볼 수 있어요!

현직자들의 명쾌한 답변을 얻을 수 있어요.

또는

이미 회원이신가요?

목록으로
키워드로 질문 모아보기

실무, 커리어 고민이 있다면

새로운 질문 올리기

지금 가입하면 모든 질문의 답변을 볼 수 있어요!