Community

MongoDB 데이터(외부 데이터)를 AWS로 보내자

aws에서 서비스를 운영 중인데 mongodb cloud에 있는 데이터를 aws로 보내 가공해야하는 니즈가 생겼다 정확히는 mongodb 데이터 변경을 추적하여 이를 가공해야함 어떻게 하지?? 어떻게 하지?? 요전에는 "aws 외부 데이터 > s3로 업로드 > aws 내부에서 s3 데이터 읽음" 프로세스로 처리했다 이럴 경우 데이터 변경 사항이 발생하고 실제 가공까지 시간이 걸릴 수 있으나 MongoDB Trigger, AWS EventBridge를 이용하여 실시간으로 데이터를 처리할 수 있게 되었다~~~만세 이에 대해 공유하겠습니다~~~ https://cake-hawthorn-723.notion.site/MongoDB-AWS-fb1fe58b175b4ea8ab4034a7bf669fa3 2023-04-11 추가) 실제 운영해보니 MongoDB trigger performance issue가 있다... 일반적인 운영 단계에서는 문제 없는데 마이그레이션과 같은 하드코어 작업할 때에만 문제 발생... 마이그레이션은 빈도수가 적고 좀더 정밀하게 타겟팅하는 마이그레이션을 한다면 커버 가능할 부분이기에 일단 기존 아키텍처를 유지하기로 하였다

알림

알림이 없습니다