오늘날의 데이터엔지니어팀은 빅데이터-Datawarehouse의 시기를 거쳐 Datalake를 구축해야하는 도전과제가 있을수 있습니다.
DataLake의 데이터 구성요소중 Kafka연동 Parquet를 S3를 다루는부분을 연구중
Kafka에서 출발한 Json이 최종 S3( Paquet 형식)저장되기 까지 Flow를 단일 로컬지점에서 유닛테스트화 하여 모두작동하는 변종코드를 작성해보았습니다.
MSA 관점에서 생산과 소비의 책임이 다르기 때문에 어플리케이션이 각각 분리 작동되어야하지만 그것이 잘 작동하는지검증하고 다양한 실험을 해보기까지 너무 오랜시간이 걸릴수 있으며
유닛테스트를 통해 우리가 사용해야할 구성요소를 먼저 검증을 하는 코드로 작동가능한 활동을 공유합니다.
https://wiki.webnori.com/plugins/servlet/mobile?contentId=94241322#content/view/94241322
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 1월 17일 오전 9:47
•
조회 1,624