공공디자인, 중앙정부를 넘어 - 영국 디자인카운슬, 2025
www.designdb.com
데이터를 Reactive하게 다루기
오늘날의 데이터엔지니어팀은 빅데이터-Datawarehouse의 시기를 거쳐 Datalake를 구축해야하는 도전과제가 있을수 있습니다.
DataLake의 데이터 구성요소중 Kafka연동 Parquet를 S3를 다루는부분을 연구중
Kafka에서 출발한 Json이 최종 S3( Paquet 형식)저장되기 까지 Flow를 단일 로컬지점에서 유닛테스트화 하여 모두작동하는 변종코드를 작성해보았습니다.
MSA 관점에서 생산과 소비의 책임이 다르기 때문에 어플리케이션이 각각 분리 작동되어야하지만 그것이 잘 작동하는지검증하고 다양한 실험을 해보기까지 너무 오랜시간이 걸릴수 있으며
유닛테스트를 통해 우리가 사용해야할 구성요소를 먼저 검증을 하는 코드로 작동가능한 활동을 공유합니다.
https://wiki.webnori.com/plugins/servlet/mobile?contentId=94241322#content/view/94241322
더 많은 콘텐츠를 보고 싶다면?
이미 회원이신가요?
2024년 1월 17일 오전 9:47
•
조회 1,620
댓글 0
함께 읽은 게시물
TREND REPORT "2025년 5월에 본 것"
5
... 더 보기
Value Propositions, 가치 제안
특정한 고객 세그먼트가 필요로하는가치를 창조하기 위한 상품이나 서비스의 조합이 바로 '밸류 프로포지션'이다.
... 더 보기‘똑부(똑똑하고 부지런하기)보다 똑게(똑똑하지만 게으른) 리더가 되라.’ 리더십 코칭에서 빠지지 않는 훈수다. 현장 리더들의 말을 들어보면 실행이 쉽지 않다.
... 더 보기
