데이터 엔지니어가 만들어가는 레거시 #우아콘2023 #우아한형제들
www.youtube.com
배민 데이터 엔지니어가 만들어가는 레거시
오전에 배민 추천시스템 영상을 올렸는데, 이 영상은 데이터 엔지니어 관점에서 생각해볼만한 부분이 있는 영상이네요. 레거시에 대한 생각과 어떻게 해야할지를 알 수 있습니다
여러분들도 이런 상황인지 한번 생각해보셔도 좋을 것 같네요
본문
데이터로 비즈니스 가치 만들기 위한 여정
데이터 엔지니어 직무 정의가 너무 추상적
데이터 수집, 데이터 변형, 데이터 저장, 제품 적용에 집중
레거시 : 변경이 필요하지만 변경이 어려운 것
서비스 이상 탐지
갑자기 튀는 지표가 존재
나중에 기억이 나지 않음
배달 예상 시간
배민 배달 시간, 배민1 배달 시간, 조리 예상 시간, 기타 다른 배달 예상 시간 : 다른 시스템이고 다른 엔지니어가 만들게 됨
한명에게 인수인계가 다 되었음
배민 추천 시스템
배민 홈 추천 : 자바, 스프링 -> 파이썬으로 마이그레이션
장바구니, 카테고리 : 파이썬, FastAPI
레거시의 발생은 막을 수 없다
코드 작성 습관
기존 시스템에서 수정 사항을 최대한 작게 정의
기록 자동화
FastAPI 문서
Gitlab에서 문서 작성
데이터가 어디에서 왔고, 어디에서 사용하고 있는지
카프카
배민 실시간 반응형 카프카 -> 검색/클릭 로그 카프카로 나뉘고 각각에서 몽고 DB 컬렉션 사용
유지보수를 줄이고 싶어 이렇게 진행
마지막에 사용하는 데이터는 양이 적음
원천 데이터 변경은 많이 발생하지 않음. 많이 발생하면 원천 데이터 변경을 고민해야 함
데이터 엔지니어링 아키텍처
데이터 아키텍처, 시스템 아키텍처 모두 고려해야 함
https://youtu.be/lbsGKOnXshw?si=ZDVprviEuxaVPU5r
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 3월 26일 오전 4:16
댓글 0
함께 읽은 게시물
사용자 모으니 매출안난다고 난리
... 더 보기![[단독] 당근 매출 99%가 광고…원천기술 개발해 '우물 안' 벗어나야](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
지비지오는 지난해 5월 서비스 출시 후 월평균 거래액이 45%씩 성장했다. 지난 3월 100억원의 시리즈A 투자도 유치했다. 데이터 기반으로 경쟁력을 키운 게 주효했다. 일례로 인스타그램에서 댓글을 달면 DM으로 구매 링크를 자동 발송하는 기능을 자체 개발해 무료로 배포했다. 다이렉트 메시지(DM)을 활용하는 인플루언서의 실적이 더 높다는 데이터를 확인했기 때문이다.
... 더 보기🥕첫 '권고사직'에 나선 당근, 정말 위기인 걸까요?
누
... 더 보기
< 똑똑한 사람은 복잡하게 말하지 않는다 >
1. 누군가가 화려한 단어나 두루뭉술한 개념을 많이 사용한다면 아마 자신이 무슨 말을 하는지도 모를 것이다.
A 회사가 구설에 올랐다. 직장인 익명 커뮤니티에 올라온 글에 따르면 내부 분위기가 매우 좋지 않다고 한다. 과거 A사는 사업을 다양하게 벌인 것에 비해, 돈은 별로 벌지 못했다고 한다. 이때 경영진은 고통을 다 같이 나누자며 모든 직원의 연봉 인상을 제한하고 성과급도 소액만 주었다.
... 더 보기
