배민 데이터 엔지니어가 만들어가는 레거시

* 오전에 배민 추천시스템 영상을 올렸는데, 이 영상은 데이터 엔지니어 관점에서 생각해볼만한 부분이 있는 영상이네요. 레거시에 대한 생각과 어떻게 해야할지를 알 수 있습니다 * 여러분들도 이런 상황인지 한번 생각해보셔도 좋을 것 같네요 본문 * 데이터로 비즈니스 가치 만들기 위한 여정 * 데이터 엔지니어 직무 정의가 너무 추상적 * 데이터 수집, 데이터 변형, 데이터 저장, 제품 적용에 집중 * 레거시 : 변경이 필요하지만 변경이 어려운 것 * 서비스 이상 탐지 * 갑자기 튀는 지표가 존재 * 나중에 기억이 나지 않음 * 배달 예상 시간 * 배민 배달 시간, 배민1 배달 시간, 조리 예상 시간, 기타 다른 배달 예상 시간 : 다른 시스템이고 다른 엔지니어가 만들게 됨 * 한명에게 인수인계가 다 되었음 * 배민 추천 시스템 * 배민 홈 추천 : 자바, 스프링 -> 파이썬으로 마이그레이션 * 장바구니, 카테고리 : 파이썬, FastAPI * 레거시의 발생은 막을 수 없다 * 코드 작성 습관 * 기존 시스템에서 수정 사항을 최대한 작게 정의 * 기록 자동화 * FastAPI 문서 * Gitlab에서 문서 작성 * 데이터가 어디에서 왔고, 어디에서 사용하고 있는지 * 카프카 * 배민 실시간 반응형 카프카 -> 검색/클릭 로그 카프카로 나뉘고 각각에서 몽고 DB 컬렉션 사용 * 유지보수를 줄이고 싶어 이렇게 진행 * 마지막에 사용하는 데이터는 양이 적음 * 원천 데이터 변경은 많이 발생하지 않음. 많이 발생하면 원천 데이터 변경을 고민해야 함 * 데이터 엔지니어링 아키텍처 * 데이터 아키텍처, 시스템 아키텍처 모두 고려해야 함 https://youtu.be/lbsGKOnXshw?si=ZDVprviEuxaVPU5r