🙌 Lyft의 Streaming Pipeline 퍼포먼스 개선하기

스트리밍 파이프라인을 구현할때는 성능이나 확장성에 대한 고려도 충분히 되어야 합니다. 그러기 위해서는 어느 부분에서 병목이 발생하고 있는지 알아야 하고 이를 기반으로 병목구간을 해결해야 합니다. Lyft에서 스트리밍 파이프라인을 구현할때 어떻게 프로파일링을 해서 성능을 최적화할 수 있는지, 그리고 일반적으로 스트리밍 파이프라인에서 발생하는 성능 문제들이 어떤 것들이 있는지, 해결하라면 어떻게 해야하는지, 잘 설명해준 글이 있어서 공유합니다. 👉 파이프라인 프로파일링 1. Memory & CPU profiler. 작은 코드 하나가 전체에 큰 병목을 만들 수 있음, 그렇기에 프로파일러를 통해 전체 파이프라인의 그림을 이해할 수 있음. Lyft에선는 Apache Beam과 파이썬을 많이 사용하기에 현재는 deprecated된 Pyflame을 사용한다고 함. 2. Flink Dashboard - 각 operator의 CPU utilization도 모니터링할 수 있어서, 어떤 작업이 잠재적으로 문제를 야기할 수 있는지 알 수 있음. 3. Flink Metric System - throughput, latency(watermark), JVM 지표(Heap 등)을 알 수 있음. 👉 자주 발생하는 성능 문제들 1. Data skewness (hot shard) 2. Large window size 3. 다른 외부 서비스와의 연동 4. 직렬화 & 역직렬화 👉 일반적인 가이드라인들 1. 중복 작업 피하기 2. 불필요한 Shuffling 피하기 3. 파이썬 사용시 Cython enable하기 4. 불필요한 데이터 파이프라인 시작단계에서 drop하기 5. Protobuf 사용하기 6. Data skewness 피하기 7. Checkpoint size나 빈도 조절하기 8. 작은 상태(State) 사이즈 9. Network latency https://eng.lyft.com/gotchas-of-streaming-pipelines-profiling-performance-improvements-301439f46412