🚰 Stream Backpressure 의 이해

Stream 처리를 하게 되면 듣게 되는 단어들 중 하나가 Backpressure 인데요, 이와 관련되서 잘 정리된 블로그 글이 있어 공유드립니다. Backpressure 는 사실 파이프를 통한 유체 흐름에 반하는 저항 혹은 힘을 말하는 것이지만, 소프트웨어에서는 데이터 파이프라인으로 구축한 스트림 처리시 발생할 수 있는 데이터의 배압 현상을 말합니다. 소프트웨어에서 Backpressure 로 인해 겪을 수 있는 Side-Effect 로는 CPU와 메모리, 그리고 데이터 Drop 현상과 Network I/O, DISK I/O, Out of Memory 등을 겪을 수 있습니다. Backpressure 현상을 해결하기 위한 방안으로는 크게 Buffer 를 두고 대응하는 Push 방식과 Subscriber 가 자신이 현재 처리 가능한 범위에서 데이터를 받아가는 Pull 방식이 있습니다. 공유드린 블로그에 Backpressure 의 개념과 Push 방식, Pull 방식을 사용하는 오픈소스들에 대한 설명을 재밌고 자세히 나열하고 있으니 관심있으신 분들은 한번 보시면 좋겠습니다. https://doublem.org/stream-backpressure-basic/