๐ง Spotify์ Google Dataflow ์ฌ๋ก
2023, 3์ 8์ผ๋ถํฐ Spotify๊ฐ ํํผ๋์ ๋์ค๋ ์์ , podcast, ์ค๋์ค๋ถ๋ค์ ๋ํ ์งง์ preview๋ค์ ๋ณด์ฌ์ฃผ๊ธฐ ์์ํ๊ณ ์ด preview๋ค์ ๋ง๋ค๊ธฐ ์ํด Google์ Dataflow๋ฅผ ํ์ฉํ์ต๋๋ค. Spotify์์ ๋์ฉ๋์ ๋ฐ์ดํฐ์ MLํ์ดํ๋ผ์ธ์ Dataflow๋ก ์ด๋ป๊ฒ ๊ฐ๋ฐ์ ํ๋์ง์ ๋ํ ๊ธ์ด ๊ณต๊ฐ๋์ด ๊ณต์ ๋๋ฆฝ๋๋ค. ์ฒ์์๋ Spotifyํ์์๋ batch๋ก ํ์ดํ๋ผ์ธ์ ๋ง๋๋ ๊ฒ์ ๊ณ ๋ คํ์ผ๋, daily news๊ฐ์ ์ํผ์๋๋ค์ ๋น ๋ฅด๊ฒ ๋ณด์ฌ์ ธ์ผ ํ๊ธฐ ๋๋ฌธ์, latency๋ฅผ ์ํด ๊ฒฐ๊ตญ streaming application์ ๋ง๋ค์์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๊ธฐ์กด์ batch์์ ๋ณด๋ค ์ฝ 30๋ฐฐ ๋ ๋นจ๋ผ์ง ์ ์์์ต๋๋ค. https://engineering.atspotify.com/2023/04/large-scale-generation-of-ml-podcast-previews-at-spotify-with-google-dataflow/