rate limiter - smudge.ai blog
Smudge
특정 사용자가 서비스의 리소스를 모두 차지하지 않도록 Rate Limit을 보통 사용하는데 이를 구현하는 알고리즘을 설명한 글입니다. 각 알고리즘을 애니메이션으로 비교해서 보여주기 때문이 이해하기 좋은 글입니다.
Fixed WIndow는 가장 간단하면서도 사용자가 예측하기 쉽지만 Windows가 시작 도리때 요청이 몰리거나 Window의 시간이 길다면 타임존의 영향을 받아서 Rate Limit이 의도와 다르게 동작할 수 있습니다.
Sliding Windows 방식은 동시에 받을 수 있는 요청수를 제한하기 때문에 요청을 원활하게 분산할 수 있지만 대신 적용하는데 리소스가 많이 필요합니다.
Token Bucket 방식은 버킷에 토큰이 있어야만 요청을 보낼 수 있는 방식으로 토큰은 일정 시간 간격으로 버킷에 채워지는 형태입니다. 유연한 방식이지만 사용자가 자신의 토큰이 어느정도 있는지 예측하기가 쉽지 않은 문제가 있습니다.
https://smudge.ai/blog/ratelimit-algorithms
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 6월 15일 오전 5:27
댓글 0
함께 읽은 게시물
리더의 역할은 방향을 제시하고 조직을 이끄는 것이다. 의사결정을 내리는 데 지나치게 시간을 끌거나 아예 결정을 피하는 리더가 있다. 이런 리더가 있는 조직은 점차 무기력해지고 성장의 기회를 놓치게 된다. 여러 가지 단점이 있지만, 가장 큰 단점은 직원들을 게으르게 만든다.
... 더 보기![[명대성의 소통 본색] 결정을 미루는 리더가 조직에 미치는 영향](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
“퇴사하고 싶습니다.” 최근 한 기업의 대표님이 가슴 아팠던 직원의 퇴사 이야기를 터놓았습니다. 사실 아직도 퇴사 사유를 정확히 잘 모른다고 합니다. 그 확고함에 어쩔 수 없이 보냈을 뿐. 많은 대표님이 비슷한 경험을 해봤을 것입니다.
... 더 보기11월 멘토링 취업, 코딩테스트 관련 큐앤에이 모음
대학에서 컴공 공부 중인 학생을 멘토링 하는데, 그 친구가 했던 질문에 대한 대답 공유해요.
1️⃣ 리쿠르터/채용 담당자 연락이 안 와요.
요즘 제일 큰 걱정은 졸업반이고 내년 여름 졸업인데, 이력서를 여러 군데 냈지만, 아직 면접이 잡히지 않아서 답답하다고 했다.
01. 리쿠르터 연락 기다리지 말고 먼저 해라, 다만 “we’re hiring”이란 문구를 넣은 사람 타겟하라. 나도 대학생 시절 인턴십 찾을 때 비슷한 경험 했다. 연락이 안 와서 너무 속상했는데, 가장 효과 봤던 방법은 링크드인에 가고 싶은 회사를 검색... 더 보기
-
Swift Homomorphic Encryption
1
... 더 보기
