스타트업 엔지니어의 AWS 비용 최적화 경험기

인프런을 운영하는 인프랩에서 인프라 비용을 최적화하는 과정을 담은 글이네요. 데이터 엔지니어링을 하면서 클라우드 비용 최적화를 많이 시도했는데, 더 넓은 관점에서 작성해주셔서 유용하네요.

• 팀 차원에서 지속적인 관심 가지기 : 비용 최적화 현황표 제작

  • 월별 비용지표 리뷰하기

• Top 10 비용 먼저 분할 정복

  • MSP 계약을 하면 AWS Cost Explorer를 사용할 수 없어 별도로 분석해야 함

  • RDS Aurora PostgreSQL : Scale-down 작업은 중단없이 매끄럽게 진행. 새 인스턴스 실행은 사용자가 적은 시간에 rolling-out

  • 쿼리 최적화 : 슬로우 쿼리 슬랙 알림 보내기 / DBM(Datadog Database Monitoring) 도입

• 리소스 태깅

  • 회사에서 운영하는 서비스, 제품, 부서마다 비용을 파악하기 위해 태깅이 필요

• 비용 지출이 큰 관리형 서비스 경계하기

  • AWS Elemental MediaConvert

    • 강의가 많아질수록 인코딩해야 할 영상이 많아짐

    • 1년 단위로 비용을 지불해야 하는 부담. 언제 강의가 많이 제출될지 예측이 어려움

    • AI 음성인식 모델을 활용한 STT 작업과 유연하게 이어져야 함

    • 직접 구축해서 비용 절감. AWS Batch

  • CircleCI 대신 Jenkins

    • 피크타임에 유연하게 대응하기 위해 클라우드의 젠킨스 파이프라인 구축

• EC2 Spot 인스턴스

  • 비용을 줄일 수 있음

• MSP 적극 사용하기

  • MSP(Managed Service Provider)의 장점 : 세금계산서 발행

  • 크레딧 지급, 서포트도 받을 수 있음

• 서버리스의 함정에 빠지지 말기

  • 가끔 실행되는 몇 개의 기능만 필요하면 서버리스 나쁘지 않음

  • 24시간 실행해야 하는 경우 서버리스 적합하지 않음

  • 서버리스에서 클라우드 네이티브 서비스를 사용할수록 벤더 락인에 갇히기 쉬움

• AWS Fargate

  • AWS의 Fargate를 ECS에서 실행해서 초기 워드프레스로 운영

  • Fargate의 제약 조건

    • 컨테이너 접근 불가 : AWS Systems manager를 설정하지 않으면 접근할 수 없음

    • provisioned 권한 이유 불가. 아마존에서 Host의 provisioned 권한을 부여하지 않음

      • Fargate에서 도커 빌드, s3fx 가상 드라이브 마운팅이 불가능

    • 커널 파라미터 수정 불가 : 23년 8월부터 커널 파라미터 구성을 지원하나, 소켓 부족 현상이 발생

    • EC2와 성능 차이 존재

    • 배포 소요시간이 더 걸림

• 빠르고 저렴한 CDN 적극적으로 활용하기

  • AWS CloudFornt 사용

  • 유저 상세 페이지, 수강평 페이지 같은 동적 컨텐츠에 CDN 캐싱을 적용

• 내부 서비스 호출에는 내부망 사용

  • 내부 서버 통신은 프라이빗 서브넷에서 진행

https://tech.inflab.com/20240227-finops-for-startup/