SK하이닉스의 RAG 플랫폼 구축 및 성능 평가/분석 연구 사례 | Amazon Web Services
Amazon Web Services
SK하이닉스의 RAG 플랫폼 구축 및 성능 평가/분석 연구 사례
GenAI 응용 분야에서 정확한 응답을 생성/제공하기 위해 지식 데이터를 사용하는 RAG 기술이 점점 더 많이 도입되고 있으며, 사용하는 데이터 크기도 지속적으로 증가할 것으로 예상됩니다. 하이닉스는 AWS Cloud 환경에서 RAG 시스템을 구축하여 성능 평가를 진행해 본 결과 다음과 같은 특징과 고려 사항을 확인하였습니다.
RAG Inference는 기존 LLM 서비스 대비 지식 데이터 검색을 수행해야 하며, 이에 의해서 TTFT(Time-To-First-Token)가 약 30% 증가됩니다. LLM에 의한 응답 생성 성능과 함께 검색 성능도 중요한 요소입니다.
데이터 셋이 커지게 되면, 벡터 데이터 인덱스를 위한 메모리 사용이 증가할 뿐만 아니라, 검색 시간이 상승하여 TTFT도 동반 상승하게 됩니다.
특히, 벡터 데이터 인덱스를 위한 메모리 용량이 부족한 경우 스토리지로부터 인덱스를 읽어서 검색 시간이 급격히 증가할 수 있습니다.
실험 결과 데이터 셋이 커지고, 사용자 수가 증가할수록 검색 시간이 상승하여 TTFT 를 포함 전체 성능에 영향을 미치는 것을 확인하였습니다. 이와 같은 상황에서 검색 성능을 보전 또는 개선하기 위해서는 Amazon OpenSearch, 즉 벡터 검색 시스템을 Scale-up 또는 Scale-out 하는 방법이 권장되고 있는데, 이는 비용 상승으로 이어집니다. 단순히 시스템 확장으로만 대응하기보다는 성능과 비용을 고려한 최적화 솔루션에 대한 검토가 필요합니다.
24년 11월에 Amazon OpenSearch에도 Disk-based vector search 알고리즘이 추가되어 실 서비스 중입니다. Disk-based vector search 알고리즘은 In-memory 알고리즘 대비, 비용 및 성능 최적화 관점에서 활용 빈도가 상승 될 것으로 전망되어, 관련 기술에 대한 검토가 함께 필요할 것으로 예상됩니다.
https://aws.amazon.com/ko/blogs/tech/sk-hynix-rag-platfrom-analysis-evaluation/
다음 내용이 궁금하다면?
이미 회원이신가요?
2025년 2월 24일 오후 2:43
댓글 0
함께 읽은 게시물
작년에 읽은 34권의 책 중 가장 좋았던 책
2
... 더 보기
“뜻밖에 아주 야비하고 어이없는 일을 당하더라도 그것 때문에 괴로워하거나 짜증내지 마라. 그냥 지식이 하나 늘었다고 생각하라. 인간의 성격을 공부해가던 중에 고려해야 할 요소가 새로 하나 나타난 것뿐이다. 우연히 아주 특이한 광물 표본을 손에 넣은 광물학자와 같은 태도를 취하라.” 현대판 마키아벨리라 불리는 로버트 그린의 책 <인간 본성의 법칙>은 쇼펜하우어의 말을 인용하는 것으로 시작한다.
... 더 보기< 가짜 전문가와 진짜 멘토를 구별하는 법 >
1. 질문에 대한 답을 제공하는 일을 돈벌이로 삼는 사람은 상대가 누구라도 질문이 같으면 같은 대답을 합니다.
종이 잡지 주제에 콘텐츠 커머스의 정석을 보여주고 있는 하루메쿠
1
... 더 보기리더는 업무를 위임하는 능력을 반드시 갖춰야 한다. 하지만 많은 리더가 위임을 제대로 하지 못하며 효율성을 떨어뜨리는 실수를 반복하고 있다.
... 더 보기< 이직을 고민하는 당신이 던져야 할 단 3가지 질문 >
1. 커리어를 선택하는 기준은 다양하다. 일단 내가 가진 가치관이 가장 큰 영향을 준다. 남들의 시선과 판단도 무시할 수 없다. 이직 트렌드와 경향도 살펴봐야 한다.
... 더 보기
