셀렉트스타의 Amazon API Gateway WebSocket 을 활용한 AI Red teaming API 스트림 처리 방법 | Amazon Web Services
Amazon Web Services
셀렉트스타의 GenAI Korea 2024 레드팀 챌린지 운영 비결!
다양한 FM모델 의 API 스트림 처리를 고민하고 계시다면 아래 사례가 도움이 될 수 있습니다.
지난 4월 개최된 "Gen AI Korea 2024 생성형 AI 레드팀 챌린지"는 2,000명 이상의 참가자와 심사자가 참여하는 대규모 행사였습니다. 셀렉트스타(Selectstar)는 이번 챌린지에 기술 파트너로 참여하여, 참가자들이 사용할 수 있는 AI 플랫폼을 제공하는 역할을 맡았습니다.
기획부터 개발, 대회 운영까지 2개월이라는 짧은 기간 동안 소수의 개발 인원으로 프로젝트를 이끌어야 했고, 특히 여러 생성형 AI 모델공급자의 API 를 안전하게 제공하는 것이 중요한 과제였습니다.
셀렉트스타는 다양한 API 관련 요구사항을 Amazon API Gateway를 이용해서 효율적으로 구현하였고, AWS 관리형 또는 서버리스 서비스들을 최대한 활용하여 운영 부담을 줄이고 성공적으로 마칠 수 있었습니다.
https://aws.amazon.com/ko/blogs/tech/how-selectstar-builds-ai-redteaming-websocket-api-with-amazon-apigateway/
다음 내용이 궁금하다면?
이미 회원이신가요?
2024년 5월 29일 오후 2:47
댓글 0
함께 읽은 게시물
무신사의 대용량 트래픽 경험기
치
... 더 보기
< 우리 유전자에 각인된 가장 오래된 공포 >
1. 우리 몸은 신체적 위험처럼 '거절'에 반응한다. 과거에 거절이 곧 우리 인간 종을 신체적 위험에 처하도록 만들었기 때문이다.
데이터 이력서 템플릿 + 작성 가이드를 사용해보세요.
점
... 더 보기-
“실리콘밸리의 힘은 개인의 자율과 책임을 극대화한 것에 있다. 이를 위해서는 회사에 무슨 일이 있는지 구성원들이 알아야 한다. 소수의 리더가 관리·감독하며 이끄는 조직은 관료화될 뿐, 숨는 사람이 많아지고, 더 크게 성장하지 못한다.”
... 더 보기
